CC BY
71
ВЕСТН. МОСК. УН-ТА. СЕР. 14. ПСИХОЛОГИЯ. 2008. № 3
ПСИХОЛОГИЯ - ПРАКТИКЕ
А. С. Науменко, А. Г. Шмелев
СПОСОБ ПРЕДСТАВЛЕНИЯ ПСИХОДИАГНОСТИЧЕСКОЙ ИНФОРМАЦИИ КАК ФАКТОР ЕЕ ОРГАНИЗАЦИОННОЙ ЭФФЕКТИВНОСТИ
Статья посвящена анализу влияния различных способов представления психодиагностической информации на ее восприятие и принятие решений кадровыми специалистами. В результате проведенного исследования большинство изначально сформулированных авторами «простых» гипотез было отвергнуто, выявлены более сложные закономерности восприятия психодагностической информации. В числе основных факторов влияния оказались характер и содержание деятельностной задачи, в рамках которой используется тестирование, степень значимости психодиагностической информации для принятия решения в конкретной ситуации анализа и индивидуальные особенности субъекта, производящего анализ результатов тестирования. Сформулированы постэкспериментальные гипотезы и направления последующих исследований в данной области.
Ключевые слова: тестовые интерпретации, психодиагностические заключения, шкальный профиль, текстовый отчет, компьютерная психодиагностика, подбор персонала, эффективность кадровой психодиагностики.
В современных организациях для оценки личностных, интеллектуальных, деловых и иных характеристик персонала психологическое тестирование используется довольно часто: при приеме кандидатов на работу, для плановой и индивидуальной аттестации сотрудников, при формировании «команды», оценке психологического климата, планировании нововведений, внедрении управленческих изменений и т.п.
Проблемы, связанные с различными вариантами анализа и учета результатов тестирования, стали особенно актуальны с появлением и широким распространением технологий компьютерной психодиагностики (или профдиагностики в случае квалификаци-
107
онных тестов)1. Множество соискателей проходят тестирование при приеме на работу, и специалистам по подбору персонала приходится просматривать в ходе массового отбора не только резюме, но и результаты тестирования нескольких десятков испытуемых каждую неделю (разумеется, от этих средних значений наблюдаются отклонения в обе стороны).
По замыслу результаты психологического тестирования должны использоваться в качестве одного из аргументов для принятия управленческих решений (о приеме, продвижении, направлении на переподготовку или повышение квалификации т.п.). Но, к сожалению, далеко не всегда тестирование используется эффективно: опыт многих российских компаний показывает1 2, что результатам диагностики уделяется недостаточно внимания, и на дальнейшую судьбу сотрудников в организации они влияют редко. Вероятно, в ряде случаев это может быть связано с какими-то внутренними причинами в организации, а не с тестами или тестовыми интерпретациями как таковыми. Но всегда ли только внешние по отношению к тестированию факторы мешают его полноценному использованию в рамках организации? Можно ли путем изменения формы подачи информации повысить эффективность ее использования и степень ее воздействия на организационные процессы?
С целью ответа на этот вопрос в рамках нашего исследования мы поставили задачу изучить, какие способы представления психодиагностической информации предпочитают специалисты по подбору персонала, а также выявить возможные факторы, оказывающие влияние на эти предпочтения. При этом мы попытались организовать наше эмпирическое исследование таким образом, чтобы по возможности максимально точно воссоздать реальные процессы восприятия психодиагностической информации в современных условиях.
Выбор предмета исследования
Исследований, посвященных формам представления результатов тестирования, в мировой науке проведено сравнительно немного. Ретроспективные литературные обзоры зарубежных авторов
1 Компьютерные технологии распространились действительно широко. По данным нашего опроса, более половины специалистов (52%), использующих психологическое тестирование, проводят его с помощью компьютера.
2 Об этом свидетельствуют результаты как свободных дискуссий, так и более структурированных социологических опросов специалистов, которые постоянно проводятся на популярных интернет-сайтах для кадровых менеджеров (www.hrm.ru, www.e-xectuive.ru,www.ht.ru и др.).
108
Р. Гудийер (Goodyear, 1990), Х. Тинсли и С. Чу (Tinsley, Chu, 1999), У. Хэнсона и Ч. Клэйборна (Hanson, Claiborn, 2006) насчитывают, начиная с 1950-х гг., соответственно по 44, 65 и 75 исследований, посвященных представлению результатов тестирования. Причем в большинстве работ авторы изучают эффекты от получения респондентом обратной связи по результатам тестирования, не различая возможных форм обратной связи.
В нашем цикле исследований (Науменко, 2007) мы различаем два различных аспекта восприятия психодиагностической информации, связанные с ее адресной направленностью: информация, ориентированная на самого испытуемого (этот аспект мы в рабочем порядке называем «психологической эффективностью»), и информация, адресованная специалистам, представляющим интересы организации (это «организационная эффективность»). В «классических» исследованиях способов представления обратной связи предметом анализа являются восприятие обратной связи тестируемым или эффекты от получения тестируемым обратной связи — позитивные изменения в уровне самооценки (Finn, Tonsager, 1992; Newman, Greenway, 1997), улучшение понимания и принятия собственного «Я» (Dressel, Matteson, 1950; Rogers, 1954), повышение уверенности в правильности собственного профессионального выбора (Rubinstein, 1978), активизация поисков возможных путей карьерного развития (Hoffman, Spokane, Magoon, 1981; Randahl, Hansen, Haverkamp, 1993). Иными словами, изучается эффективность обратной связи для клиента, или, используя введенную нами терминологию, психологическая эффективность тестовой информации.
Предметом нашего исследования мы выбрали организационную эффективность психодиагностической информации. Еще раз оговоримся, что организационную эффективность мы понимаем как адекватность результатов тестирования задачам организации и удобство представления результатов тестирования для специалиста, анализирующего их с целью принятия определенного, значимого для организации решения.
Нам известен ряд исследований, посвященных, подобно нашему, организационной эффективности различных тестовых интерпретаций (Adams, Shore, 1976; Eyde, Kowal, Fishburne, 1991; Green, 1982; Labeck, Johnson, Harris, 1983; Lachar, 1974; Webb, Miller, Fowler, 1969, 1970; Williams, Weed, 2004). В этих работах эксперты, в роли которых выступают психологи с высшим образованием или опытные клиницисты, оценивают по разным критериям качество диагностических заключений, автоматически сформированных различными компьютерными программами по результатам выполнения теста MMPI. Целью изучения является подтверждение или срав-
109
нительная оценка валидности разных компьютерных тестовых интерпретаций, поэтому выбранные критерии оценки касаются содержательной стороны: точность заключения, правильность поставленного диагноза, клиническая полезность, наличие в заключении новой, упущенной или, наоборот, бесполезной информации и др. Эксперты в упомянутых исследованиях не оценивают формальных характеристик тестовых интерпретаций, поэтому мы можем говорить, что в целом данные работы достаточно далеки от нашей — методически, процедурно и по характеру выбранных переменных.
Классификация способов представления
результатов тестирования
Как уже было отмечено, исследований, посвященных формам представления результатов тестирования, сравнительно немного, поэтому нет и единой устоявшейся классификации этих форм (Науменко, 2005). Подобные классификации можно обнаружить скорее в каталогах коммерческих компаний, продающих тестовые технологии, чем в академических исследованиях по этой проблематике. Главным образом различают «текстовые отчеты» (заключение, портрет, характеристика) и «профили» качеств, представленные в виде таблиц или гистограмм (Аксенова и др., 2002).
Отсутствие большого выбора теоретически обоснованных классификаций привело к необходимости в целях нашего исследования разработать собственную классификацию. Мы выделили два измерения:
1) качественная (текстовое описание) vs. количественная (шкальный профиль или таблица) психодиагностическая информация;
2) психодиагностическая информация в терминах психологических черт vs. психодиагностическая информация в терминах поведенческих индикаторов (компетенций, или профессиональных умений).
Выделение обоих этих измерений неслучайно. Технологии компьютерной психодиагностики в настоящее время позволяют автоматически формировать диагностические заключения в количественной (в виде профилей или таблиц) и в качественной форме (в виде текстовых заключений) — отсюда наша первая экспериментальная переменная. Высокая прикладная значимость и даже известная мода на понятие «компетенции» натолкнула нас на мысль о включении шкалы «компетенции — психологические черты» в качестве второй независимой переменной, варьируемой в стимульном материале нашего эксперимента. Несмотря на то что различение «ком-
110
петенции — психологические черты», строго говоря, касается не только формальной, но и содержательной стороны тестовой интерпретации, авторы сознательно включили данную переменную в рассмотрение — с целью анализа возможного комбинированного эффекта двух факторов — формы и содержания психодиагностического сообщения. Более подробно см. в разделе «Гипотезы исследования и их теоретические основания».
Путем полной комбинаторики двух независимых измерений мы получили 4 типа представления результатов тестирования: 1) текстовое описание в терминах психологических черт; 2) шкальный профиль в терминах психологических черт; 3) текстовое описание в терминах компетенций; 4) шкальный профиль в терминах компетенций.
Гипотезы исследования и их теоретические основания
Модель наиболее вероятного пути обработки сообщения. В теоретическом плане организационную эффективность различных способов представления психодиагностической информации можно связать с моделью наиболее вероятного пути обработки сообщения (Elaboration Likelihood Model — ELM), разработанной Р.Е. Петти и Д.Т Качиоппо (Petty, Cacioppo, 1986). Это модель, дающая объяснение тому, каким образом происходит восприятие информации. Реципиент может старательно и осознанно обдумывать сведения, поданные в сообщении, и на основании этой деятельности менять свое отношение к описанным явлениям, событиям или людям. Это — центральный путь обработки информации. Другой вариант — периферийный путь, когда отношение к прочитанному или услышанному формируется и изменяется без процесса активного осмысления, только за счет второстепенных элементов. Сила воздействия информации при центральном способе переработки существенно выше, чем при периферийном.
Один из способов увеличения вероятности центрального способа переработки информации — повышение релевантности сообщения. Компетенции более релевантны организационному контексту и обладают большей прогностической силой, нежели психологические черты, поэтому мы предполагаем, что специалисты по подбору персонала будут отдавать предпочтение информации в терминах компетенций. Наша первая гипотеза — наличие значимых различий в частоте предпочтений результатов тестирования, представленных в терминах компетенций и в терминах психологических черт.
Взаимодействие факторов формы и содержания. С первой гипотезой связано наше второе предположение. Мы считаем, что фак-
111
торы формы и содержания взаимозависимы. Так, для сообщений, менее значимых по содержанию (допустим, в терминах психологических черт), эффект формы может быть и несущественным («Не все ли равно, в какой форме представлена информация, которая не имеет смысла»), а для сообщений, более значимых по содержанию, эффект формы может оказаться более выраженным. Иными словами, наша вторая гипотеза — наличие значимых различий между предпочтениями количественного и качественного представления информации для заключений в терминах компетенций и отсутствие различий между соответствующими представлениями для заключений в терминах психологических черт.
Восприятие вероятностной информации. Психологическое тестирование можно рассматривать как попытку вывести суждения о вероятности различных событий (перехода клиента в определенное состояние, получения определенного эффекта, совершения клиентом выбора в пользу одной из альтернатив, наличия у испытуемых интересующих исследователя свойств и др.).
Психологическая тестовая шкала — это количественное (графическое, градуальное) выражение такого рода вероятностей. Текстовый формат тестовых интерпретаций — это попытка словесного выражения этих вероятностей без использования точных числовых значений (Goldman, 1973).
Согласно многочисленным исследованиям, вероятностная информация, содержащаяся в тестовых интерпретациях, как профессиональными консультантами, так и обычными людьми понимается по-разному (Bass, Cascio, O’Connor, 1974; Beyth-Marom, 1982; Bran, Teigen, 1988; Budescu, Wallsten, 1985; Clarke et al., 1992; Foley, 1959; Johnson, 1973; Lichtenberg, Hummel, 1998; Lichtenstein, Newman, 1967; Ness, 1995; Simpson, 1944, 1963; Wallsten, Fillenbaum, Cox, 1986). В упомянутых работах показаны не только значительные различия между суждениями разных людей, но и высокая изменчивость суждений одного и того же человека.
Дж. Лихтенберг и Т Гуммель, изучавшие понимание экспер-тами-психологами тестовых интерпретаций, содержащих вероятностную информацию, пришли к выводу, что для ее единообразного понимания количественные выражения вероятности гораздо более предпочтительны, чем словесные (Lichtenberg, Hummel, 1998). Аналогичным образом рассуждают и Е.А. Аксенова с соавторами, полагающие, что в случае содержательного описания (психологического портрета, характеристики) значительно увеличивается время, необходимое для восприятия и понимания результата, а также усложняется процесс сравнения результатов различных людей между собой (Аксенова, Базаров, Еремин и др., 2002).
112
Мы предположили, что, руководствуясь функциональными соображениями (количественная информация более точна и проста для анализа), специалисты по подбору персонала будут предпочитать психодиагностическую информацию в количественном виде (профиль или таблица). Это третья гипотеза нашего исследования.
Влияние содержания деятельности на предпочитаемые формы представления психодиагностической информации. По сравнению с другими специалистами (психологами-консультантами, например), использующими в работе тестирование, специалисты по подбору персонала сталкиваются с большим потоком кандидатов (испытуемых, участников тестирования). Представим себе психодиагноста, тестирующего клиента в рамках психотерапии или профориентации. Он работает с индивидуальным клиентом, встречаясь с ним не единожды. Тестирование может помочь ему наметить направления дальнейшей работы, у него есть время на тщательный анализ и интерпретацию результатов теста. Другое дело — рекрутер: он имеет дело с потоком людей. На некоторые вакансии кадровики просматривают большое число соискателей, многих из которых приходится отсеивать на самом раннем этапе. Тестирование в данном случае играет роль крупного сита, а наиболее ценным ресурсом становится время и скорость работы.
Эти особенности работы специалистов по подбору персонала, по нашему мнению, должны найти отражение в предпочитаемых ими формах представления данных. Это четвертое (поисковое) предположение нашего исследования. Мы не строили заранее конкретных гипотез о том, каковы могут быть различия в предпочтениях между рекрутерами и другими специалистами.
Методика исследования
Наше исследование состояло из двух этапов: 1. Опрос «Использование психологического тестирования различными специалистами». 2. Опрос «Использование психодиагностической информации специалистами по подбору персонала».
В первом опросе респондентов прямо спрашивали об их предпочтениях относительно формы и методов психологического тестирования. Авторы понимали, что результатом могли стать социально желательные декларации, не всегда соответствующие действительности, поэтому второй опрос «Использование психодиагностической информации специалистами по подбору персонала» был сконструирован так, чтобы спровоцировать более «поведенческую» (в противовес «умозрительной») реакцию испытуемых. Одной из его целей была проверка достоверности результатов пер-
113
8 ВМУ, психология, № 3
вого опроса — уточнение его данных с целью контроля артефакта социальной желательности.
Участники. Специалисты различных профилей, использующие психологическое тестирование в рамках своей профессиональной деятельности (подбор персонала, оценка персонала, организационная диагностика, профориентация и карьерное консультирование, личностное консультирование, психодиагностика в образовательных учреждениях, нейропсихологическая коррекция, клиническая дифференциальная диагностика, мониторинг психического состояния персонала, научная работа и др.). Всего 67 человек, из них только 28 (42%) использовали психодиагностику в процессе подбора персонала.
Процедура. Для привлечения участников к исследованию были использованы средства специализированных форумов и сообществ в сети Интернет, а также размещенные в открытом доступе резюме экспертов, использующих в своей работе психодиагностику. Последним по электронной почте были разосланы личные письма-приглашения с гиперссылкой на опросник в Интернете.
Методика. Эксперты отвечали на 7 вопросов опросника:
1. В рамках какой деятельности и как давно Вы используете психологическое тестирование?
2. Как часто Вам приходится анализировать результаты тестирования в своей работе?
3. Если у Вас мало времени или если Вы хотите составить самое общее впечатление о кандидате/респонденте/пациенте, на какую информацию Вы обращаете внимание в первую очередь?
4. Какой способ представления результатов тестирования Вы предпочитаете?
5. Какие психодиагностические методики Вы используете чаще всего?
6. С какими формами тестирования Вы имеете дело?
7. Используете ли Вы автоматически составленные компьютером тестовые интерпретации (отчеты)? Каким образом?
Второй опрос
Участники. Специалисты по подбору персонала в возрасте от 21 года до 47 лет, всего 66 человек, из них 6 мужчин и 60 женщин (что соответствует половозрастным пропорциям в данной профессии).
Процедура. Как и в первом опросе, для привлечения участников были использованы специализированные форумы, сообщества, доски объявлений и открытые базы резюме специалистов в Интернете, которые создавали основу для личной переписки одного из авторов статьи (А.С. Науменко) с респондентами и личного приглашения к участию в исследовании.
114
Методика. В сети Интернет был размещен опросник, в котором участников просили прочесть описание вакансии «Администратор магазина» и три резюме претендентов на данную вакансию. Для каждого резюме экспертам предлагали выбрать один из типов дополнительного психодиагностического заключения, которое могло бы помочь в принятии решения о приглашении или отказе кандидату в личной встрече.
Для выбора участникам предлагали следующие 4 типа диагностической информации:
1) таблица набранных баллов или шкальный профиль по личностному опроснику (психологические черты);
2) уровень развития компетенций, релевантных требованиям вакансии (таблица числовых значений или графический профиль);
3) текстовая интерпретация по личностному тесту (словесное описание психологических черт кандидата);
4) текстовое описание уровня развития компетенций, релевантных требованиям вакансии.
После того как в исследовании приняли участие 46 респондентов, авторы заметили, что по первому резюме наблюдаются значимые различия между предпочтениями разных типов психодиагностического заключения, тогда как по второму и третьему резюме различий не наблюдается. Возникло предположение, что причина может быть в позиционном эффекте (в анализе первого резюме испытуемые наиболее внимательны, а к последнему мотивация угасает и ответы приобретают случайный характер). Для балансировки возможного позиционного эффекта последним 20 испытуемым резюме предъявлялись в обратном порядке.
Результаты
Опрос «Использование психологического тестирования различными специалистами»
Были обнаружены значимые различия между некоторыми предпочитаемыми способами представления психодиагностической информации (по данным ответа на вопрос: «Какие способы представления психодиагностической информации Вы предпочитаете?»). Результаты представлены в табл. 1.
Были обнаружены различия в ответах на вопросы (по всей выборке): «Какой способ представления результатов Вы предпочитаете?» и «Если у вас мало времени, на какую информацию Вы обращаете внимание в первую очередь?» Результаты представлены в табл. 2.
Значимых различий между рекрутерами и остальными специалистами, использующими психологическое тестирование, по данному вопросу не обнаружено.
115
Таблица 1
Формы психодиагностической информации, предпочитаемые различными специалистами
Тип информации Форма Рекрутеры (% от общего числа рекрутеров) Вся выборка (% от всей выборки)
Количественная Таблица баллов и 7
Шкальный профиль 7 6
Суммарно 18 13
Качественная Текстовая интерпретация 11 12
Комбинированная Таблица + текст 14 13
Шкальный профиль + текст 43* 30*
Таблица + профиль + текст 7** 21**
Суммарно 64 64
Другое 7 11
Примечание. Одной и двумя звездочками отмечены значимые различия на уровне значимости p < 0.005, phi emp. = 0.28, phi crit. = 0.26, где phi emp. — фи-коэффициент корреляции Г илфорда.
Таблица 2
Сравнительная таблица предпочтений в разных условиях
Тип информации Обычно (% от всей выборки) Дефицит времени (% от всей выборки)
Количественная 18 75 (профиль — 48, таблица — 27)
Качественная 11 25
Комбинированная 64 Недоступно для выбора
Опрос «Использование психодиагностической информации специалистами по подбору персонала»
Из 66 респондентов 20 (30%) во всех трех случаях предпочли качественное (текстовое) представление информации, 17 (26%) — во всех трех случаях количественное, остальные 29 (44%) человек меняли предпочтения от резюме к резюме.
Анализ распределений ответов испытуемых, смотревших резюме в прямом и обратном порядке, обнаружил значимые различия между предпочтениями различных способов представления информации по одному и тому же резюме (для первой группы оно было первым, для второй — третьим). Различия касаются информации, представленной в терминах психологических черт и в терминах компетенций. Независимо от качественного или количественного представления эксперты значительно чаще предпочитали описания в терминах компетенций, чем описания в терминах психоло-
116
Таблица 3
Предпочтения различных способов представления психодиагностической информации: количество испытуемых, выбравших данный вариант отве
Способ представления психодиагностической информации Резюме 1 Резюме 2 Резюме 3 Суммарно
Таблица или профиль, психологические черты 8* 16 15 39
Таблица или профиль, компетенции 24* 14 18 56
Словесное описание психологических черт 7** 15 18 40
Текстовое описание компетенций 27** 21 15 63
гических черт. По двум другим резюме значимых различий не обнаружено ни у первой, ни у второй группы. На этом основании предположение о возможном действии позиционного эффекта отвергнуто.
В табл. 3 представлены суммарные частоты предпочтений различных вариантов ответа всеми 66 испытуемыми.
Обсуждение результатов
Гипотеза 1. Вопреки ожиданиям, значимые различия между предпочтениями информации в терминах компетенций и личностных черт обнаружились только по одному из трех резюме. Для того чтобы понять, с чем это может быть связано, авторы провели дополнительный содержательный анализ резюме и предположили, что возможным фактором влияния является степень соответствия резюме вакансии, обратно связанная со значимостью психодиагностической информации для принятия решения.
Резюме, по которому были обнаружены различия, в наименьшей степени соответствует описанию вакансии, следовательно, значимость психодиагностической информации для принятия решения о приглашении или отказе в этом случае наибольшая. И в соответствии с гипотезой информация в терминах компетенций в этом случае предпочтительна. Два других резюме настолько хорошо соответствуют вакансии, что для принятия решения в дополнительной психодиагностической информации просто нет необходимости, поэтому и явных предпочтений одной из форм не наблюдается.
То есть мы можем говорить о частичном подтверждении гипотезы. По нашему мнению, предпочитаемая форма представления результатов тестирования зависит от степени значимости психо-
117
диагностической информации для принятия решения в конкретной ситуации анализа. В ситуации высокой значимости психодиагностической информации результаты тестирования в терминах компетенций (в ситуации, аналогичной нашей) действительно имеют предпочтение.
Уже после проделанного анализа полученных результатов нам стало ясно, что в проведенном эксперименте были рассмотрены только два случая — высокого и умеренного соответствия резюме вакансии. Третий случай — это опыт, не соответствующий вакансии. Для некоторых вакансий это будет автоматически означать, что соискатель не подходит, однако для ряда работ наличие релевантного опыта не столь важно, а важны, скажем, психологические качества. Тогда значимость психодиагностической информации будет очень велика (по сути, при принятии решения придется опираться только на эти данные). Как же в этом случае будет обстоять дело с предпочитаемыми формами представления информации?
Мы предполагаем, что в этом случае различий в предпочтениях разных форм психодиагностической информации не будет. По нашему мнению, зависимость между наличием различий в предпочтениях разных форм и степенью значимости психодиагностической информации может быть криволинейной и иметь колоколообразную форму, где по оси X отложена значимость психодиагностической информации (или степень соответствия вакансии — ведь мы считаем, что зависимость у них обратная), а по оси Y—величина различий, выраженная, например, непараметрическим критерием знаков. Однако пока это лишь предположение, его проверка — задача последующего исследования.
Гипотеза 2. В рамках табл. 3 вторая гипотеза формулируется как появление значимых различий между показателями во второй и четвертой строке и отсутствие различий между показателями в первой и третьей. Как мы видим, относительно существенные различия получены только для второго резюме (21 против 14) и суммарно для всех трех резюме (63 против 56), однако статистически эти различия незначимы. Это означает, что вторая гипотеза нашего исследования не подтверждается. Однако здесь надо учесть, что она была сформулирована на основе первой — во второй гипотезе было использовано предположение о том, что информация в терминах компетенций для экспертов субъективно более значима, а оно подтвердилось лишь частично.
Вероятно, постулируемый нами эффект (эффект воздействия формы, обусловленного содержанием) опять-таки зависит от сопутствующей контекстуальной информации биографического характера, которая формирует определенную категориальную уста-
118
новку при восприятии психодиагностической информации (механизму влияния категориальных установок на восприятие семантической информации второй автор данной статьи фактически посвятил целую монографию (Шмелев, 1983)).
Гипотеза 3. По данным табл. 1, наибольшую популярность среди специалистов всех профилей имеют различные варианты комбинированной информации (шкальный профиль + текст; таблица + текст; шкальный профиль + таблица + текст). Это вполне объяснимо: «на всякий случай» эксперты предпочитают иметь всю возможную информацию для анализа (однако это не означает, что всю эту информацию они будут анализировать).
Обратившись к табл. 2, мы замечаем, что при нехватке времени (а также ограниченной возможности выбора—профиль, таблица или текст)3 большинство испытуемых, отдавших предпочтение комбинированным формам информации, склоняются в пользу количественных данных. То есть большинство экспертов хотя и предпочитает иметь на руках максимум информации, все же более информа-тивным/точным считает количественный способ представления. Этот же вывод можно сделать, сравнив доли рекрутеров, выбравших чисто количественный (18%) или чисто качественный (11%) способ представления данных (см. табл. 1). Итак, на материале первого опроса мы можем говорить о подтверждении гипотезы.
Однако для принятия окончательного решения о подтверждении или опровержении нашего предположения необходимо обратиться к результатам второго опроса. Согласно третьей гипотезе, мы можем ожидать, что эксперты и во втором опросе значимо чаще будут предпочитать количественные варианты представления результатов тестирования. Напрасно: значимых различий между предпочтениями количественной и качественной формы представления информации не наблюдается. Означает ли это, что половина экспертов во всех случаях выбирала количественную форму представления данных, а половина — во всех случаях качественную? Анализ индивидуальных предпочтений показывает, что лишь 30% во всех трех случаях4 предпочли качественное (текстовое) представление информации, 26 — во всех трех случаях количественное, а остальные 44% меняли предпочтения от резюме к резюме. То есть мы имеем три группы экспертов: 1) поклонники
3 Вопрос о дефиците времени тоже, кстати, был задуман как контрольный, он должен был перенести участников «с небес на землю» — от идеалистических деклараций к каждодневной реальности.
4 Эта цифра достаточно неплохо соотносится с 25% респондентов, выбравших качественное представление данных в ситуации нехватки времени.
119
количественной информации, 2) поклонники качественной информации и 3) эксперты, предпочитающие качественную или количественную информацию в зависимости от содержания контекстуально значимой дополнительной информации. Скорее всего это означает, что предпочтения экспертов определяются не только и не столько функциональным удобством информации для анализа, сколько индивидуальными свойствами экспертов (например, возрастом, полом стажем работы, характером образования, структурой интеллекта и т.д.).
К сожалению, в нашем исследовании индивидуальные свойства экспертов проконтролированы не были, поэтому на имеющемся материале ничего более конкретного мы выяснить не можем. Однако данные авторов, изучавших связь индивидуальных особенностей клиентов с восприятием тестовых интерпретаций, говорят о том, что наши предположения не безосновательны. Так, Д.М. Кивлигану и Р.М. Шапиро (Kivlighan, Shapiro, 1987) удалось показать, что для испытуемых, относящихся к реалистичному и исследовательскому типам по Д. Холланду, наиболее полезна и удобна самостоятельная интерпретация опросника Холланда, включая самостоятельный подсчет баллов. В ряде других исследований была показана связь индивидуальных особенностей клиентов с их восприятием результатов тестирования. Среди переменных, попавших в поле зрения исследователей, — установки клиентов (Brown, 1966), степень участия клиента в интерпретации (Dressell, Mattson, 1950; Rogers, 1954), академическая успеваемость (Hay, Rohen, Murray, 1976; Swanson, 1964), уровень интеллекта (Froehlich, Moser, 1954; Rogers, 1954; Swanson, 1964), возраст (Hay, Rohen, Murray, 1976), социоэкономический статус (Swanson, 1964).
Гипотеза 4. Возвращаясь к табл. 1, заметим, что по сравнению с остальными специалистами, использующими психологическое тестирование, рекрутеры значительно чаще предпочитают информацию в виде профиля + текста, чем в виде таблицы + профиля + текста, видимо полагая, что и таблица и профиль — это избыточно. Этот факт мы можем интерпретировать как желание уменьшить объем обрабатываемой информации (только необходимое и достаточное) и засчитать «очко» в пользу четвертой гипотезы. Итак, предпочитаемая форма представления результатов тестирования зависит от характера деятельности, в рамках которой используется психодиагностика.
Задача следующего исследования в данном направлении — сформулировать и проверить более точную гипотезу о связи содержания деятельности с предпочитаемыми формами представления психодиагностической информации.
120
Выводы
Анализ результатов показал, что факторы, влияющие на эффективность различных способов представления психодиагностической информации, вероятно, более сложны, чем выдвинутые нами сравнительно простые предположения. Из сформулированных нами гипотез первая (о предпочтении информации в терминах компетенций) подтвердилась частично, вторая (об эффекте формы, обусловленном содержанием) и третья (о предпочтении количественной информации) были отвергнуты. В то же время анализ результатов показал, что в своем предположении о влиянии содержания деятельностной, профессиональной задачи на предпочитаемые формы психодиагностической информации (в частности о влиянии контекстной информации и текущей задачи специалиста) мы, очевидно, на верном пути. Полученные данные позволяют предположить, что мы имеем дело с тремя одновременно и, вероятно, разнонаправлено действующими факторами: 1) характер и содержание деятельностной задачи, в рамках которой используется тестирование; 2) степень значимости психодиагностической информации для принятия решения в конкретной ситуации анализа; 3) индивидуальные особенности субъекта, производящего анализ результатов тестирования.
На основе имеющихся данных была сформулирована постэкспериментальная гипотеза о криволинейной зависимости между степенью значимости психодиагностической информации и различиями в предпочтениях различных форм представления результатов тестирования. Согласно этой гипотезе, различия в предпочтениях незначительно проявляются при низкой и высокой значимости психодиагностической информации.
Для проверки этой новой постэкспериментальной гипотезы нужны дополнительные исследования, требующие учета большего числа факторов в ходе изначального планирования эксперимента.
СПИСОК ЛИТЕРАТУРЫ
Аксенова Е.А., Базаров Т.Ю., Еремин Б.Л. и др. Управление персоналом: Учебник / Под ред. Т.Ю. Базарова, Б.Л. Еремина. 2-е изд., перераб. и доп. М., 2002.
НауменкоА.С. Классификация различных способов предъявления психодиагностической информации // Дружининские чтения: Материалы 4-й Международной научно-практической конференции (г. Сочи, 5—7 мая 2005 г.). Сочи, 2005. С. 163—164.
Науменко А.С. Влияние формы тестовых интерпретаций на принятие решений специалистами по подбору персонала // Психология. 2007. № 3. С. 127—140.
Шмелев А.Г. Введение в экспериментальную психосемантику: теоретикометодологические основания и психодиагностические возможности. М., 1983.
121
AdamsK.M., Shore D.L. The accuracy of an automated MMPI interpretation system in a psychiatric setting // J. of Clin. Psychol. 1976. Vol. 32. P. 80—82.
Bass B.M., Cascio W.F., O’Connor E.J. Magnitude estimations of expressions of frequency and amount // J. of Applied Psychol. 1974. Vol. 59. P. 313—320.
Beyth-Marom R. How probable is probable? A numerical translations of verbal probability expressions // J. of Forecasting. 1982. Vol. 1. P. 257—269.
Brown R.E. Acceptance of scholastic ability data and personal adjustment // Vocational Guidance Quarterly. 1966. Vl. 14. P. 111—114.
Brun W., Teigen K.H. Vferbal probabilities: Ambiguous, context-dependent, or both? // Organizat. Behav. and Human Decis. Proc. 1988. Vol. 41. P. 390—404.
Budescu D.V., Wallsten T.S. Consistency in interpretation of probabilistic phrases // Organizat. Behav. and Human Decis. Proc. 1985. Vol. 36. P. 391—405.
Clarke V.A., Ruffin C.L., Hill D.J., Beamen A.L. Ratings of orally presented verbal expressions of probability by a heterogeneous sample // J. of Appl. Soc. Psychol. 1992. Vol. 22. P. 638—656.
Dressel P.L., Mattson R.W. The effect of client participation in test interpretation // Educat. and Psychol. Measurement. 1950. Vol. 10. P. 693—706.
Eyde L.D., Kowal D.M., Fishburne F.J., Jr. The validity of computer-based test interpretations of the MMPI // The computer and the decision-making process / Ed. by T.B. Gutkin, S.L. Wise. Hillsdale, NJ, 1991. P. 75—123.
Finn S.E., Tonsager M.E. Therapeutic effects of providing MMPI-2 test feedback to college students awaiting therapy // Psychol. Assess. 1992. Vol. 4. P. 278—287.
Foley B.J. The expression ofcertainty // Amer. J. of Psychol. 1959. Vol. 72. P. 614—615.
Froehlich C.P., Moser W.E. Do counselees remember test scores? // J. of Counseling Psychol. 1954. Vol. 1. P. 149—152.
Goldman L. The use of tests in counseling. N.Y., 1973.
Goodyear R.K. Research on the effects of test interpretation // The Counseling Psychologist. 1990. Vol. 18. P. 240—257.
Green C.J. The diagnostic accuracy and utility of MMPI and MCMI computer interpretive reports // J. of Person. Assess. 1982. Vrl. 46. P. 359—365.
Hanson W.E., Claiborn C.D. Effects of test interpretation style and favorability in the counseling process // J. of Counseling and Development. 2006. Vol. 84. P. 349—357.
Hay N.M., Rohen T.M., Murray R.E. Three approaches to vocational counseling: A multifactor evaluation // J. of College Student Personnel. 1976. Vol. 17. P. 475—479.
Hoffman M.A., Spokane A.R., Magoon T.M. Effects of feedback mode on counseling outcomes using the Strong-Campbell Interest Inventory: Does the counselor really matter? // J. of Counseling Psychol. 1981. Vol. 28. P. 119—125.
Johnson E.M. Encoding of qualitative expressions of uncertainty // Technical paper N 250. Arlington (VA): U.S. Army Research Institute for the Behavioral an Social Sciences, 1973.
Kivlighan D.M., Shapiro R.M. Holland type as a predictor of benefit from self-help career counseling // J. of Counseling Psychol. 1987. Vol. 34. P. 326—329.
Labeck L.J., Johnson J.H., Harris W.G. Validity of a computerized on-line MMPI interpretive system // J. of Clin. Psychol. 1983. Vol. 39. P. 412—416.
Lachar D. Accuracy and generalizability of an automated MMPI interpretation system // J. of Consult. and Clin. Psychol. 1974. Vol. 42. P. 267—273.
Lichtenberg J.W., Hummel T.J. The communication of probabilistic information through test interpretations // Paper presented as part of a symposium at the American Psychological Association Annual Convention (106th, San Francisco, CA, August 14— 18, 1998). 1998.
122
Lichtenstein S., Newman J.R. Empirical scaling of common verbal phrases associated with numerical probabilities // Psychonomic Sci. 1967. Vol. 9. P. 563—564.
Ness M.E. Ordinal positions and scale values of probability terms as estimated by three methods // Measurement and Evaluation in Counseling and Development. 1995. Vol. 28. P. 152—161.
Newman M.L., Greenway P. Therapeutic effects ofproviding MMPI-2 test feedback to clients at a university counseling center: A collaborative approach // Psychol. Assess. 1997. Vol. 9. P. 122—131.
Petty R.E., Cacioppo J.T. The elaboration likelihood model of persuasion // Advances in Exper. Soc. Psychol. 1986. Vol. 19. P. 123—205.
Randahl G.J., Hansen J.C., Haverkamp B.E. Instrumental behaviors following test administration and interpretation: Exploration validity of the Strong Interest Inventory // J. of Counseling and Development. 1993. Vol. 71. P. 435—439.
Rogers L.B. A comparison of two kinds of test interpretation interview // J. of Counseling Psychol. 1954. Vol. 1. P. 224—231.
Rubinstein M.R. Integrative interpretation of vocational interest inventory results // J. of Counseling Psychol. 1978. Vol. 25. P. 306—309.
Simpson R.H. The specific meanings of certain terms indicating differing degree of frequency // The Quar. J. of Speech. 1944. V. 30. P. 328—330.
Simpson R.H. Stability in meanings for quantitative terms: A comparison over 20 years // The Quar. J. of Speech. 1963. Vol. 49. P. 146—151.
Swanson R.A. A study of factors related to distortion of interest inventory information interpreted to individuals and groups // Dissertation Abstracts. 1964. Vol. 304. (Order number 64—4214).
Tinsley H.E.A., Chu S. Research on test and interest inventory interpretation outcomes // Vocational interests: Meaning, measurement, and counseling use / Ed. by M.L. Savickas, R.A. Spokane. Palo Alto, CA, 1999. P. 257—276.
Wallsten T.S., Fillenbaum S., Cox J.A. Base rate effects on the interpretation of probability and frequency expressions // J. of Memory and Language. 1986. Vol. 25. P. 571—587.
Webb J.T., Miller M.L., Fowler R.D., Jr. Validation of a computerized MMPI interpretation system // Proceedings of the Annual Convention of the American Psychological Association. 1969. P. 523—524.
Webb J.T., Miller M.L., Fowler R.D., Jr. Extending professional time: A computerized MMPI interpretation service // J. of Clin. Psychol. 1970. Vol. 26. P. 210— 214.
Williams J.E., WeedN.C. Relative User Ratings of MMPI-2 Computer-Based Test Interpretations // Assessment. 2004. Vol. 11. P. 316—329.
Поступила в редакцию 06.12.07
