CC BY
832
УДК 330.43 Л791
Лосева Ольга Владиславовна
кандидат педагогических наук, доцент кафедры статистики
Всероссийского заочного финансово-экономического института
(филиал в г. Пензе)
СТАТИСТИЧЕСКИЙ АНАЛИЗ РЕЗУЛЬТАТОВ ТЕСТИРОВАНИЯ ПЕРСОНАЛА
Аннотация:
В статье описана методика статистического анализа результатов тестирования персонала, направленная на выявление разного рода различий, имеющих управленческое значение. Методика основана на проверке гипотез с помощью соответствующих критериев.
Ключевые слова: результаты тестирования, проверка гипотез, критерии различия.
Тестирование персонала является одной из важных составляющих системы кадрового менеджмента организации. Этому в немалой степени способствует появление на отечественном рынке информационных технологий разнообразных компьютерных программ для психологической диагностики и аттестации работников организации.
Существует ряд должностей, предъявляющих особые требования к личности человека, его свойствам и поведению. В этих случаях диагностика сотрудника является совершенно необходимой для профессионального отбора и подготовки человека к работе. Тестирование персонала позволяет руководителю:
- определить личностные свойства и качества сотрудников для построения более эффективных систем управления;
- своевременно выявить назревание конфликтных ситуаций и определить пути их разрешения;
- планировать вопросы карьерного роста и ротации кадров;
- обосновать кадровые перемещения и т. д.
Основными направлениями тестирования являются социально-психологическая или профессиональная диагностика персонала. Первая направлена, как правило, на определение темперамента, уровня тревожности, мотивации, депрессивных состояний, стрессоустойчивости, стратегий психологической защиты, структуры ценностей, склонностей к алкоголизму и асоциальному поведению и других характеристик личности. Вторая может исследовать оценку успешности работника в различных сферах деятельности, уровень ситуативной надежности личности, профессиональной пригодности и компетентности сотрудника, его лояльности и т. п.
Однако помимо основной цели - оценки сотрудника по ряду параметров - полученные в результате тестирования данные могут использоваться менеджерами по персоналу для различных сопоставлений, в частности:
- сравнительного сопоставления групп работников по какому-то признаку;
- сопоставления результатов исследования работников с первоначальными данными или результатами контрольной группы;
- сопоставления двух и более признаков или двух и более профилей признаков (иерархий), измеренных на одной и той же выборке тестируемых, с целью определения согласованности их изменений;
- сопоставления индивидуальных значений полученных характеристик работника с измененными характеристиками под влиянием контролируемых факторов.
Каждый вид сопоставления представляет собой определенную задачу статистического анализа, решение которой имеет то или иное управленческое значение. Рассмотрим каждую из них подробнее.
Выявление групповых различий работников в уровне исследуемого признака.
Эта задача является актуальной при определении различий по какому-то признаку между двумя группами (командами) работников, выполняющих одну и ту же задачу, например занимающихся разработкой инновационных проектов. В качестве признака в этом случае может выступать уровень компетенции, сплоченности, креативности и т. д. Другим вариантом этой же задачи является упорядочивание работников группы (команды) по определенному параметру (например, уровню толерантности, лидерским качествам), которая сформирована по какому-то другому признаку (например, уровню образования, возрасту, типу темперамента и т. п.).
В зависимости от количества обследуемых групп и их объема для проверки соответствующих гипотез используются различные непараметрические критерии. Основным условием применения критериев является возможность упорядочивания (ранжирования) работников по полученным результатам, которую представляют большинство тестов. В таблице 1 приведены основные задачи данного вида сопоставления, рекомендуемые критерии для независимых групп тестирующихся и ограничения их применения.
Таблица 1 - Выбор критерия для выявления групповых различий, полученных при тестировании по исследуемому признаку
№ Задача Критерий Ограничения
1 Определить, существуют ли различия между двумя независимыми группами (командами) работников по какому-то признаку? ^критерий Манна-Уитни Границы объемов групп: (п1 , п2 > 3) или (п1 = 2, п2 > 5) (п1 , п2 < 60)
2 Определить, существуют ли различия между тремя и более независимыми группами (командами) работников по какому-то признаку? Н-критерий Крускала-Уоллеса Кол-во групп с = 3, объемы групп: (п1 , п2, п3 < 5)
Критерий х2 Пирсона Кол-во групп с = 4 и более, объем хотя бы одной группы больше 5. Число степеней свободы V = с - 1
3 Упорядочить группы, сформированные по качественному признаку (полу, профессии и т. п.), по какому-то количественному признаку S-критерий Джонкира (мера выраженности признака) Кол-во групп 3 < с < 6, объемы групп должны совпадать, причем быть не менее 2 и не более 10
Продолжение таблицы 1
4 Упорядочить группы, сформированные по количественному признаку (возрасту, уровню интеллекта), по какому-то другому количественному признаку S-критерий Джонкира (мера связи количественных признаков) Кол-во групп 3 < с < 6, объемы групп должны совпадать, причем быть не менее 2 и не более 10
В основе применения приведенных критериев лежит следующий алгоритм.
1. Формулируются альтернативные гипотезы:
Н0 - выбранные группы не имеют значимых различий по исследуемому признаку;
Н1 - выбранные группы значимо различаются по исследуемому признаку.
2. Определяются эмпирические значения критериев по расчетным формулам [1].
3. По таблице находятся теоретические значения критериев, зависящие от выбранного уровня значимости (а = 0,05 или а = 0,01), а также от количества и объема групп.
4. Если эмпирическое значение равно или превышает теоретическое значение критерия, то гипотезу Н0 отвергают и принимают гипотезу Н1.
5. Если гипотезу Н0 не удалось отвергнуть, то это не означает, что различий действительно не существует. Возможно, что применение другого более мощного критерия поможет их выявить, например угловое преобразование Фишера ф , которое предназначено для сопоставления двух выборок по частоте встречаемости интересующего исследователя эффекта (например, в какой группе работников креативные способности выше заданного значения). Верхнего предела по объему групп у данного критерия не существует, а нижний - не менее пяти наблюдений.
Для расчета критериев рекомендуется применять специализированные статистические пакеты обработки данных - 5Р55, БТАНЭТЮЛ.
Оценка достоверности сдвига в значениях исследуемого признака.
В этом случае важно проследить - произошли ли существенные изменения (сдвиги) в значениях измеряемых показателей в результате действия каких-либо факторов.
В частности, рассмотрим следующие наиболее часто встречающиеся виды сдвигов:
1) временной сдвиг - изучение психологических, профессиональных параметров в зависимости от возраста или стажа работы;
2) сдвиг под влиянием контролируемых воздействий - изменение интересующих параметров работника под влиянием тренинга, реализации программ саморазвития, обучения и т.п.;
3) ситуационный сдвиг - изучение показателей в разных условиях измерения (компьютерный и бумажный варианты тестирования, тестирование в спокойной или напряженной обстановке и т. п.).
В первом случае возможно использование независимых выборок - одновременное тестирование двух и более экспериментальных разновозрастных групп (когда отсутствует возможность долговременного проведения исследований).
Во втором случае полученные результаты экспериментальной группы необходимо сравнить с результатами контрольной группы, которая не подвергалась никакому воздействию. Иначе мы не можем с уверенностью утверждать, что достигнутые изменения объясняются именно нашими контролируемыми воздействиями, а не появились в силу действия других неучтенных факторов. При этом экспериментальная и контрольная группы испытуемых являются независимыми выборками.
Для независимых выборок можно применять уже рассмотренный ^критерий Манна-Уитни, а также угловое преобразование Фишера ф (для зависимых и независимых выборок).
Если измерения проводились на одной и той же группе испытуемых, то необходимо использовать критерии для связанных (зависимых) выборок. Выбор соответствующего критерия определяется видом сдвигов и количеством измерений признака. Критерии оценки статистической достоверности полученных сдвигов приведены в таблице 2.
Таблица 2 - Критерии оценки достоверности сдвигов в значениях исследуемого признака
№ Вид сдвига Условия применения и ограничения Критерий
1 Временной, ситуационный Кол-во измерений - 2, кол-во групп - 1, объем группы 5 < п < 50 Т-критерий Вилкоксона (определяет направление и интенсивность сдвига, причем нулевые сдвиги из рассмотрения исключаются)
Кол-во измерений от 3 до 6, кол-во групп - 1, объем группы п < 12 L-критерий Пейджа (позволяет определить направление изменений)
Кол-во измерений - 2, кол-во групп - 2 ^критерий Манна-Уитни, угловое преобразование Фишера ф
2 Под влиянием контролируемых воздействий 1) при отсутствии контрольной группы
Кол-во измерений - 2 Т-критерий Вилкоксона
Кол-во измерений от 3 до 6, объем группы п < 12 L-критерий Пейджа
2) при наличии контрольной группы
сопоставление значений «до» и «после» отдельно по двум группам Т-критерий Вилкоксона (если кол-во измерений - 2); L-критерий Пейджа (если кол-во измерений от 3 до 6)
Сопоставление сдвигов в двух группах ^критерий Манна-Уитни, угловое преобразование Фишера ф
Алгоритм применения критериев для связанных выборок аналогичен ранее рассмотренному алгоритму применения критериев для независимых выборок. Отличие заключается в формулировках альтернативных гипотез. Для Т-критерия Вилкоксона они имеют вид:
Н0 - интенсивность сдвигов значений исследуемого признака в типичном направлении не превосходит интенсивность сдвигов в нетипичном направлении;
Н1 - интенсивность сдвигов значений исследуемого признака в типичном направлении превышает интенсивность сдвигов в нетипичном направлении.
Типичным направлением сдвига считается более часто встречающееся направление (положительное или отрицательное), нетипичным - реже встречающееся.
Если эмпирическое значение критерия равно или превышает теоретическое значение, найденное по таблице, то сдвиг в типичную сторону достоверно преобладает.
Для L-критерия тенденций Пейджа формулировки альтернативных гипотез следующие:
Н0 - увеличение индивидуальных значений при смене условий случайно;
Н1 - увеличение индивидуальных значений при смене условий неслучайно.
Соответственно, если эмпирическое значение критерия больше или равно теоретического, то выявленная тенденция к росту параметра достоверна.
Для ф -критерия Фишера в общем виде альтернативные гипотезы формулируются так:
Н0 - доля лиц, обладающая интересующим исследователя эффектом, в первой группе не превышает долю таких же лиц во второй группе;
Н1 - доля лиц, обладающая интересующим исследователя эффектом, в первой группе значимо отличается от доли таких же лиц во второй группе.
Если эмпирическое значение критерия равно или превышает теоретическое (табличное) значение критерия, то гипотеза Н0 отвергается.
Определение степени согласованности признаков или объектов.
Здесь предполагается наличие двух или нескольких рядов данных для определения степени согласованности:
1) двух или нескольких признаков, измеренных по одной и той же совокупности испытуемых (например, уровень мотивации и уровень средней зарплаты работника);
2) двух или нескольких испытуемых по одной и той же совокупности признаков (например, схожи ли работники по типу темперамента или уровню лояльности);
3) индивидуальных значений признака со среднегрупповыми;
4) двух или нескольких групп одного объема по одной и той же совокупности признаков.
Во всех четырех случаях речь идет о корреляционной связи, которая свидетельствует о том, что изменение одной величины или совокупности величин сопровождается изменениями другой величины или других величин. Содержательное ограничение корреляционного анализа состоит в том, что он позволяет обнаружить наличие связи, но не дает оснований для установления причинно-следственных связей. Иными словами, наличие тесной корреляционной связи между величинами X и У еще не говорит о том, что У зависит от X (или наоборот), а может свидетельствовать о наличии третьей латентной величины 2, с которой они обе связаны. Это необходимо учитывать при интерпретации результатов. В качестве меры корреляционной связи в нашем исследовании использовались следующие коэффициенты:
- параметрический коэффициент линейной корреляции г:
X yX х
п ; (1)
X ух--
г = -
X у2 - (х^у)-
п
- непараметрический коэффициент множественной конкордации ю и его частный случай - коэффициент парной конкордации ю’ [2]:
у = 1 -
XXX\хк -хА
[=1 )=1 к =1_____
пт (т - 1)(к -1)
(2)
XI
1=1
у = 1 - .
п (к -1)
Их характеристика, условия применения приведены в таблице 3.
Таблица 3 - Сравнительная характеристика показателей согласованности изменений величин
№ Характери- стика Коэффициент линейной корреляции г Коэффициент конкордации (согласованности) w
1 Расчетная формула 1) для двух величин - коэффициент парной корреляции Пирсона (формула (1)); 2) для нескольких величин - базируется на вычислении парных коэффициентов корреляции 1) для двух величин - коэффициент парной конкордации w’ (формула (3)); 2) для нескольких величин -коэффициент множественной конкордации (формула (2))
2 Пределы изменения -1 < г < 1 R > 0 ^ связь прямая R < 0 ^ связь обратная 0 < w < 1
3 Степень тесноты Оценивается по таблице Чэддока: 0 < г < 0,1 ^ отсутствует; 0,1 < г < 0,3 ^ слабая; 0,3 < г < 0,5 ^ умеренная; 0,5 < г < 0,7 ^ заметная; 0,7 < г < 0,9 ^ тесная; 0,9 < г < 0,99 ^ очень тесная; г = 1 ^ функциональная w = 0 ^ отсутствует w < 0,65 ^ слабая 0,65 < w < 0,75 ^ умеренная 0,75 < w < 0,85 ^ хорошая 0,85 < w < 1 ^ высокая w = 1 ^ полная согласованность
4 Условия применения 1) величины должны быть измерены в шкале интервалов или шкале отношений; 2) значения всех величин имеют нормальный закон распределения; 3) сопоставляемые ряды данных одинаковы по объему; 4) изменения значений величин носят линейный характер; 5) для определения значимости применяется ¿-критерий Стьюдента 1) величины должны быть измерены в категориях качества, задаваемых исследователем; 2) подчинение нормальному закону распределения не требуется; 3) сопоставляемые ряды данных одинаковы по объему; 4) изменения значений величин носят произвольный характер; 5) не требует определения значимости, так как находит процент согласованности
Коэффициент конкордации, на наш взгляд, является более универсальным: он не требует нормализации исходных «сырых» тестовых баллов испытуемых, доказательства своей значимости. Его недостатком является трудоемкость расчетов (для множественной конкордации), поскольку он не автоматизирован в специальных прикладных пакетах обработки данных. Но этот недостаток можно устранить, создав специальную программу для определения значения данного коэффициента.
Вместе с тем применение линейного коэффициента корреляции является оправданным, так как процедура стандартизации тестовых баллов, описанная во многих учебных пособиях по психометрике [3], приводит к соблюдению всех условий его применения и расчет данного коэффициента автоматизирован как для парной, так и для множествен-
ной корреляции. Гипотезы, которые мы проверяем с помощью данного коэффициента, формулируются в общем виде следующим образом:
Н0 - корреляция между двумя или более признаками (испытуемыми, группами испытуемых) не отличается от нуля;
Н1 - корреляция между двумя или более признаками (испытуемыми, группами испытуемых) статистически значимо отличается от нуля.
Таким образом, если коэффициент конкордации свидетельствует о достаточно высокой степени согласованности, то необходимо определить и линейный коэффициент корреляции. Это позволит, во-первых, установить направление связи. Во-вторых, значимое отличие коэффициента корреляции от нуля говорит о том, что целесообразно построить линейную модель регрессии, на основе которой получить дополнительные выводы о зависимости между исследуемыми величинами.
Анализ изменчивости признака под влиянием контролируемых факторов.
Для изучения изменчивости признака под влиянием одного или нескольких факторов проводят однофакторный или многофакторный (как правило, двухфакторный) дисперсионный анализ. При дисперсионном анализе устанавливаются причинноследственные связи, при которых одни переменные рассматриваются как факторы, а другие являются результативными признаками, зависящими от факторов. В этом заключается отличие дисперсионного анализа от корреляционного, в котором просто изучается согласованность изменений величин.
Задача дисперсионного анализа состоит в том, чтобы из общей вариативности признака вычленить:
1) вариативность, обусловленную действием одного или двух и более независимых факторов;
2) вариативность, обусловленную взаимодействием факторов (при двухфакторном дисперсионном анализе);
3) случайную вариативность, обусловленную всеми другими неизвестными факторами.
Другими словами, сущность дисперсионного анализа заключается в расчленении общей дисперсии изучаемого результативного признака на отдельные компоненты, обусловленные влиянием конкретных факторов. Сравнивая компоненты дисперсии друг с другом с помощью F-критерия Фишера, можно определить, какая доля общей вариативности результативного признака обусловлена действием факторов.
Однофакторный дисперсионный анализ базируется на расчете дисперсий трех видов:
- общей дисперсии, вычисленной по всей совокупности экспериментальных данных;
- межгрупповой дисперсии, характеризующей вариативность групповых средних под влиянием признака-фактора;
- внутригрупповой дисперсии, характеризующей случайную (остаточную) вариацию результативного признака под влиянием неучтенных факторов.
Данный метод может рассматриваться в двух вариантах:
1) для дисперсионных таблиц, в которых влиянию разных градаций фактора подвергнуты разные выборки тестируемых (анализ для несвязанных выборок);
2) для дисперсионных таблиц, представляющих данные одной и той же выборки, подвергнутых влиянию разных градаций фактора (анализ для связанных выборок).
Дисперсионная таблица должна быть равномерной, т. е. каждой градации фактора должно соответствовать одинаковое число наблюдений, причем не менее двух. Это по-
зволяет обойти требование равенства дисперсий для каждой градации фактора. Если все же количество наблюдений разное, то «лишние» наблюдения необходимо отсечь путем случайного отбора.
Число градаций фактора должно быть не менее трех. В противном случае проще использовать непараметрические критерии для анализа исследуемой зависимости, рассмотренные выше. Для первого варианта подойдет Н-критерий Крускала-Уоллеса, для второго - Ь-критерий Пейджа. Однако, если объемы выборок неограниченны, то преимущество остается за дисперсионным анализом.
Алгоритм проведения однофакторного дисперсионного анализа для несвязанных выборок представляет собой следующую последовательность этапов.
1. Составляется дисперсионная таблица, в столбцах которой находятся группы испытуемых, получивших ту или иную градацию факторного признака, а в ячейках - соответствующие значения результативного признака.
2. Обосновывается нормальность распределения результативного признака.
Рассмотрим достаточно простую методику проверки нормальности распределения
результативного признака, предложенную Е.И. Пустыльником [4]:
а) рассчитываются эмпирические значения коэффициентов асимметрии и эксцесса по формулам:
А = У (У ~ У ) • (4)
эмп 3 ’
п а
У (у - У)4
Е эмп =^ 4 -3; (5)
п а
б) определяются теоретические значение коэффициентов асимметрии и эксцесса по формулам:
А = 3
6(п -1)
• (6)
(п + 1)(п + 3)
Е = 5
■у
24п (п - 2)(п - 3)
(7)
(п + 1)2(п + 3)(п + 5)
в) если \Аэмп\< Акр и \Еэмп\< Екр, то распределение результативного признака не отличается от нормального.
Данный метод эффективен, если объем результативного признака не превышает 40. В противном случае лучше использовать Л-критерий Колмогорова, расчет которого автоматизирован.
3. Выдвигаются альтернативные гипотезы:
Н0 - различия в градациях фактора являются не более выраженными, чем случайные различия внутри каждой группы;
Н1 - различия в градациях фактора являются более выраженными, чем случайные различия внутри каждой группы.
4. Осуществляется дисперсионный анализ (например, с помощью пакета «Анализ данных» в Бхое!).
При проведении однофакторного дисперсионного анализа для связанных выборок исследуется влияние разных градаций фактора на одну и ту же группу испытуемых. Если в предыдущем случае различия между градациями фактора отражали индивидуальные
различия (испытуемые с разным уровнем степени сосредоточения), то теперь различия между градациями фактора могут проявиться только вопреки индивидуальным различиям. Сам фактор индивидуальных различий может оказаться более значимым, чем изменения экспериментальных условий.
Двухфакторный дисперсионный анализ позволяет оценить не только влияние каждого фактора в отдельности, но и их взаимодействие. Может оказаться, например, что фактор XI значимо действует на результативный признак только при небольших значениях другого фактора Х2. Или один из факторов может усилить действие другого.
Сама дисперсионная таблица должна быть симметрична: каждой градации фактора
Х1 должно соответствовать одинаковое число градаций фактора Х2, причем количество наблюдений должно быть одинаковым для каждой группы.
Если мы измеряем одни и те же показатели у одних и тех же испытуемых несколько раз (в разных условиях, после обучения, с помощью параллельных форм диагностирующих методик), то нам необходимо провести множественное сравнение показателей при переходе от одного условия к другому. Непараметрические критерии не позволяют это сделать, так как необходимо определить тенденцию изменения признака под влиянием двух факторов одновременно. Только двухфакторный дисперсионный анализ для связанных выборок способен справиться с этой задачей. При этом последовательность действий аналогична анализу для несвязанных выборок.
Таким образом, предложенная методика статистического анализа полученных результатов психологического или профессионального тестирования персонала является инструментом для решения дополнительных задач кадрового менеджмента, в частности:
- выявления статистически значимых различий между отделами, группами по диагностируемым параметрам;
- выявления коррелируемости (согласованности) изменений различных характеристик сотрудников;
- определение изменения заданного параметра при контролируемом влиянии другого фактора или совокупности факторов, например при оценке эффективности тренинга или других управляющих воздействий.
Ссылки:
1. Носс И.Н. Психодиагностика. Тест, психометрия, эксперимент. М., 1999. 320 с.
2. Статистический анализ многомерных объектов произвольной природы / В.И. Васильев, В.В. Красильников, С.И. Плаксий и др. М., 2004. 382 с.
3. Бурлачук Л. Ф. Психодиагностика : учебник для вузов. СПб., 2006. 351 с.
4. Ермолаев О.Ю. Математическая статистика для психологов. М., 2003. 336 с.
