CC BY
39
Вестник Санкт-Петербургского университета МВД России № 3 (31) 2006
Е.Ю. Ярошевская*, В.А. Шаповал**, А.М. Ельяшевич***
Моделирование индивидуальных вероятностных оценок
психометрических характеристик
при усовершенствовании и разработке
психодиагностических опросников
для профессионального психологического отбора
и психологического мониторинга
сотрудников органов внутренних дел
В настоящее время в практике психологического обеспечения сотрудников органов внутренних дел все более широкое распространение находят различные психодиагностические методики. В основном это личностные опросники, используемые как при профессионально-психологическом отборе кандидатов на службу в ОВД и учебу в вузах МВД РФ, так и при проведении периодического психодиагностического мониторинга профессионального здоровья и личностного развития сотрудников в процессе профессиональной деятельности, сопряженной с особыми условиями и риском для жизни.
Однако результаты тестирования испытуемых с помощью личностных опросников зачастую не согласуются с выводами экспертов о психологических характеристиках их личности. Одной из причин таких расхождений считается низкая точность психодиагностических опросников. Поэтому совершенствование существующего и создание нового, более точного психодиагностического инструментария, является весьма актуальным и необходимо для успешности психологической диагностики в практике психологической службы ОВД. Решение данной задачи может быть связано прежде всего с необходимостью определения погрешности измерения используемых психодиагностических опросников.
Существующие методы вычисления такой погрешности пока не позволяют это сделать сколько-нибудь эффективно.
Каждый психодиагностический опросник содержит одну или несколько групп вопросов (шкал), по ответам на которые определяют выраженность той или иной психологической характеристики испытуемого. Доля ответов испытуемого, соответствующих определяемой психологической характеристике (ключевых ответов), служит мерой степени выраженности этой характеристики. Принято считать, что существует объективная, присущая данному испытуемому степень выраженности этой характеристики, и вопросы подобраны так, что ключевые ответы свидетельствуют о большей выраженности определяемой характеристики. Однако эта связь имеет вероятностную природу, причем вероятность ответа на каждый вопрос зависит не только от степени выраженности данной черты, но и от иных индивидуальных особенностей испытуемого. Поэтому можно говорить только о средней зависимости вероятности ключевого ответа на каждый вопрос от степени выраженности психологической черты. При этом указанные средние зависимости могут быть различными для представителей различных социальных и возрастных групп.
Если для всех вопросов усредненные зависимости вероятности ответа от степени выраженности психологической характеристики примерно одинаковы, а распределение выраженности черты в испытуемой группе близко к распределению выраженности черты у группы, на которой проходила проверка валидности и надежности данного опросника, то погрешность оценки выраженности черты по доле ключевых ответов может быть определена, причем эта погрешность будет зависеть от того, насколько эта доля отличается от средней по группе.
Показателями «равноценности» вопросов для данной группы испытуемых является близость среднего числа ключевых ответов на каждый из вопросов (нормальным считается ситуация, когда
* Доцент кафедры управления в социально-экономических системах Санкт-Петербургского государственного политехнического университета.
** Профессор кафедры общей и практической психологии Санкт-Петербургского университета МВД России, кандидат медицинских наук, доцент, полковник милиции.
** Профессор кафедры управления в социально-экономических системах Санкт-Петербургского государственного политехнического университета, доктор физико-математических наук, профессор.
среднее число ключевых ответов на каждый вопрос лежит в интервале от 0,4 до 0,6) и близость коэффициентов корреляции (КК) оценки ответа испытуемого (ключевой - 1, противоположный - 0) с суммой ключевых ответов данного испытуемого. Для того чтобы корреляция была значимой, КК должно быть больше 0,3.
На практике эти условия не соблюдаются. Проведенный нами анализ результатов опроса с помощью одного из наиболее солидных и широкоизвестных опросников - Стандартизованного метода исследования личности - СМИЛ (русскоязычной версии опросника ММР1), 384 женщин, сотрудников службы занятости вузов Санкт-Петербурга показал, что значения КК для разных вопросов лежат в интервале от 0,56 до -0,22, а условию КК > 0,3 из 70 вопросов шкалы социальной интроверсии отвечают только 30. Среднее число ключевых ответов лежит в интервале от 0,04 до 0,89.
Неравноценность вопросов приводит к следующим выводам.
1. Степень выраженности черты нельзя оценивать только по доле ключевых ответов, необходимо учитывать значимость этих вопросов.
2. Погрешность измерения характеристики не является одинаковой для всех испытуемых, и ее можно рассчитать, только зная, на какие из вопросов были даны ключевые ответы.
Определение «индивидуальной» погрешности оценки психометрической характеристики особенно важно при применении опросников в системе МВД, т.к. слишком велика бывает цена ошибки при приеме на работу или в учебное заведение органов МВД человека с характеристиками, не соответствующими требованиям его профессиональной деятельности. Каков же выход? К каждому курсанту и к каждому сотруднику «прикрепить» личного психолога? Эффективно, но неосуществимо. Особенно когда необходимо достаточно быстро произвести тестирование большого числа человек. Поэтому практические психологи нуждаются в инструменте, который может ответить на вопрос, насколько точно позволяет применяемый ими личностный опросник оценить личностную характеристику каждого в исследуемой выборке испытуемых.
Такой инструмент может быть создан на основе разработанного нами метода, позволяющего путем анализа ответов на каждый из вопросов каждого из испытуемых рассчитать вероятность того, что испытуемый, ответивший определенным образом на вопросы, характеризуется степенью выраженности черты х (А.М. Ельяшевич, В.А. Шаповал, Е.Ю. Ярошевская, 2004). С помощью этого метода для каждого из испытуемых можно получить кривую, подобную представленным на рис. 1. По этим кривым не представляет трудности рассчитать, какова вероятность того, что значение психометрической характеристики данного испытуемого будет меньше (или больше критического значения, определяемого требованиям, предъявляемым к испытуемому. Чем эже полученный «колокол», ширину которого можно оценить по величине стандартного отклонения у вероятности степени выраженности черты для конкретного испытуемого, тем с большей вероятностью можно принимать решение и о наиболее вероятной степени выраженности черты.
а,35 -I
0.20 --»—
ж '
л ъ
л »
о.15-^----
■ к ■
0,10 -■---
0.П5------
0,00 -г— ■ —
0,05 0,1 0.15 0^ О,.25 0,3 0,35 0,4 0,45 0,5 0£5 0£ 0£5 0.7 0,75 0£ 0&5 О/З 0£5 1
степень выраженности черты
- - ' Вероятность степе*** еыраженноети черты исг^гтуеного
----Вероятность степей выраженности черты исгъп-уемого N*233
----Вероятность етепеш 6ЫрЭЖеНИ0СТИ черты ИСШ>ГТ>еМОГО №401
Рнс. 1. Плотность вероятности степени выраженности социальной ЛI проверен л для трех лепытуемич
Вестник Санкт-Петербургского университета МВД России № 3 (31) 2006
Вестник Санкт-Петербургского университета МВД России № 3 (31) 2006
Разумеется, на практике истинное значение степени выраженности черты испытуемого нам неизвестно. Обычно в распоряжении исследователя имеются лишь показатели, полученные при единственном проведении опроса. В этих обстоятельствах А. Анастази1 предлагает применить приведенные выше рассуждения в обратном порядке: «Если маловероятно, что полученный тестируемым показатель отклонится от истинного показателя более чем на 2,58у, мы могли бы утверждать, что этот истинный показатель должен лежать в пределах 2,58у от полученного им показателя. Следуя этому рассуждению, Гальтон2 предложил использовать стандартную ошибку измерения для оценки разумных границ истинного показателя у лиц с любым полученным в единичном измерении показателем».
Соответственно, индивидуальная оценка X ± 2,58у и есть решение поставленной задачи, поскольку конечной целью любой психодиагностической методики является оценка степени выраженности черты у конкретного испытуемого с наименьшей погрешностью. Таким образом, можно выбирать те психодиагностические методики, которые на конкретном контингенте испытуемых предоставляют наименьшую погрешность измерения.
Практическая психодиагностика предпочитает работать не с «сырыми» первичными баллами, а со стандартизованными тестовыми шкалами. Настоящая методика также предоставляет возможность оценить результаты тестирования каждого испытуемого в этих более удобных для интерпретации баллах, например, в так называемых Т-баллах, стенах или стенайнах.
Исходное распределение по стенам проводилось в соответствии со стандартными видами шкал оценивания в психодиагностике3. Номер стена для испытуемого после восстановления функции распределения рассчитывался как вероятностная величина для дискретных переменных. Особую важность в этом случае представляет возможность методики рассчитать стандартное отклонение, чтобы оценить границы - разброс возможных стенов (стенайнов), в которые может попасть испытуемый.
Знание индивидуальной оценки погрешности необходимо при отборе необходимого количества вопросов в шкалу для оценки личностной черты. В рамках настоящей методики предлагается два подхода.
Подход первый. Задавая желаемую погрешность индивидуальной оценки для наиболее значимого в конкретной стоящей перед практическим психологом задаче интервала степени выраженности черты, можно оценить индивидуальные погрешности, увеличивая количество вопросов в шкале. При достижении желаемого значения погрешности для всех испытуемых из интервала, значимого в рамках конкретной задачи, можно далее не увеличивать количество вопросов.
Подход второй. При увеличении количества вопросов в шкале, рассчитывается соотношение:
к = ,
где утах - максимальное рассчитанное значение стандартного отклонения для испытуемых, суммы ответов которых находятся в значимом для конкретной задачи интервале,
^ - среднее время, необходимое для ответов на N вопросов.
При данном подходе учитываются временные затраты; итоговую шкалу составит такой набор вопросов, который будет характеризоваться минимальным по сравнению с другими наборами значением коэффициента К.
Выбор психодиагностических методик для апробации определялся следующими положениями:
- необходимость проверки эффективности методики на заведомо валидном и надежном опроснике с установленными нормами для исследуемого контингента;
- необходимость проверки методики для популярного опросника в условиях отсутствия разработанных норм для исследуемого контингента;
- изучение возможностей методики способствовать созданию новых опросников.
Метод использовался в процессе мониторинга состояния сотрудников Кировского УИН
Минюста России с помощью опросника Шмишека, а также применялся при разработке Психодинамически ориентированного личностного опросника («ПОЛО-Ресурс») - опросниковой системы нового поколения для оценки и прогнозирования психического здоровья и комплексного исследования Я-структуры личности в психодинамическом контексте, созданной сотрудниками кафедры общей и практической психологии Санкт-Петербургского университета МВД России (В.А. Шаповал) на основе русскоязычной версии 18ТА - Я-структурного теста Гюнтера Аммона (Ю.Я. Тупицин, В.В. Бочаров и др., 1998), методических рекомендаций Санкт-Петербургского научноисследовательского психоневрологичского института им. В.М. Бехтерева «Исследование и оценка нервно-психического здоровья населения» (Ю.Я. Тупицын, В.В. Бочаров, Б.В. Иовлев, С.П. Жук,
1999), а также Многофакторного метода исследования личности (Ф.Б. Березин, 1976) и Стандартизованного метода исследования личности (Л.Н. Собчик, 1990).
Основные исследования проводились на базе результатов психодиагностического обследования следующих контингентов испытуемых:
а) 500 курсантов Санкт-Петербургского университета МВД России, обследованных с помощью Стандартизованного метода исследования личности (СМИЛ).
б) 3298 испытуемых, обследованных с помощью опросника Шмишека. Из них 364 испытуемых было представлено сотрудниками Кировского УИН Минюста России, 1039 - взрослыми осужденными и 1895 - подростками, отбывающими наказание в колонии.
в) 231 кандидата и курсанта Санкт-Петербургского военного института ВВ МВД России по версии «П0Л0-2000» и 408 испытуемых по версии «П0Л0-2004».
Применение методики для измерения личностных характеристик по шкалам опросника СМИЛ продемонстрировало небольшие значения погрешности оценки исследуемых характеристик для всех испытуемых. Распределение в стены позволяло принимать решение о наиболее вероятном стене. В соответствии диаграммой на рис. 2 вероятность принадлежности к первому стену - 0,86, вероятность принадлежности ко второму стену - 0,14. Таким образом, испытуемый с большой вероятностью характеризуется принадлежностью к первому стену. Малая погрешность оценки объясняется прежде всего большой степенью надежности шкалы социальной интроверсии опросника СМИЛ на исследуемом контингенте.
Представляемая методика особенно эффективна при работе с акцентуированными группами, поскольку она позволяет с большей точностью оценить наиболее вероятное значение психометрической характеристики для личностей, находящихся в крайних стенах, на крайних полюсах шкалы значений психометрической характеристики. Эта возможность расширяет сферу применения данной методики: в 2004 г. в УИН г. Кирова и Кировской области проводилась оценка надежности опросников не только на группах сотрудников, но и на данных опроса осужденных. В результате были выявлены неэффективные шкалы, которые оценивают характеристики для исследуемого контингента с недопустимым уровнем погрешности.
Анализ результатов тестирования с помощью опросника Шмишека продемонстрировал чрезвычайно большую погрешность измерения для большинства шкал, что связано в первую очередь с отсутствием стандартизации этого опросника для работы со специфическим контингентом осужденных Кировского УИН. На рис. 3 представлены вероятности принадлежности к стенам у конкретного испытуемого для одной из исследуемых шкал.
Вестник Санкт-Петербургского университета МВД России № 3 (31) 2006
Вестник Санкт-Петербургского университета МВД России № 3 (31) 2006
0.25
0,2
0.15
0,1
0.05
—
г-1 п
1 23^56 789Ю
НОНЕр СТЕКа
Рис 3. вероятность принадлежности к определенному стену по шкале ............сртичностн испытуемого № 814
Данные рис. 3 демонстрируют настолько существенный разброс вероятных стенов, что становится очевидной невозможность принятия решения по степени выраженности черты гипертимности4 у конкретного испытуемого. Действительно, вероятности 5 (пяти!) стенов, с 6-го по 10-й, имеют одинаковый порядок значений - с 0,15 по 0,22. Это означает, что данный испытуемый примерно с равной вероятностью характеризуется как средней, нормальной (6-й стен), так и чрезвычайно высокой, аномальной (10-й стен) степенью выраженности гипертимности.
Результаты оценки индивидуальной погрешности по всем шкалам позволили сделать вывод о неэффективности применения опросника Шмишека для исследуемого контингента. Классические методы оценки надежности тестов также подтвердили выводы представленной методики.
Анализ нового опросника «ПОЛО-Ресурс» позволил особенно оценить эффективность методики, поскольку проводился в «интерактивном режиме»: по результатам оценки шкал по предлагаемой методике разработчики вносили изменения в те шкалы, которые оценивались с большой погрешностью. При работе с новым опросником особый интерес представляет процесс модификации шкалы - добавление, исключение, корректировка вопросов, когда с каждой итерацией уменьшается погрешность оценки психометрической характеристики. Из рис. 4 видно, как уменьшалась для конкретного испытуемого погрешность измерения характеристики по шкале деструктивной агрессии. Исходная шкала на данном рисунке - это шкала по версии «П0Л0-2000», вариант 3 - оптимальный на сегодняшний день - это шкала по версии «П0Л0-2004». Очевидно, что оценка с большей точностью уровня деструктивной агрессии у будущих сотрудников милиции представляет несомненный практический интерес.
Для каждой из 21 шкалы опросника «ПОЛО-Ресурс» была проведена процедура выбора минимального количества вопросов для достижения задаваемого уровня погрешности при работе с конкретным контингентом. При увеличении количества вопросов в шкале до определенного значения наблюдалось устойчивое уменьшение погрешности оценки степени выраженности черты у испытуемых из значимого в рамках данной задачи интервала. Дальнейшее увеличение количества вопросов не способствовало существенному уменьшению погрешности оценки, что позволило установить составы шкал нового опросника.
В результате погрешность оценки по каждой шкале при переходе от исходной версии «ПОЛО-2000» к модифицированной версии «ПОЛО-2004» удалось уменьшить в среднем на 45%. В результате итерационного процесса модификации вопросов все шкалы демонстрируют коэффициент надежности Спирмена-Брауна более 0,6.
0,200
Наименьшая
дисперсия
0.000
0.150
0.100
0.D5D
степень выраженности черты
Исходная шкала ■ ■ С удаленными вопросами С добавленными вопросами
С добавленными и скорректированными вопросами
Рис. 4. Оценка наиболее вероятного значения выраженности деструктивной агрессии у испытуемого № Л5
Практические возможности методики
В настоящее время создана компьютерная реализация методики для использования практическими психологами.
Разработанная методика дает возможность оценить индивидуальные границы погрешности измерения личностной характеристики.
Настоящая методика позволяет практическим психологам и разработчикам тестов:
1) оценить индивидуальное значение погрешности измерения характеристик личностного опросника;
2) определить минимальное количество вопросов в шкале для достижения заданного значения индивидуальной погрешности оценки степени выраженности черты у испытуемых при ограничении на среднее время проведения опроса;
3) выбрать опросник, позволяющий оценивать значения характеристик с наименьшей погрешностью для исследуемого контингента;
4) реадаптировать применяемую версию опросника;
5) модифицировать новые личностные опросники.
Дальнейшие исследования планируется проводить по следующим направлениям:
1) оценка индивидуальной погрешности измерения степени выраженности психодиагностической характеристики для опросников с недихотомическими вопросами;
2) учет взаимного влияния нескольких психодиагностических характеристик;
3) анализ индивидуальной погрешности измерения психодиагностической характеристики в выборках с мультимодальными распределениями.
1 См.: Анастази А., Урбина С. Психологическое тестирование. 7-е международное издание. СПб., 2003. С.128.
2 См.: Galton F. Co-relations and their measurement. Proceedings of the Royal Society of London. 1888, 45, 135-145.
3 См.: Шевандрин Н.И. Основы психологической диагностики. В 3 ч. Ч. 1. М., 2003. С. 240-241.
4 От греч. hyper - сверх + thymos - настроение) - стойкое приподнятое настроение. Сопровождается повышенной активностью в профессиональной и личной сферах. Может характеризовать появление личностных акцентуаций или конституциональных аномалий.
Вестник Санкт-Петербургского университета МВД России М 3 (31) 2006
