CC BY
45
СПИСОК ЛИТЕРАТУРЫ
1. Внедрение сбалансированной системы показателей [Текст] / Horvath& Partners. - М.: Альпина Бизнес Букс, 2006. - 478 с.
2. Каплан, Р. Сбалансированная система показателей. От стратегии к действию [Текст] : пер. с англ. / Р. Каплан, Д. Нортон. - 2-е изд. - М.: Олимп-Бизнес, 2003.
3. Конти, Т. Самооценка в организациях [Текст] / Т. Конти. - М.: РИА «Стандарты и качество», 2000. -328 с.
4. Adams, C. You Are What You Measure [Text] / C. Adams, P. Roberts // Manufacturing Europe, 1993; Sterling Publications Ltd, 1993. - P. 504-507.
5. Johnson, P. Management Control and Organizational Behavior [Text] / P. Johnson, J. Gill. - London: Paul Chapman, 1993.
6. Robinson, L. Scorekeepers to business partners: Repositioning the finance function [Text] / L. Robinson // Total Quality Management, 1999. - Vol. 10, no. 4/5.
УДК 004.942
Е.Ю. Ярошевская
МЕТОДИКА ОЦЕНКИ ИНДИВИДУАЛЬНОЙ ПОГРЕШНОСТИ ПСИХОМЕТРИЧЕСКИХ ХАРАКТЕРИСТИК
В настоящее время для работы с сотрудниками органов государственного управления все более широко применяются различные психодиагностические методики, включающие личностные опросники. Опросник - это стандартизованная процедура получения информации, заключающаяся в предъявлении испытуемому вопросов в письменном виде и основанная на определенном способе интерпретации его ответов [1]. Широкое распространение информационных технологий привело к тому, что опросники как инструмент оценки личностных характеристик используются и при наборе абитуриентов в учебные заведения, и при приеме новых сотрудников, и при проведении периодического мониторинга состояния работников в связи с особыми условиями и спецификой их профессиональной деятельности. Для этих целей разрабатываются новые тесты, проводится адаптация и разработка компьютерных версий существующих [2].
Однако результаты тестирования испытуемого с помощью личностных опросников не всегда согласуются с выводами экспертов о его психологических характеристиках. Одной из причин таких расхождений считается низкая точность опросников [3]. Поэтому совершенствование суще-
ствующих опросников и создание новых, более точных, совершенно необходимо для успешности психологической диагностики. Для того, чтобы решить эту задачу, прежде всего необходимо знать погрешность, с которой с помощью опросника определяется каждая психологическая характеристика. Существующие методы вычисления этой погрешности не позволяют это сделать.
Каждый психодиагностический опросник содержит ряд групп вопросов, по ответам на которые определяют выраженность психологических характеристик испытуемого. Доля ответов испытуемого, соответствующих определяемой психологической характеристике (ключевых), служит мерой степени выраженности этой характеристики. При составлении модели будем считать, что существует объективная, присущая данному испытуемому степень выраженности этой характеристики и вопросы подобраны так, что ключевые ответы свидетельствуют о большей выраженности определяемой характеристики. Однако эта связь имеет вероятностную природу, причем вероятность ответа на каждый вопрос зависит не только от степени выраженности данной черты, но и от индивидуальных особенностей испытуемого. Поэтому можно
говорить только о средней зависимости вероятности ключевого ответа на каждый вопрос от степени выраженности психологической черты. При этом эти средние зависимости могут быть различными для представителей различных возрастных и социальных групп.
Если для всех вопросов усредненные зависимости вероятности ответа от степени выраженности психологической характеристики примерно одинаковы, а распределение выраженности черты в испытуемой группе близко к распределению выраженности черты у группы, на которой проходила проверка валидности и надежности данного опросника, то погрешность оценки выраженности черты по доле ключевых ответов может быть определена, причем эта погрешность будет зависеть от того, насколько эта доля отличается от средней по группе.
Показателями «равноценности» вопросов для данной группы испытуемых является близость среднего числа ключевых ответов на каждый из вопросов (нормальным считается ситуация, когда среднее число ключевых ответов на каждый вопрос лежит в интервале от 0,4 до 0,6) и близость коэффициентов корреляции (КК) оценки ответа испытуемого (ключевой - 1, противоположный - 0) с суммой ключевых ответов данного испытуемого. Для того, чтобы корреляция была значимой, КК должно быть больше 0,3.
На практике эти условия не соблюдаются. Проведенный нами анализ результатов опроса с помощью одного из наиболее надежных опросников - Стандартизованного метода исследования личности СМИЛ показал, что условию КК > 0,3 отвечают не более 45 % вопросов.
Неравноценность вопросов приводит к следующим выводам:
1. Степень выраженности черты нельзя оценивать только по доле ключевых ответов, необходимо учитывать значимость этих вопросов для конкретной группы испытуемых.
2. Погрешность измерения характеристики не является одинаковой для всех испытуемых и ее можно рассчитать только зная, на какие из вопросов были даны ключевые ответы.
Определение «индивидуальной» погрешности оценки психометрической характеристики особенно важно при применении опросников, так как слишком велика бывает цена ошибки при приеме на работу или в учебное заведение чело-
века с характеристиками, не соответствующими требованиям его профессиональной деятельности. Какой же выход? К каждому студенту и к каждому сотруднику «прикрепить» личного психоаналитика? Эффективно, но неосуществимо. Особенно, когда необходимо достаточно быстро произвести тестирование большого числа человек. Поэтому практические психологи нуждаются в инструменте, который может ответить на вопрос, насколько точно позволяет применяемый ими личностный опросник оценить личностную характеристику каждого в исследуемой выборке испытуемых.
Такой инструмент создан на основе разработанного нами метода, позволяющего путем анализа ответов на каждый из вопросов каждого из испытуемых рассчитать вероятность того, что испытуемый, ответивший определенным образом на вопросы, характеризуется степенью выраженности черты х. Исследование поведения модельной системы при различных входных данных позволило выявить следующие закономерности: точность оценки характеристик эмпирических данных зависит и от функции распределения суммы ключевых ответов в исследуемой выборке, и от функций вероятностей ответов на каждый вопрос. С помощью предлагаемого метода для каждого из испытуемых можно получить плотность вероятности распределения степени выраженности черты, подобную представленной на рис. 1.
По этим распределениям оценивается вероятность того, что значение психометрической характеристики данного испытуемого будет меньше (или больше) критического значения, определяемого требованиями, предъявляемыми к сотруднику на конкретной должности. Чем уже полученное распределение, ширину которого можно оценить по величине стандартного отклонения а вероятности степени выраженности черты для конкретного испытуемого, тем с большей вероятностью можно принимать решение и о наиболее вероятной степени выраженности черты.
Классическая теория психодиагностики предпочитает работать не с «сырыми» первичными баллами, а со стандартизованными тестовыми шкалами [4]. Данная методика также предоставляет возможность оценить результаты тестирования каждого испытуемого в этих более удобных для интерпретации шкалах, например в стенах или стенайнах.
0,0125 0,0875 0,1625 0,2375 0,3125 0,3875 0,4625 0,5375 0,6125 0,6875 0,7625 0,8375 0,9125 0,9875 Середины интервалов степени выраженности черты
Рис. 1. Плотность вероятности распределения степени выраженности черты для конкретного испытуемого
Исходное распределение по стенам проводилось в соответствии со стандартными видами шкал оценивания в психодиагностике [6, с. 240, 241]. Номер стена для испытуемого после восстановления функции распределения рассчитывался как вероятностная величина для дискретных переменных. Особую важность в этом случае представляет возможность методики рассчитать стандартное отклонение, чтобы оценить границы -разброс возможных стенов (стенайнов), в которые может попасть испытуемый.
Знание индивидуальной оценки погрешности необходимо при отборе необходимого количества вопросов в шкалу для оценки личностной черты. В рамках данной методики предлагается два подхода:
1. Задавая желаемую погрешность индивидуальной оценки для наиболее значимого в конкретной стоящей перед практическим психологом задаче интервала степени выраженности черты, можно оценить индивидуальные погрешности, увеличивая количество вопросов в шкале. При достижении желаемого значения погрешности для всех испытуемых из интервала, значимого в рамках конкретной задачи, можно далее не увеличивать количество вопросов.
2. При увеличении количества вопросов
в шкале, рассчитывается соотношение К = ,
где ашах - максимальное рассчитанное значение стандартного отклонения для испытуемых, суммы ответов которых находятся в значимом для конкретной задачи интервале; tN - среднее время, необходимое для ответов на N вопросов.
При данном подходе учитываются временные затраты; итоговую шкалу составит такой набор вопросов, который будет характеризоваться минимальным по сравнению с другими наборами значением коэффициента К.
Выбор психодиагностических методик для апробации определялся следующими положениями:
- необходимость проверки эффективности методики на заведомо валидном и надежном опроснике с установленными нормами для исследуемого контингента;
- необходимость проверки методики для популярного опросника в условиях отсутствия разработанных норм для исследуемого контингента;
- изучение возможностей методики способствовать созданию новых опросников.
Метод использовался в процессе мониторинга состояния сотрудников Кировского УИН, а также применялся при разработке Психоди-намически ориентированного личностного опросника (ПОЛО-Ресурс) [7].
Применение методики для измерения личностных характеристик по шкалам опросника СМИЛ продемонстрировало небольшие значе-
ния погрешности оценки исследуемых характеристик для всех испытуемых. Распределение в стены позволяло принимать решение о наиболее вероятном стене. Типичный пример результатов отображен на рис. 2: вероятность принадлежности к первому стену - 0,86, вероятность принадлежности ко второму стену - 0,14. Таким образом, испытуемый с большой вероятностью характеризуется принадлежностью к первому стену. Малая погрешность оценки объясняется, прежде всего, большой степенью надежности шкалы социальной интроверсии опросника СМИЛ на исследуемом контингенте.
Представляемая методика особенно эффективна при работе с акцентуированными группами, поскольку она позволяет с большей точностью оценить наиболее вероятное значение
психометрической характеристики для личностей, находящихся в крайних стенах, на крайних полюсах шкалы значений психометрической характеристики. В результате можно выявлять неэффективные шкалы, которые оценивают характеристики для исследуемого контингента с недопустимым уровнем погрешности.
Анализ результатов тестирования с помощью опросника Шмишека продемонстрировал чрезвычайно большую погрешность измерения для большинства шкал, что связано в первую очередь с отсутствием стандартизации этого опросника для работы со специфическим контингентом осужденных Кировского УИН. На рис. 3 представлены вероятности принадлежности к стенам у конкретного испытуемого для одной из исследуемых шкал.
123456789 10 Номер стена
Рис. 2. Вероятность принадлежности к стену для конкретного испытуемого
3 4 5 6 7 Номер стена
Рис. 3. Вероятность принадлежности к стену для конкретного испытуемого по шкале Гипертимности
Данные рис. 3 демонстрируют такой существенный разброс вероятных стенов, что становится очевидной невозможность принятия решения по степени выраженности черты Ги-пертимности* у конкретного испытуемого. Действительно, вероятности пяти(!) стенов (с 6-го по 10-й) имеют одинаковый порядок значений - с 0,15 по 0,22. Это означает, что данный испытуемый примерно с равной вероятностью характеризуется как средней, нормальной (6-й стен), так и чрезвычайно высокой, аномальной (10-й стен) степенью выраженности Гипертимности.
Результаты оценки индивидуальной погрешности по всем шкалам позволили сделать вывод о неэффективности применения опросника Шмишека для исследуемого контингента. Классические методы оценки надежности тестов также подтвердили выводы представленной методики.
Анализ нового опросника ПОЛО-Ресурс позволил особенно оценить эффективность методики, поскольку проводился в «интерактивном режиме»: по результатам оценки шкал по предлагаемой методике разработчики вносили изменения в те шкалы, которые оценивались с большой погрешностью. При работе с новым опросником особый интерес представляет процесс модификации шкалы - добавление, исключение, корректировка вопросов, когда с каждой итерацией уменьшается погрешность оценки психометрической характеристики. Для каждой из 21 шкалы опросника ПОЛО-Ресурс была проведена процедура выбора минимального количества вопросов для достижения задаваемого уровня погрешности при работе с конкретным контингентом. При увеличении количества вопросов в шкале до опреде-
* От греч. hyper - сверх + thymos - настроение, т. е. стойкое приподнятое настроение. Сопровождается повышенной активностью в профессиональной и личной сферах. Может характеризовать появление личностных акцентуаций или конституциональных аномалий.
ленного значения наблюдалось устойчивое уменьшение погрешности оценки степени выраженности черты у испытуемых из значимого в рамках данной задачи интервала. Дальнейшее увеличение количества вопросов не способствовало существенному уменьшению погрешности оценки, что позволило установить составы шкал нового опросника.
В результате погрешность оценки по каждой шкале при переходе от исходной версии ПОЛО-2000 к модифицированной версии ПОЛО-2004 удалось уменьшить в среднем на 45 %. В результате итерационного процесса модификации вопросов все шкалы демонстрируют коэффициент надежности Спирмена -Брауна более 0,6.
Итак, данная методика позволяет практическим специалистам по работе с персоналом и разработчикам тестов:
- оценить индивидуальное значение погрешности измерения характеристик личностного опросника;
- определить минимальное количество вопросов в шкале для достижения заданного значения индивидуальной погрешности оценки степени выраженности черты у испытуемых при ограничении на среднее время проведения опроса;
- выбрать опросник, позволяющий оценивать значения характеристик с наименьшей погрешностью для исследуемого контингента;
- реадаптировать применяемую версию опросника;
- модифицировать новые личностные опросники.
Сегодня уже создана компьютерная реализация методики для использования практическими специалистами.
Дальнейшие исследования планируется проводить по следующим направлениям: учет взаимного влияния нескольких психодиагностических характеристик; анализ индивидуальной погрешности измерения психодиагностической характеристики в выборках с мультимодальны-ми распределениями.
СПИСОК ЛИТЕРАТУРЫ
1. Бурлачук, Л.Ф. Словарь-справочник по психодиагностике [Текст] / Л.Ф. Бурлачук, С.М.Морозов. -СПб.: Питер, 2007.
2. Дюк, В.А. Компьютерная психодиагностика [Текст] / В.А. Дюк. - СПб.: Питер, 1994.
3. Наследов, А.Д. Математические методы психологического исследования. Анализ и интерпретация данных [Текст] / А. Д. Наследов. - СПб.: Речь, 2004.
4. Райгородский, Д.Я. Психодиагностика персонала. Методика и тесты [Текст] Т. I / Д.Я. Райгородский. - М.: Бахрах, 2007.
5. Толстова, Ю.Н. О некоторых подходах к построению адекватной функции расстояния в задачах классификации [Текст] / Ю.Н.Толстова // Математическое моделирование и применение вычислительной
техники в социологических исследованиях. - М.: ИСИ АН СССР, 1980.
6. Шевандрин, Н.И. Основы психологической диагностики [Текст] Ч. 1 / Н.И. Шевандрин. - М.: Гума-нит. изд. центр ВЛАДОС, 2003.
7. Ярошевская, Е.Ю. Моделирование индивидуальных вероятностных оценок психометрических характеристик при усовершенствовании и разработке психодиагностических опросников для профессионального психологического отбора и психологического мониторинга сотрудников органов внутренних дел [Текст] / Е.Ю. Ярошевская, А.М. Елья-шевич, В.А. Шаповал // Вестник Санкт-Петербургского университета МВД России. - 2006. - № 3(31). -С. 306-311.
