Метод прямого определения ретестовой надёжности и разрешающей способности психодиагностической методики Текст научной статьи по специальности «Физика»

УДК 159.922 ББК Ю937

МЕТОД ПРЯМОГО ОПРЕДЕЛЕНИЯ РЕТЕСТОВОЙ НАДЁЖНОСТИ И РАЗРЕШАЮЩЕЙ СПОСОБНОСТИ ПСИХОДИАГНОСТИЧЕСКОЙ МЕТОДИКИ

А.Л. Загорюев

Предложен простой и удобный алгоритм прямого определения ретестовой надёжности и разрешающей способности психодиагностической методики, учитывающий погрешность неоднородности выборки. Рассмотрено использование предложенного подхода на примере диагностики выраженности акцентуаций личности.

Ключевые слова: измерения, метрология, психодиагностика, психометрическая характеристика, ретестовая надёжность, разрешающая способность.

Проблема надёжности психодиагностических измерений чрезвычайно актуальна. С одной стороны, отсутствие в абсолютном большинстве отечественных изданий данных о надёжности результатов, полученных с помощью той или иной методики, приводит к массовому некритичному применению методов психодиагностики, что, в свою очередь, определяет отношение общественного мнения к психологическому исследованию и к профессии «психолог». С другой стороны, психологи, не владея практическими навыками определения метрологических характеристик используемых ими методик, предпочитают принять тезис о неприменимости к психодиагностическим методикам требований, традиционных для других естественных наук.

Л.Ф. Бурлачук и С.М. Морозов в словаре-справочнике по психодиагностике определяют надёжность как «характеристику методики, отражающую точность психодиагностических измерений, а также устойчивость результатов теста к действию посторонних случайных факторов» [2, с. 193]. Специфика психических свойств состоит в существенно большей по сравнению с физическими свойствами изменчивости, на первый взгляд спонтанной, а на самом деле, видимо, подверженной влиянию огромного количества факторов-помех. Тем не менее цель психодиагностики как науки и состоит в том, чтобы с помощью новых инструментальных разработок постепенно учитывать всё больше типов помех и тем самым приближаться к измерению собственно интересующего нас свойства.

Точность измерений вообще и психодиагностических в частности целесообразно ха-

рактеризовать погрешностями измерений -чем выше погрешности, тем хуже точность. Погрешности бывают двух видов: систематические и случайные. В первом случае говорят о точности-правильности, а во втором - о точ-ности-воспроизвод имости. Систематическая погрешность фиксирует отклонение центра распределения эмпирических результатов и соответственно результата каждого измерения, полученного исследуемой методикой, от истинного значения, и для её определения необходимо это истинное значение знать. Проще всего установить величину систематической погрешности путём проведения измерений на эталонном объекте, если возможно его существование. В этом случае в результаты измерений вводится поправка за «сдвиг», объясняемый исключительно особенностями измерительной процедуры. Однако важнейшей особенностью психологического измерения как раз является принципиальное отсутствие эталонов и очень ограниченная возможность найти причины «сдвига» распределения величины в одной эмпирической совокупности данных относительно любой другой. Косвенно качественная характеристика систематической погрешности измерений осуществляется в ходе валидизации методики, когда теоретическое определение исследуемого конструкта сопрягается с его инструментальным отражением, в результате чего психодиагност вправе считать, что методика измеряет желаемое свойство. Иногда в качестве эталона выступает выборка, на которой производится «стандартизация» методики. Но и в этом случае, как правило, редко можно быть уверенным в том, что любой «сдвиг» центра распре-

деления обязан своим существованием особенностям измерительного инструмента, а не особенностям объекта исследований.

В случае осуществления повторных измерений имеет смысл говорить не о систематической погрешности методики, а о систематическом расхождении результатов ретеста. Проверку его наличия можно осуществить, например, с помощью критерия Стьюдента по выборке в целом или по отдельным интервалам изменения зависимой переменной, в которых нет оснований предполагать влияния факторов, приводящих к «сдвигу» данных. При этом удобно рассмотреть точечную диаграмму связи результатов двух сопоставляемых исследований (рис. 1), на которой признаком наличия систематических расхождений может быть нелинейный тренд или отчётливый сдвиг линейного тренда от линии равенства результатов. Причиной наличия систематического расхождения могут быть либо изменения выраженности исследуемого свойства, произошедшие за время между первичным и повторным исследованием, либо изменения в процедуре повторного исследования, либо влияние фактора-помехи, отсутствовавшего в первичном исследовании. Тем не менее выявления систематического расхождения рядов данных ещё недостаточно, чтобы говорить о точности измерений, а следовательно, и об их надёжности.

45 т

40 35 30 25 20 15 10 5

Ф ♦

♦ + л/

♦ * *

Чг V . ♦

0 10 20 30 40

Первичное измерение

Рис. 1. Пример систематических расхождений результатов первичного и повторного измерения

Таким образом, в качестве характеристики надёжности психодиагностических измерений остаётся рассмотреть их случайную погрешность, или её квадрат - дисперсию. Общую дисперсию результатов эмпирического исследования свойства конкретного объекта принято представлять [1,2] как сумму двух

дисперсий: первая («истинная») обязана своим существованием естественным изменениям измеряемого свойства одного и того же

объекта в разные моменты времени (нестабильность во времени), а вторая отражает нестабильность измерительного инструмента (дисперсия ошибки собственно измерения):

я^Ч^2. (1)

Если поделить обе части приведённого выражения на и ввести понятие коэффициента надёжности

а ■■

л2

то получим

а = 1—

(2)

(3)

Если распределение эмпирических результатов нормальное (а в случае N измерений свойства X одного и того же объекта это можно считать справедливым), то величина общей дисперсии результатов определяется очень просто:

N

51 =

м_

N-1

(4)

Решить вторую часть задачи - найти дисперсию собственно измерительной процедуры можно только в том случае, если измеряемое свойство на протяжении всего периода исследования неизменно. Ещё раз подчеркнём, что в психологическом измерении мы не имеем права принять такое предположение. Таким

образом, отделить от ^ невозможно, следовательно, невозможно и определить коэффициент надёжности а.

Может быть, поэтому, переходя к методам определения надёжности, авторы справочника [2, с. 193] осуществляют подмену понятий - многократные повторные измерения свойства у одного и того же испытуемого они заменяют на повторное измерение свойства у группы испытуемых. Если в первом случае мы, действительно, вправе ожидать нормальное распределение результатов теста, то во втором случае распределение оценок испытуемых будет целиком определяться составом выборки. При этом оно может быть каким угодно (в том числе и нормальным), к тому же путём селекции выборки квазинормальное распределение можно обеспечить искусственно. Совершенно понятно, почему осуществлён такой переход - выполнить многократные исследования одного и того же ис-

пытуемого и обеспечить при этом стабильность независимых переменных исследования невозможно, такова специфика психологического (а вообще говоря, и всякого другого) измерения. Однако если в первом (идеальном) случае центр распределения имеет смысл оценки, наиболее близкой к точной, то во втором случае центр распределения (среднее арифметическое) не имеет отношения к «точной» оценке, он может иметь другой смысл -смысл групповой статистической нормы. Дисперсия результатов в первом случае будет суммой двух вышеуказанных дисперсий, а во втором к ним добавится дисперсия неодно-

родности группы , влияние которой целесообразно исключить:

(5)

Коэффициент надёжности, характеризующий методику, в этом случае также должен учитывать дисперсию неоднородности группы:

а = 1--:

(6)

Совершенно справедливо авторами справочника [2] указывается, что «реальные оценки ... испытуемых при повторном обследовании изменяются, и их распределение в той или иной степени отличается от исходного» (под исходным понимается первичное). Но затем утверждается, что «при этом дисперсия нового распределения выше исходного на величину дисперсии ошибки измерения» [2, с. 194]. Согласиться с этим утверждением невозможно, так как дисперсия ошибки измерения присутствует и в первичном (исходном) и в повторном распределении, оставаясь неизвестной. Точно так же в обоих измерениях присутствует «истинная» дисперсия и дисперсия неоднородности выборки.

Относительная доля дисперсии нестабильности (ошибки) измерения в общей дисперсии также должна определяться с учётом дисперсии неоднородности. Преобразуя формулу (6), можно получить соответствующее выражение, иллюстрирующее влияние этого параметра:

—1- = (1-«)•(!-

г)-

(7)

В учебной и справочной литературе [1, с. 102; 2, с. 199] без каких-либо обоснований предлагается в качестве оценки надёжности теста использовать коэффициент парной линейной корреляции Пирсона между результа-

тами исходных и повторных измерений. Несомненно, что коэффициент корреляции и надёжность - это характеристики подобные и между ними должна быть связь. Однако следует признать, что конструкт «надёжность» применительно к поставленной задаче теоретически более обоснован. Коэффициент парной линейной корреляции определяет степень близости экспериментальных точек к прямой, осредняющей их распределение, при этом эта прямая вовсе не обязательно представляет собой биссектрису прямого угла в координатах Х2 - Х\ (см. рис. 1). В то же время исходное определение надёжности однозначно указывает на её смысл, заключающийся в воспроизводимости результатов, т. е. их совпадении при первичном (Х\) и повторном (Х2) измерении. Графическое представление воспроизводимости выглядит как облако точек, рассеянных около прямой линии Х2 =Хгв декартовых координатах (рис. 2).

45

40

ф

X 35

Ф

О. 30

Ф

5 м 25

Ф О 20

I 15

О.

о

& 10

о

с 5

М(ХИ;Х|2)

А Ф ^ Ж I

ф ▼ ▼ ^ Ж ф % |

ф Ф Ж ж* ♦ ф

♦ Ф А "Ф

фЖФ V ▼

♦ ж ♦ ♦

10 20 30

Первичное измерение

40

Рис. 2. Графическое представление воспроизводимости результатов измерений

Как уже указывалось выше, общая дисперсия результатов измерений представляет собой сумму трёх составляющих - «истинной» дисперсии, дисперсии нестабильности измерений и дисперсии неоднородности выборки. Общую дисперсию можно вычислить как сумму дисперсий первичного и повторного измерения по формуле

---• (8)

(ЛГ-1)

Истинное значение свойства Х1 нам неизвестно, но его приближённой оценкой может быть среднее значение из двух полученных Хц и Х2г, т. е. координата основания перпендикуляра, опущенного из точки М\ (Хц;Хц) на прямую Х2 = X]. Дисперсия приближённых оценок истинных значений совокупности

объектов представляет собой дисперсию неоднородности группы. Отметим, что распределение проекций эмпирических точек на прямую Х2 =Х\ конгруэнтно распределению самих эмпирических точек. Несложные геометрические построения показывают, что формула дисперсии неоднородности группы будет выглядеть следующим образом:

¿[(Х1/+Х2г)-(Х1+Х2)] м_

(9)

Чем ближе точки М1 (Хц;Хц) к прямой Х2 -Х\ , тем точнее измерения. Следовательно, совокупность отклонений эмпирических точек от линии регрессии (т. е. длин перпендикуляров, опущенных из точки на прямую) может служить характеристикой дисперсии нестабильности измерений:

N

2М

(10)

Приведённые выражения полностью характеризуют ситуацию измерений и позволяют использовать формулу (6) для прямого определения коэффициента надёжности.

Апробация изложенных представлений выполнена нами на материале двукратной диагностики акцентуаций личности (по Шмише-ку) двадцати восьми военнослужащих срочной службы. Повторная диагностика проводилась через шесть месяцев после первичной, что исключало эффект запоминания. Результаты эмпирических исследований приведены в табл. 1.

Определение наличия систематических расхождений первичного и повторного исследования выполнено путём оценки статистической значимости отклонений среднего расстояния от точек на диаграмме (см. рис. 2) до прямой с угловым коэффициентом, равным 1, от нуля с помощью критерия Стьюдента:

N

N

где с!

_ /=1

/=1

с1, =

N■42 № ~Хг,)

(N-1)

Л

По всем типам акцентуаций, кроме тревожного, систематических расхождений не

выявлено. В данные повторных исследований по тревожному типу акцентуации для последующего определения надёжности введена соответствующая поправка.

Результаты расчёта коэффициента надёжности по всем десяти шкалам опросника приведены в табл. 2. Величина коэффициента а невелика и составляет от 0,260 до 0,661. Доля ошибки измерения в общей погрешности значительна - от 45 % в лучшем случае (шкала акцентуации по эмотивному (Эм) типу) до 78 % (шкала акцентуации по циклотимиче-скому (Ц) типу). Если же погрешность неоднородности не учитывать, то оценки этой доли будут существенно завышены (58 и 86 % соответственно).

В табл. 1 приведены результаты вычисления коэффициента парной линейной корреляции Пирсона первичных и повторных результатов г, который в совокупности субшкал опросника тесно коррелирует с коэффициентом надёжности (рис. 3), меняясь от -0,244 до 0,637. Это позволяет применить к коэффициенту надёжности теста критерий статистической значимости г-Пирсона. С учётом объёма выборки уровню значимости р<0,01 соответствует значение г>0,479. В свою очередь, эта величина на данной выборке соответствует значению «>0,572. Соответствующие пороговые значения для уровня значимости р<0,05 составляют: г>0,375 и а>0,514. Если коэффициент корреляции может принимать значения от -1 до +1, то коэффициент надёжности всегда положителен. Приведённые данные позволяют согласиться с выводом о том, что ре-тестовая надёжность характеризует скорее результаты измерений, чем их методику [3].

у = 0,1696х + 0,4077х + 0,3371

-0,400 -0,100 0,200 0,500 0,800 Коэффициент корреляции

Рис. 3. Диаграмма связи коэффициента корреляции первичных и повторных измерений акцентуаций личности с величиной коэффициента надёжности в совокупности субшкал

Таблица 1

Результаты первичной и повторной диагностики акцентуаций личности военнослужащих (по методике Леонгарда-Шмишека), баллы

№ п/п Типы акцентуаций

Г Дем 3 П В Дис Т Эк Эм ц

1 2 1 2 1 2 1 2 1 2 1 2 1 2 1 2 1 2 1 2

1 18 6 16 8 8 6 12 2 0 0 15 15 9 3 18 0 18 15 12 6

2 18 15 12 8 10 8 8 12 6 9 6 6 3 9 18 12 15 15 15 9

3 15 15 14 14 12 8 16 14 6 9 9 12 9 9 12 18 18 21 15 6

4 21 24 18 16 16 12 12 14 9 9 3 6 0 0 12 12 9 6 9 12

5 21 15 14 14 12 12 10 10 12 3 9 12 0 3 12 12 15 15 9 12

6 15 15 16 16 10 10 12 8 9 6 15 15 3 9 18 24 12 12 6 9

7 21 18 18 14 12 10 12 10 0 0 6 12 6 12 12 12 12 9 12 6

8 12 18 10 16 12 12 4 10 0 12 8 15 0 3 0 0 9 9 6 12

9 21 21 16 20 12 12 12 8 3 3 12 9 3 0 12 12 15 18 6 12

10 9 3 6 6 18 8 12 8 6 21 15 12 3 21 6 12 15 6 9 12

11 12 15 6 8 12 12 8 6 6 3 18 12 3 3 6 18 18 18 6 12

12 21 21 18 18 12 12 10 10 6 9 3 9 3 6 12 6 15 12 6 12

13 21 15 14 18 10 8 12 14 3 3 9 9 3 0 12 12 15 12 12 6

14 18 15 8 14 16 6 8 12 6 12 15 9 0 6 12 24 12 9 12 21

15 21 15 18 22 10 12 10 20 0 24 15 15 0 15 0 18 12 18 6 18

16 18 18 12 10 8 12 10 8 6 12 9 6 9 15 6 6 9 6 6 6

17 21 24 20 22 12 10 14 6 12 9 3 9 3 0 18 12 15 18 18 12

18 21 18 18 10 12 6 8 2 6 3 6 6 3 6 12 6 15 12 12 9

19 18 12 14 10 8 16 18 16 3 15 12 9 12 12 18 18 15 9 12 9

20 21 21 20 14 12 10 10 10 9 3 6 12 3 3 12 12 18 15 12 6

21 18 24 12 16 14 18 8 10 6 3 12 9 3 3 12 12 3 3 12 9

22 21 21 10 14 16 10 12 14 9 6 6 12 9 15 18 12 18 18 12 12

23 15 15 6 14 16 10 12 12 6 6 12 12 9 3 12 6 9 9 18 9

24 18 9 14 8 6 6 16 8 15 3 15 15 9 3 6 6 15 9 15 9

25 18 21 18 16 10 10 4 14 0 3 9 9 3 9 6 12 9 15 9 9

26 12 12 12 8 16 16 14 8 3 6 18 15 3 0 0 12 15 9 9 12

27 18 21 14 16 10 18 8 10 6 6 12 12 3 15 6 6 9 12 12 15

28 12 15 6 12 12 12 10 8 3 3 9 18 3 0 12 18 15 12 9 12

Примечание. Г - Гипертимный; Деем - Демонстративные; 3 - Застревающие; П - Педантичные; В - Возбудимые; Дис - Дистимичные; Т - Тревожные; Эк - Экзальтированные; Эм - Эмотивные, Ц - Цик-лотимные

Таблица 2

Результаты оценки ретестовой надёжности шкал опросника Шмишека

а г Я*

Г 39,23 14,72 10,13 0,587 0,534 0,508

Дем 38,05 14,03 9,64 0,599 0,474 0,503

3 19,50 5,20 8,78 0,341 0,067 0,695

п 25,86 6,92 11,79 0,377 0,073 0,675

в 48,70 10,94 27,16 0,281 -0,110 0,747

Дис 30,32 11,08 8,27 0,570 0,484 0,522

Т 46,26 14,07 17,69 0,451 0,250 0,618

Эк 66,24 19,75 26,36 0,433 0,193 0,631

Эм 34,27 13,91 6,91 0,661 0,637 0,449

Ц 25,99 4,91 15,59 0,260 -0,244 0,775

Действительно, изменение характера распределения эмпирических точек приведёт к изменению и г и а, несмотря на то, что методика осталась прежней.

В приведённом примере использованы данные по весьма ограниченной выборке (N=28). Тем не менее они свидетельствуют о применимости предложенной модели для прямого определения ретестовой надёжности методики и количественной оценки её статистической значимости на конкретной выборке. Однако следует указать, что все предыдущие рассуждения проведены в предположении, что совокупность данных, по которой оценивается надёжность теста, представлена в метрической или абсолютной шкале и гомо-скедастична, т. е. характеризуется постоянной величиной дисперсии во всём диапазоне изменения измеряемого свойства. Если дисперсия не может считаться постоянной, то, соответственно, и характеристики надёжности также необходимо рассматривать в рамках диапазонов гомоскедастичности.

Представления, послужившие основой вышеприведённых рассуждений, позволяют сделать ещё один шаг в метрологической характеристике методики. Смысл ретестовой надёжности заключается в её понимании не только как индикатора устойчивости результатов, но и как характеристики дискриминативности самой процедуры измерений. Другими словами, если методика признаётся статистически надёжной, то она должна быть способна классифицировать исследуемую выборку по изучаемому свойству с достаточно малым интервалом. Этот интервал в метрологии носит наименование порога чувствительности [4], численно равного минимальному расстоянию по оси свойства Ху различимому методикой. При этом обычно в физико-химических измерениях отмеченный интервал определяют дня случая, когда X стремится к нулю - тогда действительно можно говорить о пороге, ниже которого методика нечувствительна. В нашем случае более целесообразно говорить о разрешающей способности методики как её способности различать близкорасположенные значения X.

Естественно, что величина разрешающей способности будет определяться, так же как и в любом статистическом критерии, двумя параметрами - объёмом выборки ТУ, по результатам исследования которой производятся психометрические процедуры (точнее, числом степеней свободы/), и уровнем значимости р. Формулу для её определения легко получить, рассмотрев выражение для эмпирического

значения критерия Стьюдента в задаче сопоставления двух значений ХА и ХБ, где А и Б -индексы испытуемых (рис. 4).

24

|ХБ \

|ХА к

ГГ1—

О 4 8 12 16 20 24

Рис. 4. К определению величины порога чувствительности методики X

ХА и ХБ представляют собой средние арифметические первичного и повторного результата:

X,

ХБх + ХБ2

2 ■ 2 Оценка величины средней квадратиче-ской погрешности значения ХА, произведённая по двум измерениям, численно равна расстоянию от точки М/ (Хц;Хц) до прямой Х2 =Х\ (см. рис. 2):

Н^Л» ~ X А

А „ ^

ХА

у/2

Поскольку нас интересует не достоверность различия двух эмпирических случайных чисел, а разрешающая способность методики в данной выборке, для вычисления критерия Стьюдента мы должны использовать усреднённое значение погрешности Ах по всей совокупности данных в предположении нормального распределения величин Ах. . Тогда

дисперсию этой оценки 5т-2 можно припи-

сать обоим достаточно близкорасположенным оценкам -иХА,иХБ

N

Ду

(П)

N(N-1)

С учётом сделанных допущений и обозначений значение критерия Стьюдента будет выглядеть следующим образом:

\Хл — X^ (_ ^

(12)

2 ■

где число степеней свободы/=N—1.

Введя обозначение Яп. г - \Х1 — ХЛ , и

У и I ^ 1 I р\]

преобразуя (12), получаем выражение для разрешающей способности методики

'Я- (13)

Предложенный алгоритм был опробован на данных диагностики выраженности акцентуаций личности военнослужащих (см. табл. 1). Результаты определения разрешающей способности опросника Шмишека приведены в табл. 3 для уровней значимости/?<0,05 и р<0,01.

Таблица 3

Результаты определения разрешающей способности опросника Шмишека (N=28), баллы

Полученные сведения позволяют статистически обоснованно дифференцировать испытуемых. Так, на уровне значимости /?<0,01 выраженность большинства акцентуаций можно считать различной, если результаты двух индивидуумов разнятся не менее чем на 2 балла. Наиболее жёсткими являются требования к результатам по шкалам возбудимого, тревожного и экзальтированного типов -здесь для дифференциации испытуемых необходима разница в 3 балла.

Литература

1. Бодалёв, A.A. Общая психодиагностика / A.A. Бодалёв, В.В. Стопин. - СПб.: Речь, 2004.-440 с.

2. Бурлачук, Л.Ф. Словарь-справочник по психодиагностике /Л.Ф. Бурлачук, С.М. Морозов. - СПб.: Питер Ком, 1999. - 528 с.

3. Виноградов, А.Г. http://www. ht. ru/on-1 ine/forum/?forum=14&topic=2 78

4. Метрология / A.A. Дегтярёв, B.A. Ле-тягин, А.И. Погалов, C.B. Угольников. — M.: Академический Проект, 2006. - 256 с.

Поступила в редакцию 28 января 2010 г.

Шкала Ц0,05; 27) 0,01; 27)

Г 1,2 1,6

Дем 1,0 1,3

3 1,2 1,7

п 1,2 1,6

в 2,2 3,0

Дис 1,1 1,4

Т 1,7 2,3

Эк 2,1 2,8

Эм 0,9 1,2

Ц 1,1 1,5

Загорюев Анатолий Леонидович. Екатеринбургский филиал АОУ ВПО «Ленинградский государственный университет им. A.C. Пушкина», директор, канд. геол.-мин. наук, чл.-корр. Балтийской педагогической академии: [email protected], [email protected].

Anatolij L. Zagorjuev. Yekaterinburg branch of Independent Educational Institution of the Higher Professional Education "The Leningrad State University named after A. S. Pushkin", the director, candidate of geological and mineralogical sciences, corresponding member of The Baltic pedagogic academy: [email protected], [email protected].