CC BY
20
УДК 519.85:004.421
ТЕОРЕТИЧЕСКОЕ ОБОСНОВАНИЕ АЛГОРИТМА РАСЧЁТА ЛАТЕНТНЫХ ПЕРЕМЕННЫХ ПРОГРАММНЫМ КОМПЛЕКСОМ RILP-2 НА ОСНОВЕ МОДЕЛИ РЕЙТИНГОВОЙ ШКАЛЫ
© 2011 г. И.Н. Елисеев, И.И. Елисеев
Южно-Российский государственный South-Russian State University
университет экономики и сервиса, г. Шахты of the Economy and Service, Shahty
Рассматриваются теоретические основы расчёта латентных параметров участников тестирования и политомических заданий (индикаторов) диагностического теста по результатам их выполнения. В качестве модели измерения используется однопараметрическая политомическая модель Раша для рейтинговой шкалы. Предложен алгоритм расчёта латентных параметров, обеспечивающий высокую сходимость расчетных данных к экспериментальным.
Ключевые слова: диагностический тест; индикатор теста; латентный параметр; алгоритм расчёта.
In the article present the theoretical bases for calculating of latent parameters ofparticipants of testing and polyatomic tasks (indicators) of a diagnostic test based on their performance. As the measurement models used a one-parameter polyatomic model of Rush for the rating scale. There is algorithm for calculating the latent parameters, providing a high convergence of the calculated data to experimental.
Keywords: diagnostic test; the test indicator; the latent parameter; the algorithm of calculation.
Постановка задачи
Для обработки политомических результатов отдельных видов образовательной деятельности, социологических и психодиагностических исследований, анализа и интерпретации полученных данных в зарубежных странах широкое распространение получила политомическая модель Раша для рейтинговой шкалы [1]. В России же эта модель до настоящего времени применения не нашла, из-за чего погрешности расчёта параметров латентных переменных р„ Ту, и 9п, которыми характеризуются качество диагностических средств и состояние процессов объектов исследования, оказываются большими.
Цель статьи - разработка теоретических основ алгоритма расчёта оценок максимального правдоподобия параметров латентных переменных политомиче-ской модели Раша на основе рейтинговой шкалы.
Разработку математического аппарата, необходимого для расчёта параметров латентных переменных, начнём с теоретического обоснования допустимости использования однопараметрической модели Раша для оценки политомических результатов образовательной деятельности. При этом под 9п будем понимать уровень подготовленности п-го участника тестирования, под р,- - уровень трудности /'-го задания диагностического теста и под Ту - уровень трудности у-го шага (/-й категории ответа) /-го задания.
Теоретическое обоснование допустимости использования модели Раша
Политомическая модель Раша используется для обработки результатов тестирования (анкетирования) и расчёта латентных параметров заданий (индикато-
ров) и участников тестирования, когда результат выполнения заданий представляется в виде целого числа от 0 до т. Примером является оценка результатов выполнения тестовых заданий на соответствие, на установление правильной последовательности действий, заданий с несколькими верными ответами, а также оценка результатов социологических исследований (опрос, анкетирование и т.д.).
Политомическая модель Раша базируется на использовании одноименной однопараметрической дихотомической модели [2], в которой результат тестирования или анкетирования оценивается двумя категориями: ноль и единица. В этом частном случае трудность задания и трудность единственного шага (порога) совпадают. Политомическое задание содержит несколько шагов (градаций, категорий ответа), преодоление каждого из которых оценивается единицей, а непреодоление нулём. Результат выполнения /-го задания участником тестирования п есть целое число хп/ = х, которое может принимать значения в диапазоне 0 < х < тКаждый из у-х порогов задания характеризуется определённой трудностью Ту и расположен в определённом месте на оси латентной переменной 9. Все задание в целом характеризуется трудностью р,- и также занимает определённое положение на оси 9.
На рисунке показаны зависимости вероятности выполнения пяти шагов задания, каждый из которых оценивался баллами 0, 1, 2, 3 и 4. Каждый шаг (градация оценивания) имеет свою зону действия на оси непрерывной латентной переменной. Первый порог задания /', х/1 - это значение 9 на оси латентной переменной, при котором ответ тестируемого имеет равную вероятность оценивания и 0, и 1. Второй порог -
это отличное от предыдущего значение 9 на оси латентной переменной, при котором участник тестирования имеет равную вероятность получить и 1, и 2 балла. И так далее. В примере, представленном на рисунке, интервалы действия порогов: [-1,5, -0,5], [-0,5, 0,5] и [0,5 1,5] и [1,5, да) соответственно.
Pj(9) 1,0
0,5 ..
Р = -
nik
k = x = 1.
(1)
1 + ехр(6„ -5Л) Вероятность успешного выполнения первого шага двухшагового 1-го задания тестируемым с номером п в соответствии с формулой Байеса будет равна
Рп^п2
Рпк = "
QnlQn2 + Р„^„2 + Рп1Рп2 где Рп1, Рп2 - вероятности выполнения первого и второго шагов задания /; Qn1, Qn2 - вероятности невыполнения первого и второго шагов задания /. Перемножение вероятностей в числителе соответствует условной вероятности успешного выполнения первого шага задания и невыполнения второго шага. Произведения вероятностей в знаменателе соответствуют трём вариантам откликов в подпространстве латентных откли-
ков Гутмана, указанным выше. Поделив числитель и знаменатель выражения (2) на Qn2 ^п2 Ф 0), получим
Рпк =
Pn1
Qn1 + Pn1 + Pn1Pn2(Qn2)-
(3)
Qnk= 1 - Pnk и с учётом (1) определится выражением:
Qnk =
1
1 + exp(9n -Sik)
Произведение Pn2(Qn2) 1 будет равно:
Рп2©п2)-1 = ехр(6п -52). Подставив выражения для Рпк, Qnk и Рп2®п2)-1 в (3), найдём формулу для вероятности выполнения первого шага 1-го задания п-м участником тестирования
Вероятностные кривые шагов задания с т1 = 4
Результаты выполнения политомических заданий можно представить в виде трёхмерной матрицы, строки которой (ось х) представляют собой политомиче-ские профили ответов каждого тестируемого на все задания, столбцы (ось у) - политомические профили ответов, тестируемых на каждое задание, а строки в пределах каждого столбца (ось z) - дихотомические профили выполнения шагов конкретного задания. Выполнение каждого шага можно рассматривать как дихотомический латентный отклик в подпространстве
Гутмана О = {1,1,....,1,0,.....,0} ,
а политомическую
оценку всего задания - в виде суммы таких откликов.
Используя упорядоченную пространственную матрицу результатов тестирования (матрицу Гутмана), найдём математическое выражение для политомиче-ской модели Раша. В случае двух шагов (т, = 2) три возможных варианта откликов У п/к для п-го участника тестирования будут выглядеть следующим образом: 1) 0,0 » 0, 2) 1,0 » 1, 3) 1,1 » 2, где справа от каждого варианта указано значение х. Вероятность того, что при ответе на задание / будет выполнен только его первый шаг (отклик примет значение Уп/к = 1), может быть описана моделью Раша для дихотомической переменной [2]:
ехр(6п -5к )
Pnk (Ön|k> = -1+
exp(9n -Sk)
1 + exp(9n-Ö1)[1 + exp(9n-5 2)] Найденное выражение удобно представить в виде
¿exp(9n -5k)
Pnk (Önik) = k=1 -
1 +]Гехр Е (9п-5.)
к=1 ] =1
]Гехр(9п -5к)
=_к=]_=
¿ехр(9п-5к) + Еехр Е 9-5.)
к=0 к=1 .=1
]Гехр(9п-5к)
= к=1_
2 к ' Е ехр Е (9п -5.)
к=0 .=1
Обобщая полученное выражение на произвольное число mi шагов задания /, найдём вероятность Рп/Хфп | хп/, 5.) выполнения /-го задания п-м участником тестирования с результатом хп/:
Pnix {Ön / xni, 5ij } =
exp Е (0n -5j)
j=0
(4)
Е ехр Е (9п -5.)
_к=0 .=0 _
где 5. - трудность выполнения .-го шага задания /', т. е. трудность достижения следующей градации задания i, если предыдущая градация уже достигнута
(5. = 0).
Определяя общую трудность /'-го задания как среднее значение трудности всех его шагов
(2) Рг = Е5у /mi и используя выражение относитель-
.=1
ной трудности выполнения .-го шага задания / т. = 5. - Рг-, формулу (4) можно записать в виде
exp Е [0n - (Рг )]
Pni (xni x) '
j=0
Е exp Е [Ön - (Рг )]
k=0 j=0
0
-Ti1-ti2+x(0n -ßi)
(5)
E в
k=0
-Ti1"Ti2 --tik +k (6n -ßi)
exp E [0n " (ßi + t,)]
^ = -
j=0
Л = -
n i j=0
N L m k
ПП E exp E[0n- (ßi +tj)]
n i [k=0 j=0
Логарифмируя выражение (7), получим
N L xni N L xni
x = ln Л = ЕЕЕ 0n-EEE ßi"
n i j=0 n i j=0
(7)
N L Xni N L
- EEE т у -EE in
n i j =0 n i
mk
E exp E[0n - (ßi +t j)]
k=0 j=0
правильно выполняют j и более шагов задания и
Nm
E xm = E Sj = Yi +, то
n=l j=l
где х - градация индикаторной переменной; хп1 - результат выполнения п-м участником /-го задания; Р(хп/ = х) - вероятность правильного ответа п-го тестируемого на /-е задание с результатом х; 9п - уровень подготовленности п-го участника тестирования; в - уровень трудности /-го задания; тх - относительная трудность х-й градации /-го задания; т/ - максимальное значение числа градаций /-го задания.
Теоретические основы расчёта латентных переменных на основе модели Раша для рейтинговой шкалы
В качестве исходного выражения для разработки алгоритма расчёта латентных переменных нами была использована формула (5), которая в случае модели рейтинговой шкалы примет вид
N L xni N L N
EEE0n =EExm0n =EXn0n ■
n=1 i=1 j=0 n=1 i =1 n=1
(8)
-. (6)
Ё ехр Е [6п - (Р/ + ту)]
К=0 у =0
В модели рейтинговой шкалы предполагается, что число шагов т и трудность каждого фиксированного шага для всех заданий одинакова, поэтому индекс / у Ту опущен.
Для определения параметров 6п,Р/ и ту решим
задачу максимального правдоподобия для политоми-ческой матрицы результатов тестирования ((хпу))
размером N х L х т, предполагая величины Хп , У/, 6п, Р/ и ту независимыми. Вероятность Л правильного ответа на все L заданий всеми N тестируемыми определяется как произведение вероятностей Рп/х, которые находятся на основе матрицы результатов тестирования, и будет иметь вид
N L хп/ г -,
ехрЕЕЕ[еп -(Р/ +ту)]
N L хп/ L N L т L
Ё Ё Ё Р/ =ЕЕ *п/Р/ = Ё Ё S1J Р/ =Ё + Р/ , (9)
п=1 /=1 у=0 / =1 п=1 /=1 у =1 / =1
где ¥/+ - это количество баллов, набранных группой из N человек при ответе на /-е задание (индивидуальный балл задания) и
N L хп/ т L т
ЕЕЁт; =ЕЕ%т; = Ёут;, (10)
п=1 /=1 у=0 у=1 /=1 у =1
L
где Ё Sij = У+ у - это общее количество баллов, полу-
/=1
ченных за успешное выполнение у и более шагов всех L заданий всеми N участниками тестирования.
Используя введенные обозначения и учитывая выражения (8) - (10), логарифм вероятности можно записать в виде
N L т
к=Ё*п0п-Ё^+Р/ -Ёуту -
n=1 i=1 j=1
NL
- EE in
n=1 i=1
mk
E exp E[0n - (ßi + ту)]
k=0 j=0
(11).
Для получения выражений, позволяющих рассчитать значения трудности /-го задания Р/ , его у-го шага ту и уровня подготовленности 6п п-го участника тестирования, найдём максимальное значение логарифмической вероятности к, продифференцировав выражение (11) по латентным переменным 6п, Р/ и ту и
приравняв производные нулю:
дХ = " L 90n " Xn "S
д ln
mk
E exp E[0n " (ßi + тj ]
k=0 j=0
д0
= 0; (12)
—=-y +E-dßi Yi++ E
д ln
mk
E exp E[0n - (ßi + тj ]
k=0 j=0
дХ N L
"d~=-Y+ у +E EE-
дт у n=1 i=1
д ln
dß; k
E exp E[0n - (ßi +тj ]
k=0 j=0
dt,.
= 0;
= 0.
xni xni
Если учесть, что E0n=xm 0n; Eßi = xnißi; т =0;
j=0 j=0
L
xn = E xni - количество баллов тестируемого n,
i=1
отвечающего на тест, состоящий из L заданий; Sij -
U
количество участников тестирования, которые
т к г -,
Обозначив Ё ехрЕ [0п -(Р/ +ту)] = F(0п,Р/,т),
[К=0 у=0 ]
найдём производную от логарифма под знаком суммы в выражении (12):
д ln
mk
E exp E[0n - (ßi +тj)]
k=0 j=0
д0
в
= [ F (6„, рг, т j)]"
m k _
Z exp z[e„ - (ßi +т j)]
k=0 j=0
se.
. (13)
Вычислим производную
s
mk
Z expZ [e„ -(ßi +тj)]
k=0 j=0
sf (e„, ßi, т,)
зе„ se„
приняв во внимание, что переменные en, Рг- не зависят от индекса суммирования j:
sf (e„, ßi, т,)
s
Z exp
k=0
k (e„-ßi) -Zt j)
j=0
se
se
= Z k exp
k=0
к (9п -Р/) -Ет.
_ 1=0
Подставляя полученное выражение для производной числителя формулы (13) в саму формулу, получим
m k Г
a in f (о,, ß„ j >_ kzok exp z[e"- (ß'+T'1 ]
j=0
se„
. (14)
Е exp Е [0n - (Рг j )]
k=0 j=0
Анализируя полученное выражение с учётом
m
формулы (6), нетрудно видеть, что оно равно Е kPnik .
Таким образом,
s
mk
Z exp Z [e, - (ßi +тj)]
k=0 j=0
se
k=1
= Z kPmk . (15)
k=0
Аналогичным образом доказывается, что
a in
mk
Z exp Z [en - (ßi +тj)]
k=0 j=0
sßi
a in
m k r
Z exp Z [e, - (ßi +тj)]
k=0 j=0
st,.
= -Z kPmk
k=0
= Z Pmik
k=j
(16)
(17)
SX N L m
T- = -Y+ j +ZZZ Pmik
Ot-i n=1 i=1 k=j
(18)
баллов, которые получат все тестируемые по /-му заданию (ожидаемый балл задания У°+).
т
Сумма Е Рп/к - это количество баллов, получен-к=1
ных п-м тестируемым за успешное выполнение . и более шагов задания /. Если произвести суммирование по тестируемым и заданиям, то получим общее количество ожидаемых баллов, полученных за успешное выполнение. и более шагов всех заданий У+°;-.
Приравняем найденные для производных выражения к нулю и решим систему полученных уравнений предложенным Ньютоном методом численного решения нелинейного уравнения вида f (х) = 0 .
Если функция f (х) дважды дифференцируема в окрестности точки х0, то значение аргумента х(ш) на ^ + 1) шаге итерации может быть вычислено на основе выражения
х(t+1) = х(t) _f (x(t))
Лх» У <19)
В качестве функции ^х) примем первые производные от X, а в качестве её производной - вторые производные от этой величины. Вычислим вторую производную по 9п, используя первую формулу выражений (18):
S 2X
se2
S xm
ae„
a
se„
L m
Z Z Pmkk
i =1 k=0
L m
= -ZZ
i=1 k=0
S (P„k • k)
ae„
(20)
Найдём производную от (Рп/кк), подставив вместо вероятности Рп/к её значение из формулы (6):
S( Pmikk ) =
да„ se„
k
exp Z [e, - (ßi +тj)]
j=0
m k _
Z exp Z [e, - (ßi +тj)]
k=0 j =0
: P,ikk
С учетом выражений (14) - (17) первые производные от X по 9п, Р' и т 1 запишутся в виде:
ЗХ 1 т ЗХ N т
= хп - Е Е Рп/кк , "¡^Г = -У/+ + Е Е Рп/кк ,
39 п /=1 к=0 Зр / п=1 к=0
k exp
k (e,-ßi) -Zt j
j=0
mk
Z exp Z [e, - (ßi +tj)]
k=0 j =0
Z kP,ik
k=0
Подставим полученное выражение в (21)
S 2X L m 2
= -Z [ Z k P,ik -so„ i=1 k=0
Величина Е к • Рп/к - это ожидаемое значение
к=0
хп/. Когда эти значения суммируют по всем заданиям, то получают ожидаемое количество баллов п-го тестируемого. Если значения хп/ просуммировать по всем участникам, то найдем ожидаемое количество
Z k exp
k=0
k (e, -ßi) -Zt j
j=0
mk
Z exp Z [e, - (ßi +t j)]
k=0 j=0
Z kP,ik ] =
k=0
S
L
= -Е
i=1
Е k Pnik
k=0
Е kPnik
k=0
Е kPnik
k=0
L
= -Е
i=1
Таким образом,
m m 2 ]
Е k2 Pnik - Е kPmk
k=0 [k=0 _
д 2Х dÖ„2
L
= -Е
i =1
Е k2 Pnik -I Е kPnik
k=0 V k=0
(21)
Аналогичным образом доказывается, что
ч2~
д 2Х dß"2
N
= -Е
n=1
Е k2Pnik -I Е kPnik
k=0 Vk=0
д^ _ = -ЕЕ
дт j n=1 i=1
Е Pnik
k=j
2
Е Pnik
V k=j У
(22)
Q(i+1) =Q(i) __
Xn Е Е kPn(tit
i=1 k=0
nn
L
-Е
i =1
Е k2Pn(k-I Е kP(ik)
k=0 Vk=0
(23)
ß(i+1) =ß(i) --
N m
-Y+ + Е Е kPmk
n=1 k=0
(0
N
-Е
n=1
x(i+1) =x(i) -У У
m Am Л2
Е k2PS
k=0 V k=0 У
N L m
Е ЕЕ
n=1 i=1 k= j
(24)
-Y+j + Е ЕЕP^
NL
-ЕЕ
n=1 i=1
у P(i) -
nik
k=j
m
У P(i) nik
Vk=j У
(25)
e(0n ) =
B(ßi) =
Е(тj) =
N
Е
n=1
Е k Pnik I Е kPnik
k=0 Vk=0
Е k Pnik I Е kPnik
k=0 Vk=0
NL
ЕЕ
n =1 i
2
m m
Ep - у p
nik nik
k=j Vk=j У
(26)
(27)
Алгоритм расчёта латентных переменных на основе политомической модели Раша для рейтинговой шкалы
Алгоритм расчёта латентных переменных 9п, Рг- и т у по результатам тестирования на основе выражений
(23) - (25) представляет собой следующую последовательность действий:
1. Определяют У+. и У/ + , расшифровка обозначений
N т Ь
которых дана выше: У+ = Е хп/ = Е Я. ; У+ у = Е Я. .
п=1 . =1 /=1
2. Находят хп - общий балл, полученный п-м уча-
Ь
стником по всем Ь заданиям: хп = Ехп/ .
/=1
3. Рассчитывают начальные значения параметров
e(n0), Р
(0)
е(„0) = in
Используя полученные выражения (18) и (22) -(24) для первых и вторых производных от величины X и воспользовавшись формулой (19), найдем окончательные выражения, позволяющие рассчитать значения искомых величин по матрице результатов тестирования:
Ь т
Pn х n
V 1 - Pn У
т.1"1 на основе выражений: где Рп = хп/тЬ - доля баллов, по-
лученных п -м участником при выполнении всех за-
даний теста; Р(0) = in
^ Л
V P У
где P = Y +/(m• N) -
доля баллов, полученных при ответе N участников
тестирования на i-е задание; т(° = in
V pj У
где
Р. = У+(т • Ь) - доля участников тестирования, преодолевших . и более шагов задания. Если Рп = 1 или Рп = 0, то профиль ответов п-го участника тестирования из обработки удаляется. При Р' = 1, Р. = 1
или Р' = 0, Р. = 0 в выражения для Р(0) и т.1"1 вводятся поправки. Если Р. = 1, Р = 1, то выражения для Р(0) и т*-.0-1 запишутся следующим образом:
Р(0) = in
- Pi +А1 Л Pi -А1
j = in
Г1 - Pj + А1 ^
V j
Pj-А1
При Р = 0, Р. = 0 расчётные формулы имеют
Асимптотические стандартные ошибки рассчитываются по знаменателям выражений (25) - (27) для последней итерации:
вид: Р(0) = in
1 - Pi -А1 V Pi +А1 У
j = in
^ - Pj -А1 ^ V Pj +А1 У
4. Используя начальные значения 9п0'1, вычисляют уточнённые значения латентного параметра 9п'+1) при t = 0 с помощью итерационной формулы (23). Итерационные вычисления выполняют до тех пор, пока
соблюдается условие ) -9%-1)| > Де .
5. Используя начальные значения т(0-1, вычисляют
уточнённые значения латентного параметра т('+1) при
(28) t = 0 по формуле (25). Найденные значения т.О центрируют после каждой итерации, используя формулу
2
2
2
2
х/ = х/) -— Е/ / = 1, т. т ,=1
1 т
Значение х 11-1 = — Е т(/о после каждой итерации
т 1=1
обнуляется. Итерационные вычисления выполняют до тех пор, пока удовлетворяется условие
■ VtW
t(î) -x(i-1)
>Дт.
L
i =1
ß(t) -ß(t-1)
>д
ß-
T(0)
7. Повторяют этапы 3 - 6, используя вместо и ß(0) полученные значения 6®, т?)
ч(0
N L m
s (0(„î-1) -0(п ))2 +s (ß(t-1) -ß(( ))2+s (t(î-1) -Tj))2
n=1 i=1 j=1
(L + N + m-1)
д
9. Если условие ст < — выполняется (А = тт(Д0, Ар, ДТ)), рассчитывают значения трудности шагов
T(t+1) для каждого
U
задания:
т
(t+1) _ „.(t+1)
у
= т
+ ß
(t+1).
6. Используя начальные значения р(0), производят вычисление уточнённых значений латентного параметра р(1+1) при 1 = 0 на основе выражения (24). Найденные значения р?) центрируют после каждой итерации, используя формулу
Р(° = р(0) -1Ер(0), < = й.
ь г=1
— 1 L
Значение ß(t) = — Eß!? после каждой итерации обну-
ляется. Итерационные вычисления выполняют до тех пор, пока выполняется условие
V / 11 ^ ^ А ЛИЛ А^АААА.ХА п 3 V/ и! Р(
(1 = 1, 2, 3,...).
8. После завершения итерационных вычислений рассчитывают значение критерия окончания итерационного процесса, который для данного случая будет иметь вид
I = 1, Ь; / = 1, т.
10. Вычисляют погрешности расчётов латентных переменных, используя формулы (26) - (28).
Рассмотренный алгоритм расчёта параметров латентных переменных по политомической матрице результатов тестирования используется в программном комплексе К1ЬР-2 [3]. Достоверность полученных с его помощью значений параметров подтверждается высокой сходимостью расчётных данных к эмпирическим; согласием их с оценками, рассчитанными с помощью лицензионной диалоговой системы КПММ 2020.
Литература
1. Wright B.S., Masters G.N. Rating Scale Analysis: Rasch Measurement. Chicago, 1982. 206 p.
2. Нейман Ю.М., Хлебников В.А. Введение в теорию моделирования и параметризации педагогических тестов. М., 2000. 169 с.
3. RILP-2 / И.Н. Елисеев, И.И. Елисеев, А.И. Шерстобитов, А.В. Фисунов. Свидетельство об официальной регистрации программы для ЭВМ. РОСПАТЕНТ № 2010611109, 05.02.2010.
ст =
Поступила в редакцию 14 февраля 2011 г.
Елисеев Иван Николаевич - канд. техн. наук, доцент, профессор, Южно-Российский государственный университет экономики и сервиса. Тел. (8-863-6)-22-55-92. E-mail: [email protected]
Елисеев Игорь Иванович - аспирант, Южно-Российский государственный университет экономики и сервиса. Тел. (8-863-6)-22-34-24. E-mail: [email protected]
Eliseev Ivan Nikolaevich - Candidate of Technical Sciences, assistant professor, South-Russian State University of the Economy and Service. Ph. (8-863-6)-22-55-92. E-mail: [email protected]
Eliseev Igor Ivanovich - post-graduate student, South-Russian State University of the Economy and Service. Ph. (8-863-6)-22-34-24. E-mail: [email protected]
