Теоретическое обоснование алгоритма расчёта латентных переменных программным комплексом rilp-2 на основе модели рейтинговой шкалы Текст научной статьи по специальности «Компьютерные и информационные науки»

УДК 519.85:004.421

ТЕОРЕТИЧЕСКОЕ ОБОСНОВАНИЕ АЛГОРИТМА РАСЧЁТА ЛАТЕНТНЫХ ПЕРЕМЕННЫХ ПРОГРАММНЫМ КОМПЛЕКСОМ RILP-2 НА ОСНОВЕ МОДЕЛИ РЕЙТИНГОВОЙ ШКАЛЫ

© 2011 г. И.Н. Елисеев, И.И. Елисеев

Южно-Российский государственный South-Russian State University

университет экономики и сервиса, г. Шахты of the Economy and Service, Shahty

Рассматриваются теоретические основы расчёта латентных параметров участников тестирования и политомических заданий (индикаторов) диагностического теста по результатам их выполнения. В качестве модели измерения используется однопараметрическая политомическая модель Раша для рейтинговой шкалы. Предложен алгоритм расчёта латентных параметров, обеспечивающий высокую сходимость расчетных данных к экспериментальным.

Ключевые слова: диагностический тест; индикатор теста; латентный параметр; алгоритм расчёта.

In the article present the theoretical bases for calculating of latent parameters ofparticipants of testing and polyatomic tasks (indicators) of a diagnostic test based on their performance. As the measurement models used a one-parameter polyatomic model of Rush for the rating scale. There is algorithm for calculating the latent parameters, providing a high convergence of the calculated data to experimental.

Keywords: diagnostic test; the test indicator; the latent parameter; the algorithm of calculation.

Постановка задачи

Для обработки политомических результатов отдельных видов образовательной деятельности, социологических и психодиагностических исследований, анализа и интерпретации полученных данных в зарубежных странах широкое распространение получила политомическая модель Раша для рейтинговой шкалы [1]. В России же эта модель до настоящего времени применения не нашла, из-за чего погрешности расчёта параметров латентных переменных р„ Ту, и 9п, которыми характеризуются качество диагностических средств и состояние процессов объектов исследования, оказываются большими.

Цель статьи - разработка теоретических основ алгоритма расчёта оценок максимального правдоподобия параметров латентных переменных политомиче-ской модели Раша на основе рейтинговой шкалы.

Разработку математического аппарата, необходимого для расчёта параметров латентных переменных, начнём с теоретического обоснования допустимости использования однопараметрической модели Раша для оценки политомических результатов образовательной деятельности. При этом под 9п будем понимать уровень подготовленности п-го участника тестирования, под р,- - уровень трудности /'-го задания диагностического теста и под Ту - уровень трудности у-го шага (/-й категории ответа) /-го задания.

Теоретическое обоснование допустимости использования модели Раша

Политомическая модель Раша используется для обработки результатов тестирования (анкетирования) и расчёта латентных параметров заданий (индикато-

ров) и участников тестирования, когда результат выполнения заданий представляется в виде целого числа от 0 до т. Примером является оценка результатов выполнения тестовых заданий на соответствие, на установление правильной последовательности действий, заданий с несколькими верными ответами, а также оценка результатов социологических исследований (опрос, анкетирование и т.д.).

Политомическая модель Раша базируется на использовании одноименной однопараметрической дихотомической модели [2], в которой результат тестирования или анкетирования оценивается двумя категориями: ноль и единица. В этом частном случае трудность задания и трудность единственного шага (порога) совпадают. Политомическое задание содержит несколько шагов (градаций, категорий ответа), преодоление каждого из которых оценивается единицей, а непреодоление нулём. Результат выполнения /-го задания участником тестирования п есть целое число хп/ = х, которое может принимать значения в диапазоне 0 < х < тКаждый из у-х порогов задания характеризуется определённой трудностью Ту и расположен в определённом месте на оси латентной переменной 9. Все задание в целом характеризуется трудностью р,- и также занимает определённое положение на оси 9.

На рисунке показаны зависимости вероятности выполнения пяти шагов задания, каждый из которых оценивался баллами 0, 1, 2, 3 и 4. Каждый шаг (градация оценивания) имеет свою зону действия на оси непрерывной латентной переменной. Первый порог задания /', х/1 - это значение 9 на оси латентной переменной, при котором ответ тестируемого имеет равную вероятность оценивания и 0, и 1. Второй порог -

это отличное от предыдущего значение 9 на оси латентной переменной, при котором участник тестирования имеет равную вероятность получить и 1, и 2 балла. И так далее. В примере, представленном на рисунке, интервалы действия порогов: [-1,5, -0,5], [-0,5, 0,5] и [0,5 1,5] и [1,5, да) соответственно.

Pj(9) 1,0

0,5 ..

Р = -

nik

k = x = 1.

(1)

1 + ехр(6„ -5Л) Вероятность успешного выполнения первого шага двухшагового 1-го задания тестируемым с номером п в соответствии с формулой Байеса будет равна

Рп^п2

Рпк = "

QnlQn2 + Р„^„2 + Рп1Рп2 где Рп1, Рп2 - вероятности выполнения первого и второго шагов задания /; Qn1, Qn2 - вероятности невыполнения первого и второго шагов задания /. Перемножение вероятностей в числителе соответствует условной вероятности успешного выполнения первого шага задания и невыполнения второго шага. Произведения вероятностей в знаменателе соответствуют трём вариантам откликов в подпространстве латентных откли-

ков Гутмана, указанным выше. Поделив числитель и знаменатель выражения (2) на Qn2 ^п2 Ф 0), получим

Рпк =

Pn1

Qn1 + Pn1 + Pn1Pn2(Qn2)-

(3)

Qnk= 1 - Pnk и с учётом (1) определится выражением:

Qnk =

1

1 + exp(9n -Sik)

Произведение Pn2(Qn2) 1 будет равно:

Рп2©п2)-1 = ехр(6п -52). Подставив выражения для Рпк, Qnk и Рп2®п2)-1 в (3), найдём формулу для вероятности выполнения первого шага 1-го задания п-м участником тестирования

Вероятностные кривые шагов задания с т1 = 4

Результаты выполнения политомических заданий можно представить в виде трёхмерной матрицы, строки которой (ось х) представляют собой политомиче-ские профили ответов каждого тестируемого на все задания, столбцы (ось у) - политомические профили ответов, тестируемых на каждое задание, а строки в пределах каждого столбца (ось z) - дихотомические профили выполнения шагов конкретного задания. Выполнение каждого шага можно рассматривать как дихотомический латентный отклик в подпространстве

Гутмана О = {1,1,....,1,0,.....,0} ,

а политомическую

оценку всего задания - в виде суммы таких откликов.

Используя упорядоченную пространственную матрицу результатов тестирования (матрицу Гутмана), найдём математическое выражение для политомиче-ской модели Раша. В случае двух шагов (т, = 2) три возможных варианта откликов У п/к для п-го участника тестирования будут выглядеть следующим образом: 1) 0,0 » 0, 2) 1,0 » 1, 3) 1,1 » 2, где справа от каждого варианта указано значение х. Вероятность того, что при ответе на задание / будет выполнен только его первый шаг (отклик примет значение Уп/к = 1), может быть описана моделью Раша для дихотомической переменной [2]:

ехр(6п -5к )

Pnk (Ön|k> = -1+

exp(9n -Sk)

1 + exp(9n-Ö1)[1 + exp(9n-5 2)] Найденное выражение удобно представить в виде

¿exp(9n -5k)

Pnk (Önik) = k=1 -

1 +]Гехр Е (9п-5.)

к=1 ] =1

]Гехр(9п -5к)

=_к=]_=

¿ехр(9п-5к) + Еехр Е 9-5.)

к=0 к=1 .=1

]Гехр(9п-5к)

= к=1_

2 к ' Е ехр Е (9п -5.)

к=0 .=1

Обобщая полученное выражение на произвольное число mi шагов задания /, найдём вероятность Рп/Хфп | хп/, 5.) выполнения /-го задания п-м участником тестирования с результатом хп/:

Pnix {Ön / xni, 5ij } =

exp Е (0n -5j)

j=0

(4)

Е ехр Е (9п -5.)

_к=0 .=0 _

где 5. - трудность выполнения .-го шага задания /', т. е. трудность достижения следующей градации задания i, если предыдущая градация уже достигнута

(5. = 0).

Определяя общую трудность /'-го задания как среднее значение трудности всех его шагов

(2) Рг = Е5у /mi и используя выражение относитель-

.=1

ной трудности выполнения .-го шага задания / т. = 5. - Рг-, формулу (4) можно записать в виде

exp Е [0n - (Рг )]

Pni (xni x) '

j=0

Е exp Е [Ön - (Рг )]

k=0 j=0

0

-Ti1-ti2+x(0n -ßi)

(5)

E в

k=0

-Ti1"Ti2 --tik +k (6n -ßi)

exp E [0n " (ßi + t,)]

^ = -

j=0

Л = -

n i j=0

N L m k

ПП E exp E[0n- (ßi +tj)]

n i [k=0 j=0

Логарифмируя выражение (7), получим

N L xni N L xni

x = ln Л = ЕЕЕ 0n-EEE ßi"

n i j=0 n i j=0

(7)

N L Xni N L

- EEE т у -EE in

n i j =0 n i

mk

E exp E[0n - (ßi +t j)]

k=0 j=0

правильно выполняют j и более шагов задания и

Nm

E xm = E Sj = Yi +, то

n=l j=l

где х - градация индикаторной переменной; хп1 - результат выполнения п-м участником /-го задания; Р(хп/ = х) - вероятность правильного ответа п-го тестируемого на /-е задание с результатом х; 9п - уровень подготовленности п-го участника тестирования; в - уровень трудности /-го задания; тх - относительная трудность х-й градации /-го задания; т/ - максимальное значение числа градаций /-го задания.

Теоретические основы расчёта латентных переменных на основе модели Раша для рейтинговой шкалы

В качестве исходного выражения для разработки алгоритма расчёта латентных переменных нами была использована формула (5), которая в случае модели рейтинговой шкалы примет вид

N L xni N L N

EEE0n =EExm0n =EXn0n ■

n=1 i=1 j=0 n=1 i =1 n=1

(8)

-. (6)

Ё ехр Е [6п - (Р/ + ту)]

К=0 у =0

В модели рейтинговой шкалы предполагается, что число шагов т и трудность каждого фиксированного шага для всех заданий одинакова, поэтому индекс / у Ту опущен.

Для определения параметров 6п,Р/ и ту решим

задачу максимального правдоподобия для политоми-ческой матрицы результатов тестирования ((хпу))

размером N х L х т, предполагая величины Хп , У/, 6п, Р/ и ту независимыми. Вероятность Л правильного ответа на все L заданий всеми N тестируемыми определяется как произведение вероятностей Рп/х, которые находятся на основе матрицы результатов тестирования, и будет иметь вид

N L хп/ г -,

ехрЕЕЕ[еп -(Р/ +ту)]

N L хп/ L N L т L

Ё Ё Ё Р/ =ЕЕ *п/Р/ = Ё Ё S1J Р/ =Ё + Р/ , (9)

п=1 /=1 у=0 / =1 п=1 /=1 у =1 / =1

где ¥/+ - это количество баллов, набранных группой из N человек при ответе на /-е задание (индивидуальный балл задания) и

N L хп/ т L т

ЕЕЁт; =ЕЕ%т; = Ёут;, (10)

п=1 /=1 у=0 у=1 /=1 у =1

L

где Ё Sij = У+ у - это общее количество баллов, полу-

/=1

ченных за успешное выполнение у и более шагов всех L заданий всеми N участниками тестирования.

Используя введенные обозначения и учитывая выражения (8) - (10), логарифм вероятности можно записать в виде

N L т

к=Ё*п0п-Ё^+Р/ -Ёуту -

n=1 i=1 j=1

NL

- EE in

n=1 i=1

mk

E exp E[0n - (ßi + ту)]

k=0 j=0

(11).

Для получения выражений, позволяющих рассчитать значения трудности /-го задания Р/ , его у-го шага ту и уровня подготовленности 6п п-го участника тестирования, найдём максимальное значение логарифмической вероятности к, продифференцировав выражение (11) по латентным переменным 6п, Р/ и ту и

приравняв производные нулю:

дХ = " L 90n " Xn "S

д ln

mk

E exp E[0n " (ßi + тj ]

k=0 j=0

д0

= 0; (12)

—=-y +E-dßi Yi++ E

д ln

mk

E exp E[0n - (ßi + тj ]

k=0 j=0

дХ N L

"d~=-Y+ у +E EE-

дт у n=1 i=1

д ln

dß; k

E exp E[0n - (ßi +тj ]

k=0 j=0

dt,.

= 0;

= 0.

xni xni

Если учесть, что E0n=xm 0n; Eßi = xnißi; т =0;

j=0 j=0

L

xn = E xni - количество баллов тестируемого n,

i=1

отвечающего на тест, состоящий из L заданий; Sij -

U

количество участников тестирования, которые

т к г -,

Обозначив Ё ехрЕ [0п -(Р/ +ту)] = F(0п,Р/,т),

[К=0 у=0 ]

найдём производную от логарифма под знаком суммы в выражении (12):

д ln

mk

E exp E[0n - (ßi +тj)]

k=0 j=0

д0

в

= [ F (6„, рг, т j)]"

m k _

Z exp z[e„ - (ßi +т j)]

k=0 j=0

se.

. (13)

Вычислим производную

s

mk

Z expZ [e„ -(ßi +тj)]

k=0 j=0

sf (e„, ßi, т,)

зе„ se„

приняв во внимание, что переменные en, Рг- не зависят от индекса суммирования j:

sf (e„, ßi, т,)

s

Z exp

k=0

k (e„-ßi) -Zt j)

j=0

se

se

= Z k exp

k=0

к (9п -Р/) -Ет.

_ 1=0

Подставляя полученное выражение для производной числителя формулы (13) в саму формулу, получим

m k Г

a in f (о,, ß„ j >_ kzok exp z[e"- (ß'+T'1 ]

j=0

se„

. (14)

Е exp Е [0n - (Рг j )]

k=0 j=0

Анализируя полученное выражение с учётом

m

формулы (6), нетрудно видеть, что оно равно Е kPnik .

Таким образом,

s

mk

Z exp Z [e, - (ßi +тj)]

k=0 j=0

se

k=1

= Z kPmk . (15)

k=0

Аналогичным образом доказывается, что

a in

mk

Z exp Z [en - (ßi +тj)]

k=0 j=0

sßi

a in

m k r

Z exp Z [e, - (ßi +тj)]

k=0 j=0

st,.

= -Z kPmk

k=0

= Z Pmik

k=j

(16)

(17)

SX N L m

T- = -Y+ j +ZZZ Pmik

Ot-i n=1 i=1 k=j

(18)

баллов, которые получат все тестируемые по /-му заданию (ожидаемый балл задания У°+).

т

Сумма Е Рп/к - это количество баллов, получен-к=1

ных п-м тестируемым за успешное выполнение . и более шагов задания /. Если произвести суммирование по тестируемым и заданиям, то получим общее количество ожидаемых баллов, полученных за успешное выполнение. и более шагов всех заданий У+°;-.

Приравняем найденные для производных выражения к нулю и решим систему полученных уравнений предложенным Ньютоном методом численного решения нелинейного уравнения вида f (х) = 0 .

Если функция f (х) дважды дифференцируема в окрестности точки х0, то значение аргумента х(ш) на ^ + 1) шаге итерации может быть вычислено на основе выражения

х(t+1) = х(t) _f (x(t))

Лх» У <19)

В качестве функции ^х) примем первые производные от X, а в качестве её производной - вторые производные от этой величины. Вычислим вторую производную по 9п, используя первую формулу выражений (18):

S 2X

se2

S xm

ae„

a

se„

L m

Z Z Pmkk

i =1 k=0

L m

= -ZZ

i=1 k=0

S (P„k • k)

ae„

(20)

Найдём производную от (Рп/кк), подставив вместо вероятности Рп/к её значение из формулы (6):

S( Pmikk ) =

да„ se„

k

exp Z [e, - (ßi +тj)]

j=0

m k _

Z exp Z [e, - (ßi +тj)]

k=0 j =0

: P,ikk

С учетом выражений (14) - (17) первые производные от X по 9п, Р' и т 1 запишутся в виде:

ЗХ 1 т ЗХ N т

= хп - Е Е Рп/кк , "¡^Г = -У/+ + Е Е Рп/кк ,

39 п /=1 к=0 Зр / п=1 к=0

k exp

k (e,-ßi) -Zt j

j=0

mk

Z exp Z [e, - (ßi +tj)]

k=0 j =0

Z kP,ik

k=0

Подставим полученное выражение в (21)

S 2X L m 2

= -Z [ Z k P,ik -so„ i=1 k=0

Величина Е к • Рп/к - это ожидаемое значение

к=0

хп/. Когда эти значения суммируют по всем заданиям, то получают ожидаемое количество баллов п-го тестируемого. Если значения хп/ просуммировать по всем участникам, то найдем ожидаемое количество

Z k exp

k=0

k (e, -ßi) -Zt j

j=0

mk

Z exp Z [e, - (ßi +t j)]

k=0 j=0

Z kP,ik ] =

k=0

S

L

= -Е

i=1

Е k Pnik

k=0

Е kPnik

k=0

Е kPnik

k=0

L

= -Е

i=1

Таким образом,

m m 2 ]

Е k2 Pnik - Е kPmk

k=0 [k=0 _

д 2Х dÖ„2

L

= -Е

i =1

Е k2 Pnik -I Е kPnik

k=0 V k=0

(21)

Аналогичным образом доказывается, что

ч2~

д 2Х dß"2

N

= -Е

n=1

Е k2Pnik -I Е kPnik

k=0 Vk=0

д^ _ = -ЕЕ

дт j n=1 i=1

Е Pnik

k=j

2

Е Pnik

V k=j У

(22)

Q(i+1) =Q(i) __

Xn Е Е kPn(tit

i=1 k=0

nn

L

-Е

i =1

Е k2Pn(k-I Е kP(ik)

k=0 Vk=0

(23)

ß(i+1) =ß(i) --

N m

-Y+ + Е Е kPmk

n=1 k=0

(0

N

-Е

n=1

x(i+1) =x(i) -У У

m Am Л2

Е k2PS

k=0 V k=0 У

N L m

Е ЕЕ

n=1 i=1 k= j

(24)

-Y+j + Е ЕЕP^

NL

-ЕЕ

n=1 i=1

у P(i) -

nik

k=j

m

У P(i) nik

Vk=j У

(25)

e(0n ) =

B(ßi) =

Е(тj) =

N

Е

n=1

Е k Pnik I Е kPnik

k=0 Vk=0

Е k Pnik I Е kPnik

k=0 Vk=0

NL

ЕЕ

n =1 i

2

m m

Ep - у p

nik nik

k=j Vk=j У

(26)

(27)

Алгоритм расчёта латентных переменных на основе политомической модели Раша для рейтинговой шкалы

Алгоритм расчёта латентных переменных 9п, Рг- и т у по результатам тестирования на основе выражений

(23) - (25) представляет собой следующую последовательность действий:

1. Определяют У+. и У/ + , расшифровка обозначений

N т Ь

которых дана выше: У+ = Е хп/ = Е Я. ; У+ у = Е Я. .

п=1 . =1 /=1

2. Находят хп - общий балл, полученный п-м уча-

Ь

стником по всем Ь заданиям: хп = Ехп/ .

/=1

3. Рассчитывают начальные значения параметров

e(n0), Р

(0)

е(„0) = in

Используя полученные выражения (18) и (22) -(24) для первых и вторых производных от величины X и воспользовавшись формулой (19), найдем окончательные выражения, позволяющие рассчитать значения искомых величин по матрице результатов тестирования:

Ь т

Pn х n

V 1 - Pn У

т.1"1 на основе выражений: где Рп = хп/тЬ - доля баллов, по-

лученных п -м участником при выполнении всех за-

даний теста; Р(0) = in

^ Л

V P У

где P = Y +/(m• N) -

доля баллов, полученных при ответе N участников

тестирования на i-е задание; т(° = in

V pj У

где

Р. = У+(т • Ь) - доля участников тестирования, преодолевших . и более шагов задания. Если Рп = 1 или Рп = 0, то профиль ответов п-го участника тестирования из обработки удаляется. При Р' = 1, Р. = 1

или Р' = 0, Р. = 0 в выражения для Р(0) и т.1"1 вводятся поправки. Если Р. = 1, Р = 1, то выражения для Р(0) и т*-.0-1 запишутся следующим образом:

Р(0) = in

- Pi +А1 Л Pi -А1

j = in

Г1 - Pj + А1 ^

V j

Pj-А1

При Р = 0, Р. = 0 расчётные формулы имеют

Асимптотические стандартные ошибки рассчитываются по знаменателям выражений (25) - (27) для последней итерации:

вид: Р(0) = in

1 - Pi -А1 V Pi +А1 У

j = in

^ - Pj -А1 ^ V Pj +А1 У

4. Используя начальные значения 9п0'1, вычисляют уточнённые значения латентного параметра 9п'+1) при t = 0 с помощью итерационной формулы (23). Итерационные вычисления выполняют до тех пор, пока

соблюдается условие ) -9%-1)| > Де .

5. Используя начальные значения т(0-1, вычисляют

уточнённые значения латентного параметра т('+1) при

(28) t = 0 по формуле (25). Найденные значения т.О центрируют после каждой итерации, используя формулу

2

2

2

2

х/ = х/) -— Е/ / = 1, т. т ,=1

1 т

Значение х 11-1 = — Е т(/о после каждой итерации

т 1=1

обнуляется. Итерационные вычисления выполняют до тех пор, пока удовлетворяется условие

■ VtW

t(î) -x(i-1)

>Дт.

L

i =1

ß(t) -ß(t-1)

>д

ß-

T(0)

7. Повторяют этапы 3 - 6, используя вместо и ß(0) полученные значения 6®, т?)

ч(0

N L m

s (0(„î-1) -0(п ))2 +s (ß(t-1) -ß(( ))2+s (t(î-1) -Tj))2

n=1 i=1 j=1

(L + N + m-1)

д

9. Если условие ст < — выполняется (А = тт(Д0, Ар, ДТ)), рассчитывают значения трудности шагов

T(t+1) для каждого

U

задания:

т

(t+1) _ „.(t+1)

у

= т

+ ß

(t+1).

6. Используя начальные значения р(0), производят вычисление уточнённых значений латентного параметра р(1+1) при 1 = 0 на основе выражения (24). Найденные значения р?) центрируют после каждой итерации, используя формулу

Р(° = р(0) -1Ер(0), < = й.

ь г=1

— 1 L

Значение ß(t) = — Eß!? после каждой итерации обну-

ляется. Итерационные вычисления выполняют до тех пор, пока выполняется условие

V / 11 ^ ^ А ЛИЛ А^АААА.ХА п 3 V/ и! Р(

(1 = 1, 2, 3,...).

8. После завершения итерационных вычислений рассчитывают значение критерия окончания итерационного процесса, который для данного случая будет иметь вид

I = 1, Ь; / = 1, т.

10. Вычисляют погрешности расчётов латентных переменных, используя формулы (26) - (28).

Рассмотренный алгоритм расчёта параметров латентных переменных по политомической матрице результатов тестирования используется в программном комплексе К1ЬР-2 [3]. Достоверность полученных с его помощью значений параметров подтверждается высокой сходимостью расчётных данных к эмпирическим; согласием их с оценками, рассчитанными с помощью лицензионной диалоговой системы КПММ 2020.

Литература

1. Wright B.S., Masters G.N. Rating Scale Analysis: Rasch Measurement. Chicago, 1982. 206 p.

2. Нейман Ю.М., Хлебников В.А. Введение в теорию моделирования и параметризации педагогических тестов. М., 2000. 169 с.

3. RILP-2 / И.Н. Елисеев, И.И. Елисеев, А.И. Шерстобитов, А.В. Фисунов. Свидетельство об официальной регистрации программы для ЭВМ. РОСПАТЕНТ № 2010611109, 05.02.2010.

ст =

Поступила в редакцию 14 февраля 2011 г.

Елисеев Иван Николаевич - канд. техн. наук, доцент, профессор, Южно-Российский государственный университет экономики и сервиса. Тел. (8-863-6)-22-55-92. E-mail: ein@sssu.ru

Елисеев Игорь Иванович - аспирант, Южно-Российский государственный университет экономики и сервиса. Тел. (8-863-6)-22-34-24. E-mail: ein@sssu.ru

Eliseev Ivan Nikolaevich - Candidate of Technical Sciences, assistant professor, South-Russian State University of the Economy and Service. Ph. (8-863-6)-22-55-92. E-mail: ein@sssu.ru

Eliseev Igor Ivanovich - post-graduate student, South-Russian State University of the Economy and Service. Ph. (8-863-6)-22-34-24. E-mail: ein@sssu.ru