О некоторых свойствах характеристической и информационной функций политомического тестового задания Текст научной статьи по специальности «Компьютерные и информационные науки»

УДК 004:519.2:37

О НЕКОТОРЫХ СВОЙСТВАХ ХАРАКТЕРИСТИЧЕСКОЙ И ИНФОРМАЦИОННОЙ ФУНКЦИЙ

ПОЛИТОМИЧЕСКОГО ТЕСТОВОГО ЗАДАНИЯ

Е.Ю.Карданова, Р.С.Карданов

Институт электронных и информационных систем НовГУ, [email protected]

Для политомического тестового задания вводятся понятия характеристической и информационной функций, изучаются их свойства и применение. Рассматриваются особенности характеристической и информационной функций простейшего политомического задания — двухшагового.

Ключевые слова: модель Раша, политомическое задание, характеристическая функция, информационная функция

The concepts of characteristic and information functions for polytomous test items are introduced. Properties and application of these functions are investigated. Particular features of characteristic and information functions for the simplest polytomous item -double-step item — are discussed.

Keywords: Rash model, polytomous item, characteristic function, information function

. _ ском тестировании, а также в социологических и пси-

1. Введение . ,

хологических опросниках. Аналогичную форму име-

Политомические тестовые задания (т.е. зада- ют многие методы мониторинга в образовании,

ния, за выполнение которых можно получить более управлении, экономике, медицине и т.д., когда по

одного балла) широко используются в педагогиче- совокупности ответов на ряд вопросов (или по сово-

купности значений ряда показателей) требуется сделать вывод о каких-либо характеристиках анализируемых объектов или параметрах контролируемого процесса.

В настоящей статье политомические задания рассматриваются применительно к педагогическому тестированию, однако все результаты справедливы и по отношению к другим сферам использования поли-томических заданий.

Применительно к педагогическому тестированию объектом измерения является участник тестирования (испытуемый), тест выступает в роли средства измерения. Любое политомическое задание может быть рассмотрено как многошаговое: чтобы достичь какой-либо категории k, испытуемый должен последовательно преодолеть k шагов, k = 0,1, ..., m; m — общее количество шагов выполнения задания. За правильное выполнение каждого шага испытуемый получает 1 балл. Следовательно, общий балл за выполнение задания равняется количеству правильно выполненных шагов.

В качестве математической модели тестирования выберем модель Раша с произвольными промежуточными категориями выполнения заданий [1,2]. Согласно этой модели вероятность nnk того, что испытуемый n с уровнем подготовленности 0n получит k баллов за выполнение задания (т.е. выполнит k шагов в этом задании), k = 0,1,...,m, определяется формулой

( k \

1

П nk = — • exp

( l

k0

-Z Sj

j=0

(1)

— нормирующий мно-

где V = 2 ехр/0 п 5;

1=0 у ]=0 ,

житель. Здесь 5, ] = 1,_____, т — трудность выполне-

ния ]-го шага задания (т.е. трудность достижения следующей категории задания при условии, что предыдущая категория уже достигнута), 50 = 0 . Данная модель позволяет каждому заданию теста иметь свою собственную шкалу оценивания: за выполнение любого задания испытуемый может получить от 0 до т первичных баллов, причем т может быть различным для различных заданий теста.

Положим

5 = - Z S і, (2)

m

j=1

параметр 5 будем трактовать как общую трудность задания. Понятие общей трудности задания полезно в практических целях, так как дает возможность сравнивать различные задания между собой.

Известно, что параметры 0n и 5 j используемой

модели Раша (1) могут быть легко оценены, причем оценки всех параметров находятся на единой метрической шкале и снабжены характеристиками точности оценивания [1,2].

В настоящей статье вводятся понятия характеристической и информационной функций политоми-ческого задания, изучаются свойства этих функций и их применение.

2. Характеристическая функция политомического задания

Предположим, что трудности шагов задания 5j, j = 1,., m известны и фиксированы. Пусть an —

балл, полученный испытуемым n за выполнение задания. Очевидно, что чем выше уровень подготовленности испытуемого, тем с большей вероятностью он получит высокий балл за выполнение задания. Таким образом, эта вероятность является функцией параметра 0 — уровня подготовленности испытуемого — и согласно модели (1) определяется формулой f , ( k \

P, = Pk

.И у

1

= — • exp —

10-Z5 і

j =0

где

—=Z exp10-Z5

, k = 0,...,m, (3)

(4)

і=о V У=° у

Рассмотрим балл ап как дискретную случайную величину с возможными значениями 0,1,...,т и соответствующими вероятностями Р0, Р1, Рт. Ма-

тематическое ожидание и дисперсия этой случайной величины соответственно равны

M (an ) = Z k ^ Pk

k=1

D(an)=Z| k-Zl• P • Pk =Zk2 • Pk-I Z

k=0

i=1

k • p,

(5)

(б)

к=1 У к=1

Характеристической функцией задания назовем функцию /(0) = М(ап). Она определяется формулой

f (0 )=Z k • р,=Z k • p,

0

{5 j}

(7)

к=1 к=1

и представляет собой математическое ожидание балла за выполнение задания испытуемыми с различным уровнем подготовленности. Г рафик характеристической функции назовем характеристической кривой задания.

Отметим, что введенное понятие характеристической функции политомического задания является обобщением известного понятия характеристической функции дихотомического задания (т.е. задания, которое оценивается только в двух категориях - 0 (верно) / 1 (неверно)). Действительно, в этом случае модель (1) примет вид

_ ЄХР[к (0 п - 81)] ,01 (8)

ппк =-л-----Тс----ГГ, к=0,1. (8)

1 + ехр(0 п - 81 )

Положив в (8) к = 1, получим пп1 — вероятность правильного выполнения данного задания; при к = 0 получим пп0 — вероятность неправильного выполнения данного задания (очевидно, что пп1 + пп0 = 1); 81 — трудность первого (и единственного) шага в задании. Характеристическая функция дихотомического задания определяется как функция вероятности правильного выполнения задания испытуемыми с различным уровнем подготовленности [3]:

ехр(0 - 81)

f (0 ) =

1 + exp(0 - 51)

2

2

m

m

Введя по аналогии с полигамическим заданием вероятности Рк и дискретную случайную величину ап,

получим, что /(0) = Р1У10^= М(ап) (формулы (3)-

(5) при т = 1). Таким образом, характеристическая функция дихотомического задания может быть интерпретирована как функция математического ожидания балла за выполнение задания испытуемыми с различным уровнем подготовленности.

Аналогичным образом вводится понятие характеристической функции шага политомического задания как функции вероятности выполнения испытуемыми с различным уровнем подготовленности к-го шага в задании [1]:

ехр(0 - 5 к)

fk (0 ) = -

k = 1,., m,

1+ехр(0 - 5к)' здесь 5к — трудность к-го шага в задании.

Известно, что для дихотомического задания абсцисса точки перегиба характеристической кривой равняется трудности задания 51; аналогично абсцисса точки перегиба характеристической кривой к-го шага политомического задания равняется трудности данного шага 5к. Более того, характеристические кривые дихотомических заданий, а также характеристические кривые шагов политомических заданий не пересекаются. Это свойство является одним из основных свойств моделей Раша и именно оно обеспечивает преимущества этих моделей по сравнению с другими математическими моделями теории моделирования и параметризации тестов (ТМПТ) [1,2].

3. Информационная функция политомического задания

Рассмотрим количество информации (по Фишеру [4]) относительно параметра 0, содержащееся в одном тестовом задании, которое в дискретном случае определяется как

k =0

d_

d0

In Pk

• Pk.

Функцию /(0) назовем информационной функцией задания, а ее график — информационной кривой. Очевидно, что /(0) можно записать в виде

'Р_' 2 ^0

(9)

Преобразуем функцию (9) с учетом (3), (4). k

Введем обозначение Д = ^ 5 j. Тогда

j=0

m ( l Л m v = S exp 10 S 5 j = S exp(l0 -Д1), (10)

l=0

j=0

l=0

и вероятность Pk можно записать в виде

pk = — exP(k0 -Д k )•

V

Вычисляем производную:

dpk.=p (k -dv •1

d0

(11)

(12)

Из (10) с учетом (11) имеем:

f m \

■■ S l • exp(l0 -Д1)

V l=1

dv 1 d0 v

V

:Z i

l=1

exp(l0-дг; V

:Zl • pl

l=1

и, следовательно,

dPL

d0

■ = Pk

k-£ l • P,

l=1

(13)

Подставляя (13) в (9), получим

/(0) = Э к-£/• Р • Р* =£к2 • Р*-|£к• Р* .(14)

к=0 У /=1 / к=1 У к=1 1

Из формулы (14) с учетом (6) следует, что информационная функция задания /(0) представляет собой дисперсию 0(ап) первичного балла, рассматриваемую как функцию параметра 0 при фиксированных трудностях шагов задания. Количество информации служит мерой чувствительности элементов матрицы ответов к изменению уровня подготовленности испытуемых: чем больше информации соответствует данному заданию, тем большее влияние оказывает результат выполнения этого задания на оценку уровня подготовленности.

Из (14) легко показать, что в дихотомическом

случае

/(0) = Р1Р0, (15)

где Р1 — вероятность правильного выполнения задания испытуемыми с различным уровнем подготовки, Р0 = 1 - Р\ — вероятность противоположного события (формулы (3), (4) при т = 1).

Выражение (15) совпадает с известным выражением для информационной функции дихотомического задания [5].

4. Связь между характеристической

и информационной функциями задания

Теорема 1. Характеристическая и информационная функции тестового задания связаны соотношением /(0) = / '(0).

Доказательство. Вычислим производную функции /(0). С учетом формул (7) и (13) имеем:

т 77-, т ( т \

аРъ

/(0)=Еk ~~k =sk • Pkk-sl • p

k=1

k=1

l=1

=sk2 • pk - sk • p

k=1

V k=1

что совпадает с I(0).

5. Свойства характеристической и информационной функций

Из определений характеристической и информационной функций и теоремы 1 следуют следующие свойства этих функций:

1)/(0) и /(0) определены для У0 е (-го,+то);

2) /(0) > 0, /(0) > 0 во всей области определения;

3) /(0) возрастает во всей области определения;

2

2

2

2

4) Иш /(0) = 0; Иш /(0) = т ;

0^-ад 0^+Ю

5) Иш /(0) = Иш /(0) = 0;

и тогда

л+О)

/*+о>

6) I / (0Щ

•7-ад

= т .

6. Особенности характеристической и информационной функций в случае двухшагового задания

Рассмотрим более подробно простейшее поли-томическое задание — двухшаговое. Р0 , Р1, Р2 — вероятности получить 0, 1 и 2 балла за выполнение задания.В этом случае из (3) и (4) при т = 2 имеем:

Р0 = —, Р = — ехр(0 - 51), Р2 = — ехр(20 - 51 - 52), (16) V V V

где 51, 52 — трудности шагов рассматриваемого задания; V = 1 + ехр(0 - 5!) + ехр(20 - 5! - 52).

Характеристическая функция (7) и информационная функция (14) при т = 2 примут вид

/ (0 ) = — (ехр(0 - 51) + 2ехр(20 - 51 - 52)), (17)

V

/ (0 ) = Др(ехр(0 - 51) + 4ехр(20 - 51 - 5 2) +

V

+ ехр(30 - 251 - 5 2)). (18) Рассмотрим свойства характеристической и информационной функций двухшагового задания.

Теорема 2. Характеристическая кривая двухшагового задания имеет точку перегиба. При этом абсцисса точки перегиба равняется 5 — общей трудности задания (2), а ордината постоянна и равна 1.

Доказательство. Вычислим вторую производную характеристической функции (17). После преобразований получим

/„(0) = ехр(0~ 51). [ - ехр(20 - 51 - 52)] х

V

х[1 + ехр(20-51 -52)+ 8ехр(0-52)-ехр(0-51)]. (19) Очевидно, что /'(0) = 0 в точке 0 = (51 + 52)/2. Покажем, что при переходе через эту точку /'(0) меняет знак.

Рассмотрим вторую скобку в правой части (19) при 0 = (51 + 52)/2. Она может быть преобразована к виду

5, - 52 ( 52 - 5, ~^( 52 - 5, ^

- ехр—-----21 ехр—---1 + 2 II ехр—---1 - 4 I. (20)

2

2

Возможны два случая.

1) ехр 5 2 - 51 1) ехр / 2

- 4 Ф 0. Тогда выражение (20) со-

храняет знак при любых значениях 51 и 52, что означает, что вторая производная характеристической функции (19) меняет знак при переходе через точку 0 = (51 + 5>)/2.

52 - 51

2) ехр——1 - 4 = 0, что эквивалентно условию 52 - 51 = 41п 2. В этом случае можно показать, что вторая скобка в правой части (19) может быть преобразована к виду

-1 [р(0 - 51)- 4]2,

16

/ "(0) =

ехр(0 - 51) 16у3

[1-ехр(20 - 51 - 52 )].[ехр(0 - 51)-4]2.

Очевидно, что /'(0) меняет знак при переходе через точку 0 = (51 + 52)/2.

Таким образом 0 = (51 + 52)/2 — абсцисса точки перегиба характеристической кривой двухшагового задания. Согласно (2) 5 = (51 + 52)/2 — общая трудность задания при т = 2. Из формулы (17) следует, что / (5) = 1. Следовательно, характеристическая кривая двухшагового задания имеет одну точку перегиба с координатами (5 ,1). Теорема доказана.

Итак, характеристическая кривая двухшагового задания обладает следующим свойством: абсцисса ее точки перегиба равняется общей трудности задания 5 . Отметим, что аналогичным свойством обладает характеристическая кривая дихотомического задания.

Теорема 3. Характеристическая кривая двухшагового задания симметрична относительно точки перегиба (5 ,1).

Доказательство. Рассмотрим характеристическую функцию (17) двухшагового задания и положим

0 = 01 + 5 = 01 + (51 + 52)/2. После преобразований получим

/ (01 ) =

ехр(0! + 52 ^ 5 | + 2ехр(20! )

2

1 + ехр| 01 + 5 2 5

2

(21)

+ ехр(201)

Для доказательства теоремы достаточно доказать, что график функции (21) симметричен относительно точки (0,1). В свою очередь, для этого достаточно доказать, что

/(01) = 2 -/(-01) У01 е (-*,+*). (22)

Равенство (22) легко доказывается из (21) после выполнения соответствующих преобразований.

Замечание. Можно показать, что при выполнении условия

52 - 51 > 41п 2 (23)

характеристическая кривая имеет три точки перегиба. При этом и абсциссы, и ординаты дополнительных точек перегиба будут зависеть от трудностей шагов 51 и 52 задания. Абсциссы дополнительных точек перегиба равны 01 = 1п у1, 02 = 1п у2, где у1 и у2 — корни квадратного уравнения

у2 +(8ехр51 - ехр52 )у + ехр(51 + 52 ) = 0. (24)

При выполнении условия (23) уравнение (24) имеет два вещественных положительных корня.

Легко показать, что точки 01 и 02 симметричны относительно точки 0 = 5 . Для этого достаточно доказать, что выполняется равенство у1 • у2 = ехр(25), которое прямо следует из уравнения (24). Заметим, что симметричность точек 01 и 02 следует и непосредственно из теоремы 2.

Из свойств информационной функции, а также теорем 1-3 вытекает следующая теорема.

Теорема 4. Информационная функция двухшагового задания имеет в точке 0 = 5 максимум. Ин-

формационная кривая симметрична относительно прямой 0 = 5 .

Из (18) с учетом теоремы 1 имеем:

2

I (S) = Я

2 + exp

62 - 61

2

максимум информационной функции и коэффициент наклона характеристической кривой в точке перегиба. Следовательно, коэффициент наклона характеристической кривой зависит от трудностей шагов задания: чем больше разность 52 - 5i, тем меньше коэффициент наклона и, следовательно, тем более пологой будет характеристическая кривая задания. Таким образом, в отличие от характеристических кривых дихотомических заданий и характеристических кривых шагов политомических заданий характеристические кривые различных политомических заданий могут пересекаться.

Примерный вид характеристической и информационной кривых двухшагового задания представлен на рис. Тут же показаны и вероятностные кривые

— графики вероятностей достижения отдельных категорий Р0, P1 и P2. Из формул (16) видно, что кривые Р0 и Р2 пересекаются в точке 0 = 5 = (51 + 52)/2 , а кривая Р1 имеет в этой точке максимум. При этом

5 2 - 51

exp

Po (S)= P2

2 + exp

62 - 61

; P(S ) =

exp

2

2

Ро 1 /

Ус

Характеристическая, информационная и вероятностные кривые двухшагового задания

Абсцисса точки пересечения кривых Р0 и Р1 равна трудности 51 первого шага, абсцисса точки пересечения кривых Р1 и Р2 равна трудности 52 второго шага в рассматриваемом задании. Три точки вдоль характеристической кривой задания показывают средний балл по данному заданию по трем группам испытуемых (с низким, средним и высоким уровнем подготовки), т. е. соответствуют эмпирическому распределению.

7. Применение характеристической и информационной функций для исследования свойств политомических заданий

Характеристическая функция полигамического задания полезна для исследования адекватности эмпирических данных модели измерения. Традиционно в рамках моделей Раша для этой цели используются разнообразные статистики согласия [6]. Однако при этом возникают известные проблемы, связанные с неясностью их теоретических распределений, отличиями эмпирических распределений от теоретических (обусловленными различными причинами, в частности, возможными наличиями искажений в эмпирических данных) и, как следствие, с необоснованностью выбора критических значений используемых статистик. Характеристическая кривая задания дает дополнительный инструмент для исследования согласия.

На рис. для иллюстрации согласия экспериментальных данных по заданию с моделью рассматривались три точки, соответствующие эмпирическому распределению. Очевидно, что они расположены в достаточной близости от характеристической кривой задания, что говорит о полном соответствии задания требованиям модели Раша. Однако, как правило, различия между теоретической характеристической кривой и эмпирическими точками существуют. Необходимо решить вопрос о том, существенны ли эти различия (и, конечно, трех точек для этого будет недостаточно).

Для проверки гипотезы о том, что используемая модель Раша адекватно моделирует зависимость балла за выполнение рассматриваемого задания от уровня подготовленности испытуемого, можно использовать различные критерии согласия. В работе [2] показано применение для этой цели критерия согласия К.Пирсона [7].

Информационная функция полигамического задания полезна для оценивания эффективности тестовых заданий для измерения уровня подготовленности испытуемых. Следует отметить, что общее количество информации, соответствующей заданию, определяется только числом шагов в задании и не зависит от трудностей этих шагов. Это следует из свойства 6 информационной функции задания. Однако различные задания (даже с одинаковым числом шагов и даже одного уровня трудности) могут совершенно по-разному оценивать одних и тех же испытуемых. Это следует из того, что информационная функция задания является функцией переменной 0. Кроме того, одно и то же задание может быть эффективным для измерения одной группы испытуемых и совершенно бесполезным для измерения другой группы. Поэтому при разработке заданий и компоновке их в тест необходимо подбирать задания, наиболее информативные для данной конкретной выборки испытуемых (более подробно об этом см. в [8]). Пример использования информационных функций для оценивания эффективности заданий показан в работе [9].

8. Заключение

В работе введены понятия характеристической и информационной функций политомических тестовых

2

заданий, известные ранее для дихотомических заданий, изучены свойства этих функций и их применение.

Более подробно рассмотрены свойства характеристической и информационной функций простейшего политомического задания — двухшагового. Вопрос о распространении этих свойств на задания с числом шагов, большим двух, пока остается открытым и требует дальнейшего исследования.

1. Wright B.D., Masters G.N. Rating Scale Analysis. Rasch Measurement. Chicago: Mesa Press, 1979. 206 p.

2. Карданова Е.Ю. Моделирование и параметризация тестов: основы теории и приложения. М.: Федеральный центр тестирования, 2008. 304 с.

3. Нейман Ю.М., Хлебников В.А. Введение в теорию моделирования и параметризации педагогических тестов. М.: Прометей, 2000. 169 с.

4. Рао С. Р. Линейные статистические методы и их применение. М.: Наука, 1968. 548 с.

5. Нейман Ю.М., Хлебников В.А. Педагогическое тестирование как измерение. М.: Центр тестирования МО РФ, 2002. 67 с.

6. Карданова Е.Ю. // Вопросы тестирования в образовании. 2007. №18. С.5-8.

7. Вероятностные разделы математики / Под ред. Ю.Д.Максимова. СПб.: Иван Федоров, 2001. 588 с.

8. Stone Mark H. // Journal of Applied Measurement. 2008. №9(2). Р.125-135.

9. Карданова Е.Ю., Карпинский В.Б. // Системы управления и информационные технологии. 2007. №3.1(29). С. 149154.