Доказательство применимости политомической модели г. Раша Текст научной статьи по специальности «Компьютерные и информационные науки»

УДК 519.8

Е.Ю.Карданова

ДОКАЗАТЕЛЬСТВО ПРИМЕНИМОСТИ ПОЛИТОМИЧЕСКОЙ МОДЕЛИ Г.РАША

Новгородский государственный университет им. Ярослава Мудрого

It's proved that if polytomic item can be represented as a set of independent dichotomic items with known difficulties then the raw score for implementation of this item satisfies the polytomic Rasch model. What's more steps difficulties of polytomic item can be evaluated through difficulties of separate dichotomic items. It is proved the possibility of adaptability of Rasch polytomic model with respect to items of part B EGE that are evaluated polytomously.

Введение

Основная цель теории моделирования и параметризации тестов (ТМПТ) [1] состоит в разработке математической модели процесса тестирования, параметрами которой, подлежащими определению, служат характеристики участников тестирования и самого теста.

Исходная матрица ответов участников тестирования на задания теста содержит в себе лишь результаты формальных наблюдений над случайными событиями. Первичные баллы (и участников тестирования, и заданий), по существу, лишь фиксируют количество положительных исходов случайных событий и находятся на порядковой шкале. Задача состоит в том, чтобы преобразовать формальные наблюдения за исходом отдельных случайных событий в измерения, т.е. непрерывные переменные со значениями на метрической шкале. В результате могут быть получены объективные оценки параметров уровня подготовленности испытуемых и трудностей заданий теста, что позволяет пользоваться методами статистического анализа, оценивать точность баллов и т.д.

В работе [2] рассмотрены основные математические модели ТМПТ — модели, принадлежащие семейству моделей Г.Раша. Выбор соответствующей модели определяется, в частности, количеством категорий в оценивании заданий теста: дихотомическое

задание допускает лишь две категории: верно / неверно, политомическое задание допускает более двух категорий, например: верно / частично верно / неверно.

Любое дихотомическое задание может быть рассмотрено как одношаговое задание, в результате правильного выполнения которого испытуемый получает 1 балл. Примерами дихотомичеких заданий являются задания типа А ЕГЭ. Пусть 0п уровень подготовленности испытуемого п, 5, — трудность /-го задания теста. Тогда согласно дихотомической модели Раша вероятность Рп/ того, что испытуемый п выполнит правильно задание / (и, таким образом,

получит 1 балл за выполнение этого задания) определяется формулой [1,2]

Р = ехр(0п - 5,)

ш Л с-ч"

1 + ехР(0п - 5 )

Политомическое задание может быть рассмотрено как многошаговое задание, за выполнение которого испытуемый может получить от 0 до т баллов. Чтобы достичь высшей категории т, испытуемый должен последовательно преодолеть т шагов, за правильное выполнение каждого из которых он получает 1 балл. Трудности выполнения каждого шага в общем случае различны и не зависят от трудности выполнения остальных шагов. Примерами политомических

заданий являются задания типа С ЕГЭ, оцениваемые экспертами.

Вероятность %п/к того, что испытуемый п получит к баллов за выполнение /-го задания (т.е. выполнит к шагов в этом задании), к = 0,1,...,.т, определяется формулой [2]

exp(kQn -X 8^)

nik

J = 0

X ЄХР X (9n - 833 )

1=о j=о

(2)

где 5у — трудность выполнения j-го шага в задании i, 5i0 = 0. Функция (2) определяет модель Раша с произвольными промежуточными категориями выполнения заданий (Partial Credit Model в англоязычной литературе). В данной работе модель (2) для простоты будем называть политомической моделью Раша. Условная вероятность Pnik выполнения испытуемым n k-го шага в задании i, k = 1,.,m, при условии, что (k - 1)-й шаг выполнен верно, определяется формулой

P = -

nik

nik

exp(9n - Sik)

(3)

Пп/к-1 + Пп/к 1 + еХР(0п - 5/к )

Политомическая модель Раша часто используется в психологическом и педагогическом тестировании. В частности, она естественным образом применяется для заданий, требующих последовательности шагов в выполнении, т.е. заданий, допускающих пошаговую интерпретацию (таковыми являются задания типа С ЕГЭ). Однако тесты ЕГЭ по некоторым предметам содержат политомические задания других типов, а именно — задания на установление соответствия, с выбором нескольких правильных ответов и т.д. Цель настоящей статьи — доказать, что первичные баллы по этим заданиям удовлетворяют политомической модели Раша, и, таким образом, эта модель может быть применена для обработки результатов тестирования по этим заданиям. Доказательство проведем на примере задания на установление соответствия.

Основные результаты

Задание на установление соответствия представляет собой два множества элементов

X = {хг-}, / = 1,..., т и У = {у у } У = 1,..., п , т > п , и от

испытуемого требуется каждому элементу первого множества поставить в соответствие один элемент второго множества. В общем случае все соответствия независимы друг от друга: любой элемент из первого множества может соответствовать любому элементу из второго множества и наоборот. Таким образом, речь идет об отображении множества X на множество У: для каждого элемента хг- е X требуется найти его образ у у = / (х{) е У.

Пусть Д — событие, заключающееся в том, что /-е соответствие установлено верно, т.е. для элемента х/ е X правильно найден образ у у = / (х^) е У. Установление любого соответствия может быть рассмотрено как дихотомическое задание с двумя исходами: верно / неверно. Таким образом, данное задание может

быть представлено как т независимых дихотомических заданий, и события Лі независимы. Предположим, что вероятность правильного выполнения і-го дихотомического задания (т.е. установления і-го соответствия) определяется дихотомической моделью Раша (1):

P( A) = рг =

exP(9n - Si )

(4)

1 + ехР(0п - 5/ )

где 5г- — трудность установления /-го соответствия в данном задании. Тогда соответственно

q = P( 4) = і- Pi =

1

1 + exP(9n - Si )

- (5)

вероятность неправильного установления /-го соответствия, / = 1,2,.,т. Пусть X — дискретная случайная величина с возможными значениями 0,1,. ,т — первичный балл за выполнение задания (т.е. количество правильно установленных соответствий). Введем следующие обозначения: 4 1 = е-5‘, / = 1,2,.,т, а Бк, к = 0,1,.,т — элементарные симметрические многочлены переменных ^1,42,. .,4т [3]:

т т

$0 = 1, $1 = £4/, $2 =^ 4/4У,..., $т =П 4/. (6)

/=1 1</< у <т /=1

Теорема 1. Если события Д независимы и вероятность р = Р( Д) определяется формулой (4), то вероятность того, что случайная величина X примет свое возможное значение к, к = 0,1,.,т, вычисляется по формуле

Р^ = к) =1 • ек0п • Бк, (7)

¥

т

где ¥ = П (! + ехр(0п - 5/)).

/=1

Доказательство. Пусть Вк = {X = к} — событие, заключающееся в том, что случайная величина X примет свое возможное значение к, к = 0,1,.,т. Задача сводится к нахождению вероятностей событий Вк , т.е. закона распределения случайной величины X.

Рассмотрим событие В0 = {X = 0}. В силу независимости событий А и с учетом (5) и (6) имеем:

P(Во) = P (X = 0) = П Чг =

i=1

- = і = і • So-

В0 =П А/

/ = 1

т

= П——

¿=11 + ехР( 0п - 5/) ¥ ¥

Событие В1 = {X = 1} означает, что только одно соответствие установлено верно, а остальные т - 1 соответствий — неверно. Таким образом, имеем:

В1 = А1А2... Ат-1 Ат + А1А2... Ат-1 Ат + ... + А1А2". Ат-1 Ат

и в силу несовместности слагаемых событий и с учетом

m m

(4) — (6) получим: P(B1) = P(X = 1) = Х^ПqJ) =

i=1 3=1

mm

XexP(9n-Si) = -•e&nX4i = -• e°n • S1-¥ ¥ tt ¥

Событие B2 = {.X = 2} представляет собой

сумму Ст несовместных событий вида

А1А2..А/-1А/ ..Дт-1Ат . Тогда, вычислив вероятность события В2, полечим: Р(В2) = Р(X = 2) =

гп гп

= - ¿ехр(20» -5і -5.) = -• е20» = -

1<і< .<т

-

е20» • 82.

1<і< .<т

-

-

Аналогично можем вычислить вероятности всех событий Вк. Для последнего события Вт по-

лучим

: Вт =ПЛі и Р(Вт) = Р(Х = т) = ПРі =

П-

ехр(0» - 5; ) _1

т -ч //<

=- ехр(т0„- X5;)=_ •ет0п П 4 - 1=- - ¿=1

Ц + ехр(0п - 5/) ¥

=1. ет0» • Бт . Теорема доказана.

¥

Формула (7) определяет вероятность того, что испытуемый с уровнем подготовленности 0п за выполнение рассматриваемого задания получит первичный балл, равный к.

Теорема 2. В условиях теоремы 1 первичный балл за выполнение задания удовлетворяет полигамической модели Раша.

Доказательство. Достаточно доказать, что условная вероятность того, что испытуемый выполнит к-й шаг в задании при условии, что (к - 1)-й шаг выполнен верно, определяется формулой (3). Имеем:

Р(X = к)

Р =

пік

'-пік

П»ік-1 + П»ік Р(X = к -1) + Р(X = к)

= ехР(0п - Ок )

ек0п •

е

(к-1)0»

^-! + екп • ^ 1 + ехР(0п - Ок)

где

о к = 1п ^к-1 - 1п 8к, к = 1,...,т.

(8)

(9)

Теорема доказана.

В формуле (8) с к — трудность выполнения к-

го шага в данном задании. Так с1 — трудность выполнить 1-й шаг, т.е. установить одно какое-либо соответствие в задании; с2 — трудность выполнить 2-й шаг, т.е. установить второе какое-либо соответствие (при условии, что одно уже установлено). И т.д.

Теорема 3. Трудности шагов рассматриваемого полигамического задания образуют возрастающую последовательность, т.е.

О

к+1

> ок, к = 1,...,т -1.

(10)

Доказательство. С учетом (9) имеем:

Ок+1 - О к =1п

8к-1 • 8к+1

Так как ^ > 0 У і = 1,..., т, то

Бк > 0 Ук = 0,...,т, и неравенство (10) эквивалентно неравенству

(11)

Докажем неравенство (11) при к = 1. Имеем:

тт

80 = 1,=££■, 82 = , и неравенство (11) при-

нимает вид:

1</< у<т

2

т т т

: (X4/) > Е4*4уили Е42 + >0.

V /=1 / 1<г'< у<т /=1 1</< у<т

Последнее неравенство очевидно в силу условия 4г- > 0 V/ = 1,...,т.

В случае к > 1 доказательство полностью аналогично. Теорема доказана.

Вывод

Таким образом, если политомическое задание на установление соответствия может быть представлено как множество независимых дихотомических заданий с трудностями 5г-, / = 1,...,т , то первичный балл за выполнение этого задания удовлетворяет полигамической модели Раша (формула (8)). При этом трудности шагов политомического задания могут быть выражены через трудности отдельных дихотомических заданий:

ск =1п $к-1 - 1п $к, где $к, к = 0,1,.,т — элементарные симметрические многочлены переменных 41,42,..., 4т и

4г- = е 5, / = 1,2,.,т. Более того, трудности шагов образуют возрастающую последовательность: с1 < с2 <... < ст . Заметим, что такое простое выражение трудностей шагов политомического задания через трудности отдельных дихотомических заданий возможно лишь в случае, когда оценка за выполнение задания совпадает с первичным баллом задания, т. е. с числом правильно установленных соответствий.

Полученные результаты могут быть обобщены на задания других типов, оцениваемые политомиче-ски, в частности на задания с выбором нескольких правильных ответов.

Таким образом, политомическая модель Раша может быть применена по отношению к заданиям типа В ЕГЭ, оцениваемым полигамически.

1. Нейман Ю.М., Хлебников В. А. Введение в теорию моде-

лирования и параметризации педагогических тестов. М.: Прометей, 2000. 169 с.

2. Карданова Е.Ю., Нейман Ю.М. // Вопросы тестирования в образовании. 2003. № 7. С.12-37.

3. Курош А.Г. Курс высшей алгебры. М.: Наука, 1971. 431 с.

і =1

і=1