Тестовые задания с выбором нескольких правильных ответов как средство повышения точности педагогического измерения Текст научной статьи по специальности «Науки об образовании»



Pn

измерения

ТЕСТОВЫЕ ЗАДАНИЯ С ВЫБОРОМ НЕСКОЛЬКИХ ПРАВИЛЬНЫХ ОТВЕТОВ КАК СРЕДСТВО ПОВЫШЕНИЯ ТОЧНОСТИ ПЕДАГОГИЧЕСКОГО ИЗМЕРЕНИЯ

Олег Деменчёнок

Восточно-Сибирский институт МВД России AskSystem@yandex.ru

Предложена технология оценки нижнего предела стандартной ошибки уровня подготовленности испытуемого на основе анализа количества и способа оценивания тестовых заданий. Описана практическая реализация методики в электронной таблице Microsoft Excel. Показано, что эффективным средством минимизации погрешности педагогического измерения является переход от заданий с выбором одного правильного ответа к заданиям с выбором нескольких правильных ответов.

Ключевые слова: тест, уровень подготовленности, уровень трудности задания, погрешность измерения, математические модели педагогических измерений, Partial Credit Model.

Результаты измерений из-за погрешностей всегда несколько отличаются от истинного значения измеряемой величины. Результатами контроля знаний (или профессиональной компетентности) на основе математических моделей педагогических измерений являются не истинные, а лишь наиболее вероятные значения уровней подготовленности обучаемых и уровней трудности заданий. Погрешность искажает тестовый балл, снижает точность педагогического измерения.

Для практического использования результатов измерений желательна минимизация погрешности до некоторого приемлемого уровня; в идеальном случае — до уровня, при котором погрешностью можно пренебречь. По мнению автора, одним из эффективных средств решения этой задачи могут стать тестовые задания с выбором нескольких правильных ответов.

Основные

составляющие

погрешности

В статистике различают три основных вида ошибок: грубые, систематические и случайные.

Грубые ошибки возникают вследствие просчёта при вычислении тестового балла или неправильной регистрации результата.

Систематические ошибки однонаправлено либо преувеличивают, либо преуменьшают результаты измерений. Например, случайное угадывание испытуемым правильных ответов увеличивает результат по сравнению с истинным значением тестового балла, т.е. вызывает систематическую ошибку.

Случайная погрешность меняется по величине и по знаку, от измерения к измерению. Источниками случайных ошибок в случае тестового контроля могут стать:

• ограниченность числа заданий. Ограниченный набор заданий не всегда достаточен для полной проверки уровня и структуры знаний. Возникающие ошибки репрезентативности в сочетании с фрагментарностью знаний части обучаемых могут привести к зависимости тестового балла от того, какие именно задания предложены конкретному испытуемому;

• низкая дифференцирующая способность распространённой

сейчас дихотомической системы оценки правильности ответа на каждое задание — правильно или неправильно, 1 или 0. Неполные или неточные ответы квалифицируются как незнание ответа, что не всегда оправдано. Правильный ответ, оцениваемый максимальным баллом, не всегда соответствует известным критериям оценки «отлично»1. Напомним, это точное и прочное знание материала в заданном объёме, исчерпывающее и логически стройное его изложение, умение обосновывать принятые решения, обобщать материал и др.;

• случайными можно считать также ошибки ввода данных; ошибки, вызванные неверным истолкованием условия выполнения заданий теста и т.п.

Для повышения точности измерений следует стремиться к всемерному снижению как систематических, так и случайных погрешностей.

Снижение

систематической

погрешности

Основной путь снижения вызываемой угадыванием систематической погрешности — рациональное применение форм тестовых заданий. В.С. Аванесов рекомендует переходить от заданий с выбором одного правильного ответа к заданиям

Буланова-Топоркова М.В. и др. Педагогика и психология высшей школы. Ростов-на-Дону: Феникс, 2002. 544 с.

Я

измерения |

-e-

Аванесов В.С. Применение тестовых форм в Rasch Measurement//Педаго-гические измерения, 2005, 4. С. 3-20.

Вентцель Е.С. Теория вероятностей. М.: Высшая школа, 2001.

576 с.

с выбором нескольких правильных ответов2, с числом ответов до 8-12, там, где можно подобрать эффективные дистракто-ры. Такие задания устойчивы к угадыванию правильного ответа благодаря своей форме и числу дистракторов, что устраняет необходимость коррекции тестового балла.

Тестовое задание с несколькими правильными ответами — задание, в котором правильных ответов может быть несколько, например:

1. ПРОСТЫЕ ЧИСЛА:

□ 15

□ 19

El

El □

El

2 7 9 11

□ 28 □ 31

В данном задании каждый из ответов выбирается независимо от остальных. Вероятность случайно сделать правильный выбор для любого из элементов равна 0,5, так как нужно угадать, какой из двух возможных вариантов правильный.

По теореме умножения вероятностей независимых событий вероятность угадывания правильного ответа задания определяется произведением вероятностей угадывания для всех & вариантов ответа:

111 1

р = 1.1...! = 1. (1) 2 2 2 2

При & = 4 вероятность угадывания равна 1/1б ~ 0,06, при & = 6 вероятность 1/б4 ~ 0,016, при & = 10 вероятность менее 0,001.

Иногда учитываются частично правильные ответы. В.С. Аванесов предлагает при двухбалльной оценке за правильное выполнение задания снимать один балл за одну допущенную ошибку, за две и более ошибки — снимать оба балла. При трёхбалльной оценке — снимать один балл за одну допущенную ошибку и снимать два балла за вторую допущенную ошибку. Очевидно, что учёт частично правильных ответов снижает устойчивость к угадыванию.

Поэтому целесообразно оценить величину этого снижения.

Анализ устойчивости к угадыванию при учёте частично правильных ответов

Используя формулу Бер-нулли3, несложно получить выражение вероятности угадывания с одной ошибкой р1 и двумя ошибками Р2 для задания с несколькими правильными ответами:

P = ck-1 /-41 - p)1 =

'k k!

1!(k -1) l2

T |1 —

(2)

p2=сг2 pk - 2(1 - p-2 = = 2!(kk — 2) (2 ) (1 - 2 ' =

Ах = 4-3 + * 2 + М-1)-1 =

k(k — 1)

: 2k ,

Ах = X Р -АХг ,

2k 2k 2k

^ — 1) + 2k + 3 2 .

(6)

(3)

где р = 0,5 — вероятность угадывания при выборе одного из элементов ответа.

Очевидно, что безошибочное угадывание ответа на двухбалльное задание увеличивает тестовый балл на 2 балла, угадывание с одной ошибкой — всего на один балл. Теоретическое среднее значение увеличения тестового балла за счёт угадывания равно математическому ожиданию дискретной случайной величины4:

хт„ —1

Для сопоставимости влияния угадывания в тестовых заданиях, оцениваемых разным количеством баллов, целесообразно перейти к относительным величинам:

— 100%.

(4)

где Ах — увеличение тестового балла за счёт угадывания; хтах — количество баллов, начисляемое за безошибочное выполнение тестового задания; Р¿ и Ахi — вероятность угадывания правильного ответа с г ошибками и соответствующее увеличение тестового балла.

При двухбалльной оценке уравнение (4) примет вид:

1 k . k + 2 Ах = —т-2 + —т 1 = —¡—. (5) 2k 2k 2k

Если максимальная оценка за задания равна трём баллам, то математическое ожидание увеличения тестового балла за счёт угадывания:

Из формул видно, что влияние угадывания зависит от числа вариантов ответа k. Эта зависимость для тестовых заданий с выбором нескольких вариантов ответа, оцениваемых тремя баллами (допускается 1-2 ошибки), двумя (допускается 1 ошибка) или одним баллом (ошибки не допускаются) представлена графически на рис. 1. На этом же рисунке приведён график для задания с выбором одного ответа.

Тестовое задание с выбором нескольких вариантов ответа отличается самой высокой устойчивостью к угадыванию. Учёт частично правильных ответов, допускающий одну ошибку, менее устойчив к угадыванию. Однако даже в этом случае устойчивость к угадыванию существенно выше, чем у задания с выбором одного ответа. Задание с несколькими правильными ответами, оцениваемое тремя баллами, устойчивее к угадыванию, чем задание с выбором одного ответа, если количество вариантов ответа не менее восьми.

Методология

^етоддоллоггияя

Айвазян С.А., Мхитарян В.С. Прикладная статистика и основы эконометрики. М.: ЮНИТИ, 1998. 1022 с.

х

г=0

а

измерения

Деменчёнок О.Г. Влияние угадывания на значение тестового балла: корректировать или устранять?//Педагоги-ческие измерения, 2007, 1. С. 56-70.

Деменчёнок О.Г. Влияние угадывания на значение тестового балла: корректировать или устранять?//Педагоги-ческие измерения, 2007, 1. С. 56-70.

Рис. 1. Влияние угадывания в тестовых заданиях:

---------выбор нескольких вариантов ответа без ошибок;

-----выбор нескольких вариантов ответа не более чем

с одной ошибкой;

- • — • — выбор нескольких вариантов ответа не более чем с двумя ошибками;

• • • • — выбор одного варианта ответа без ошибок

В работе5 показано, что влиянием угадывания можно пренебречь, если среднее значение вероятности угадывания менее 10%. Это достигается для задания с несколькими правильными ответами:

• оцениваемого одним баллом — при четырёх вариантах ответа (& = 4);

• оцениваемого двумя баллами — при & = 6;

• оцениваемого тремя баллами — при & = 8;

• для задания с одним правильным ответом — при & =11.

Таким образом, переход от заданий с выбором одного пра-

вильного ответа к заданиям с выбором нескольких правильных ответов, с числом ответов до 10-12, даже при учёте частично правильных ответов обеспечивает повышение устойчивости к угадыванию.

Следует отметить, что кроме заданий с несколькими правильными ответами весьма устойчивы к угадыванию задания на восстановление последовательности и соответствия, а также задания с кратким свободным ответом6. Однако задания на восстановление последовательности и соответствия не вполне универсальны, а зада-

-e-

ния с кратким свободным ответом отличает сложность синтаксического (тем более — семантического) анализа ответа, невозможность в ряде случаев предусмотреть ввод испытуемыми различных синонимов, различных вариантов написания ответа, частично правильных ответов и т.п.

Снижение случайной погрешности

Тестовые задания с выбором нескольких из предложенных вариантов ответа позволяют различать степень правильности ответа, что повышает информативность результата решения. А чем больше информации, тем точнее наши сведения и меньше ошибка. В теории педагогических измерений количеством информации 17 называют величину, обратную дисперсии ошибок D, а информационной функцией — соответствующую аналитическую зависимость:

1 1

14=?' (7)

где о — стандартная ошибка.

Для изучения возможности снижения случайной погрешности необходимо проанализировать модель педагогического измерения.

Математическая модель измерений

Наиболее известной математической моделью педагогических измерений с градацией степени правильности ответа (т.е. с возможностью учёта частично правильных ответов) является модификация модели Раша с произвольными промежуточными категориями выполнения тестового задания, известная в англоязычной литературе как Partial Credit Model (PCM). Эта модель может быть записана в виде8: i (в,-P,t)

П„ = -

i (V,-P,i )

(8)

где Лцх — вероятность достижения тестируемым результата хц (т.е. того, что тестируемый г выполнит ровно х шагов и получит х баллов в задании ]); х = 0, 1...

... хг]...хтах — количество шагов;

1] шах ] '

хтах] — максимально возможное количество баллов за задание]; в]0 = 0, ¿(0, —в]0) = 0.

п=0

Например, для задания, максимально оцениваемого двумя баллами, вероятности получения одного и двух баллов соответственно равны:

„о-в

П =

л , о-в , о-в, о-в, 1 + e п + e п e

-, (9)

-е-

Количество информации — показатель, характеризующий уменьшение неопределённости состояния системы.

Wright B.D., Masters G.N. Rating Scale Analysis: Rasch Measurement. Chicago: Mesa Press, 1982. 204 p.

e

e

l=0

Pn

измерения

П =

eo-Pi . eo-P2

1 + ee-Pi + ee-e • ee-e

(10)

Если максимальная оценка задания равна трём баллам, имеем:

П =

П =

П =

1 + ee-e + - ee-e • ee-e + ee-e1 • ee-e • ee-e '

ee-p1 • ee-p2

1 + ee-p1 + ee-e1 • ee-e + ee-e • ee-e • ee-e .

ee-A • ee-P2 • ee-P3

3 1 + ee-e +

Там же: Wright B.D., Masters G.N. Rating Scale Analysis: Rasch Measurement. Chicago: Mesa Press, 1982. 204 p.

1

X12

l =1

П -

( xmx Л 2 Л

X l nJ

11=1

Rasch G. Probabilistic models for some intelligence and attainment tests. Copenhagen, Denmark: Danish Institute for Educational Research, 1960.

1

X(n + П -(П1 + П )2 )

m

ХП

+ 4nij2 + П -

J=1

(16)

. (12) . (13)

e-p. e-я, , в-в. e-я, e-p3 e 1 • e 2 + e 1 • e 2 • e 3

Аналогичным образом можно применить уравнение Partial Credit Model (8) для анализа заданий с большим количеством градаций степени правильности ответа.

Для оценки стандартной ошибки измерения уровня подготовленности испытуемого i используется формула9:

+ П + 3П,а )) Оценки стандартной ошибки измерения уровня подготовленности испытуемого для анализа заданий с большим количеством градаций степени правильности ответа находятся аналогичным образом.

Для дихотомических заданий (хтаху = 1) формула (14) существенно упрощается: 1

(17)

, (14)

где т — число тестовых заданий.

Для заданий, максимально оцениваемых двумя и тремя баллами, уравнение (14) принимает вид:

,,(15)

Х(П-1 )

J=1

1

XM1 -J

J=1

1

IР (1 - р)

у=1

где Ру1= Ру — вероятность получения тестируемым I одного балла в задании у, что для дихотомического задания соответствует вероятности правильного ответа испытуемого I на задание у.

Вероятность правильного ответа для дихотомического задания может быть найдена по модели Георга Раша10:

Р =Л_=_1_ (18)

' 1 + ев'-в 1 + е->.

-е-

°вг =

1

°et =

Oei =

°вг =

-e-

Анализ стандартной ошибки измерения уровня

подготовленности

Сравним стандартные ошибки измерения уровня подготовленности испытуемых по результатам выполнения двух тестов. Первый тест включает дихотомические задания (оцениваемые 0 или 1 баллом), а второй — политомические тестовые задания, выполнение которых допускает несколько различающихся по баллам категорий ответа (например, полностью верный ответ — 2 балла, частично верный ответ — 1 балл, неверный ответ — 0 баллов).

Для проведения пробных расчётов примем тест из 20 заданий. Распределение уровней трудности заданий в для пробных расчётов примем близким к равномерному:

— 20 дихотомических заданий равномерно распределены по уровню трудности от -5 до 5 (шаг равен 10/19, т.е. в1= -5; в2 = -4,47; вз = -3,95 ... в 19 = 4,47; в20 = 5);

— для 20 политомических заданий примем, что максимальная оценка равна двум баллам; уровни трудности первого шага меньше уровней трудности второго шага на один логит, а распределение уровней трудности равномерное:

• в11= -5; в12= -4 (в12 — уровень трудности второго шага в 1-м задании);

• в, 1 = -4,53; в,2 = -3,53; •вз1 = -4,05; вз2 = -3,05;

•в19 1 = 3,53; в,9 2 = 4,53;

• в20 1 = 4; в 19 2= 5.

Все расчёты выполним в электронной таблице Microsoft Excel. Это позволит любому желающему перепроверить полученные результаты или провести оценку погрешности измерений для теста любой другой структуры.

Сначала введём исходные данные (см. рис. 2) — идентификаторы заданий (строка 2) и испытуемых (столбец А), используя для простоты нумерацию. Примем, что уровни подготовленности испытуемых в меняются от -5 до 5 с шагом 0,5 (столбец В). Ранее принятые уровни трудности отдельных шагов в1, в2 • в20 поместим в ячейки B3:V3.

Далее рассчитаем стандартную ошибку для уровня подготовленности испытуемых по формуле (17). Для этого в ячейку С4 запишем формулу = (1/(1 + EXP(C$3-$B4)))* *(1-1/(1 + EXP(C$3-$B4))) и скопируем содержимое С4 в диапазон ячеек C4:V24. Затем просуммируем количество информации по каждому испытуемому: поместим в ячейку W4= CyMM(C4:V4) и скопируем эту формулу в диапазон ячеек W4:W24. Осталось извлечь квадратный корень и найти обратную величину: в ячейку

^етоддоллогияя

-е-

ПЕД 1

1 измерения |

е

30

С4| /х =( 1/(1+ЕХР(С$3- $В4 ))*(!-! Л1+ЕХР С$3-$В4)))

А В С О Г¥ и V \Л/ X

2 Задание 1 Задани е 2 Задание 3 гН <и 1 ГО Задание 20 / О

3 4 Студент 1 -5 -5 -4,47 0,25 0,23 -3,95 0,19 4,47 0,00 5 0,00 1,07 0,96

5 Студент 2 -4/5 0,21 0,25 0,23 0,00 0,00 1,30 0,88

6 Студент 3 -4 0,20 0,24 0,25 0,00 0,00 1,48 0,82

24 Студент 21 5 0,00 0,00 0,00 0,23 0,25 1,08 0,96

Рис. 2. Ввод исходных данных теста с дихотомическими заданиями

Х4 запишем =1/Ш4А0,5 и скопируем содержимое Х4 в диапазон Х4:Х24.

Для политомических заданий расчётные формулы составляются на основе уравнения (8). Так, для первого задания, которое оценивается двумя баллами, в ячейки С4 и D4 свободного листа запишем на основе выражений (9-10) формулы вероятностей получения одного и двух баллов:

• =ЕХР($В4-С$3)/(1+ЕХР($В4--С$3)+ЕХР($В4-С$3)*ЕХР($В4-^$3))

• =ЕХР($В4-С$3)*ЕХР($В4-D$3)/(1+EXP($B4-C$3)+EXP($B4--С$3)*ЕХР($В№$3))

Затем скопируем содержимое С4^4 в диапазон С4:АР24.

Осталось найти погрешности измерений. Для этого запишем входящие в уравнение (15) слагаемые в диапазон С29:АР49. Так, в ячейку С29 введём =C4+4*D4-(C4+2*D4)А2, что соответствует выражению Пщ + 4лц2 -- (пи 1 + 2пц 2)2. Затем скопируем содержимое С29 в диапазон С29:С49. Слагаемые остальных заданий вводятся аналогично.

С4| /, =ЕХР($В4-С$3)/(1+ЕХР($В4-С$3)-*ЕХР($В4-С$3)*ЕХР($В4-0$3))

А В С | 0 Е 1 Р АО | АР АС* А11

2 Задание 1 Задание 2 Задание 20 I а

3 -5 -4 -4,53 -3,53 4 5

4 Студент 1 -5 0,42 0,16 0,35 0,08 0,00 0,00 1,81 0,74

5 Студент 2 -4,5 0,45 0,27 0,43 ОД 6 0,00 0,00 2,38 0,65

6 Студент 3 -А 0,42 0,42 0,45 0,28 0,00 0,00 2,92 0,59

24 Студент 21 5 0 1 0 1 0,42 0,42 1,81 0,74

Рис. 3. Расчёт вероятностей получения одного и двух баллов в тесте с политомическими заданиями

е

20 10

е

Далее просуммируем количество информации по каждому испытуемому: поместим в ячейку AQ4 =СУММ(С29:А029) и скопируем эту формулу в диапазон ячеек AQ4:AQ24. Теперь рассчитаем стандартную ошибку измерения уровня подготовленности, для чего в ячейку АИ4 введём =1/AQ4A0,5 и скопируем эту формулу в диапазон AR4:AR24.

Результаты свидетельствуют о нелинейном характере зависимости стандартной ошибки измерения о от уровня подготовленности в (рис. 4). Стан-

дартная ошибка минимальна при уровне подготовленности, равном нулю; по мере удаления от центра шкалы стандартная ошибка увеличивается. Характер зависимости одинаков для всех графиков, что объясняется одинаковым характером распределения уровней трудности заданий. Даже простое сравнение графиков наглядно выявляет преимущество политомиче-ского оценивания в точности педагогического измерения. Тест из политомических заданий, оцениваемых двумя баллами, позволяет снизить стандартную

- 1 -

0,8 -

\ * \ Ч , 0,6 - /

** ' - . ^

0,2 -

9

-3

-2

-1

Рис. 4. Зависимость стандартной ошибки измерения от уровня подготовленности:

--------— тест из дихотомических заданий;

----— тест из политомических заданий, оцениваемых двумя

баллами;

- • — •— — тест из политомических заданий, оцениваемых тремя баллами

2' 20 10

е

Pn

измерения

-е-

-и-

Гельман В.Я. Решение математических задач средствами Excel. СПб.: Питер, 2003.

240 с.

ошибку определения уровня подготовленности испытуемых на 33% по сравнению с дихотомическим оцениванием. Для теста из политомических заданий, оцениваемых тремя баллами, снижение ещё больше — почти 50%.

Технология оценки нижнего предела погрешности

Самый точный измерительный инструмент даёт минимальную ошибку при измерении любого объекта. Следовательно, лучшим следует признать тот набор заданий, при котором стандартная ошибка минимальна для испытуемого с любым уровнем подготовленности. Формально это условие можно записать в виде:

max(рг(вг,ßjmin при i = 1..

(19)

По сути, выполнение условия (19) означает достижение нижнего предела погрешности измерения уровня подготовленности испытуемых. Добиться большей точности без применения адаптивных технологий тестирования невозможно.

Попробуем сформулировать технологию оценки нижнего предела погрешности. Данная задача относится к классу задач математического

программирования, что позволяет рекомендовать следующую последовательность реше-ния11:

1. Создание формы для ввода условий задачи. Рекомендуемый вид такой формы представлен на рис. 2 и 3.

2. Ввод исходных данных: уровней подготовленности испытуемых и уровней трудности заданий. По мнению автора, на этом этапе решения целесообразно принять равномерное распределение уровней в интервале [-5; 5].

3. Ввод зависимостей математической модели: формулы (14) для оценки стандартной ошибки измерения уровня подготовленности каждого испытуемого, а также зависимостей для промежуточных вычислений.

4. Назначение целевой функции в соответствии с условием (19).

5. Ввод ограничений и граничных условий. Следует ограничить пределы изменения уровней трудности заданий интервалом [-5; 5], а для полито-мических заданий указать, что уровень трудности каждого последующего шага должен быть больше уровня трудности шага предыдущего.

6. Поиск решения — поиск минимума нелинейной целевой функции при наличии ограничений численными методами.

-e-

Поиск нижнего предела погрешности измерения

Для этого в ячейку Х26 листа с данными дихотомических заданий (см. рис. 2) введём формулу =МАКс(Х:Х24), которая находит максимальное значение стандартной ошибки измерения О. Далее следует подобрать уровни трудности всех заданий таким образом, чтобы минимизировать значение Х26. Встроенное в электронную таблицу Microsoft Excel средство Поиск решения легко справляется с подобными задачами. В окне Поиска решения указываем целевую ячейку Х26, диапазон изменяемых ячеек C3:V3 (в этих ячейках хранятся значения уровней трудности всех заданий) и отмечаем направление поиска — равной минимальному значению (рис. 5). Кроме того,

ограничим пределы изменения уровней трудности заданий интервалом [-5; 5]. Для увеличения точности решения можно с помощью кнопки Параметры увеличить принятое по умолчанию предельное число итераций и уменьшить относительную погрешность численного решения. Поиск решения запускается кнопкой Выполнить.

Поиск параметров полито-мических заданий проводился аналогично. Дополнительно было указано, что уровень трудности каждого последующего шага должен быть больше уровня трудности шага предыдущего.

Результаты поиска решения сведены в табл. 1. С помощью таких наборов заданий можно практически выровнять ошибку для всего интервала измерения. Стандартные ошибки измерения находятся в сравнительно узких интервалах значений (см. рис. 6):

Рис. 5. Ввод параметров поиска решения

-е-

ПЕД 1

1 измерения |

е

0,6 -

0,4 -0,2 -

в

-2

Рис. 6. Зависимость стандартной ошибки измерения от уровня подготовленности испытуемого:

---------тест из дихотомических заданий;

-------тест из политомических заданий, оцениваемых

двумя баллами;

- • — • — •--тест из политомических заданий, оцениваемых

тремя баллами

• для теста из дихотомических заданий о = 0,79...0,83;

• для теста из оцениваемых двумя баллами политомических заданий о = 0,52.0,57;

• для теста из оцениваемых тремя баллами политомических заданий о = 0,43.0,47.

Несложный анализ показывает, что способ оценивания результата выполнения тестового задания оказывает большое влияние на точность педагогического измерения. Переход от дихотомического оценивания к политомическому значительно уменьшает стандартную ошиб-

2' 20 10

ку уровня подготовленности испытуемого:

• для теста из двухбалльных заданий ошибка снижается на 33%;

• для теста из трёхбалльных заданий ошибка снижается на 46%.

Это объясняется различием информационной ценности результатов выполнения заданий (рис. 7). Так, среднее значение количества информации теста из дихотомических заданий равно 1,49, а теста из оцениваемых двумя баллами политоми-ческих заданий — 3,19 (т.е. в 2,1 раза больше). Количество информации теста из оценивае-

е

-e-

Таблица 1

Уровни трудности заданий, обеспечивающие минимизацию ошибки измерения

№ задания Уровни трудности заданий

дихотомические задания политомические задания, оцениваемые двумя баллами политомические задания, оцениваемые тремя баллами

i i в 1 в 2 в 1 в 2 в 3

1 -4,73 -4,57 -4,36 -4,94 -3,37 4,56

2 -4,73 -4,57 -4,36 -4,88 -4,30 4,56

3 -4,72 -4,57 -4,36 -4,94 -3,38 4,56

4 -4,72 -4,57 -4,36 -4,94 -3,35 4,56

5 -4,72 -4,57 -4,36 -4,94 -3,37 4,56

6 -2,76 -2,31 -2,28 -4,87 -4,31 4,56

7 -2,76 -2,44 -1,71 -4,94 -3,39 4,56

8 -0,90 -2,16 -0,62 -4,94 -3,37 4,56

9 -0,90 -1,62 0,02 -4,76 -4,29 4,56

10 -0,44 -0,86 0,42 -1,43 1,11 3,98

11 -0,44 -0,38 1,12 -1,43 1,11 3,98

12 1,93 0,18 1,88 -1,43 1,11 3,98

13 1,93 0,87 2,53 -1,43 1,11 3,98

14 1,94 1,51 3,10 -1,43 1,11 3,98

15 2,40 2,05 3,34 -1,43 1,11 3,98

16 4,93 2,58 3,79 -1,43 1,11 3,98

17 4,93 4,62 5,14 -1,43 1,11 3,98

18 4,93 4,62 5,14 -1,43 1,11 3,98

19 4,93 4,62 5,14 -1,43 1,11 3,98

20 4,93 4,59 5,00 -1,43 1,11 3,98

мых тремя баллами политоми-ческих заданий ещё выше — 4,70, что превышает количество информации при дихотомическом оценивании в 3,2 раза.

Выводы

1. Разработанная технология позволяет оценить нижний предел стандартной ошибки уровня подготовленности испытуе-

мого на основе анализа количества и способа оценивания тестовых заданий с использованием математической модели Ра-ша и Partial Credit Model. 2. Эффективным средством минимизации погрешности педагогического измерения является переход от заданий с выбором одного правильного ответа к заданиям с выбором нескольких правильных ответов. Такой переход способен много-

-е-

e

ПЕД 1

1 измерения |

Рис. 7. Зависимость количества информации от уровня подготовленности испытуемого:

------тест из дихотомических заданий;

----— тест из политомических заданий, оцениваемых двумя баллами;

- • — • — — тест из политомических заданий, оцениваемых тремя баллами

е

кратно снизить вызываемую 3. Полученные результаты могут

угадыванием систематическую служить основой для оптимиза-

ошибку и существенно (на 30% ции количества и параметров за-

и более) снизить случайную даний с целью снижения ошибки

ошибку. педагогического измерения.