CC BY
49
Б.С. Кирьяков
СТАТИСТИЧЕСКАЯ МОДЕЛЬ МНОГОКРАТНОГО ТЕСТИРОВАНИЯ УЧАЩИХСЯ
Структура учебной дисциплины непосредственно влияет на статистические параметры теста, используемого для оценки знаний учащихся. Это касается всех учебных дисциплин, включая и школьный курс физики, в котором в качестве основных обычно выделяют семь разделов: «Механика», «Молекулярная физика и тепловые явления», «Электродинамика», «Колебания и волны», «Оптика», «Элементы теории относительности», «Квантовая физика». Каждый из разделов делится, в свою очередь, на подразделы, вопросы и другие более мелкие дидактические единицы. В этом отношении наиболее информативными являются два раздела -«Механика» и «Электродинамика».
Если тестирование учащихся проходит по всему курсу физики, то соответствующий тест для оценки знаний школьников должен отражать его структуру. Подобный тест не может состоять из заданий нарастающего уровня сложности. В этом случае нарушилось бы равноправие учебной информации, поскольку тестовые задания по механике оказались бы, например, самыми простыми, а задания по квантовой физике - самыми сложными (или наоборот). С учетом равноправия учебной информации уровень сложности тестовых заданий должен расти лишь в пределах каких-то информационных блоков, выделяемых в каждом из разделов программы.
Возможная структура подобного теста по физике представлена на рисунке 1а, где в каждом разделе выделено несколько информационных блоков, причем наибольшее их число в таких разделах, как «Механика» и «Электродинамика», которые наиболее насыщены информацией. В то же время такому разделу, как «Элементы теории относительности», поставлен в соответствие лишь один информационный блок. При этом в силу оговоренного равноправия каждый блок представлен на рисунке 1а тремя заданиями стоимостью 1 балл: простым заданием, заданием средней сложности и сложным заданием.
а)
Механика Молекулярная физика и тепловые явления а к и ан и о 1 е Колебания и волны Оптика Элементы теории относительности Квантовая физика
Блок 1 Блок 2 Блок 3 Блок 1 Блок 2 Блок 1 Блок 2 Блок 3 Блок 1 Блок 2 Блок 1 Блок 2 Блок 1 Блок 1 Блок 2
ДА А »► оо+ сгт оо# оот эо* ОС* оо# ОО*
б)
Тест 1 Тест 2 Тест 3
ДУОПОСООООООтігОО дVоо
(2) — простое задание , ■ — задание средней сложности 9 — сложное задание
Рис. 1. Структура теста, выстроенная с ориентацией на разделы школьного курса физики (а)
и на уровень сложности заданий (б)
На рисунке 1б изображен тот же тест с ориентацией на разный уровень сложности заданий. Нетрудно видеть, что рисунок 1б получен простой перестановкой заданий, выделенных на рисунке 1а. Подобная перестановка дает возможность понять, что равноправие информационных блоков предопределяет многократное тестирование учащихся. Для случая, изображенного на рисунке 1б, это тестирование будет троекратным. Учащихся тестируют по всему учебному материалу с помощью теста 1, который составлен только из простых заданий, затем с помощью теста 2, состоящего из заданий средней сложности, и в дополнение ко всему с помощью теста 3, образованного сложными заданиями. Если каждый информационный блок обеспечивался бы заданиями с четырьмя или пятью уровнями сложности, то тестирование было бы соответственно четырехкратным и пятикратным.
Многократный характер тестирования определяет вид статистики, пригодной для описания получаемых результатов. Итоги многократного тестирования с помощью тестов нарастающего уровня сложности, как показано на рисунке 1б, должны удовлетворять соотношению
т > х1 > х2 > х3 > ... > х1 > ... > хп > 0 , (1)
где XI - суммарный балл, получаемый школьником за тест с номером i при многократном тестировании,
п - число тестов нарастающего уровня сложности, т - число однобалльных заданий в каждом из разноуровневых тестов. Для теста, представленного на рисунке 1б, соотношение (1) имеет вид
15 > х1 > х2 > х3 > 0, (2)
поскольку он предполагает троекратное тестирование учащихся, а число заданий в каждом из разноуровневых тестов равно 15. Неравенство (2), в частности, означает, что в координатном представлении возможные итоги такого теста должны описываться целочисленными координатами точек трехмерной решетчатой пирамиды с ребром, равным 15 (рис. 2).
t = Х1 + Х2+ Хз
Рис. 2. Возможные итоги троекратного тестирования учащихся в координатном представлении
Отмеченная особенность весьма важна, поскольку согласно работам [2; 3] соотношение (1) является опознавательным признаком статистики Бозе - Эйнштейна. Непосредственный выход на эту статистику можно осуществить при переходе к нетрадиционной системе подведения итогов, рассмотренной в работе [3]. В этом случае выполнение неравенства (1) регламентируется временной очередностью решения тестовых заданий.
Согласно работам [2; 3] при традиционной системе оценки выполнение неравенства (1) может обеспечиваться уровнем сложности заданий. Фактор случайности, определяющий возможность, что при 15 заданиях в тесте школьник справится, например, с более сложным тестом 2 лучше, чем с тестом 1, в значительной степени снижен.
Свойства решетчатых пирамид, описывающих возможные итоги многократного тестирования учащихся с помощью тестов с равномерным нарастанием уровня сложности, изучены достаточно хорошо. Так, в работах [1; 3], в частности, показано, что число точек в решетчатой п-мерной пирамиде с ребром т (число возможных комбинаций оценок х1, х2, ..., х,
..., xn) определяется выражением, соответствующим статистическому весу в статистике Бозе - Эйнштейна:
*=С+, = ^, (3)
m! п!
где п - размерность пирамиды (число тестов с равномерным нарастанием уровня сложности заданий при многократном тестировании учащихся), m - длина ребра пирамиды (число заданий в каждом тесте).
К числу других свойств, отмеченных в работах [1;3], можно отнести выражение универсального вида
CjXj Cjm - Xj
/(x,)=,(x,,m,;,„)= Xj+ nC m- Xj+j-1 , (4)
m + n
которое определяет распределение точек в решетчатой n-мерной пирамиде (рис. 2) с ребром m по плоскостям, перпендикулярным оси 0xj (j = 1, 2, 3, ..., п). В координатном представлении оно описывает возможные итоги для теста с номером j при n-кратном тестировании учащихся с помощью серии тестов, характеризуемых одинаковым числом заданий m, одинаковым уровнем сложности заданий в пределах каждого теста и равномер-
ным нарастанием этого уровня с ростом номера теста j.
Распределение (4) характеризуется достаточно простыми свойствами. Оно принадлежит к тому же семейству, что биномиальное и гипергеомет-рическое распределение. Для него известны все выборочные моменты [1; 3]. В частности, первый начальный момент и дисперсия определяются для распределения (4) соотношениями:
1---------
V п +1,
2 m(m + п +1)
СТ X =
^1 - j '
(5)
(6)
п + 2 ^ п +1) п +1
При этом корреляционная взаимосвязь целочисленных координат точек в п-мерной пирамиде, отображающих возможные балльные оценки в серии тестов нарастающего уровня сложности, определяется матрицей вида
I п + 1 - ]
*щх} = ,~ . . , (7)
' V J п +1 - I
где ] > I.
В дополнение к соотношениям работ [1; 3], описывающим свойства решетчатых пирамид, необходимо добавить еще одно выражение, характеризующее распределение точек по плоскостям, перпендикулярным главной диагонали п-мерного куба, из которого вырезана соответствующая пирамида. Это выражение определяет итоговое распределение
балльных оценок по суммарному баллу t = х1 + х2 + ... + Х1 + серии тестов с равномерным нарастанием уровня сложности
I (* )■
т СХ
Хі + п—і
Хі — 0
С
т — Хі + і— 1
і
Сп
т+п
л/^йа*
+ Х„ для
(8)
- т(і — 1) + хі (п +1) 2 хі (п — і)(хі + п — і +1) + (т — хі )(і — 1)(т — хі + і)
где t — , ^ — .
2 * 12
Что касается заданий, пригодных для построения каждого отдельно взятого теста в серии тестов нарастающего уровня сложности, то их характеристики нетрудно рассчитать по модулю [3; 4]:
Рі
т
т — 1
тРі(1— Рі)
(9)
т,
где рі - доступность заданий в тесте с номером і,
Ті - коэффициент линейной корреляции успехов учащихся в решении отдельных заданий, образующих тест с номером і, т - число заданий в тесте.
Подставляя в модуль (9) выражения (5) и (6), нетрудно получить соотношения вида
1
п+1
п+2
(10)
(11)
которые отражают требования к заданиям для теста с номером / в серии, состоящей из п тестов с равномерным нарастанием уровня сложности (/ = 1, 2, ..., п). В пределах каждого теста задания должны отличаться одинаковой доступностью рь и одинаковой корреляционной связью успехов учащихся г/.
Использование модуля (9) соответствует обращению к статистике Ферми - Дирака, которая, по данным работы [3], наиболее удобна для проектирования тестов, состоящих из одинаковых по своей сложности и корреляционной связи заданий. Для перехода к этой статистике достаточно в качестве тождественных неразличимых частиц рассматривать баллы, а в качестве квантовых состояний - тестовые задания. При этом запрет на нахождение в одном состоянии двух и более частиц, характерный для статистики Ферми - Дирака, будет регламентироваться однобалльной
т—х
Є
1
1
г
1
г
стоимостью заданий. В координатном представлении возможные итоги теста из т однобалльных заданий определяются координатами вершин т-мерного куба с единичным ребром, в котором распределение вершин (возможных способов решения тестовых заданий) по значениям суммарного балла XI определяется выражением
где 2т - число возможных комбинаций оценок (число вершин в т-мерном кубе),
стт - статистический вес в статистике Ферми - Дирака.
В рамках этих представлений для выхода на распределение (4), характеризуемое одинаковыми значениями р/ и г/, достаточно рассмотреть ситуацию, когда заселенность вершин т-мерного куба (число школьников с одинаковыми балльными оценками) одинакова для каждого значения суммарного балла х/. Подобную возможность иллюстрирует рисунок 3, представляющий возможные комбинации оценок для теста, состоящего из трех однобалльных заданий. На рисунке вершины, соответствующие одинаковым значениям X/, принадлежат к одним и тем же плоскостям, перпендикулярным главной диагонали куба - оси 0х/ (эти плоскости отмечены штриховкой). При одинаковой заселенности вершин, относящихся к одним и тем же плоскостям, координатное отображение итогов тестирования будет симметричным. При повороте системы координат у1, у2, уз на 120° относительно оси 0х/ ничего меняться не будет. В этих условиях номер задания (1, 2, 3) никакой роли не играет и тестовые задания характеризуются одинаковой доступностью р/ и одинаковой корреляционной связью успехов учащихся г/. Именно этот случай выделяет модуль (9) из множества возможных способов реализации распределения f (х/) (4).
(12)
1
0
Рис. 3. Координатное представление возможных итогов для теста из трех однобалльных заданий
Соотношения (3)—(11) однозначно определяют параметры серии тестов нарастающего уровня сложности. В качестве примера в таблице приведены характеристики тестов для троекратного тестирования учащихся (рис. 1б). Из таблицы следует, что троекратное тестирование обеспечивает весьма приемлемый выход на нормативно-ориентированный подход к оценке знаний учащихся, хотя итоговое распределение /(() и не является, строго говоря, нормальным, поскольку коэффициент эксцесса I ф 0.
Следует отметить, что требования, приведенные в таблице, носят достаточно жесткий характер. Тем не менее, можно построить соответствующую матрицу возможных способов решения тестовых заданий, которая будет удовлетворять этим требованиям идеальным образом. Для этого достаточно воспользоваться рекомендациями работы [3]. Подобная матрица может быть очень громоздкой. Например, для рассматриваемого теста эта матрица при 45 столбцах должна содержать не менее 4 084 080 строк, чтобы обеспечивать целочисленное распределение учащихся по возможным способам решения заданий в строгом соответствии с требованиями таблицы.
Если говорить о практической реализации серии тестов, представленных в таблице, то она выглядит весьма проблематичной, хотя сама возможность многократного тестирования учащихся сомнений не вызывает. Проблема заключается в том, что тесты, которые могут получиться при использовании разноуровневых заданий, вероятнее всего, будут соответствовать разным случаям неравенства (1), другими словами, при использовании разноуровневых заданий получится серия тестов, которые характеризуются разными значениями т, п и /. В этом случае тесты будут соотноситься с разными срезами разных решетчатых пирамид. Тем не менее, оценить успехи школьников в серии тестов с равномерным нарастанием уровня сложности можно даже по результатам только одного тестирования, относящегося к рассматриваемой серии. Эту возможность, определяемую известной геометрией решетчатых пирамид, иллюстрируют рисунки 4а-4в.
На рисунке 4а представлены результаты некоторого тестирования учащихся с помощью 15 заданий, которые можно поставить в соответствие тесту 2 из таблицы, а соответственно и срезам трехмерной решетчатой пирамиды по плоскостям, перпендикулярным оси 0х2 (рис. 4б). Если теперь выделить учащихся, набравших, например, по итогам рассматриваемого теста 9 баллов (рис. 4а), то в серии из трех разноуровневых испытаний (с учетом тестов 1 и 3 из таблицы) успехи этих школьников должны определяться координатами точек, отмеченных на рисунке 4б черным цветом. Проектируя эти точки на главную диагональ куба (рис. 4б), для выбранных школьников можно найти возможные значения суммарного балла t, если их тестирование было бы троекратным. В координатном представлении итогов диагональ куба на рисунке 4б играет роль оси суммарного балла 0t, если ее длину нормировать на тп (в нашем случае тп = 45).
Параметры тестов и тестовых заданий для троекратного тестирования учащихся при п = 3, т = 15 (рис. 1б)
№
п/п
Характеристика
Тест 1 (і = 1)
Тест 2 (і = 2)
Тест 3 (і = 3)
1.
Число заданий в тесте, т
15
15
15
2.
Доступность заданий, Рі (10)_______________
0,75
0,5
0,25
3.
Корреляция успехов учащихся при решении заданий (в пределах теста), г, (11)
0,2
0,2
0,2
Итоговое распределение для теста, /(х,) (4)
/ (х1 ) =
С*1,2
х\+2 816
Сх2 х2
/ (х2 )=- Х2 +1 ' 16-Х2
816
С15— Х3
/ (х 3 )= С17-х3
816
Средний балл, х, (5)
Х1 = 11,25
7,5
Х3 = 3,75
Дисперсия, Стх,. (6)
ст.
171
16
ст
х2
57
4
ст
х3
171
16
Корреляция между успехами учащихся в решении тестов нарастающего уровня сложности, гхх] (7)
- 1
- 1
Число возможных комбинаций оценок х1, х2, х3 при троекратном тестировании учащихся, Я (3)_______________
R = 816
9.
Распределение комбинаций оценок при троекратном тестировании по суммарному баллу t,
/(t) = /(Х1+ Х2+ Х3)
0,06 / (І ) 0,04 -0,02 -0
0
пирамида
М (8)
15
1111111111 її
30 45
Средний балл по итогам троекратного тестирования
22,5
Дисперсия ст , коэффициенты скоса а и эксцесса 1 для /(X)
ст
а = 0, і = - 0,417
4
2
1
Г
х.-х
а) 0,12-1 /(Х 2)
0,06
0
в)
0,24 /(X )
0,12
0
0 3 6 9 12 15
IIмIIIIIIIмIмIТТТТТТТТТТТТТТТТIIмIмIIIII
15 30 45
б)
X = х1 + х2 + х3
Рис. 4. Оценка успехов учащихся в серии тестов нарастающего уровня сложности по результатам одного тестирования
Из рисунка 4б видно, что возможные комбинации оценок для рассматриваемых школьников будут соответствовать диапазону суммарного балла от тп до Хтйх. Их распределение по оси 0Х при этом будет носить симметричный колоколообразный характер (рис. 4в). Это дает возможность легко найти наиболее вероятное значение суммарного балла 1в при троекратном тестировании школьников, набравших 9 баллов по итогам теста 2 (см. табл),
Хтт + Хтах
(13)
поскольку значения 1тп1 и Хтах однозначно определяются соотношением (1):
тп= , х,, гтах = (т - х,)(, - 1) + X, П. (14)
Из соотношений (13)-(14) имеем
- т(, -1) + х, (п +1)
(15)
где Хв - наиболее вероятное значение суммарного балла, с помощью которого можно оценить успехи некоторой группы школьников в серии тестов с равномерным нарастанием уровня сложности, опираясь на итоги лишь одного тестирования из рассматриваемой серии,
п - число тестов в серии тестов с равномерно нарастающими уровнями сложности,
т - число заданий в каждом из тестов,
, = 1, 2, ..., п - номер теста из рассматриваемой серии, для которого известны результаты тестирования учащихся,
х 2
X
Хі = 0, 1, 2, ..., т - балльная оценка, полученная выбранной группой школьников за тест с номером і.
Значение tв (15) соответствует максимуму распределения на рисунке 4в, которое отлично от нуля в строго определенном интервале значений Ї: от їтіп до їтах (14). Данный интервал определяет область возможных значений t = tв ± Дї, где
Дt = 0,5(тх - їтп)= о,5[хі(п - і) + (т - Хі)(і - 1)]. (16)
В статистике в качестве количественной меры рассеяния обычно используют дисперсию аг . Для нормального распределения отклонение от Ї в диапазонах ї + аг, Ї + 2а г и Ї + 3агнаблюдается соответственно в 683, 954 и 997 случаях из 1000.
Для интересующего нас случая дисперсию нетрудно найти, рассмотрев все срезы трехмерной пирамиды с ребром т =15 и их проекции на ось 0Ї. Найденные значения дисперсии при этом образуют матрицу:
0 8 20 36 56 80 108 |Т40~ 176 2Гб~ 260 308 360 416 476 540
255 227 203 183 167 155 147 143 147 155 167 183 203 227 255
540 40 7 4 40 3 О 8 0 3 2 о І216 6 7 |Г40~ 108 80 56 36 20 8 0
(17)
Матрица (17), как видим, обладает центральной симметрией своих элементов. В работах [1; 3] отмечается, что подобные матрицы описывают большинство свойств решетчатых пирамид. Центрально-симметричными являются, например, дисперсионная и корреляционная матрицы, матрица рядов распределения оценок. Согласно данным работы [1], для учета этой симметрии достаточно ввести двойную нумерацию строк (сверху вниз и снизу вверх) и столбцов (слева направо и справа налево). В матрице (17) нумерация строк сверху вниз и снизу вверх соответствует значениям (г - 1) и (п - г), а нумерация столбцов слева направо и справа налево - значениям хг и (т - хг). С учетом этой нумерации нетрудно записать выражение для матричного элемента матрицы (17):
2 хг (п - г)(хг + п - г +1) + (т - хг)(/ - 1)(т - хг + г) /10Ч
at =----------------------------------------------------------. (18)
t 12 4 '
Выражение (18) описывает матрицу (17) буквальным образом. Анализ показывает, что симметрия, учитываемая выражением (18), придает ему универсальный характер, делая применимым к разным пирамидам и их срезам. Такой же универсальный характер имеет и соотношение (15). Подтверждением этому может служить распределение (8), которое включает соотношения (15) и (18) и описывает самые разные пирамиды.
Тот факт, что распределение (8) представляет собой суперпозицию нормальных распределений говорит о том, что есть все основания для отождествления значения Ь (15) с «тестовым баллом», который используется в тестоло-гии для оценки успехов учащихся. Присутствие в выражении (8) нормальных распределений является свидетельством того, что значения 4 (15) и а 2 (18) находятся в строгом соответствии с функцией успеха Раша - Бирнбаума [5-7], определяющей вероятность решения тестовых заданий:
Р = (8-е) + : , (19)
где Л - дискриминационная (дифференцирующая) способность, е - уровень подготовленности школьников,
8 - уровень сложности заданий.
Соответствие значений 1в (15) и а2 (18) функции успеха (19) можно проиллюстрировать на примере пятимерной решетчатой пирамиды (п = 5) с ребром т = 5. Целочисленные координаты точек этой пирамиды описывают возможные итоги тестирования учащихся с помощью пяти тестов (п = = 5). Каждый из этих тестов состоит из пяти заданий (т = 5), уровень сложности которых постоянен в пределах отдельно взятого теста и равномерно нарастает с ростом номера теста г = 1, 2, ..., 5. Обращение к этой пирамиде обусловлено тем, что в работе [1] приведена таблица с координатами всех ее точек, соответствующих возможным комбинациям оценок. Там же приведены табличные данные по всем интересующим нас срезам пирамиды и по их проекциям на ось суммарного балла 0t.
На рисунке 5 а представлен график функции Дх3) (4), описывающей распределение точек пятимерной решетчатой пирамиды (п = 5) с ребром т = 5 по плоскостям, перпендикулярным оси 0х3. Этому распределению можно в соответствие поставить итоги тестирования учащихся с помощью теста, состоящего из пяти заданий с доступностью р = 0,5 (10) и взаимосвязью успехов испытуемых школьников, характеризуемой коэффициентом линейной корреляции г = 77 (11). В серии из пяти испытаний (п = 5) нарастающего уровня сложности р (10) = 5/6, 4/6, 3/6, 2/6, 1/6] данному тесту следует приписать номер г = 3. По результатам данного тестирования в испытуемом ансамбле можно выделить шесть групп школьников с разным уровнем подготовки, которые набрали за тест с номером I = 3 соответственно х3 = 0, х3 = 1, х3 = 2, х3 = 3, х3 = 4 и х3 = 5 баллов. Используя данные работы [1] по срезам пятимерной пирамиды, нетрудно построить распределения (рис. 5б-5ж), которые описывают положение возможных комбинаций оценок для этих групп школьников на оси суммарного балла 0t во всей серии испытаний (по итогам всех пяти тестов).
0,3 т /(х3) 0,2 -0,1 -
0
а) / (х 3 )
з) пирамида
П
XI
I I ----—■п
0 1 2 3 4 5
0,2
0,1
0
0,2
0,1
0
/ (t)
) х 3 - 0
т-----------1------------1
0 5 10 15 20 25
/ (t)
в) Л 3 - 1
t
Т“-------------Г
0 5 10 15 20 25
г) х 3 - 2
°,2^ /^) 0,1
0
Л
“ н. распр
t
0 5 10 15 20 25
д) х 3 = 3
°,2 п /^) 0,1
0
Жн.распр. ,___*
0 5 10 15 20 25
е) х 3 - 4_______
0,2 т /^) ------н. распр.
0,1
0
0 5 10 15 20 25
0 2 ч \ ж) х 3 5
0,2 л / (t) ------н. распр.
0,1
0
0 5 10 15 20 25
0,12 л /()
0,08
0,04
0
"Зпирамида
-Я$ (8)
т I I I I I I I I I I I I I I I I I I I I I I I
0 5 10 15 20 25
и) функции успеха
Р ()
к) функции успеха в приведенной форме
Рис. 5. Соответствие функции успеха Раша - Бирнбаума (19) статистике Бозе - Эйнштейна
Представленные на рисунках 5б-5ж распределения имеют вид симметричных колоколов, которые локализованы на оси 0t в точном соответствии с соотношениями (14), (15) и (16). Дисперсия этих распределений строго описывается выражением (18). Используя значения tв (15) и а2 (18), можно проверить соответствие полученных распределений нормальному распределению, что и сделано на рисунках 5б-5ж, где указан-
х 3
н. распр
н. распр
ное соответствие реализуется достаточно точно. Это подтверждается на рисунке 5з, на котором представлено сравнение распределения точек пирамиды по плоскостям, перпендикулярным оси 0, с распределением / (^ (8).
Поскольку распределения на рисунках 5б-5ж заданы таблично [1], то можно по точкам построить функции успеха для выбранных групп школьников. Графики этих функций на рисунке 5и представляют собой «классическую» картину, которую обычно приводят для иллюстрации того, как функция успеха (19) описывает реакцию школьников с разным уровнем подготовки на тестовые задания нарастающей сложности.
На рисунке 5к изображены функции успеха, построенные по точкам для рассматриваемых групп школьников, в приведенной форме
Р = F (ш), (20)
где
ш = ^ + 0,5) - , (21)
значения tв и аt = д/а2 определяются выражениями (15) и (18), а слагаемое «+ 0,5» обусловлено особенностями построения функции успеха по данным для рядов распределения. Сплошной линией изображен график функции успеха Раша - Бирнбаума (19), записанной в виде
Р = —, (22)
еиш +1
где ш = Л (8-е). е +1
Тот факт, что точки, соответствующие функции (20), весьма точно укладываются (рис. 5к) на кривую (22), свидетельствует о количественном соответствии функции успеха (19) свойствам решетчатых пирамид, а следовательно и параметрам распределений Бозе - Эйнштейна, которые эти пирамиды отображают.
Отмеченное количественное соответствие служит основанием, которое позволяет значение tв (15) отождествить с тестовым баллом, а значение аГ1, определяемое выражением (18), - с дискриминационной (дифференцирующей) способностью.
Другим основанием для отождествления 4 (15) с тестовым баллом является «статистическая независимость» значения tв (15) ± Дt (16) от номера теста г (от уровня сложности теста), по которому значение tв (15) находится. Этот факт является следствием самой процедуры нахождения tв (15) через проекции на ось 0t точек решетчатой пирамиды, отображающих возможные комбинации балльных оценок. В координатном представлении (рис. 4б) смена теста, по которому рассчитывается tв (15), равносильна смене среза пирамиды. Поскольку точки решетчатой пирамиды проектируются на ось 0t единственным образом, то подобная смена не будет сказываться на значениях tв (15) в пределах ± Дt (16).
Статистический характер независимости значений tв (15) от уровня сложности теста, по которому они находятся, иллюстрирует рисунок 6, где в качестве примера представлены результаты расчета значений 4 (15) для учащихся, успехи которых по итогам троекратного тестирования (табл.) характеризуются комбинацией оценок х1, х2, х3 - 12, 9, 7. В координатном представлении возможные итоги этого тестирования отображаются целочисленными координатами точек трехмерной решетчатой пирамиды. В этом представлении успехи выбранной группы школьников должны отображаться точкой М (12, 9,
7), отмеченной на рисунках 6а, 6в, 6д темным цветом.
На рисунках 6а и 6б представлена оценка успехов рассматриваемой группы школьников в троекратном тестировании, которую можно провести, опираясь только на результаты тестирования учащихся с помощью теста № 1 (балльная оценка х1 - 12). В этом случае возможные итоги троекратного тестирования будут определяться координатами точек решетчатой пирамиды, лежащими на ее пересечении с плоскостью х1 - 12. На рисунке 6а этот срез пирамиды отмечен штриховкой. Проектируя точки этого среза на главную диагональ куба, из которого вырезана трехмерная пирамида, можно построить распределение возможных комбинаций оценок по оси суммарного балла 0t (рис. 6б). Согласно неравенству (2) или соотношениям (13)-(16) распределение на рисунке 6б характеризуется значениями тп - 12, - 36, которые соответствуют комбинациям
оценок х1, х2, х3 - 12, 0, 0 и х1, х2, х3 - 12, 12, 12. Отсюда следует, что для выбранных школьников значения суммарного балла при троекратном тестировании должны лежать в пределах tв ± At - 24 ± 12.
На рисунках 6в и 6г представлена оценка возможных успехов выбранной группы школьников в троекратном тестировании с опорой на итоги их тестирования с помощью теста № 2 (балльная оценка х2 - 9). В этом случае возможные итоги троекратного тестирования определяются точками, лежащими на пересечении решетчатой пирамиды с плоскостью х2 - 9, а распределение возможных комбинаций оценок по значениям суммарного балла - распределением, представленным на рисунке 6г. Согласно неравенству (2) или соотношениям (13)—(16) это распределение характеризуется значениями тп - 18, тх - 33, которые соответствуют комбинациям оценок х1, х2, х3 - 9, 9, 0 и х1, х2, х3 - 15, 9, 9. Тем самым итоги теста № 2 свидетельствуют о том, что для рассматриваемых школьников значения суммарного балла при их троекратном тестировании находятся в пределах tв ± At - 25,5 ± 7,5.
Что касается рисунков 6д и 6е, то они отображают оценку успехов школьников в троекратном тестировании по результатам их тестирования с помощью теста № 3 (по балльной оценке х3 - 7). В данном случае тп - 21, тх - 37, что соответствует комбинациям оценок х1, х2, х3 - 7, 7, 7 и х1, х2, х3 - 15, 15, 7. В соответствии с этим ожидаемые значения суммарного балла должны лежать в диапазоне tв ± At - 29 ± 8.
Нетрудно видеть, что найденные значения суммарного балла (Ге ± At = = 24 ± 12; 25,5 ± 7,5; 29 ± 8) взаимно перекрываются, что и определяет статистический характер независимости t е (15) от уровня сложности теста. В наглядном виде это представлено на рисунке 6ж, на котором сведены воедино распределения, изображенные на рисунках 6б, 6г, 6е.
а)
І = Хі + Х2 + Хз
б) 12, Х2, Хз
І = Хі + Х2 + Хз
0,2
0,1
0
Л*)
.........II Гї
0 15
0,2
Хз = 7 0,2 -і /(І)
0,1 0
0
30
45
г) Х1, 9, Хз
е) Х1, Х2, 7
11 111 І ГПТТТТТТТТТ1ТТТТТГП І 111 11 15 з0 45
0,2 "■ ДО 0,1 -
0
ж)
Х1, 9, Хз
12, Х2, Хз
“I—I—I—ÓÓ
Х1, Х2, 7
15
з0
“РН—I—I—I—I—I
45
Рис. 6. Статистический характер независимости тестового балла t (15) от уровня сложности теста, по которому он находится
г
г
І
0
І
І
І
0
Статистический характер независимости значений Іе (15) ± Ді (16) от уровня сложности теста, по которому они находятся, не является прояв-
лением свойств лишь трехмерных пирамид, отображающих возможные итоги трехкратного тестирования. Отмеченная особенность значений tв (15) свойственна любому многократному тестированию. Это иллюстрирует рисунок 7, на котором представлены результаты расчета значений tв (15) для комбинации оценок х1, х2, х3, х4, х5 - 5, 4, 4, 2, 1, соответствующей пятикратному тестированию учащихся с помощью серии тестов с равномерным нарастанием уровня сложности: 1) i - 1, р1 - 5/6; 2) i - 2, Р2 - 4/6; 3) i - 3, Р3 - 3/6; 4) i - 4, Р4 - 2/6; 5) i - 5, р5 - 1/6. В координатном представлении возможные итоги этого тестирования отображаются координатами точек пятимерной решетчатой пирамиды (п - 5, т - 5). Выбранная комбинация оценок дает возможность найти независимым образом пять значений tв (15), ориентируясь поочередно на балльные оценки х1 - 5, х2 - 4, х3 - 4, х4 - 2, х5 - 1 (рис. 7). Из рисунка 7 видно, что для выбранной комбинации оценок найденные значения tв (15) совпадают даже не в пределах tв ± Дt (16), а в пределах более узкого диапазона tв ± стt , где аt « Дt(16)/3 . При этом среднее значение tв (15) (пунктирная линия на рисунке 7) хорошо согласуется с суммарным баллом # - х1 + х2 + х3 + х4 + + х5 - 16.
Балльные сценки, гспользуемые для расчета 4 (15)
Рис. 7. Статистическая независимость тестового балла ^ (15) от уровня сложности теста при пятикратном тестировании
Предлагаемая трактовка тестового балла и дискриминационной способности отличается рядом преимуществ. При ее использовании параметры функции успеха (19) теряют латентный характер, поскольку выражаются через характеристики решетчатых пирамид, а соответственно [2; 3]
и через параметры пакета диаграмм, описывающих распределение тождественных неразличимых частиц по квантовым состояниям в статистике Бозе - Эйнштейна. Функция успеха при этом предстает в качестве одного из свойств статистики Бозе - Эйнштейна, выражаемого соотношением (8). Это придает функции успеха дополнительную достоверность, поскольку отпадает необходимость в ряде допущений, лежащих в основе моделей Раша и Бирнбаума.
Что касается использования статистики Бозе - Эйнштейна, то это не нуждается в каком-то обосновании. Выбор статистики соответствует выбору способа описания, который при рассмотрении итогов тестирования ничем не регламентируется и может быть любым. По этой причине выбор структуры теста в виде, представленном на рисунке 1б, абсолютно правомерен. Он интересен тем, что приводит к способу описания, соответствующему статистике Бозе - Эйнштейна, в рамки которой хорошо вписываются модели Раша и Бирнбаума.
Предлагаемая схема делает понятным порядок пересчета тестового
балла tв (15) и стандартного отклонения аt = д/а^(18) к 100-балльной шка-
ле. Этот пересчет тождествен их выражению в процентах по отношению к максимальной балльной оценке тп, которую может получить школьник при п-кратном тестировании с помощью тестов, состоящих из т однобалльных заданий:
7в = ■ 100, (23)
тп
at =^ ■ 100. (24)
тп
Выражение (18) позволяет акцентировать внимание на ряде особенностей дисперсии а^ и дискриминационной способности d. В рамках рассматриваемого подхода дискриминационная способность d = аГ выступает в качестве статистической характеристики, соответствующей макроскопическому способу описания. В дополнение к этому дисперсия а^ (18) зависит не только от параметров теста (т, п, /), но и от уровня подготовки школьников, определяемого значением х/. В этой связи следует говорить не о дискриминационной способности задания, что встречается в педагогической литературе, а о дискриминационной способности теста, объединяющего задания с одинаковым уровнем сложности и одинаковой корреляционной связью, причем по отношению к соответствующей группе школьников.
Зависимость дисперсии а^ (18) от уровня подготовки учащихся иллюстрирует рисунок 8 на примере срезов рассмотренной ранее пятимерной
пирамиды по плоскостям, перпендикулярным осям 0х2, 0х3 и 0х4. Эти срезы описывают возможные итоги трех тестов нарастающего уровня сложности. Кривая 1 на рисунке 8 соответствует доступному тесту (/ = 2, Р1 = 4/б, для которого, что видно из рисунка, величина а^ растет с уровнем подготовки учащихся, характеризуемой балльными оценками х/. Поскольку а^ выражает неопределенность регистрации тестового балла, то получается, что простой тест больше пригоден для оценки успехов школьников с низким уровнем подготовки и менее пригоден для оценки знаний хорошо подготовленных учащихся. Если обратиться к кривой 3, то нетрудно понять, что с помощью сложного теста точнее оцениваются успехи школьников с высоким уровнем подготовки, поскольку кривая 3 соответствует сложному тесту (/ = 4, р1 = 2/6) и характеризуется убывающей зависимостью аt от х/. Что касается кривой 2, то она соответствует тесту среднего уровня сложности (/ = 4, р1 = 3/6) и имеет слабо выраженный минимум в середине диапазона возможных значений х/. Это означает, что тест средней сложности пригоден для оценки разных школьников. Несколько точнее он определяет значение 1в для группы учащихся со средним уровнем подготовки.
Рис. 8. Зависимость дисперсии а/ (18)
х
Из изложенного следует, что опора на свойства решетчатых пирамид сводит к минимуму статистическую обработку итогов тестирования, поскольку успехи школьников, характеризуемые значениями 1в и а^ определяются аналитическими выражениями (15) и (18). Проблема обработки данных при этом сводится к отождествлению результатов тестирования с итогами соответствующей серии тестов нарастающего уровня сложности, характеризуемой значениями п, т и /.
В случае, когда итоги испытания учащихся соответствуют однократному тестированию, значение т известно (равно общему числу заданий
в тесте) и обработка данных сводится к нахождению значений п и / по методу моментов (для распределения Д(х/) (4) все начальные моменты вплоть до момента порядка т известны [1; 3]). Поскольку речь идет о двух неизвестных, то в простейшем варианте нахождение п и / можно свести к решению системы двух уравнений (5) и (6), то есть к использованию моментов первого и второго порядка. Ее решение целесообразно разделить на два этапа. Сначала удобнее рассчитать по модулю (9) характеристики заданий р1 и г/, а затем из соотношений (10) и (11) найти искомые значения п и /:
Случай однократного тестирования учащихся (с помощью заданий одинакового уровня сложности) достаточно редок, но может встречаться на практике. В качестве примера можно привести результаты единого государственного экзамена по русскому языку за 2002 год (77 006 школьников, 62 задания в тесте). Если судить по итоговому распределению (рис. 9а), то результаты данного экзамена легко отождествить с однократным тестированием учащихся с помощью теста, состоящего из 62 заданий с доступностью р1 (9) = 5/8 и корреляционной связью г (9) = 1/9, что соответствует значениям т = 62, п = 7, / = 3. Подтверждением этого служит хорошее совпадение распределения учащихся по первичным баллам с распределением (4) при т = 62, п = 7, / = 3, представленное на рисунке 9а.
Параметры тестирования (т = 62, п = 7, / = 3) дают возможность рассчитать значения тестового балла 4 (15) для участников единого государственного экзамена по русскому языку (рис. 9а). Эти значения, приведенные с помощью соотношений (23) и (24) к 100-балльной шкале, представлены на рисунке 9б. На этом же рисунке пунктиром изображены значения ~ + 2аг, ограничивающие интервал значений 4 для надежности 0,95. Рисунок 9б демонстрирует важную особенность выражения (15): пересчет первичных баллов к тестовым по выражению (15) равносилен линейному преобразованию балльной шкалы. Данный рисунок наглядно иллюстрирует также высокую неопределенность оценки знаний учащихся с помощью тестового балла, находящуюся на уровне ±10 баллов. Важно отметить, что неопределенность в ±10 баллов мы получили, не обращаясь к функции, обратной функции успеха (19). Ее использование для области простых и сложных заданий, как видно из рисунков 5и и 5к, является в достаточной степени проблематичным.
п
Г
/ = (п +1)(1-Р/).
(25)
(26)
Баллы
Баллы
Рис. 9. Пример однократного тестирования учащихся
Поскольку каждое макросостояние может быть реализовано множеством микросостояний, то совпадение результатов тестирования с распределением (4) на рисунке 9а не дает полной гарантии того, что представленные итоги соответствуют однократному тестированию. Достоверно об этом можно судить лишь по итоговому протоколу, в котором приведены результаты тестирования каждого школьника по всем заданиям. Имея подобный протокол, несложно выявить кратность тестирования, что иллюстрирует рисунок 10а, где в качестве примера приведены результаты обработки итогов тестирования студентов Рязанского государственного университета имени С.А. Есенина по психологии (16 студентов, 44 задания в тесте). Из рисунка 10а видно, что представленное тестирование, проходившее по 44 заданиям, оказалось восьмикратным: с помощью четырех заданий, доступных для пяти студентов; с помощью семи заданий, доступных для шести студентов; с помощью шести заданий, доступных для семи студентов; с помощью восьми заданий, доступных для восьми студентов; с помощью восьми заданий, доступных для девяти студентов; с помощью четырех заданий, доступных для десяти студентов; с помощью трех заданий, доступных для одиннадцати студентов и с помощью четырех заданий, доступных для двенадцати студентов.
а)
в 101
к 8 -
6-І
«Э 4 -I
0 м
^ о
1 ]
^ 0
І І І I
І І І I
0 4 8 12 16
Число студентов
100 -| 80 -60 -40 -20 -0 -
tв ± 2<5/
0,75 0,69 0,63 0,56 0,50 0,44 0,38 0,31 Доступность теста, р
Рис. 10. Итоги реального многократного тестирования учащихся
Распределение, представленное на рисунке 10а, определяет не только кратность тестирования, но и число заданий т в каждом из восьми тестов. После этого для каждого теста нетрудно рассчитать, например, по соотношениям (9), (25) и (26) значения п и i, а затем тестовые баллы tв (15) и значения стандартного отклонения аг, приведя их к 100-балльной шкале по выражениям (23), (24). Отмеченный способ расчета ~ и аг равносилен использованию соотношений:
г. = 50 ■
1 -
1 - г
1 - 2г
Р -
(27)
х
т
а г =
50 1 - г
л/3т 1 - 2г
Р -
1 - г
р + л
1-г
+ (т - х) а----Г— а + (т - х)—Г—
1 V 1 - г Л 1 - г
(28)
г
г
X
где х - балльная оценка учащихся за тест из т заданий, по которому проходит оценка их успехов;
р и г - доступность тестовых заданий и корреляционная взаимосвязь балльных оценок согласно модулю (9);
а = 1-р. ~
На рисунке 10б приведены результаты расчета ~ (27) и аг (28) по каждому из восьми тестов (рис. 10а) для студентов, имеющих балльные оценки х = 4, 3, 2, 6, 3, 4, 6, 1. Как видно из рисунка 10б, значения тестового балла 1в (27) не зависят от уровня сложности теста, по которому они рассчитываются, в пределах ±2 аг. По этим данным нетрудно найти среднее значение ~ и среднеквадратичное значение аг, которые можно использовать в качестве итоговых характеристик успехов учащихся.
Рассмотренная статистическая модель многократного тестирования учащихся может найти применение в первую очередь при построении учебного курса «Современные средства оценивания результатов обучения» для студентов педагогических вузов. В отличие, например, от пособий [6; 7] она интересна тем, что практически исключает использование специальных расчетных методов математической статистики, которые затрудняют изложение и понимание учебного материала. Для студентов, обучающихся по специальности «физика», предлагаемый подход позволяет выйти на модель тестового контроля знаний, опираясь на общую схему построения статистических моделей, которая известна им из курса физики. Тот факт, что возможности педагогической науки в части количественного описания весьма ограничены, не играет здесь существенной
роли, поскольку для построения модели многократного тестирования достаточно исходных положений статистической теории.
В рамках предлагаемой модели можно соотнести педагогическую систему оценки знаний учащихся с соответствующей статистикой, разграничить макроскопический и микроскопический способы описания итогов тестирования, избежав при этом не только терминологических, но и фактических неточностей, которые, к сожалению, встречаются в учебной литературе при объяснении итогов испытания. Модель многократного тестирования позволяет дать простую интерпретацию тестового балла, обосновать его статистическую независимость от уровня сложности используемого теста, объяснить влияние различных факторов - уровня сложности заданий, числа заданий, корреляционной связи успехов школьников -на итоговые результаты. Достаточно простой вид приобретает проблема проектирования тестов. Опора на квантовые статистики дает возможность проектировать тесты из заданий одинакового или нарастающего уровня сложности.
Достоинство предлагаемого подхода определяется еще и тем, что изложение курса «Современные средства оценивания результатов обучения» нетрудно сделать не только строгим и доказательным, но и наглядным, опираясь на координатный, диаграммный и табличный способы представления результатов тестирования. Данный подход позволяет разработать пакет заданий и идеализированных протоколов для лабораторных работ, с помощью которых можно поэтапно подготовить студентов к осознанной процедуре проектирования тестов и обработки итогов реального тестирования учащихся.
Список литературы
1. Кирьяков, Б.С. Педагогическая модель интеллектуального испытания школьников. - Рязань : Русское слово, 2002. - 208 с.
2. Кирьяков, Б.С. Статистическое моделирование контрольных мероприятий с многобалльной оценкой знаний учащихся // Известия РАО. - 2005. - № 2. - С. 75-83.
3. Кирьяков, Б.С. Простейшие решетчатые объекты: статистические свойства, связь с квантовыми статистиками, проектирование контрольных заданий // Вестник РГУ имени С.А. Есенина. - 2007. - № 1/14. - С. 3-26.
4. Кирьяков, Б.С. Статистическая интерпретация итогов контроля знаний учащихся по суммарным результатам // Проблемы учебного физического эксперимента : сб. науч. тр. / ИСМ РАО. - М., 2006. - Вып. 24. - С. 3-13.
5. Нейман, Ю.М. Введение в теорию моделирования и параметризации педагогических тестов / Ю.М. Нейман, В.А. Хлебников. - М. : Прометей, 2000. - 169 с.
6. Воронин Ю.А. Современные средства оценивания результатов обучения : учебное пособие / Ю.А. Воронин [и др.] ; ВГПУ. - Воронеж, 2004. - 97 с.
7. Нейман, Ю.М. Педагогическое тестирование как измерение / Ю.М. Нейман, В.А. Хлебников ; Центр тестирования МО РФ. - М., 2002. - 67 с.
