CC BY
24
2009
НАУЧНЫЙ ВЕСТНИК МГТУ ГА серия Прикладная математика. Информатика
№ 145
УДК 519.248
СОВМЕСТНОЕ ОЦЕНИВАНИЕ УРОВНЯ ЗНАНИЙ ОБУЧАЕМОГО
И СЛОЖНОСТИ ЗАДАНИЯ
Н.А. БАРАНОВ, И.Н. МАСЛЯКОВА
Рассматривается задача совместного оценивания уровня знаний обучаемого и сложности задания. Показано, что она сводится к решению интегрального уравнения Фредгольма 2-го рода относительно плотности распределения. Рассмотрен метод решения уравнения. Представлены некоторые результаты численного решения.
Ключевые слова: тестирование, совместное оценивание, уровень знаний, уравнение Фредгольма.
Оценка уровня знаний обучаемого, как правило, основана на субъективных предпочтениях конкретного преподавателя. Кроме представлений о сложности выполняемого задания учитывается представление о том, какое качество ответа соответствует тому или иному уровню подготовленности обучаемого. Вместе с тем существуют предпосылки для того, чтобы вывод итоговой оценки уровня знаний обучаемого основывался на объективных закономерностях распределения ответов обучаемых.
Традиционные подходы к оцениванию уровня знаний на основе классической или современной теории тестов IRT (Item Response Theory) [1 - 3] основаны на допущении, что уровень сложности задания при проведении тестировании конкретного обучаемого является известной величиной. Вместе с тем оценка уровня сложности задания должна определяться не на основе мнения группы экспертов, а на основе статистической обработки результатов выполнения тестового задания. Экспертные оценки могут служить в качестве априорных данных, лежащих в основе последующего апостериорного оценивания.
Таким образом, в общем случае имеет место задача апостериорного совместного оценивания уровня сложности задания и уровня знаний обучаемого, проходящего тестирование.
Будем рассматривать процедуру оценивания уровня знаний обучаемого как процесс косвенных измерений некоторой величины. Измерением является выполнение обучаемым некоторого тестового задания, а результатом измерений - качество выполнения этого тестового задания. Задача состоит в том, чтобы по результатам измерения, имея оценку качества выполнения тестовых заданий, определить величину уровня знаний обучаемого. Считая, что результат выполнения задания является случайным, будем предполагать, что уровень знаний, определяемый по результату выполнения задания, также является случайной величиной, которая характеризуется некоторой плотностью распределения. В дальнейшем будем обозначать величину уровня знаний обучаемого через в, сложность выполняемого задания - через (О, а значение показателя качества выполнения задания - через w. Будем также предполагать, что все эти величины принимают значение из отрезка [0, 1].
В соответствии с теорией байесовского оценивания апостериорная оценка плотности распределения уровня знаний обучаемого по результату выполнении задания, уровень сложности которого известен, определяется соотношением вида
при условии, что качество выполнения задания равно н. Здесь ф0 (#) - априорная плотность
(1)
распределения уровня знаний обучаемого перед началом выполнения задания; н\в,О) - ус-
ловная вероятность результата н выполнения задания с уровнем сложности О) при условии, что
уровень знаний обучаемого равен 6 р(н |о) - априорная вероятность того, что качество выполнения задания с уровнем сложности О будет равно н. В соответствии с формулой полной вероятности
1
р(н|о) = ^р(н|в,о)ф0 (в)ёв. (2)
(нО) = J Р(н\
0
С другой стороны, если уровень сложности задания неизвестен, но известен уровень знаний обучаемого, то апостериорная оценка плотности распределения уровня сложности задания будет определяться аналогичным соотношением
( I в) У (О)р(н\в,°)
у(°\н,в) =---------------- ’ (3)
п(н в)
где у0 (о) - априорная плотность распределения уровня сложности задания; п(н|в) - априорная вероятность результата н задания с уровнем сложности (О.
В соответствие с формулой полной вероятности
1
п(н|в) = §я(н|в,о)у0 (о)ёо. (4)
0
Если неизвестны ни уровень знаний обучаемого, ни уровень сложности задания, то для апостериорных плотностей распределения этих показателей можем записать в соответствии с формулой полной вероятности
1
ф(в| )=/ф(6| н,о)у(о|н) ёо, (5)
0
1
'|н) = У(ю\н,в)ф(в\н)
0
Подставляя выражение (6) для апостериорной плотности распределения уровня сложности задания в правую часть соотношения (5), получаем
1 г 1 ^
|н )=1ф(6| н, О )1 \у(°\н,х)ф(х\н)
о V о У
Меняя в правой части (7) порядок интегрирования, после преобразований получаем
1 г 1 ^
ф(6| н) = О\ф(в |н,о)у(|н,Х) ёю\ф(%\н) ё£. (8)
о V 0 У
Аналогично, подставляя выражение (5) для апостериорной плотности распределения уровня знаний обучаемого в соотношение (6) и меняя порядок интегрирования, получим
1 г 1 ^
у(|н) = П |ф(в|н,^)уЦн,в)ёв у(^|н)ё£ . (9)
0 V 0 У
Уравнения (8) и (9) представляют собой два однородных интегральных уравнения Фред-гольма II рода относительно неизвестных условных апостериорных плотностей распределения
уровня знаний обучаемого ф(в\н) и уровня сложности задания у(о|н), при условии, что качество выполнения этого задания равно н.
1
Ядро первого интегрального уравнения (8) имеет вид М(в,Х) = \ф(в\н,о)/(о|н,£)ёо, а
1
у(|н) = |у(о|н,в)ф(в|н) ёв. (6)
ф(в\н) = {ф(6| н,о)I У(ю\м,£)ф(%\н)ёо. (7)
ядро интегрального уравнения (9) соответственно N (о, Z) = ¡Ф(в|w,
Z)y(a\w,6) dd.
0
С учетом введенных обозначений интегральные уравнения (8), (9) можно записать как
i i
ф(в|w) = |M(q,x)f(X|w)dX, y(w|w) = IN(w,Z)y(Z|w)dZ .
00
В общем виде уравнения (8), (9) можно записать следующим образом:
i
у (X ) = IK (х, ^) у (s) ds,
0
где у(х) - неизвестная плотность распределения (ф(в|w) или y(w|w)), а K(х,s) - ядро соответствующего интегрального уравнения.
С учетом соотношений (1) - (4) интегральное ядро М(в, X) можно представить в виде
/ „ч Фп(в) 1 , p(wq,w)p(wx,w)
M(q,x)= ( X) ¡W (°)~------------------ dw, (10)
n(w X) 0 p(w\w)
а интегральное ядро N(w,z) в виде
N(w,f)=WWM}f0 (qp w qf(pw de. (11)
p(w z) 0 n(w e)
Напомним, что входящие в соотношения (10), (11) для интегральных ядер функции ф0 (в) и W0 (w) являются априорными распределениями соответствующих показателей и предполагаются известными, а функции p( w |о) и n( w |в) определяются соотношениями (2) и (3).
Таким образом, для вычисления интегральных ядер (10), (11) необходимо определить условные вероятности p(w|в, о) выполнения задания с уровнем качества w при условии, что уровень сложности задания равен со, а уровень знаний обучаемого равен в.
Будем предполагать, что качество выполнения задания оценивается бинарным показателем качества: «выполнено - не выполнено», т.е. величина w принимает два значения: 0 или 1. Это допущение позволяет воспользоваться результатами современной теории тестов [1 - 3].
Будем предполагать, что вероятность правильного выполнения одного задания описывается двухпараметрической моделью Бирнбаума [1]:
exp (a(a -b))
P (a, b ) =-,
1 + exp (a(a -b))
где a - уровень знаний обучаемого; b - сложность задания; a - параметр модели [2, 3], который называется разрешающей способностью задания.
В этой модели величины a, b принадлежат интервалу [0, <»). Чтобы воспользоваться этой моделью, сделаем замену переменных
a = -ln(1 -в), b = -ln(1 -о),
получим
(ов)= 6ХР {a[-ln (1 -в) + ln (1 -о) ]} = (1 -e)-a(1 -w)a = (1 -o)a
P , 1 + exp {a[-ln (1 -в) + ln (1 -о) ]} 1 + (1 -в)-а(1 -W)a (1 -в)а + (1 -W)a
Таким образом, условные вероятности р(|в, о), входящие в соотношения для интегральных ядер уравнений Фредгольма относительно апостериорных плотностей распределения неизвестных уровня сложности задания и уровня знаний обучаемого, имеют вид
р
(1|в, о) =
(1 -о
(1 -о)“ + (1 -в)0
р( 0\в, со) =
(1 -в)0
(1 -о)“ + (1 -в)0
Для решения интегральных уравнений (8), (9) используем метод последовательных приближений, согласно которому решение строится на основе итерационной процедуры вида
1
Уг)( х ) = | К (х, ^) /-1)( ^) & .
0
В качестве примера на рис. 1, 2 показаны результаты выполнения итерационной процедуры для случая, когда априорная информация о значениях уровня знаний обучаемого и уровне сложности задания отсутствует. Предполагалось, что эти показатели имеют априорное равномерное распределение. Результаты представлены для случая, когда обучаемый дал правильный ответ. Пунктирной линией показана априорная плотность распределения. Можно видеть, что итерационная процедура сходится очень быстро, достаточно 4-5 итераций, чтобы получить апостериорные плотности распределения.
На рис. 3, 4 показаны результаты выполнения итерационных циклов при вычислении апостериорных плотностей распределения уровня сложности задания (рис. 3) и уровня знаний (рис. 4) для случая, когда известны априорные распределения этих показателей (даны пунктирной линией), а обучаемый неправильно выполнил предложенное задание. Скорость сходимости итерационных процедур остается такой же высокой.
На основании разработанного метода совместного определения апостериорных плотностей распределения уровней знаний обучаемого и сложности задания был проведен анализ изменения апостериорных плотностей распределения по результатам выполнения обучаемым серии однотипных заданий.
Определение апостериорных плотностей распределения осуществлялось после каждого выполненного задания. Апостериорные плотности распределения, определенные после выполнения предыдущего задания принимались в качестве априорных после выполнения следующего задания.
Точнее, пусть обучаемый выполнил у-е задание. Результат выполне-
Рис. 1. Последовательные приближения плотности распределения уровня сложности задания при априорной равномерной плотности распределения
Рис. 2. Последовательные приближения плотности распределения уровня знаний обучаемого при априорной равномерной плотности распределения
10
А 8 \
/11 6 Ф ¡\
1 ч 4 |/\ \
/ и 2 / \ \
у У \\ п ),? \ \
0.4 0.6
0
Рис. 3. Последовательные приближения плотности распределения уровня сложности задания при заданной априорной плотности распределения
Рис. 4. Последовательные приближения плотности распределения уровня знаний обучаемого при заданной априорной плотности распределения
ния этого задания . После выполнения предыдущего, (/-1)-го задания были вычислены апостериорные плотности распределения уровня сложности задания и уровня знаний обучаемого: Ф]_х (#|1^]_х,т), _1 (<ю\ы]_х,в') на основе решения интегральных уравнений (8), (9). Плотности
распределения
ф-і(*Ь-і>®), У-(°К-і,в)
принимаются в качестве априорных при вычисле-
ний интегральных ядер (10), (11) в интегральных уравнениях вида (8), (9) для вычисления апосте-
риорных плотностей распределения
Фі (о\мі,о), Уі (ф\*і,в)
после выполнения і-го задания.
Таким образом, последовательность вычислений апостериорных плотностей распределения после выполнения обучаемым і-го задания представляется в следующем виде:
- вычисляются функции
1
р(wJ.\°) = |ф;-1 (вwJ-1,w)p(wJ. |в, о)ёв, фі (вwi, о) =
0
1
у(wJ в) = ¡Уу-1 (WwJ-1,в)p(wi |в, о)ёо, у (^.,в) =
ф-і (вWJ-l,w)p(WJ |в, о)
р( ^ 1°) ’
У,-і (^.-і,в)р(w] \в,о)
у(WJ |в)
вычисляются интегральные ядра
м.(в,х) = ¡ф(в|^,о)у (°^і,х)ё0, N.(о,0 = ¡ф(в|wJ,С)у1(°^і,в)ёв;
0 0
- методом последовательных приближений решаются интегральные уравнения вида
і
Ф-(в\ wJ ,о)=¡м і (в,х)ф(х\ wJ ,о)ф(х w) ^,
0
і
У (°\™.,в) = ¡Nі (0,С)у. (°\*і,в)ёС.
(і2)
В качестве начального приближения при решении уравнений (12) используются апостериорные плотности распределения ф_1 (#| н,]_1,а>), у]_1 (^|^]_1,#), рассчитанные после выполнения предыдущего задания.
Результаты последовательного вычисления апостериорных плотностей распределения после каждого задания представлены на рис. 5, 6. Предполагалось, что априорная плотность распределения показателей сложности задания и уровня знаний обучаемого неизвестны. Поэтому они были приняты равномерными. Обучаемый выполнял 10 однотипных заданий, 6 из которых он выполнил правильно. Правильность выполнения заданий характеризуется вектором {1, 0, 1, 0, 0, 0, 1, 1, 1, 1}.
Анализ представленных (рис. 5, 6) результатов последовательного оценивания уровня знаний обучаемого и уровня сложности задания показывает, что независимо от результата выполнения задания дисперсия оценки («ширина» графика
Рис. 5. Изменение апостериорной плотности распределения уровня сложности задания после выполнения серии заданий одного уровня сложности
Рис. 6. Изменение апостериорной плотности распределения уровня знаний обучаемого после выполнения серии заданий одного уровня сложности
0
0
плотности распределения каждого показателя) уменьшается. Однако в зависимости от правильности ответа происходит смещение положения точки максимума плотности распределения, что соответствует смещению математического ожидания показателя. Эти качественные выводы подтверждают зависимости, описывающие изменение оценки математического ожидания уровня знаний обучаемого и среднеквадратического отклонения этой оценки, представленные на рис. 7.
олг
0.6
0.4
0.2
0|----------------------.--------------------,--------------------.--------------------,--------------------
О 2 4 6 8 II
Рис. 7. Изменение математического ожидания (сплошная линия) и среднеквадратического отклонения (пунктир) уровня знаний обучаемого после выполнения заданий
Получение оценок уровня знаний обучаемого и уровня сложности задания в виде апостериорных плотностей распределения позволяет получить как точечные, так и интервальные оценки этих показателей. Таким образом, в данной работе предложен метод совместного оценивания уровня сложности заданий и уровня знаний обучаемого по результатам выполнения тестовых задач. Показана его быстрая сходимость, а также возможность рекуррентного применения при последовательном тестировании обучаемого.
ЛИТЕРАТУРА
1. Дружинин В. Н. Экспериментальная психология. - СПб.: Питер, 2003.
2. Rasch G. Probabilistic Models for Some Intelligence and Attainment Tests. Copenhagen: Danish Institute for Educational Research. 1960. Chapters V-VII, X.
3. Rasch G. An item analysis which takes individual differences into account. British Journal of Mathematical and Statistical Psychology. 1966, 19, Part 1, 49-57.
4. Полянин А. Д., Манжиров А.В. Справочник по интегральным уравнениям. - М.: Физматлит, 2003.
5. Верлань А.Ф., Сизиков В.С. Интегральные уравнения: методы, алгоритмы и программы. Справочное пособие. - Киев: Наукова Думка, 1986.
SIMULTANEOUS ESTIMATION OF TRAINEE’S KNOWLEDGE LEVEL AND TASK’S COMPLEXITY
Baranov N.A., Maslyakova I.N.
The problem of simultaneous estimation of trainee’s knowledge level and task’s complexity is considered. It is shown that the problem is reduced to the decision of the Fredholm integral equation of the second kind concerning distribution density. The problem-solving procedure is considered. Some results of the numerical decision are presented.
Сведения об авторах
Баранов Николай Алексеевич, 1964 г.р., окончил МГУ им. М.В. Ломоносова (1987), ВВИА им. проф. Н.Е. Жуковского (1989), доктор технических наук, старший научный сотрудник, ведущий научный сотрудник ВВА им. Н.Е. Жуковского и Ю.А.Гагарина, автор более 100 научных работ, область научных интересов - математические методы системного анализа, исследования операций и обоснования решений, математическое моделирование.
Маслякова Ирина Николаевна, окончила МГУ им. М.В. Ломоносова (1991), старший преподаватель РЭА им. Плеханова, область научных интересов - математические методы исследования социально-экономических процессов.
