CC BY
50
2009
НАУЧНЫЙ ВЕСТНИК МГТУ ГА серия Прикладная математика. Информатика
№ 145
УДК 519.248
ОЦЕНИВАНИЕ УРОВНЯ ЗНАНИЙ ОБУЧАЕМОГО ПО РЕЗУЛЬТАТАМ ТЕСТИРОВАНИЯ С НЕПРЕРЫВНЫМ ПОКАЗАТЕЛЕМ КАЧЕСТВА
Н.А. БАРАНОВ, И.Н. МАСЛЯКОВА
Рассматривается задача определения уровня знаний обучаемого по результатам выполнения тестовых заданий. Предполагается, что качество выполнения характеризуется некоторым непрерывным показателем. Рассмотрены процедура построения оценок для заданного объема тестирования и процедура рекуррентного оценивания.
Ключевые слова: тестирование, оценивание, рекуррентное оценивание, уровень знаний, непрерывный показатель качества выполнения задания.
Введение
Традиционный подход к тестированию уровня знаний обучаемого базируется на допущении, что качество ответа на тестовое задание характеризуется бинарной величиной «правильно - неправильно». В частности, такой подход лежит в основе классической теории тестов и современной теории тестов IRT (Item Response Theory) [1 - 3]. Вместе с тем, во многих случаях решение задачи (если речь не идет о тестировании, когда правильный ответ определяется однозначно) оценивается развернуто: «решил, но не полностью», «не решил, но идея была правильна» и т.д. Это в первую очередь относится к тестовым заданиям открытого типа [1]. Можно сказать, что в общем случае выполнение тестового задания оценивается некоторой непрерывной величиной, относительно которой можно предполагать, что она лежит в диапазоне от 0 до 1. В настоящей работе разрабатывается подход к решению задачи определения уровня знаний обучаемого по результатам выполнения совокупности тестовых заданий, качество выполнения которых оценивается некоторым непрерывным показателем качества, на основе методов теории статистического оценивания.
В основе этого подхода лежит допущение, что ожидаемое качество ответа w на тестовое задание является функцией двух параметров: уровня сложности задания w и уровня знаний обучаемого в: F(6, w). Уровень сложности задания характеризует требуемый уровень знаний обучаемого, который необходим для решения сформулированной в задании задачи. Это допущение аналогично лежащей в основе IRT [2, 3] гипотезе о том, что вероятность выполнения задания является функцией латентного параметра способности в обучаемого и латентного параметра трудности задания w:
P = f(q- w).
Поскольку в IRT качество ответа является бинарной величиной, принимающей значения 0 или 1, то в данном случае математическое ожидание качества ответа равно вероятности выполнения задания. Другими словами, принятая гипотеза в случае бинарного качества ответа эквивалентна допущению IRT.
В рамках разрабатываемого подхода оценивание уровня знаний обучаемого рассматривается как процесс косвенных измерений некоторой величины. Измерением является выполнение обучаемым некоторого тестового задания, а результат измерений - степень качества выполнения этого тестового задания. Задача состоит в том, чтобы по результатам измерения, т.е. имея оценку качества выполнения тестовых заданий, количественно определить уровень знаний обучаемого. При этом предполагается, что связь между качеством выполнения задания и уровнем знаний обучаемого определяется некоторой нелинейной зависимостью.
1. Оценивание уровня знаний при заданном объеме тестирования
Исходной информацией для получения оценки в* уровня знаний обучаемого является вектор показателей трудности совокупности тестовых заданий (о,..., оп), выполненных обучаемым, а также вектор показателей качества ответов на тестовые задания (^1,..., wn).
Предлагая обучаемому тестовое задание с уровнем сложности о, мы наблюдаем качество ответа н с некоторой ошибкой %.
н = Е (о, в ) + Х.
В результате наблюдения выполнения тестовых заданий получаем вектор наблюдений
Е (О, в) + Х ,
где о(п) = (о,...,оп) - вектор, каждая компонента которого является показателем уровня сложности соответствующего тестового задания.
Необходимо найти оценку в параметра в0, характеризующего уровень знаний обучаемого. Введем в рассмотрение невязку между качеством н, выполнения задания '-го, которое продемонстрировал обучаемый, и ожидаемым качеством ответа
- Е (о,, в)
и функцию потерь Ф(е).
Средние эмпирические потери [4] на основе вектора наблюдений качества выполнения тес-
тового задания заданного объема w(n) = (н1,...,нп) определим следующим образом
1 п 1 п
■>п=-!Ф(е )=-2Ф( н,- Е о, а)).
п 1=1 п 1=1
Оценку в параметра в0 определим из условия минимума средних потерь.
1 п
в=агёт]пп 2 Ф(- Е (о ,^)).
п,=1
В силу необходимого условия экстремума [5] имеем
1=1
Полагая
ё в
и раскладывая производную функции потерь Фг(н, -Е(щ,в)) в окрестности точки в в ряд-Тейлора [5] с точностью до членов первого порядка малости, получаем
п / / ~\\/ / ~\\ёР (о, в)
22ф'( н, -г (о, в))(н, -г (о, в))—»о. (1)
Соотношение (1) представляет собой нелинейное уравнение для определения значения оценки в уровня знаний обучаемого.
В случае, если функция потерь Ф(е) выбрана квадратичной, т.е.
1 12
Ф(е) = — е2 или ф(н, -Е(о,,в)) = — (н, -Е(о,,в)) ,
имеем
Ф'(н, -Р(о,,в)) = н, -Р(о,,в), Ф'(н, -Е(о,,в?)) =1.
_ ёЕ (о,, в?),
Тогда уравнение (1) для определения в? примет вид 2---------в-----(
,=1
О
ё в
'Е (о,, в? )) =
0 или
п ёЕ(о,,в) , _. п ёЕ(о,,в)
е (о,, «)=2 1', '
,=1
ё в
,=1
ё в
н.
(2)
В общем случае решение нелинейных уравнений (1) или (2) представляет собой нетривиальную задачу и требует использования соответствующих численных методов.
Предположим, что по результатам промежуточного или предварительного контроля известна априорная оценка уровня знаний обучаемого в?0. В качестве априорной оценки в0 может
также рассматриваться некоторая среднестатистическая оценка, характерная для той категории, к которой принадлежит данный конкретный обучаемый. Например, математическое ожидание уровня знаний для данной категории обучаемых. Если априорная оценка выбрана достаточно
близко к значению оцениваемого параметра в, то можно получить решение полученного уравнения (2) для случая квадратичной функции потерь в аналитическом виде в линейном приближении.
Действительно, разложим функцию Е(о,,в) в окрестности точки в0 в ряд Тейлора с точностью до членов второго порядка малости.
‘ О
< 1 ёЕ (о,, 4)
Е (о, О)» Е (о,. »0)+ ё? ( в - "0 )■
Подставляя это соотношение в уравнение (2), получаем
2
,=1
ёЕ (о, 4 )
ё в
н.
-Е (о, ¿0 )-ёЕ (о, ¿0 )
ё в
0 , откуда
в = #0 +
ё в
(
2
,=1
ёЕ (о, 4 )
ё в
(3)
Соотношение (3) определяет оценку уровня знаний обучаемого при наличии априорных данных об уровне знаний по результатам промежуточного контроля в случае, когда оценивание осуществляется с квадратичным критерием качества Ф(е). Второе слагаемое в правой части
соотношения (3) определяет поправку к априорной оценке уровня знаний обучаемого, полученной по результатам промежуточного оценивания. Другими словами, слагаемые в правой части (3) определяют вклад априорной оценки (промежуточного оценивания) в0 и результатов итого-
2
вого тестирования (н1,..., нп) в формирование суммарной оценки уровня знаний обучаемого. Если гипотеза о степени адекватности априорной оценки не является справедливой, то полученное соотношение (3) может быть использовано для построения итерационной процедуры
нахождения корня уравнения (2) для определения оценки уровня знаний обучаемого в . Итерационный алгоритм определения уровня знаний обучаемого по результатам выполнения совокупности тестовых заданий заданного объема будет иметь вид
■±ёЕ(о.в,)( г( ? ))
2—^— (н -Е (о ■в?)) в?,+,= + * в, ' ?.
' ^ (о п '
2
,=1
ёЕ О ) ё в
Рассмотрим частный случай определения уровня знаний обучаемого, когда обучаемому предъявляются тестовые задания одинакового уровня сложности.
Тогда в случае квадратичной функции потерь уравнение принимает вид
п ёЕ (о, в) , _. п ёЕ (о, в)
2—е (о, & )=2—■, ^1 ёвХ > ^ ё в 1
н.
После простейших преобразований получаем уравнение для вычисления параметра в :
1 п
Е О в? )=п 2 н,.
п ,=1
Заметим, что правая часть этого уравнения представляет собой среднее качество выполнения обучаемым предложенных тестовых заданий.
2. Рекуррентное оценивание уровня знаний обучаемого
Рассмотрим теперь процедуру рекуррентного оценивания уровня знаний обучаемого. Пусть получен вектор наблюдений w( п) =( н1,..., нп), на основании которого получена оценка уровня
знаний ?(п) . Затем выполнено еще одно наблюдение нп+1 , в результате которого сформирован
вектор наблюдений w(п+1) = (н1,...,нп,нп+1). Необходимо вычислить оценку ^п+1), используя
оценку ?(п) , полученную ранее, и результат последнего наблюдения нп+1 . Запишем функцию
средних потерь для вектора наблюдений w(п+1) = (н1,...,нп,нп+1):
1 п+1
•М9 )=~п+т12Ф( н, -Е О в)).
О,в)). (4)
1 ,=1
Поскольку оптимальная оценка ?(п+1) уровня знаний обучаемого должна обеспечивать минимум функции средних потерь, то в силу необходимого условия экстремума, дифференцируя соотношение (4) и приравнивая производную нулю, получаем
п+1 / / ~( )ЧчЭЕ (о, в{п+1])
2Ф'(н, -Е(о,"+11)) 1э^ ’= 0. (5)
Разложим функцию Е (о,, ^п+1)) и ее производные в ряд Тейлора в окрестности точки в?(п) с точностью до членов первого порядка малости:
Е (щ, 0(п+1)) = Е (щ, 0(п)) +
№ (щ, <?< ■>)
(п)
( п+1) _ 0Іп) )
ЭЕ (щ, 0( п+1)) ЭЕ (щ, 0( п)) Э2 Е (щ, 0( п))
э п+1) э п) э 0( п)2
Подставляя полученные соотношения в уравнение (5), получим
(0Іп +1) _ 0Іп) )
г
I ф'
.=1
ЭЕ (щ, в1"1)
V _Е(щ,»п))------Э,^(¿<“^•-,9<"l)
Разлагая функции Ф'
Эв
х
ЭЕ (щ ,0(п)) Э2 Е (щ ,0(п))
(п)
- +
(п)2
( ^(п+1) _ 0Іп) )
0.
V _Е(щ,в[п])
ЭЕ (щ, ¿Ы)
э ё{ п)
(0(п+1) _ 0(п) )
в ряд Тейлора в окрестно-
сти точки в?( п) с точностью до членов первого порядка малости, имеем
ф'
V _Е(щ,в{п))
ЭЕ (щ ¿м)
Э в{п)
( 0(п+1) _ 0(п))
ф'(V гЕ(щ,ё<"»))-ф'(V. _Е(щ,п|))
ЭЕ (щ, ¿М)
Э в{п)
(0(п+1) _ 0(п))
Следовательно,
ЭЕ (щ, в{п)) Э2 Е (щ, в{ п))
Э^Р + Э^Р2
_ Л(п) \ ~\2 т-> / -- (п) \ 'А
Iф'(V. _Е(щ,<?М))
1=1
п+1
(п+1) _ £(п)) _І ф"( V. _ Е (щ, п)))х
.=1
х
ЭЕ (щ, в{ п)) Э2 Е (щ, у(п))
( п+1) _ 0(п))
ЭЕ (щ, '")
Э в{п) Э 0(п)2
Если в полученном уравнении пренебречь членом вида
Эу( п)
Э 2 Е (щ, ё<п))
(0(п+1)_ 0(п))» 0.
(0(п+1) _ п) )
посколь-
э 0(п)2
ку здесь ему соответствуют члены второго порядка малости относительно разности ((?(п+1) - (?(п)) оценок на двух последовательных шагах рекуррентного оценивания, то уравнение
для определения оценки в?(п+1) упрощается и принимает вид
I ф'( V , _ Е (щ, ¿¡И))
.=1
ЭЕ (щ, в«)
(п)
п+1 / / -(^\ЭЕ (щ, ^(п)Ь~( ) -()ч
Iф'(V , _Е(щ,<9(^ 1Э<^Н ’(е<-6',п))» 0 .
Поскольку оценка в? , полученная на основании вектора наблюдений w =( н1,..., нп) ре-
зультатов выполнения тестового задания меньшего объема, минимизирует функцию средних потерь Jn (в?(п)), и, следовательно, удовлетворяет необходимому условию экстремума
эЕ (о,, $п))
,=1 ' - э в
то уравнение (6) можно представить в следующем виде:
(п)
0.
в?(п+1)2Ф'(н, -Е (о,, 0(п)))
,=1
эЕ (о,, ¿<п))
э в?
(п)
, , ,^эе(оп+1,в[п)\ , «+1 ,,^эе(о,,в?(п))
= Ф'( нп+, - Е (О,,,, <?,п))) ^ ^ ' + в'"'' 2 Ф'(н, - Е (О, , ^ п>)) Ун ’
Из этого равенства получаем рекуррентное соотношение для оценки в?(п+1):
в
(п+1)
п+1
2 ф'( н, - е (о, Лп)))
,=1
эЕ (о, Лп))
X
эв
(п)
X
Ф
'(*п+1 - Е (о^е*п)))
эе (оп+., <?м) п+1 . , /^.аг (о,, s(",) ^
1 1 ¿¡^+«(") 2 ф'( *, - е К*("'))-^—
,=1
эв
эв
(п)
(7)
В случае квадратичной функции потерь соотношение (7) принимает вид
в
(п+1)
п+1 эе (о,в?(п))
(-Е(О"+l.(?|“>))
эЕ(®n+|.,?( 1. а-п)"РэЕ(О.'?l"')^
э в
(п)
+в( п) 2
э в?
(п)
,=1
э в
(п)
или
0( п+1) = ?(п) +
эЕ (оп,+1, 0м)
п+1 эе (о, 0(п))
(п)
(*"„- Е (О+1, <?м)).
2-
;=1 э 0(п)
Отметим, что даже в случае квадратичной функции потерь рекуррентная оценка ^"+1) зависит не только от результата (п +1) -го наблюдения, но и от уровня сложности вопросов в предыдущих наблюдениях. Это обусловлено нелинейностью функции ожидаемого качества ответа Е(о,в), значение производной которой вычисляется в точках (щ,в(п)). Другими словами,
значение
эЕ (о, ём)
э
зависит как от оценки уровня знаний обучаемого, полученной в резуль-
тате п наблюдений, так и от уровня сложности,-го вопроса.
Однако в случае квадратичной функции потерь алгоритм рекуррентного оценивания оказывается не зависящим от результатов предыдущих наблюдений, т.е. от результатов w(n) = (н„...,нп) выполнения обучаемым заданий, полученных до (п +1) -го наблюдения.
1
1
1
Аналогичные рассуждения можно провести для оценивания сложности вопроса при условии, что уровень знаний обучаемого известен. В этом случае получаем аналогичное рекуррентное соотношение для оценки сложности задания с той разницей, что производная функции Е (о, в ) по второму аргументу в заменяется на производную по первому аргументу о Таким образом, имеем
В частном случае оценивания уровня знаний обучаемого, когда тестовые задания имеют один и тот же уровень сложности, т.е. w ° W = const, выражение для оценки уровня знаний принимает вид
п +1
Полученные соотношения (7) определяют процедуру рекуррентного оценивания уровня знаний обучаемого при последовательном выполнении им тестовых заданий, качество выполнения которых оценивается непрерывным показателем качества.
В данной работе рассмотрены вопросы построения статистических оценок уровня знаний обучаемого по результатам тестирования с непрерывным показателем качества выполнения тестовых заданий. Обсуждаются случаи рекуррентного оценивания и оценивания по результатам выполнения заданной совокупности заданий.
Принципиальным вопросом реализации рассматриваемого подхода является построение функции ожидаемого качества ответа Е( в, д), а в общем случае - построение функции распре-
1
X
В случае квадратичной функции потерь соответственно получаем
U dain)
или
а в случае квадратичной функции потерь соответственно
Заключение
деления качества ответа P(w, в, w), т.е. вероятности того, что на задание с уровнем сложности w обучаемый с уровнем знаний в даст ответ, качество которого будет не выше w.
Решение такой задачи может быть получено на основе статистической обработки субъективной экспертной информации о показателях качества ответа обучаемых в зависимости от уровня сложности заданий и уровня знаний обучаемых.
Следует отметить, что использование процедуры рекуррентного оценивания, рассмотренной в данной работе, позволяет реализовать адаптивный подход к определению необходимого объема тестирования, обеспечивающего заданный уровень точности определения уровня знаний обучаемого.
ЛИТЕРАТУРА
1. Дружинин В. Н. Экспериментальная психология. - СПб.: Питер, 2003.
2. Rasch G. Probabilistic Models for Some Intelligence and Attainment Tests. / Copenhagen: Danish Institute for Educational Research. 1960, Chapters V-VII, X.
3. Rasch G. An item analysis which takes individual differences into account. / British Journal of Mathematical and Statistical Psychology. 1966, 19, Part 1.
4. Цыпкин Я.З. Информационная теория идентификации. - М.: Наука, 1995
5. Рудин У. Основы математического анализа. - М.: Мир, 1966.
ESTIMATION OF TRAINEE’S KNOWLEDGE LEVEL BY TESTING’S RESULTS WITH CONTINUOUS QUALITY INDEX
Baranov N.A., Maslyakova I.N.
The problem of estimation of trainee’s knowledge level by testing’s results is considered. It is supposed that quality index is characterized by some continuous value. Two cases are considered: estimation for the given volume of testing and recurrent estimation.
Сведения об авторах
Баранов Николай Алексеевич, 1964 г.р., окончил МГУ им. М.В. Ломоносова (1987), ВВИА им. проф. Н.Е. Жуковского (1989), доктор технических наук, старший научный сотрудник, ведущий научный сотрудник ВВА им. Н.Е. Жуковского и Ю.А.Гагарина, автор более 100 научных работ, область научных интересов - математические методы системного анализа, исследования операций и обоснования решений, математическое моделирование.
Маслякова Ирина Николаевна, окончила МГУ им. М.В. Ломоносова (1991), старший преподаватель РЭА им. Плеханова, область научных интересов - математические методы исследования социально-экономических процессов.
