Модель оценивания уровня знаний студента Текст научной статьи по специальности «Науки об образовании»

МАТЕМАТИЧЕСКИЕ И ИНСТРУМЕНТАЛЬНЫЕ МЕТОДЫ

МОДЕЛЬ ОЦЕНИВАНИЯ УРОВНЯ ЗНАНИЙ СТУДЕНТА1

Маслякова Ирина Николаевна

старший преподаватель кафедры высшей математики РЭУ им. Г. В. Плеханова. Адрес: ФГБОУ ВПО «Российский экономический университет имени Г. В. Плеханова», 117997, Москва, Стремянный пер., д. 36. E-mail: maslyakova@gmail.com

Мочалина Екатерина Павловна

кандидат физико-математических наук, доцент кафедры высшей математики РЭУ им. Г. В. Плеханова.

Адрес: ФГБОУ ВПО «Российский экономический университет имени Г. В. Плеханова», 117997, Москва, Стремянный пер., д. 36. E-mail: mochalina77@gmail.com

Оценка качества обучения лежит в основе процессов стимулирования учебной деятельности студента, управления качеством обучения, управления обучением как процессом освоения новых знаний и т. д. В общем случае оценка знаний является случайной величиной. Предъявляемые требования современных работодателей к молодому специалисту заставляют задуматься о более дифференцированном подходе к оценке уровня знаний. В статье авторами предложена математическая модель оценивания уровня знаний студента, входными параметрами которой являются объем и сложность тестовых заданий и априорная оценка уровня знаний студента. При этом предполагается, что качество выполнения тестовых заданий характеризуется некоторым непрерывным показателем.

Ключевые слова: тестирование, IRT, оценивание, уровень знаний, непрерывный показатель качества, параметрическая идентификация.

PARAMETRIC IDENTIFICATION IN KNOWLEDGE ESTIMATION MODELING

Maslyakova, Irina N.

Senior lecturer of the Department for Higher Mathematics of the PRUE.

Address: Plekhanov Russian University of Economics, 36 Stremyanny Lane, Moscow, 117997,

Russian Federation.

E-mail: maslyakova@gmail.com

Mochalina, Ekaterina P.

PhD, Associate Professor of the Department for Higher Mathematics of the PRUE.

1 Статья подготовлена по результатам внутреннего гранта Российского экономического университета имени Г. В. Плеханова «Построение процедуры оценивания качества уровня знаний студентов экономических специальностей».

Address: Plekhanov Russian University of Economics, 36 Stremyanny Lane, Moscow, 117997,

Russian Federation.

E-mail: mochalina77@gmail.com

The assessment of quality of training is the cornerstone of processes of stimulation of educational activity of the student, quality management of training, management of training as process of development of new knowledge etc. Generally the assessment of knowledge is casual size. Qualifying standards of modern employers to the young expert set thinking on more differentiated approach to an assessment of level of knowledge. In article authors offered mathematical model of estimation of level of knowledge of the student which input parameters are the volume and complexity of test tasks and an aprioristic assessment of level of knowledge of the student. Thus it is supposed that quality of performance of test tasks is characterized by some continuous indicator.

Keywords: testing, IRT, estimation, level of knowledge, continuous indicator of quality, parametrical identification.

Традиционный подход к тестированию уровня знаний студента базируется на допущении, что качество ответа на тестовое задание характеризуется бинарной величиной: правильно -неправильно. В частности, такой подход лежит в основе классической теории тестов и современной теории тестов IRT (Item Response Theory) [6; 7]. Вместе с тем во многих случаях решение задачи (если речь не идет о тестировании, когда правильный ответ определяется однозначно) оценивается развернуто: «решил, но не полностью», «не решил, но идея была правильна» и т. д.

Рассмотрим подход к решению задачи определения уровня знаний студента по результатам выполнения совокупности тестовых заданий, качество выполнения которых оценивается некоторой непрерывной величиной, принимающей значения из отрезка [0; 1]. Предположим, что связь между качеством выполнения задания и уровнем знаний студента определяется некоторой нелинейной зависимостью.

Если принять, что измерение - это выполнение обучаемым некоторого тестового задания, а результат измерений представляет собой баллы, набранные за это тестовое задание, тогда можно сформулировать следующую задачу: по результатам измерения, т. е. имея оценку качества выполне-

ния тестовых заданий, необходимо определить величину уровня знаний студента.

Введем следующие обозначения:

8 - уровень знаний обучаемого, непрерывная случайная величина, распределенная на [0; 1];

® - уровень сложности задания, непрерывная величина, принимающая значения из [0; 1]. Уровень сложности задания характеризует требуемый уровень знаний обучаемого, который необходим для решения сформулированной в задании задачи;

т = £(©, 8) - качество ответа на тестовое задание.

Таким образом, это функция двух параметров: уровня сложности задания ® и уровня знаний обучаемого 8. Заметим также, что в непрерывном случае наиболее общей характеристикой качества ответа является плотность распределения уровня знаний 8.

Введенная нами функция т представляет собой предположение, аналогичное гипотезе, лежащей в основе IRT и состоящей в том, что вероятность выполнения задания является функцией латентного параметра способности 8 обучаемого и латентного параметра трудности задания ®:

Р = / (9 - ю).

Здесь латентным параметром считается свойство личности, недоступное для прямого наблюдения.

Пусть по результатам промежуточного или предварительного контроля известна априорная оценка уровня знаний студента 00. Поставим следующую задачу: студент выполнил тест, в котором были задания разных уровней сложности. Необходимо по результатам этого теста найти оценку априорного уровня знаний (60) студента. Мы полагаем, что, предлагая студенту тестовое задание с уровнем сложности ю, мы наблюдаем качество ответа т с некоторой ошибкой

т = До, 9) + £

Пусть о(п) = (®1, ..., Оп) - вектор показателей трудности совокупности тестовых заданий, выполненных студентом.

В результате наблюдения выполнения всех тестовых заданий мы получаем соответственно вектор наблюдений т(«) = (т1, ..., тп), каждая компонента которого является показателем качества т, уровня сложности о, и ошибкой

т, = До,, 9) +

Обозначим необходимую нам оценку параметра 90 посредством 9. Согласно информационной теории идентификации соответствие настраиваемой модели объекту исследования, т. е. качество идентификации, оценивается критерием качества идентификации, который представляет собой средние потери. Следовательно, нам необходимо их минимизировать.

Введем функцию потерь информации Ф -показатель среднего риска потери информации относительно вектора показателей сложности (®1, ..., Оп). Основные свойства и алгоритмы получения функции Ф в явном виде рассмотрены в соответствующих работах (см., например, [4]). Следовательно, оценку параметра 90 мы получим из условия минимизации средних потерь информации:

9 = аг^тт1 £ ф(ш - Р(ю , 9))

9е(0;1) П 7=1

Далее определим невязку между качеством т, выполнения задания сложности о,, которое продемонстрировал студент, и ожидаемым качеством ответа следующим образом:

Ф;, 9 }

где

(® i,9) -

= до ■ - Р

ожидаемое качество ответа

студента на задание с уровнем сложности о,. Заметим, что, введя невязку, мы получаем соотношение

8

7 (9о )= 0.

(1)

Средние эмпирические потери на основе вектора наблюдений качества выполнения тестового задания заданного объема п (относительно количества различных уровней сложности) определим следующим образом:

1п = - £ ф(87 )= 1 £ ф(Ш, - Р; , 9)).

П ]=1 П ] =1

В силу необходимого условия экстремума имеем

1 п ( \ ■, 9)

- £ Ф8 (8,)--^^ = 0.

П ]=1 С9

Полагая, что качество ответа на тестовое задание зависит от уровня знаний, а следовательно, не может быть постоянным, можно сказать, что

, 0)

С9

* 0.

Здесь ^,0) рассматривается как

функция одной переменной при фиксированном параметре о,. Следовательно,

Ф8 (87 )(90 ) = 0.

Разложим производную функции потерь в окрестности точки 9о в ряд Тейлора с точностью до членов первого порядка малости. С учетом (1) получаем:

п , ч СДю,, 9) -/ £Ф8, (90)• 87 ' 1

(«7

С9

+ о(е - 90)= 0. (2)

7=1 >

Соотношение (2) представляет собой нелинейное уравнение для определения

8

значения оценки 0 уровня знаний обучаемого. В случае если функция потерь имеет вид

4, )=H, >=1 -ta - Ф ,, s ))2,

имеем

ф' = £. = w - Flœ

i i

f(c j, 9), = 1.

Уравнение (2) для определения оценки 0 примет следующий вид (с точностью до

0(е - е0 )):

n dF(c j, е) / /

(3)

В общем случае решение нелинейных уравнений (2) или (3) представляет собой нетривиальную задачу и требует использования соответствующих численных методов.

В случае если априорная оценка выбрана достаточно близко к значению оцениваемого параметра S, то можно получить решение уравнения (3) для случая квадратичной функции потерь в аналитическом виде в линейном приближении.

Действительно, разложим функцию f(q j, б) в окрестности точки 80 в ряд Тейлора с точностью до членов первого порядка малости:

f(co j, S )=f(co j, So )+f^^S - ~0 )+о(е - s 0 )

dS

Подставляя это соотношение в уравнение (3), получаем с точностью до о(е - S0 ):

^dF(c j, So)

Д1 dS

Wj - ~o

dF(œ^0o )

dS

(S - ~o )

Л

Отсюда выражаем оценку S :

S = So +

ndF(cj, so ) ( J S \\

Д-j-\wj -F(cj,0o))

j=1

Uf(c j, So )Л 2

(4)

j 0j dS

Соотношение (4) определяет оценку уровня знаний студента в случае наличия априорных данных об уровне его знаний по результатам промежуточного контроля с квадратичным критерием качества. Второе слагаемое в правой части равенства (4) определяет поправку к априорной оценке уровня знаний студента.

В качестве такой априорной оценки 80 может рассматриваться некоторая среднестатистическая оценка (например, математическое ожидание уровня знаний), определяемая учебной программой, или оценка, полученная студентом на предыдущем тестировании. Если гипотеза о степени адекватности априорной оценки не является справедливой, то полученное соотношение (4) может быть использовано для построения итерационной процедуры нахождения корня уравнения (3) - оценки уровня знаний обучаемого 0 . Итерационный алгоритм определения уровня знаний студента в таком случае будет иметь вид:

Sk+1 = Sk +

n dFlœ j, S, )/ t ~ \\

Д

j=1

dF(c j, S, )

Л2

, к = o,1,.

dS

Рассмотрим теперь частный случай определения уровня знаний обучаемого, когда студенту предъявляются тестовые задания одинакового уровня сложности ®. Тогда в случае квадратичной функции потерь уравнение (3) принимает следующий вид:

=o.

j=1

dF(œ,So) 0) = n dF(œ,So)

dS

j=1

dS

wj ■

Откуда, выполняя простейшие преобразования, получаем уравнение для вычисления значения параметра 0 :

1

F(œ,e)= - -Д

n j=1

wj.

Заметим, что правая часть этого уравнения представляет собой среднее качество

n

n

n

студент с уровнем знаний 0 даст ответ, качество которого будет не выше w. Решение такой задачи может быть получено на основе статистической обработки субъективной экспертной информации о показателях качества ответа студента в зависимости от уровня сложности заданий и уровня знаний и является предметом дальнейших исследований.

Список литературы

1. Кадневский В. М. История тестов : монография. - М. : Народное образование, 2004.

2. Манахов С. В., Рыжакова А. В. Основные тенденции развития высшего образования в России: количественные и качественные аспекты / / Вестник Российского экономического университета имени Г. В. Плеханова. - 2014. - № 10 (76). - С. 19-28.

3. Маслякова И. Н. Рекуррентное оценивание уровня знаний обучаемого при непрерывном показателе качества выполнения заданий // Обозрение прикладной и промышленной математики. - 2009. - Т. 16. - Вып. 5. - С. 893-894.

4. Цыпкин Я. З. Информационная теория идентификации. - М. : Наука, 1995.

5. Andrich D, Sheridan B., Lyne A., Luo G. RUMM: A Windows-Based Item Analysis Program Employing Rasch Unidimensional Measurement Models. - Perth : Murdoch University, 2000.

6. Rasch G. An Item Analysis Which Takes Individual Differences into Account // British Journal of Mathematical and Statistical Psychology. - 1966. - Vol. 19. - Part 1. - P. 49-57.

7. Rasch G. Probabilistic Models for Some Intelligence and Attainment Tests. - Copenhagen : Danish Institute for Educational Research, 1960. - Ch. V-VII, X.

References

1. Kadnevskiy V. M. Istoriya testov : monografiya [History of Tests, monograph]. Moscow, Narodnoe obrazovanie, 2004. (In Russ.).

2. Manakhov S. V., Ryzhakova A. V. Osnovnye tendentsii razvitiya vysshego obrazovaniya v Rossii: kolichestvennye i kachestvennye aspekty [Key Trends in the Development of Higher Education in Russia: Quantitative and Qualitative Aspects]. Vestnik Rossiyskogo ekonomicheskogo universiteta imeni G. V. Plekhanova [Vestnik of the Plekhanov Russian University of Economics], 2014, No. 10 (76), pp. 19-28. (In Russ.).

3. Maslyakova I. N. Rekurrentnoe ocenivanie urovnya znaniy obuchaemogo pri nepreryvnom pokazatele kachestva vypolneniya zadaniy [Recursive Estimation of the Level of Student's Knowledge in a Continuous Quality Indicator of the Execution of Tasks]. Obozrenie prikladnoy i promyshlennoy matematiki, 2009, Vol. 16, No. 5, pp. 893-894. (In Russ.).

4. Tsypkin Ya. Z. Informatsionnaya teoriya identifikatsii [Information Theory of Identification]. Moscow, Nauka, 1995. (In Russ.).

5. Andrich D., Sheridan B., Lyne A., Luo G. RUMM: A Windows-Based Item Analysis Program Employing Rasch Unidimensional Measurement Models. Perth, Murdoch University, 2000.

6. Rasch G. An Item Analysis Which Takes Individual Differences into Account. British Journal of Mathematical and Statistical Psychology, 1966, Vol. 19, Part 1, pp. 49-57.

7. Rasch G. Probabilistic Models for Some Intelligence and Attainment Tests. Copenhagen, Danish Institute for Educational Research, 1960, ch. V-VII, X.

выполнения студентом предложенных тестовых заданий.

Принципиальным вопросом реализации рассматриваемого подхода является построение функции ожидаемого качества

ответа а в общем случае - построе-

ние функции распределения качества ответа P(т, 6, ю). Здесь P(w, 6, ю) - вероятность того, что на задание с уровнем сложности ю