Математико-статистическое обоснование оценки знаний студента при тестировании Текст научной статьи по специальности «Науки об образовании»

ЕКОНОМІКА інформаційні технології в Економіці

МАТЕМАТИКО-СТАТИСТИЧЕСКОЕ ОБОСНОВАНИЕ ОЦЕНКИ ЗНАНИЙ СТУДЕНТА ПРИ ТЕСТИРОВАНИИ

БЫВШЕВ В. А.

доктор технических наук богомолов а. и. кандидат технических наук костюнин в. и.

кандидат технических наук москва (россия)

Педагогические тесты являются общепринятым инструментом обучения и контроля знаний студентов в Финуниверситете. Тесты дают возможность преподавателю осуществлять оперативную массовую оценку уровня полученных студентами знаний и навыков по соответствующей дисциплине, и в настоящее время используются при аттестации вузов1. Многие преподаватели вузов (в частности, Финунивер-ситета) используют тестовый контроль знаний на итоговых зачётах и экзаменах по дисциплинам. Чаще всего экзаменационный билет (тест) состоит из некоторого количества тестовых заданий с выбором в каждом задании одного правильного ответа из определённого числа предложенных ответов2. В процессе проверки результатов тестирования возникает естественная проблема объективной трансформации количества (Я) правильных ответов студента в шкалу привычных оценок, например, в шкалу «отлично», «хорошо», «удовлетворительно», «неудовлетворительно».

В предлагаемой работе обсуждён формализованный подход к упомянутой выше трансформации, основанный на математико-статистической теории проверки гипотез3. Предлагаемый подход прошел многолетнюю (с 2004 г.) проверку на кафедре математического моделирования экономических процессов Финунивер-ситета и всегда проявлял объективный характер оценки знаний студентов.

ПРЕДПОСЫЛКИ И ОБОЗНАЧЕНИЯ

Ниже приняты следующие предположения.

1. Тест (билет) составлен в виде (и) заданий в тестовой форме с выбором в каждом задании одного правильного ответа из (т) предложенных ответов. Реальный пример, в котором и = 10 и т = 4, приведён в приложении.

1 http://www.fepo.ru

2 Аванесов В. С. Современные методы обучения и контроля знаний / В. С. Аванесов. - М. : Наука, 1998. - С. 9 - 10..

3 Нейман Ю. Вводный курс теории вероятностей и математи-

ческой статистики / Ю. Нейман. - М. : Наука, 1968. - С. 320.

2. В процессе тестирования проверяются следующие семантические (смысловые) гипотезы.

1) Н: Студент совершенно не знает материал дисциплины и, следовательно, выбирает ответы наугад.

2) Н: Студент обладает определёнными знаниями и навыками и поэтому не выбирает ответы наугад.

3) Не: Студент в полной мере освоил дисциплину и способен правильно ответить практически на любой вопрос.

Очевидно, в ситуации справедливой гипотезы 1) студент должен получить оценку «неудовлетворительно». Если же верна гипотеза 2), студент заслуживает, по крайней мере, оценку «удовлетворительно». Наконец, при справедливой гипотезе 3) преподаватель имеет основание оценить знания и навыки студента на «отлично».

3. Обозначим символом (р) вероятность правильного ответа студента на вопрос из тестового задания. Будем предполагать, что эта вероятность остаётся неизменной для всех заданий теста. Так, если имеет место равенство

то это равносильно справедливости гипотезы 1). Если же справедливо неравенство

Р > Рс, (2)

то это равносильно истинности гипотезы 2). Наконец, когда упомянутая вероятность удовлетворяет неравенству

Р ^ Рп = 0,95 (3)

где Рп = 0,95 - вероятность практически достоверного события 4, то такая ситуация равносильна справедливости гипотезы 3).

После завершения тестирования в распоряжении преподавателя оказывается информация о знаниях и навыках студента в виде количества (Я) его правильных ответов. Множество возможных значений этой величины состоит, очевидно, из следующих констант:

МЯ = (0, 1, 2, ..., и). (4)

По наблюдённому значению Я преподаватель должен оценить уровень знаний и навыков студента по стандартной шкале оценок - «отлично», «хорошо», «удовлетворительно», «неудовлетворительно».

4. Будем постулировать, что величина Я является биномиальной случайной переменной, вероятностная функция которой имеет вид5

рк (к |р) = Р(я = к) = сП • рк • (1 - Р)п,

(5)

к = 0,1,2..., п.

4 Бывшев В. А. Эконометрика / В. А. Бывшев. - М. : Финансы и статистика, 2008.. - С. 69.

Данный постулат позволяет придать упомянутым выше семантическим гипотезам 1), 2) и 3) характер статистических гипотез6 и, в итоге, объективизировать трансформацию величины Я в оценку знаний и навыков студента по стандартной шкале. Конкретно, гипотезы

1), 2) и 3) принимают характер следующих статистических гипотез о параметре (р) закона распределения (5) случайной переменной Я:

1

Н( : Р = Рс =—,

■/ гм

Ну : Р > Рс ,

Не : Р = Рп = 0,95

(6)

наиболее мощная критическая область гипотезы И против альтернативы И имеет вид8

мя (Ну) = (/(п), / (п) + 1,..., п). (10)

Левая точка £(и) этого множества вычисляется как корень уравнения

Р(Я £ Мя (иг)/иг ) =

(11)

Х' г1 к „к /1 ^ \п-к

■ 2 сп • Рс •С1 - Рс )

к=/(п)

: а,

Результаты проверки этих гипотез и позволяют объективизировать трансформацию величины Я в оценку знаний и навыков студента по стандартной шкале.

ПРОЦЕДУРА ПРОВЕРКИ СТАТИСТИчЕСКИх ГИПОТЕЗ (6) И ТРАНСФОРМАЦИЯ количества R правильных ответов СТУДЕНТА В ОЦЕНКУ ЕГО ЗНАНИЙ И НАВыКОВ ПО СТАНДАРТНОЙ ШКАЛЕ

Процесс проверки статистических гипотез (6) и трансформации величины Я в оценку знаний и навыков студента по стандартной шкале удобно осуществить в итоге следующих шагов.

1. Задаёмся уровнем значимости а (вероятностью отвергнуть гипотезу в ситуации, когда она верна), например, а = 0, 075, и исследуем гипотезу Не : р = Рп против альтернативы Не : р < рп. Стандартная наиболее мощная критическая область гипотезы Не против альтернативы Не имеет вид7

Мя (Не) = (0,1,...,Т (п)). (7)

Правая точка этого множества вычисляется как корень уравнения

Р(Я £ Мя (Не) / Не) = 2 Скп • рП • (1 - Рп)п-к = а,

к=° (8)

согласно принятому уровню значимости а. Если величина Я попадает в множество (7), то гипотеза Не отклоняется и, следовательно, испытуемый не получает оценку «отлично». Напротив, если количество Я оказывается в множестве принятия гипотезы Не:

Мя (Не) = (Т(п) + 1,...,п), (9)

то испытуемый получает оценку «отлично». Предположим, однако, что количество Я оказалось в критической области (7). Для решения вопроса об оценке испытуемого нужно сделать следующий шаг.

2. Исследуем гипотезу Н у : р = рс= — против 1 т

альтернативы Ну : р > рс. Стандартная равномерно

5 Нейман Ю. Вводный курс теории вероятностей и математической статистики / Ю. Нейман. - М. : Наука, 1968. - С. 239.

6 Там же. - С. 321.

7 Там же. - С. 419.

8 Там же.

согласно принятому уровню значимости а. Если величина Я попадает в множество (11), то гипотеза Наклоняется и, следовательно, испытуемый не получает оценку «неудовлетворительно». Напротив, если количество Я оказывается в множестве принятия гипотезы И^.

Мя (Ну) = (0,1,..,/(п)-1), (12)

то испытуемый получает оценку «неудовлетворительно». Предположим, однако, что количество Я оказалось в критической области (10), а точнее, в следующем подмножестве этой области.

Мя(Нг ПНе) = (/(п),/(п) + 1,...,Т(п)). (13)

В этой ситуации испытуемый заслуживает либо оценку «удовлетворительно», либо оценку «хорошо», и для решения вопроса об оценке испытуемого нужно сделать последний шаг.

3. Вычисляем середину множества (13).

А(п) = 22 •(/(п) +Т (п)).

(14)

Если количество Я оказывается меньше величины А(и), то испытуемый получает оценку «удовлетворительно»; если же количество правильных ответов Я равно или больше величины А(и), то студент заслуживает оценку «хорошо».

Подводя итог, сформулируем алгоритм трансформации количество Я правильных ответов студента в оценку по стандартной шкале, полагая известными (см. пример) обсуждённые выше величины Ь(и), Т(и) и А (и).

1) Ситуация соответствует оценке «неудовлетворительно».

2) Ситуация соответствует оценке «удовлетворительно».

3) Ситуация соответствует оценке «хорошо».

4) Ситуация соответствует оценке «отлично».

ПРИМЕР

1. В приложении размещён один из реальных вариантов множества тестов по эконометрике, которые используются на кафедре ММЭП Финуниверситета в процессе итогового контроля знаний студентов. Видно, что тест составлен в виде и = 10 заданий в тестовой форме с выбором в каждом задании одного правильного ответа из т = 4 предложенных ответов. Следовательно, в множестве (4) величина и = 10. В свою очередь, вероятность выбрать наугад правильный ответ в задании р = 0,25.

О

ш

т

о

о

=Л

X

о

©

<

*

о

*

Ш

ЕКОНОМІКА інформаційні технології в Економіці

2. Определим величины i(10) и Г(10) критических областей (7) и (10). Примем уровень значимости а = 0,075 и, используя функцию БИНОМРАСП Excel, находим при p = 0,95 величину Г(10) = 8, которая приближённо является корнем уравнения (8). Затем при p = 0,25 отыскиваем величину i(10) = 5, которая приближённо служит корнем уравнения (11). Наконец, вычисляем согласно (14) значение ^(10) = 6,5.

3. В данном примере обсуждённый выше алгоритм трансформации количество R правильных ответов студента в оценку по стандартной шкале выглядит так:

1) ситуация 0 < R < 4 соответствует оценке «неудовлетворительно»;

2) ситуация 5 < R < 6 соответствует оценке «удовлетворительно»;

3) ситуация 7 < R < 8 соответствует оценке «хорошо»;

4) ситуация 9 < R <10 соответствует оценке «отлично».

ПРИЛОЖЕНИЕ: ПРИМЕР ТЕСТА

13.1. Укажите номер правильного ответа.

Количество параметров в простой макромодели

Кейнса,

■ a0 + a1-Y + и C +1

0 < ах <1; E(и) = 0; E(и2) =

где Y -

13.5. Укажите номер правильного ответа.

В рамках оценённой инвестиционной модели

It = 200 + 0,18 Y-19-R + и (40) (0,01) (4) (50)

R2 = 0,82

доход (Y.) и реальная

ставка процента (Я.) не объясняют: 1) 0,01 величины I; 2) 4% величины I.; 3) 50% величины I.; 4) 18% величины I..

13.6. Укажите номер правильного ответа.

Iy = а0 + а1 - x + и 1

по

E(и) = 0; Е(и2) = ои21

формулам

/ \

о и ■ \ 1

І(x - x )2

1 /

вычисляется: 1) оценка

у; 2) характеристика точности оценки коэффициента функции регрессии; 3) оценка оу; 4) оценка и.

13.7. Укажите номер правильного ответа. Переменная и в рамках модели

I а \

y = а0 - exp(a1 - x) - xa2 - (1 + и) Е(и) = 0; Е(и2) = о2

обладает физической

доход, С - уровень потребления, I - объём инвестиций, равно 1) единице; 2) двум; 3) трём; 4) четырём.

13.2. Укажите номер правильного ответа.

Пусть (А, т, Соу) - параметрическая модель

Марковица фондового рынка их - портфель активов

из списка А. Тогда по правилу хТ • Соу х вычисляется: 1) доходность портфеля; 2) ожидаемая доходность портфеля; 3) дисперсия доходности портфеля; 4) ковариация портфеля

13.3. Укажите номер правильного ответа.

В зависимости у = /(х) + и между экономическими переменными (х, у), где и - случайная переменная с нулевым ожидаемым значением, величинаДх) отражает: 1) влияние неучтённых факторов; 2) экономический закон; 3) случайные причины; 4) влияние эндогенной переменной.

размерностью: 1) переменной х; 2 ) переменной у; 3) нулевой; 4) как у параметра а1.

13.8. Укажите номер правильного ответа.

Для модели из задания 13.7: 1) выполняются предпосылки теоремы Гаусса - Маркова; 2) не выполняются предпосылки теоремы Гаусса - Маркова; 3) выполняются условия теста Голдфелда - Квандта; 4) выполняются условия теста Дарбина - Уотсона.

13.9. Укажите номер правильного ответа.

Модель из задания 13.7: 1) является линейной по

коэффициентам; 2) не является линейной по коэффициентам; 3) образует схему Дарбина - Уотсона; 4) образует схему Голдфелда - Квандта.

13.10. Укажите номер правильного ответа.

Функция регрессии модели из задания 13.7 является: 1) степенной функцией; 2) показательной функцией; 3) кинематической функцией; 4) функцией Кобба -Дугласа.

13.4. Укажите номер правильного ответа.

В модели годовой доходности (г) на обыкновен-

1г = а0 + и 1

- - !■ параметр ст2 име-

Е(и) = 0; Е(и2) = о2]

ет смысл: 1) ожидаемой доходности; 2) меры несистематического риска; 3) меры систематического риска;

4) ковариации.