Оценивание знаний Текст научной статьи по специальности «СМИ (медиа) и массовые коммуникации»

УДК 614.8

Подымов В.Н.

ОЦЕНИВАНИЕ ЗНАНИЙ

Рассматривается оценка знаний баллами. Дана формула пересчета баллов одной шкалы в баллы другой шкалы. Предлагается оценка способности учиться - результативность. Даются формулы расчета баллов по результативности. Оценивается погрешность бальной оценки. Дана формула расчета рейтинга по результативности. Ключевые слова: оценка, балл, результативность, погрешность, рейтинг.

Знакомство с Положениями о балльно-рейтинговой системе оценки знаний студентов, принятыми несколькими вузами Казани [1-4], обнаруживает различие правил перевода баллов в традиционные оценки, табл. 1. Обоснование правилам перевода отсутствует. Сказать, чьи правила объективны, нельзя.

Таблица 1. Перевод баллов в традиционные оценки

Перевод

Вуз

Баллы Средний балл Оценка

50 - 70 60 Удовлетворительно

КГТУ (КАИ) 71 - 85 78 Хорошо

86 - 100 93 Отлично

55 - 75 65 Удовлетворительно

КГЭУ 76 - 90 83 Хорошо

91 - 100 95 Отлично

60 - 73 66 Удовлетворительно

КГТУ (КХТИ) 73 - 87 80 Хорошо

87 - 100 94 Отлично

50 - 64 57 Удовлетворительно

ТГГПУ 65 - 85 75 Хорошо

85 - 100 92 Отлично

51 - 70 60 Удовлетворительно

КГУ 71 - 90 80 Хорошо

91 - 100 96 Отлично

53 - 70 62 Удовлетворительно

Среднее по вузам 71 - 87 79 Хорошо

88 - 100 94 Отлично

В данной работе поставлена задача найти объективную основу перевода баллов в традиционные оценки, оценить погрешности бальной системы, дать определение понятию «рейтинг».

Измерение качества баллами. Оценка знаний студента относится к квалиметрии - учению об измерении качественных величин. Таких как мастерство танцора, музыканта, лектора, твердость минералов, сила землетрясения. Качественные измерения можно проводить и в отношении величин, допускающих точные измерения, таких как масса, объем и

пр. Это так называемое интуитивное взвешивание, измерение «на глазок». Во всех случаях измерения выполняются по шкале порядка [5, с.44]. Шкала порядка - это такой метод оценивания, при котором оцениваемые показатели располагаются последовательно в возрастающий или убывающий ряд.

Применяются шкалы порядка с разными делениями. Традиционная оценка знаний студентов использует пятибалльную шкалу порядка: очень плохо (1балл); неудовлетворительно (2 балла); удовлетворительно (3 балла); хорошо (4 балла); отлично (5 баллов). Кратко такую шкалу будем обозначать 5БШ. Можно использовать шкалу 10-бальную, 100-бальную, вообще ^-бальную с соответствующими обозначениями 10БШ, 100БШ, ЖШ.

Измерения по шкале порядка, дают ответ на вопрос «что больше (меньше)» или «что лучше (хуже)», но не могут дать ответ на вопрос во сколько или на сколько больше, меньше, лучше, хуже.

Пороговый балл. В 5БШ особое значение имеет оценка 3. Это порог, через который надо переступить, чтобы поступить в вуз, сдать экзамен, получить зачет по практике и т.д. Поэтому важно уяснить, за что ставить тройку.

Примем полный объем информации, которую заключает учебная дисциплина, равным 100%.Преподаватель ставит оценку 5, если у него складывается впечатление, что студент способен возвратить ему объем информации, достаточно близкий к 100%. Такой студент все понимает и на базе полученных знаний способен самостоятельно разобраться и в тех вопросах специальной дисциплины, которые в процессе обучения не затрагивались. Очевидно, существует некий минимальный объем информации, обладая которым студент сможет быть в состоянии учиться и как-то усваивать новую специальную информацию. Процент от полной информации позволяющий это сделать, будет пороговым. Меньший объем знаний ничем не поможет. Если студент возвращает преподавателю информацию в объеме, равном пороговому, ему следует ставить оценку 3.

Вопрос, за какой объем возвращенной на экзамене информации вы ставите оценку «удовлетворительно», «хорошо» и «отлично» был задан 17 опытным преподавателям КГЭУ. Статистическая обработка показала результаты, приведенные в таблице 2.

Таблица 2. Объём возвращённой информации на экзамене для выставления оценки

Оценка Средний % возвращаемой Относительная

информации погрешность

Удовлетворительно 42 24%

Хорошо 58 21%

Отлично 75 15%

В дальнейшем проценты заменим баллами по 100БШ, название сути не меняет. Обратимся к измерению точных величин по шкале порядка. Интуитивное взвешивание. Каждому студенту давали 4 листка. Студент брал в руку последовательно 4 образца неизвестной ему массы т и записывал результаты «измерений». Всего было произведено 40 интуитивных взвешиваний. Получено: т2 = (0,42+0,04) кг. (точная масса 0,4 кг).

Затем 17 человек интуитивно взвесили образцы точной массой 0,3 кг и 0,5 кг. Результаты: тх = (0,28+0,03) кг; тз=(0,5+0,07) кг.

Оказалось, усредненные по всем вузам баллы (табл.1) и средние опроса линейно зависят от оценок по 5БШ. Интуитивно определенная масса тоже линейно зависит от точных значений массы (рис.1). Обратимая к нормированным уравнениям этих зависимостей. Нормированные величины получим делением каждой на свою максимальную величину. Нормированные оценки 3, 4, 5 имеют вид: 0,6, 0,8, 1,0 . Нормированные массы 0,3, 0,4, 0,5 имеют тот же вид: 0,6, 0,8, 1,0 . Нормированные баллы и интуитивные массы показаны в таблице 3.

Таблица 3. Нормированные величины

Вузовские средние, Б Средние опроса, Б Измерение массы ти

0,66 0,56 0,56

0,83 0,77 0,78

1,0 1,0 1,0

Полученные данные представлены графиком, показывающим связь нормированных величин (рис.2).

Нормированные средние опроса и значения интуитивных масс (рис. 2) совпадают. На графике это линия 1. Линия 2 - нормированные средние по вузам. Биссектриса 3 - линия, в каждой точке которой Б = Э и ти = тт. Если Б Ф Э или ти Ф тт, значит Б и ти определены неверно. Чтобы получить баллы, объективно эквивалентные оценкам, надо взять их значения на биссектрисе.

Б 90 70 50 30

0,5 0,3

Б, ^ 1,0

Рис.1. Опытные данные по зависимости средних баллов от оценок и интуитивной массы от точной массы. 1 - вузовские средние, 2 - средние опроса, 3 -интуитивная масса, Э - оценки по 5БШ, Б - баллы по 100БШ.

Рис.2. Связь между нормированными величинами. 1 - средние опроса и интуитивная масса, 2 - средние по вузам, 3 - биссектриса.

3

0,3

0,4

0,5

Э

3

4

5

0,6

0,8

,0

Э. т

Таким образом, сравнение нормированных баллов с нормированными значениями интуитивно замеренной массы позволило обосновать аналитическую связь между оценкой по 5БШ и ее эквивалентом по 100БШ:

Б Э

7?— ■ (1)

Бтах Этах

Полагая Бтах = 100, Этах = 5 для пороговой оценки «3» получаем пороговый балл: Б=60.

Применяя правило округления приближенных чисел до целых, можно обоснованно назначить границы интервалов изменения баллов, принадлежащих оценкам по 5БШ. Таковыми будут:

■ 50 - 69 баллов - удовлетворительно;

■ 70 - 90 баллов - хорошо;

■ 91 - 100 баллов - отлично.

Сравнивая с данными по вузам (табл. 1) обнаруживаем, что правила перевода, принятые в КГУ при сравнении с другими оказались более объективны.

Формула пересчета баллов. Любая точка прямой, уравнение которой у=Ах), может быть найдена по значениям функции и аргумента на ее концах:

У к Ун ч

У = Ук ---— - х),

где ук, хк, ун, хн - соответственно максимальные и минимальные граничные значения. Такой аналитической зависимостью описывается каждая прямая на рис.1. В частности, значения баллов ^БШ и значения баллов по 5БШ связаны формулой:

N - Б

Б = М----^(Этах - Э) ■ (2)

Этах Этт

Э - оценка по 5БШ. ЭтЫ = 3 (пороговое значение), Этах = 5.

N = Бтах, Бт1П находится из условия (1) подстановкой Эт1П = 3. Подстановка чисел приводит к формуле:

Б=0,2ЛВ. (3).

Задавая оценку Э, можно находить соответствующий балл по любой шкале.

Балл любой шкалы, соответствующий оценке «удовлетворительно», есть

б=0,6Л/:

Значения баллов Б(1) некоторой шкалы (1) в зависимости от значения баллов Б(2) другой шкалы (2) даются формулой

к(1)

Б(1) = Б(1) °тах (б(2) _б(2)^ (4)

" '-'тах „(2) \ тах )' ^ ^

Бтах

где , Б^х - максимальные значения соответствующих шкал. Они известны. Задавая балл Б(2), можно находить соответствующий балл Б« первой шкалы, например, выяснить какие баллы 15БШ будут соответствовать баллам 60БШ.

Измерение способности учиться. Способность - возможность производить какие-либо действия. Условие успешного осуществления определенного рода деятельности [6]. Способность студента учиться остается одной и той же, начиная со школы. Впечатление о способности учиться складывается, если просмотреть предыдущие оценки по всем предметам. То есть, информацию о способности учиться предоставляет совокупность оценок. Отсюда следует, что статистическая обработка совокупности оценок должна дать некий показатель, оценивающий способность учиться.

За сессию студент показывает 6-8 раз свою способность выучить ту или иную дисциплину. Очевидно, усредненная оценка будет аккумулировать это свойство. Введем величину:

+ 4П2 + 5щ R =—-2--, (5)

П1 + П2 + П3

где п.1, п.2, Щ - число тех экзаменов, в которых получены оценки «3», «4», «5», сумма П1, щ, Щ - число экзаменов. Это величина является оценкой способности учиться.

В работе предложено называть оценку способности учиться результативностью [7]. Результативность - дробная величина; надо учесть, при вычислении результативности используют целые числа и по этой причине ее следует записывать не более чем с одним знаком после запятой (как в табл. 4 или табл.5).

Экстремальные значения результативности 3 и 5, т.е. совпадают с традиционными оценками. В силу линейности, совпадают и промежуточные значения. Заменяя в формуле (3) Э на Я, получаем аналитическую связь между результативностью и баллом любой шкалы:

Б=0,2М? (6)

Формула (6) является обобщением формулы (3). Она позволяет найти любой балл по заданной результативности, тогда как формула (3) устанавливает соответствие Б только целым числам Э=3, 4, 5.

Результативность есть функция оценок и если сначала найти результативность, а потом соответствующий ей балл, такой балл будет

надежнее характеризовать уровень знаний, чем балл, определенный интуитивно или рассчитанный по одной оценке (формула (3)).

Формула (5) устанавливает пропорциональность между функцией Б и аргументом Я. Это означает, что оценивать знания студентов баллами или результативностью - одно и то же.

Очевидно, лучше оценивать результативностью. Она рассчитывается по нескольким экзаменационным оценкам. Оценка баллами - это оценка по интуиции. Результативность, найденная по оценкам только одной сессии и результативность, найденная по всем оценкам предыдущих сессий, это не одно и то же.

В табл.4 приведены показатели, полученные студентом на сессиях от первой до восьмой. Для каждой сессии по формуле (5) рассчитана «сессионная» результативность гк (к=1, 2,..., 8). По оценкам, полученным только в данной сессии. Для наглядности, «сессионные» результативности гк отмечены квадратными точками на рис. 3 и соединены раздвоенной ломаной линией.

Таблица 4. Сессионная результативность

к П1 «2 «3 « Гк

1 0 3 3 6 4,5

2 1 4 2 7 4,1

3 1 5 0 6 3,8

4 0 4 4 8 4,5

5 0 0 7 7 5

6 0 0 7 7 5

7 0 1 4 5 4,8

8 0 4 0 4 4

В табл.5 количества оценок п, в строке, это сумма «настоящих» и предыдущих. Их надо находить по табл.4 . Например, в строке к=4, П1=0+1+1+0=2, п2=3+4+5+4=16, п3=3+2+0+4=9. На рис.3 результативность обозначена круглыми точками, которые соединены сплошной линией.

Таблица 5. Результативность

к «1 «2 «3 « Я

1 0 3 3 6 4,5

2 1 7 5 13 4,3

3 2 12 5 19 4,2

4 2 16 9 27 4,3

5 2 16 16 34 4,4

6 2 16 23 41 4,5

7 2 17 27 46 4,5

8 2 21 27 50 4,5

Сразу видно, что россыпь «экзаменационных» точек не создает цельного впечатления о способности студента учиться. Разброс точек сессионной результативности обуславливается кратковременными успехами или неуспехами. Результативность же показывает более устойчивую закономерность, т.к. аккумулирует опыт многократной сдачи экзаменов по разным предметам. Сравнение гк и Я обнаруживает, что обе имеют одно и то же значение в первой сессии, но расходятся в последующих.

После нескольких сессий, по результативности можно предсказать, чего следует ожидать от студента в будущем. (Жаль, что нет сведений о том, какая была результативность первокурсников в школе!). Преподаватель, приступая к занятиям с группой студентов, и располагая результативностями, получает ясное представление, кого предстоит обучать. Отпадает необходимость тратить месяц-другой на накопление такой информации.

з"

_ 1 2 3 4 5 6 7 8

Номер сессии

Рис.3. Изменение результативностей гк и Я по сессиям. Точками обозначены оценки

Результативность позволяет с большей уверенностью принимать решение об оценке ответов на экзамене или зачете. Высокая результативность показывает умение студента усваивать разносторонние знания, как технические, так и гуманитарные. Выпускник с таким качеством ценен тем, что способен адаптироваться к изменяющимся условиям деятельности. Результативность выделяет студентов, пригодных для научной работы.

Оценку качества образования обозначать одной цифрой - неинформативно. Качество раскрывается тем полнее, чем большим числом параметров и показателей оно описывается. Целесообразно экзаменационную оценку дополнять результативностью, чтобы более полно охарактеризовать успеваемость студента. Одно дело просто экзаменационная оценка (величина достаточно недостоверная), другое дело та

же оценка с указанием, на фоне какой результативности она получена.

Для студента двойная оценка - это, с одной стороны, что он имеет в данной момент, с другой стороны указание на возможность совершенствоваться.

Погрешность оценивания. При интуитивном измерении массы средняя относительная погрешность получилась 12%. Оценка знаний студента тоже процесс интуитивный. Примем, что относительная погрешность оценивания 10%. Выполним расчет результативности. Обозначим: «удовлетворительно» - Э1, «хорошо» - Э2, «отлично» - Э3. Абсолютные погрешности результативности и оценок обозначим АЯ, ЛЭ1, АЭ2, АЭ3. Принимаем АЭ1/Э1=АЭ2/Э2=АЭэ/Ээ=0,1. Запишем результативность с погрешностью:

| д п _ (Э! + АЭ!К + (Э2 + АЭ2)П2 + (Эз + ЛЭз к0 + Ак —-----.

Пг + П2 + П3

Раскрывая скобки, сравниваем левые и правые части, сокращаем, получаем:

АЭ1 щ + АЭ2 п2 + АЭ3 п3

АД — ——-—-—, (7)

п

где АЭ1( АЭ2, АЭ3 - абсолютные погрешности оценок «3», «4», «5».

Заменим АЭ^ на Э^ 0,1 и получим:

АЯ—0,1Я (0,3<АЯ<0,5) (8)

На основании формулы (6) АБ=0,2#АЯ. С учетом формулы (8)

АБ=0,2М?. (0,06ЛКАБ<0ДЛ/) (9)

Относительная погрешность: 0,06 < АБ < 0,10 (10)

(Ы=Бтах). Для 100БШ относительная погрешность от 6% до 10%. Нетрудно убедиться, что пороговый балл имеет относительную погрешность 6%.

Бывает, что по ряду причин студент, имея удовлетворительные знания, получает оценку «неудовлетворительно» или, наоборот, «хорошо». В таком грубом случае абсолютная ошибка АЭ оценки составляет 1. Пусть такая ошибка допущена по отношению одной только оценки. Остальные две имеют относительную погрешность 10%. Ошибка результативности получает вид:

(ДЭ - ДЭ,)п,

Дй = 0,1Й + --—, / = 1,2,3 . (11)

п

АЭ=1, АЭ/- абсолютная ошибка каких-то двух оценок из Э1, Э2, Эз. АЭ/=0,1 Э/.

Если п/=0, Ай=0,1й; п/=п, Ай=1. Значит, ошибка результативности лежит в пределах

0,1й<Ай<1. (12)

На основании формулы (6) с учетом формулы (12) записываем абсолютную погрешность бальной оценки:

0,02Ж<АБ< 0,2Ж (13)

А также относительную погрешность:

ДБ

0,02й < — < 0,2 . (14)

N

В случае грубой ошибки для 100БШ относительная погрешность от 6% до 20%.

Судя по формулам (10) и (14), относительная погрешность балльной оценки одна и та же для всех шкал.

Все рассуждения о погрешностях проводились при допущении 10% погрешности оценки знаний студентов, что несколько неопределенно. Поэтому полученные формулы дают только оценки погрешностей, а не сами погрешности. Непреложным фактом, однако, остается то, что знания студента оцениваются приближенно.

Рейтинг студента. Рейтинг Q есть отношение балла Б к максимальному баллу Бтса. Исходя из формулы (6), формулой для определения рейтинга будет

С = 0,2Й . (15)

Абсолютная погрешность рейтинга = 0,2ДЙ, относительная погрешность

Д^ Дй

ДТ=т ■ (16)

Если заменить Ай по формуле (8), получим (в отсутствии грубой ошибки)

Д^

ДТ = од .

Рейтинг, определенный по любой шкале, имеет относительную погрешность 10%. Выводы.

1. Предложена формула пересчета баллов одной шкалы в баллы другой.

2. Предложена оценка способности учиться.

3. Предложены формулы, связывающие оценку в баллах с результативностью.

4. Дано обоснование пороговому баллу.

5. Дана оценка погрешности оценивания знаний баллами.

6. Предложена формула, определяющая рейтинг студента по его результативности.

Источники

1. Основные положения модифицированной балльно-рейтинговой системы контроля знаний. - Казань: УМЦ КГТУ (КАИ), 2008.

2. Положение о рейтинговой оценки знаний студентов в Казанском государственном технологическом университете. - Казань: УМЦ КГТУ (КХТИ), 2003.

3. Положение (временное) о балльно-рейтинговой системе оценки качества освоения учебной дисциплины. - Казань: КГЭУ, 2007.

4. Положение о балльно-рейтинговой системе оценки качества подготовки высококвалифицированных кадров с использованием модульной технологии обучения. - Казань: ТГГПУ, 2007.

5. Фомин В.Н. Квалиметрия. Управление качеством. Сертификация. - М.: Ось-89, 2002.- 384 с.

6. Ожегов С.И., Шведова Н.Ю. Толковый словарь русского языка. - М.: Азбуковник, 1997.

7. Подымов В.Н. Лекционное обучение в понятиях теории управления/Вестник Казанского государственного энергетического университета. - № 1. - 2009. - С. 142-150.