CC BY
9В.С. Черепанов, Т.А. Снигирёва, Т.Г. Станкевич
О НЕОБХОДИМОСТИ ПРИМЕНЕНИЯ РАЗЛИЧНЫХ ПОДХОДОВ К ОЦЕНИВАНИЮ РЕЗУЛЬТАТОВ ТЕСТИРОВАНИЯ С ИСПОЛЬЗОВАНИЕМ ЗАДАНИЙ С ВЫБОРОМ НЕСКОЛЬКИХ ПРАВИЛЬНЫХ ОТВЕТОВ
Ключевые слова: оценивание качества подготовки; тестовые задания с выбором нескольких правильных ответов; коррекция на угадывание; логит полноты ответа; коэффициент полноты ответа.
Keywords: qualify Qualities of preparation; the Tasks with choice several correct answers; correction on guess correct answers; logit Fullnesses of answer; factor of fullness of answer.
Аннотация: В статье рассмотрены два подхода к оцениванию результатов тестирования, полученных с использованием заданий с выбором нескольких правильных ответов, применение которых способствует повышению объективности педагогического контроля за знаниями обучающихся. Показано, что в зависимости от цели тестирования методика обработки полученных данных будет меняться.
Аbstract: Two approaches are considered in article to qualify оf results of testing, got with use the tasks with choice several correct answers, which using promotes increasing of objectivity of pedagogical checking the knowledges training. It is shown that depending on purposes of testing a strategy of processing got data will be changed.
В современных условиях развития образования повышение качества и эффективности учебного процесса является одной из актуальных задач.
Качество учебного процесса зависит от объективной оценки учебных достижений обучающихся (учащихся, студентов и т.д.). По-
этому при разработке контрольных измерительных материалов для оценивания качества подготовки обучающихся необходимо использовать современные подходы - технологии, учитывающие особенности содержания учебных предметов, требования государственных образовательных стандартов (ГОС), а также опирающиеся на современные теории педагогических измерений.
Разработка новых моделей контроля за качеством подготовки обучающихся является приоритетным направлением фундаментальных и прикладных исследований Российской академии образования. Осуществлять оценку подготовленности учащихся или студентов необходимо объективными и надежными методами, исключающими субъективизм и некорректность. В настоящее время наиболее соответствуют этим требованиям тестовые технологии [2-4].
В учебном процессе чаще используются «классические» тесты, включающие тестовые задания закрытого типа с выбором одного правильного ответа. В то же время, существуют и другие формы тестовых заданий: с выбором нескольких правильных ответов, на установление соответствия, правильной последовательности, открытого типа и др., которые имеют ряд преимуществ, так как уменьшают вероятность случайного выбора всех правильных ответов, позволяют сократить число тестовых заданий при диагностике того же объема контролируемых знаний. Однако они не получили широкого распространения в учебном процессе ввиду недостаточной разработанности технологии их конструирования и оценивания получаемых при их использовании результатов тестирования.
В данной статье рассматриваются два подхода к оцениванию результатов тестирования, полученных с использованием тестовых заданий с несколькими правильными ответами. Приведем их описание.
Известно, что при обработке результатов тестирования возникает задача оценить вероятность случайного выбора учащимся правильного ответа. При этом чаще при подсчете результатов выполнения заданий тестируемыми выбирают дихотомическую оценку знаний. За правильно выполненное задание тестируемый получает один балл, а за неправильное - ноль. Если тест состоит из заданий с двумя ответами, то индивидуальные баллы, подсчитанные как сумма правильных ответов, будут существенно искажены эффектом случайного угадывания. Коррекция на угадывание для заданий с двумя ответами в этом случае может осуществляться нахождением разности между числом правильно и неправильно выполненных им заданий. Так, если число тестовых заданий составило 30, а тестируемый ответил верно на 20 из них, то скорректированный балл будет 20-10 = 10. Для тех, кто выполнит половину заданий теста, скорректированный балл составит 15-15 = 0. Из
приведенного примера видно, что балл «сильного» ученика не сильно уменьшился после коррекции (на 10 единиц), а у «слабого» - значительно, т.к. половину ответов он мог угадать. При увеличении числа дистракторов к заданию число вычитаемых баллов уменьшается, так как при этом труднее угадать правильный ответ. Поэтому в заданиях с большим количеством дистракторов при выборе правильного ответа определяющее значение имеют знания, а не угадывание, хотя в случае заданий с четырьмя и пятью ответами она также не исключается. Для этих заданий формулы коррекции индивидуальных баллов имеют вид
Х\ = X, - Ж,/3
х'= X, - Ж,/4,
где X, - «сырой» индивидуальный тестовый балл; Ж, - число неправильно выполненных или пропущенных заданий теста.
М.Б. Челышкова считает [5], что формула коррекции индивидуальных баллов имеет ограниченную сферу применения, и отмечает несколько моментов, касающихся этой формулы:
• предполагается, что все неправильные ответы даны в результате угадывания, но довольно часто тестируемые могут иметь неверные сведения;
• считается, что при угадывании каждый вариант ответа может быть выбран с одинаковой вероятностью, однако при выборе правильного ответа в заданиях с несколькими вариантами ответа тестируемый может отбросить несколько неверных ответов и тогда коррекция на угадывание для него будет занижена;
• для заданий с различным количеством ответов нужна различная коррекция на угадывание;
• коррекция на угадывание носит статистический характер и применима к «среднестатистическому» тестируемому, в индивидуальных случаях она будет неверной. Если учесть, что интеллектуальные способности обучающихся подчиняются нормальному распределению, то почти в 40 % случаев данный подход не будет обеспечивать объективной оценки их знаний;
• при её использовании возникают проблемы при обработке скорректированных результатов тестирования, когда они после коррекции принимают отрицательные и дробные числа. В этом случае приходится применять дополнительные преобразования скорректированных баллов, чтобы перевести их в область положительных целых чисел.
В заданиях с выбором нескольких правильных ответов (к ним авторы относят задания закрытого типа с выбором нескольких правильных ответов, открытого типа, на установление правильной последовательности, на установление соответствия) коррекция на случайное угадывание не нужна, поскольку в них ученик должен не только найти правильные ответы, но и определить их число [1, 5]. Данное утверждение справедливо в случае подхода к оцениванию результатов тестирования, проводимого с предъявлением требования выбрать все правильные ответы. Здесь вероятность полного угадывания крайне низка. Поэтому использование таких форм тестовых заданий (ТЗ) позволяет более эффективно проводить оценивание качества знаний тестируемых.
Однако применение распространенных практик оценивания таких заданий либо дихотомически, когда за правильный ответ тестируемый получает «1» балл, а за неправильный - «0» или за правильный «1» балл, неполный - «0», за неправильный - «-1» (т.е. по-литомически) является некорректным. Так как в различных заданиях соотношение «правильных» ответов и дистракторов неодинаково, а обучающиеся при этом могут ошибаться в разной степени. Почему же они получают при этом одинаковые оценки? Авторы полагают, что оценку ответов на такие задания нужно проводить с использованием характеристик, учитывающих степень полноты ответа [3, 4] и не приравнивать неполный ответ к неправильному.
На основе теории ^Т нами разработаны параметры/ логит
уровня знаний - 0 , коэффициент полноты ответа - КПОj и логит полноты ответа - каждого у-го тестируемого, которые вычисляются по формулам:
k
0, = |п £
где а =[ а | - доля правильных ответов; Ь=
г Ь
— | - доля неп
- доля не-
правильных ответов, выбранных тестируемым; с = —
V п )
полных ответов; а, Ь, с - число верных, неверных, неполных ответов на i-е ТЗ, данных тестируемым; п - число дистракторов в /-ом тестовом задании;
к
[а
п
где т - число правильных ответов в /-ом тестовом задании;
где к - число тестовых заданий.
Учет этих параметров повышает объективность оценивания результатов. Справедливо поставленная оценка положительно влияет на мотивацию учащихся, студентов овладеть новыми знаниями при изучении учебной дисциплины. Логит полноты ответа дает возможность объективно определить рейтинг тестируемых. При одинаковых значениях логитов уровней знаний логит полноты ответа имеет более высокое значение у тех тестируемых, которые выбирают большее число правильных ответов из нескольких предлагаемых. Это позволяет оценить их качество подготовки в исследуемой выборке.
Второй подход к оцениванию результатов тестирования с использованием многовариантных тестовых заданий применим к ситуации допущения неполного ответа (это зависит от стратегии оболочки программы тестирования). В этом случае приходится проводить коррекцию на угадывание, так как тестируемый при таком подходе отвечает на задание с несколькими правильными ответами, как на задание с выбором одного правильного ответа, а вероятность выбора правильного ответа при этом возрастает.
Пример 1. Так, в случае, если общее количество ответов в задании п = 5, а количество правильных ответов т = 3, вероятность правильного угадывания одного правильного ответа Р = 3/5, вероятность угадывания всех правильных ответов (полного правильного ответа) будет находиться по теореме умножения вероятностей для зависимых событий Р = 3/5 • 2/4 • 1/3 = 1/10 .
Пример 2. В случае п = 5, т = 2 - вероятность правильного угадывания одного правильного ответа, Р = 2/5 , вероятность полного правильного ответа Р = 2/5 -1/4 = 1/10 .
Пример 3. Рассмотрим ситуацию, при п = 6, т = 2, вероятность правильного угадывания одного правильного ответа Р = 1/3 , вероятность полного правильного ответа Р = 2/6 • 1/5 = 1/15.
Пример 4. При п = 6, т = 3, вероятность правильного угадывания одного правильного ответа Р = 1/2, вероятность полного правильного ответа Р = 3/6 • 2/5 -1/4 = 1/20 .
В общем случае, когда тест состоит из различных по форме тестовых заданий под т - следует понимать число:
- верных ответов в задании (для тестовых заданий закрытого типа);
- ключевых слов в выборе ответов (открытого типа);
- возможных сочетаний между двумя множествами объектов (сочетания формальные);
- «шагов» в последовательности и т.д.
Как видно из приведённых примеров, если в программе предусматривается жёсткое выполнение выбора всех правильных ответов, коррекция на случайный выбор правильных ответов в тестах, состоящих из заданий с выбором нескольких правильных ответов действительно не нужна.
В подтверждение сравним вероятности событий, состоящих в правильных ответах на М из N заданий, если в каждом задании обоих тестов будет по пять ответов, но в первом тесте будет по два, а во втором по одному правильному ответу. Расчет можно провести, используя формулу Бернулли
Р* (М) = СМ ■ рм ■ (1 - Р) *-М
М N
где Ры (М) - вероятность данного события; См =-----------:----
* * М!■(N -М)!
- биномиальный коэффициент; М - общее число правильных ответов; N - общее число тестовых заданий; РМ - вероятность правильного ответа на каждое тестовое задание. Тогда для первого
случая РМ =2/5, для второго случая РМ =1/5 (см. табл. 1).
Таблица 1
Значения вероятностей правильно выполненных М заданий из N для двух тестов
«Верно» ответить на Биномиальный коэффициент сМ Рм (М) для ТЗ с двумя правильными ответами Рм (М) для ТЗ с одним правильным ответом
1 2 из10-ти 45 0,2 0,3
2 5 из 10-ти 252 0,1510-2 0,3-10"
3 8 из 10-ти 180 0,15-10"° 0,310"3
4 20 из 30-ти 30045015 0,1 Ю"2 0,3-10"'
В ситуации допущения неполного ответа коррекция на угадывание может быть осуществлена на основании предлагаемой формулы
, ±_,-±т
X, =£ (а,) - _ т1
-=1 _ - т
где - число верных ответов, данных тестируемым в у-ом тестовом задании;
Пу - число ответов в у-ом тестовом задании;
ту - число правильных ответов в у-ом тестовом задании;
_ - среднее число ответов; т - среднее число верных ответов;
L - число тестовых заданий.
Рассмотренные два подхода к оцениванию результатов тестирования с использованием заданий с несколькими правильными ответами могут применяться в зависимости от цели тестирования. При проведении текущего контроля одновременно можно вести обучение тестируемого, в этом случае целесообразно заставить его выбирать все правильные ответы (т.е. дать ответов не меньше, чем число правильных ответов в задании). Когда важно проверить качество сфор-мированности структуры знаний или качество разработанных тестовых заданий, обучающемуся следует дать возможность самому определять количество верных ответов в задании.
Таким образом, обоснованный и корректный подход к проведению тестирования и выбору соответствующей методики обработки получаемых данных повышают не только качество контроля за знаниями, но и за учебным процессом в целом.
1. Аванесов, В.С. Композиция тестовых заданий [Текст] / В.С. Аванесов. - М. : Центр тестирования МО РФ, 2002. - 240 с.
2. Снигирева, Т.А. Основы квалитативной технологии диагностики структуры знаний обучаемых [Текст] / Т.А. Снигирева / под ред. В.С. Черепанова. - М.-Ижевск : Исслед. центр проблем качества подготовки специалистов; Экспертиза, 2006. - 128 с.
3. Станкевич, Т.Г. Методика оценивания качества подготовки обучающихся с использованием многовариантных тестовых заданий [Текст] / Т.Г. Станкевич // Сибирский педагогический журнал. - 2007.
- №10. - С. 119-124.
4. Станкевич, Т.Г., Камашев, Г.Я. Новый подход к обработке многовариантных тестовых заданий с выбором нескольких правильных ответов [Текст] / Т.Г. Станкевич, Г.Я. Камашев // Вопросы тестирования в образовании. - 2005. - №4 (16). - С. 32-43.
5. Челышкова, М.Б. Теория и практика конструирования педагогических тестов [Текст] / М.Б. Челышкова. - М. : Логос, 2002. - 431 с.
