CC BY
7
МЕТОДИКА ПРЕПОДАВАНИЯ
УДК 378.146
В.М. Гусликов, Д.Г. Кошуг, С.В. Федющенко
ОПТИМИЗАЦИЯ ТЕСТОВЫХ ЗАДАНИЙ ЗАКРЫТОЙ ФОРМЫ, ИСПОЛЬЗУЕМЫХ В КОМПЬЮТЕРНЫХ СИСТЕМАХ КОНТРОЛЯ ЗНАНИЙ
Рассмотрена оптимизация тестовых заданий закрытой формы, содержащих один вопрос и несколько ответов, один из которых правильный. С этой целью исследовано влияние некоторых параметров тестовых заданий на возможность получения проходного балла студентами, не имеющими необходимых знаний. Показана правомерность использования таких заданий для некоторых видов контроля знаний. Предложен алгоритм определения оптимального числа ответов в тестовом задании и числа тестовых заданий, используемых для контроля знаний.
Ключевые слова: обучение, тест, тестовые задания, контроль знаний, оптимизация тестовых заданий.
Optimization of closed test tasks containing one test question and several answers from which only one is correct is considered in this work. Influence of some parameters of test tasks on the possibility to a student, who do not have necessary knowledge, to pass the test is studied. It is shown that usage of such test tasks is relevant in some types of examinations. The algorithm of determination of optimum quantity of answer numbers in a test task and number of test tasks is proposed.
Key words: education, test, test task, examination, optimization of test tasks.
Введение. Задача создания компьютерной системы контроля знаний, оценивающей уровень знаний с минимальной погрешностью и имеющей оптимальную структуру по соотношению качество оценки — затраты на проведение тестирования, решается на уровне алгоритма ее работы и базы данных, содержащей тестовые задания. Создание тестовых заданий, с одной стороны, является трудоемкой задачей и требует много времени и усилий со стороны преподавателей, но с другой стороны — качество этих заданий определяет адекватность оценки реальным знаниям. Проблема еще больше усложняется для дисциплин, имеющих преимущественно описательный характер, так как выпадает такая категория заданий, как решение задач, и повышается вероятность случайных ошибок. В работе [Кузнецов, 2007] предложен метод устранения случайных ошибок на уровне алгоритма работы системы. В связи с этим представляет интерес устранение случайных ошибок путем оптимизации тестовых заданий. Операция оптимизации тестовых заданий имеет много аспектов. В статье рассматривается оптимизация тестовых заданий закрытой формы, содержащих один вопрос и несколько ответов, один из которых правильный, т.е. возможность получения проходного балла студентом, знания которого не соответствуют необходимым требованиям.
Оптимизация числа ответов в одном тестовом задании. Рассмотрим ситуацию прохождения тестирования студентом, обладающим нулевыми знаниями в данной предметной области. Очевидно, что в этом
случае студент будет случайным образом выбирать правильный ответ из набора предложенных. Это обстоятельство позволяет использовать для исследования уравнение Бернулли, с помощью которого можно вычислить вероятность многократного появления некоторого события в результате нескольких испытаний [Андронов и др., 2004]. В рамках нашей задачи событием является правильный ответ на тестовое задание, вероятность наступления которого равна
рт=стрт (1 - р )п-т, (1)
где Рт — вероятность правильного ответа студентом на т тестовых заданий;
Ст= П! .
Сп т !(п - т)!' Р — вероятность правильного ответа студентом в том случае, если ему предложено одно тестовое задание; п — число тестовых заданий, предложенных студенту; т — число тестовых заданий, на которые студент дал правильный ответ.
Из уравнения (1) следует, что вероятность Рт зависит от вероятности Р, которая в свою очередь определяется числом ответов в тестовом задании и вычисляется по формуле Р = 1/к, где к — число ответов. Оптимальное значение к можно получить из следующих соображений. Вычислим изменение вероятности при увеличении к на единицу для разных значений к. Полученные значения (Рк — Рк+1) представлены в табл. 1. Из табл. 1 видно, что по
мере увеличения к вероятность прохождения теста Р уменьшается, но это изменение незначительно. Так как дальнейшее увеличение числа ответов требует дополнительных усилий со стороны преподавателей, создающих тестовые задания, то оптимальным можно считать 5—6 ответов в одном тестовом задании закрытого типа.
Таблица 1
Вероятность правильного ответа на одно тестовое задание
Оптимизация числа тестовых заданий. Вероятность случайного выполнения тестового задания студентом, не обладающим необходимыми знаниями, зависит не только от числа ответов на один тест, но и от числа тестовых заданий. Ниже приведены расчеты вероятности Рт при наличии нескольких тестовых заданий. Число тестовых заданий п, предложенных каждому студенту во время контроля знаний, определяется видом контроля, объемом выносимого на контроль учебного материала, требованиями, предъявляемыми к студентам для получения соответствующих оценок, и т.д. Эти факторы могут внести некоторые коррективы в приведенные расчеты, но не изменяют их сути. Для исследований были вычислены значения вероятности Рт для п = 10 и разных значений к, результаты приведены в табл. 2.
Таблица 2
Оптимизация числа ответов на вопрос для десяти тестовых заданий
В этой таблице Р0 — вероятность неправильного ответа на все тестовые задания, Р1 — вероятность правильного ответа на одно тестовое задание, Р2 — на два тестовых задания и т.д. Результаты, представленные в табл. 2, позволяют определить число тестовых заданий, на которые надо дать правильный ответ для получения проходного балла. Назовем это число пороговым и обозначим г. Предположим, что вероятность получения проходной оценки для незнающего студента должна быть менее 0,1. Для
нахождения порогового числа тестовых заданий необходимо сложить значения Рю, Р9, и т.д. до тех пор, пока сумма максимально не приблизится к 0,1, но все-таки будет меньше. Например, для к = 4 по значениям вероятностей, представленным в табл. 2, получается следующий результат: Р10 + Р9 + Р8 + Р7 + + Р6 + Р5 = 0,000001 + 0,000029 + 0,00039 + 0,0031 + + 0,01622 + 0,0584 = 0,07853. Таким образом, в случае если число ответов на каждый вопрос в тестовом задании равно 4, то пороговое число тестовых заданий должно составлять г = 5 с вероятностью успешного прохождения 0,079. В то же время для к = 6 та же вероятность успешного прохождения теста достигается при г = 4.
Аналогичные рассуждения и расчеты могут быть сделаны для студенческой группы, состоящей из А студентов, случайным образом выбирающих из списка правильный ответ. В такой ситуации интересующее нас событие — это правильный ответ одним студентом на г тестовых заданий, являющихся пороговым значением для получения проходного балла. Процесс тестирования группы, состоящей из А студентов, можно рассматривать как проведение А независимых испытаний. Под испытанием будем понимать предложение студенту п тестовых заданий. Очевидно, что нас интересует ситуация, в которой вышеуказанное событие не появится ни разу с высокой степенью вероятности, т.е. ни один студент не ответит на пороговое число тестовых заданий. Для данного частного случая уравнение (1) будет иметь вид
Р0 = р (1 - р)А = (1 - р )А,
где Р0 — вероятность неправильного ответа на все тестовые задания; Рг — вероятность прохождения одним студентом порога, равного тестовым заданиям; А — число испытаний, равное числу студентов в группе.
Вероятность прохождения одним студентом и более из группы порога, равного тестовым заданиям, легко вычислить: Рх = 1 — Р0. В табл. 3 представлены результаты вычисления Рх для значений Р, взятых из табл. 2, и числа студентов в группе, равного 20.
Таблица 3
Оптимизация числа тестовых заданий (г) для группы из А студентов
г к = 4 к = 5 к = 6
Р1 Рх Р Рх Р Рх
3 0,25 0,997 0,20 0,99 0,15 0,96
4 0,15 0,961 0,088 0,84 0,054 0,67
5 0,059 0,697 0,026 0,41 0,013 0,23
6 0,016 0,276 0,0055 0,10 0,0021 0,042
7 0,0031 0,058 0,00079 0,016 0,00024 0,0048
8 0,00039 0,008 0,000074 0,0015 0,000018 0,00041
Из табл. 3 следует, что для заданного значения Рх можно подобрать различные комбинации и к.
к 1 2 3 4 5 6 7 8 9
Рк —Рк+1 0,5 0,17 0,088 0,05 0,033 0,024 0,018 0,014 0,011
Вероятность п = 10
к = 4 к = 5 к = 6
Р0 0,056 0,11 0,16
Р1 0,19 0,27 0,32
Р2 0,28 0,30 0,29
Р3 0,25 0,20 0,15
Р4 0,15 0,088 0,054
Р5 0,058 0,026 0,013
Р6 0,016 0,0055 0,0021
Р7 0,0031 0,00079 0,00024
Р8 0,00039 0,000074 0,000018
Р9 0,000029 0,000004 0,000001
Р10 0,000001 0,000000 0,000000
Предположим, что вероятность получения проходного бала незнающим студентом Рх должна быть меньше 0,1. Это значение обеспечивают следующие комбинации г и к при п = 10: к = 4, г = 7; к = 5, г = 6; к = 6, г = 6.
Экспериментальная проверка полученных результатов проводилась во время текущего и рубежного контроля знаний. С этой целью в двух студенческих группах указанные формы контроля проводились в двух вариантах — компьютерном и преподавателем. Компьютерная система контроля имела следующие параметры: в каждом тестовом задании имелось 6 ответов, во время тестирования студентам предлагалось ответить на 10 тестовых заданий, из которых для получения проходной оценки надо было правильно ответить на 6 заданий.
Минимальное число правильных ответов устанавливалось из условия, чтобы вероятность прохождения теста составляла не более нескольких сотых долей. Такое условие определяется следующими факторами:
а) неуспевающие студенты в действительности могут обладать некоторыми знаниями и, следовательно, не все ответы будут выбраны случайным образом;
б) текущий и рубежный контроль осуществляются многократно. Результаты эксперимента представлены в табл. 4 в виде числа неудовлетворительных оценок, полученных пятью самыми неуспевающими студентами из каждой группы, и числа неудовлетворительных результатов, полученных этими же студентами при компьютерном тестировании.
Таблица 4 Результаты контроля успеваемости, полученные преподавателем, и при прохождении компьютерного тестирования
Группа А Группа В
Студент 1 2 3 4 5 1 2 3 4 5
Число неудовлетворительных оценок, выставленных 3 3 5 2 7 2 7 6 3 4
преподавателем
Число неудовлетворительных оценок, выставленных 3 4 4 3 7 2 8 6 3 3
компьютерной системой
Мы видим хорошее совпадение результатов тестирования преподавателем и компьютерной системой.
Выводы. 1. Применение тестовых заданий закрытой формы позволяет создать компьютерную систему контроля знаний, которая с высокой вероятностью не позволяет получить проходной балл незнающему студенту.
2. Используя описанный выше алгоритм, можно найти оптимальное соотношение таких параметров, как число ответов в тестовом задании, число тестовых заданий, получаемых студентом во время тестирования, и пороговым числом тестовых заданий, на которое надо правильно ответить для получения проходного балла.
3. В зависимости от поставленной задачи оптимальное соотношение параметров, указанных в п. 2, можно найти для любого наперед заданного значения вероятности Рх.
СПИСОК ЛИТЕРАТУРЫ
Андронов А.М., Копытов Е.А., Транглаз Л.Я. Теория вероятности и математическая статистик: Учебник. СПб.: Питер, 2004.
B.М. Гусликов — Славянский университет Молдавии, доцент, e-mail: v_guslikov@mail.ru;
Д.Г. Кощуг — геологический факультет МГУ
им. М.В. Ломоносова, кафедра минералогии, профессор,
e-mail: koshchug@geol.msu.ru;
C.В. Федющенко — геологический факультет МГУ
им. М.В. Ломоносова, кафедра минералогии, науч. сотр., e-mail: feducht@geol.msu.ru
Кузнецов А.В. Методика тестирования знаний и устранение случайных ошибок // Educational technology & society. 2007. Т. 10, N 1. P. 271-275 (http://ifets.ieee.org/russian/pe-riodical/V_101_2007EE.html).
Поступила в редакцию 11.12.2008
