CC BY
192
РАЗДЕЛ III
ИНФОРМАЦИОННЫЕ И ПЕДАГОГИЧЕСКИЕ ТЕХНОЛОГИИ
УДК 371
Суховольский Владислав Григорьевич
Доктор биологических наук, профессор, заведующий кафедрой медицинской и биологической физики КрасГМУ, коикЬоуо1зкуГа>.уа1ц1ех.т. Красноярск
Шилина Наталья Георгиевна
Кандидат педагогических наук, доцент кафедры медицинской и биологической физики КрасГМУ, shilimng@vandex.ru, Красноярск
Ковалев Антон Владимирович
Кандидат технических наук, старший научный сотрудник Международного научного центра исследования экстремальных состояний организма при Президиуме КНЦ СО РАН; 5ип-hi@mn.ru. Красноярск
Резниченко Наталья Сергеевна
Менеджер центра дистанционного обучения КрасГМУ, ца1аП г 85@1ГшЬги. Красноярск
КАЧЕСТВО ТЕСТОВЫХ ЗАДАНИЙ И ТЕСТОВ: ПРОЦЕДУРА МЕТА-ТЕСТИРОВАНИЯ
Sukhovolsky Vladislav Grigorevich
Dr.Sci.BioL, professor, head of the chair of medical and biological physics at the Krasnoyarsk State Medical University, sonkbovolskv@vandex.ru. Krasnoyarsk
Shilina Natalia Georgiyevna
Candidate of pedagogy, senior lecturer at the chair of medical and biological physics, the Krasnoyarsk State Medical University, sbilimng@vandex.m, Krasnoyarsk
Kovalyov Anton Vladimirovich
Cand.Tech.Sci., senior researcher of the International scientific centre for research of extreme conditions of organism, the Siberian Branch of the Russian Academy of Science; stmhi@nm.ru. Krasnoyarsk
Reznichenko Natalia Sergeyevna
Manager of the centre of remote training, the Krasnoyarsk State Medical University, natali r g5@mail.ru, Krasnoyarsk
QUALITY OF TEST TASKS AND TESTS: META-TESTING
PROCEDURE
В настоящее время тесты как средство контроля за уровнем знаний широко используется как в средней, так и в высшей школе. Однако мае-совое использование тестов и разработка тестов специалистами не по системам тестирования, а по конкретным дисциплинам, ставит вопрос о качестве тестовых заданий. В настоящей работе рассматриваются методы мета-тестирования: оценка качества отдельных тестовых заданий и качества теста как совокупности тестовых заданий.
Постановка задачи
Одной из составляющих процесса обучения, ориентированного на компетентностный подход, является оценка и проверка сформированно-сти конкретных компетенций учащихся. В идеале должен определяться уровень усвоения элементов содержания учебной дисциплины в соответствии с требованиями образовательных стандартов к знаниям, умениям
навыкам обучаемых. На практике эти требования могут существенно различаться, за счёт субъективного фактора, который всегда присутствует при традиционных методах оценивания.
Известно, что в высшей школе принята традиционная система отметок или баллов, которые выставляются при текущем контроле или специальной проверке (зачеты, экзамены, лабораторные работы, коллоквиумы и т.п.). Контроль знаний дает возможность оценить, какая доля программного материала, запланированных знаний, умений и навыков освоена студентами. В исследованиях дидактов отмечается, что надежность и объективность «оценки», когда она базируется на единичном субъективном представлении преподавателя, весьма невысоки [1, 2, 3]. Нередко за знания принимается только то, что обучаемый сообщает преподавателю. Остается невыясненным, в каких пределах находятся эти знания, насколько они превратились в понимание и какова степень готовности студентов к самостоятельному применению знаний для усвоения новой учебной информации и в практической деятельности. Объективный контроль предполагает, что преподаватель выносит свое суждение о знаниях, умениях и навыках студентов путем сопоставления заданной цели обучения с ответом или практическим действием испытуемого, измеренными по определенной методике с использованием критериев качества. При выставлении оценок любой преподаватель сталкивается с двумя проблемами: первая - это определение уровней знаний (умений), а вторая - это установление ценности приобретенного уровня. При этом оценка фиксирует только уровень овладения содержанием знаний, но не индивидуальные приемы проработки обучающимся заданного содержания. Однако лишь на основе точных и надежных измерений можно не только оценить достигнутый уровень развития, но и составить прогноз на будущее [5].
С начала XX века тесты, как средство контроля за уровнем знаний, используются во многих образовательных учреждениях: как средних, так и высших. Метод тестов, имеющий более чем вековую историю, признан в системе образования многих стран мира, включая Россию, как надежный, объективный и экономичный. За последние годы он претерпел определенные изменения, а усилия ряда отечественных исследователей-тестологов привели к созданию общей теоретической базы, понятийного аппарата и ряда практических реализаций отечественной тестовой методики. Процедура выполнения теста создает особые психологические, комфортные условия для тестируемого. Результаты тестирования поддаются количественно определенной оценке по заранее установленным критериям.
При тестовом контроле существенно снижается субъективный фактор, но возникает задача «технологизации» процесса оценки уровня подготовки обучаемого. Материалы, контролирующие образовательный процесс, могут рассматриваться как «измерительные инструменты» (тесты) только при наличии у них ряда необходимых стандартных свойств и характеристик, учитываемых в процессе разработки и применения тестов.
Важную роль в процессе стандартизации играют свойства валидности и надёжности теста, задание уровня трудности.
В настоящее время тестовый экзамен входит составной частью в трехэтапный контроль знаний студентов, принятый в нашем вузе. Для успешного осуществления тестового контроля требуется большой набор тестовых заданий, возможность его варьирования и приспособленность этих заданий для тестирования с помощью РС. Наибольшее значение при этом имеют: оптимальная структура тестового задания, качественный и количественный состав вопросов, учет и статистическая обработка ответов.
Вместе с массовым использованием тестов возникает вопрос оценки качества тестовых заданий и тестов как совокупности тестовых заданий. Подобную процедуру оценки качества тестов будем называть метатестированием. В настоящей работе рассматриваются методы метатестирования оценки качества тестовых заданий и качества теста как совокупности тестовых заданий.
1. Модель оценки качества тестового задания
В качестве модельного объекта рассмотрим тестовое задание с п вопросами (дистракторами), из которых лишь один дистрактор - правильный. Будем полагать, что сложность \¥ тестового задания велика, если доля лиц, выбравших правильный ответ, мала. Тогда в качестве простейшего количественного показателя сложности \У тестового задания можно ввести выражение:
N
Ш = \--* (1)
ТУ
где ТУС - число лиц, указавших правильные варианты ответа; ТУ - общее число тестируемых.
Из (1) видно что, если доля правильно ответивших испытуемых велика, то сложность IV —> 0. И наоборот, если доля лиц, правильно ответивших, мала (т.е. ТУС —> 0), то Ж —» 1.
Однако следует принять во внимание, что часть испытуемых, ответивших правильно, могла выбрать этот дистрактор случайно. Обозначим число таких испытуемых как ТУГ (0 < ТУГ < ТУС). Тогда реальная сложность
\У0 тестового задания составит
ТУ -ТУ
IV = 1———(2)
N
Таким образом, для корректной оценки сложности тестового задания необходимо знать число испытуемых, случайно выбравших правильный ответ.
Ясно, что общее число неверных ответов ТУИС = ТУ - ТУС - ТУ,.. Если
предполагать, что выбор одного из дистракторов испытуемыми, не знающими правильного ответа, равновозможен, то при п дистракторах распределение числа неверных ответов должно быть равномерным:
н-1
где индекс к относится к правильному ответу.
Тогда число испытуемых, угадавших правильный ответ, должно составить N{1) = ЫС-Ы0 дг -М
ЦТ — 1 _ с г 1 0 Ш
N
Однако условие равновероятности выбора дистрактора испытуемыми, не знающими правильного ответа, не обязательно должно выполняться. Тогда выражения (3) и (4) некорректны. Тем не менее, в качестве гипотезы можно предположить, что существует некоторая ранжировка всех дистракторов в тестовом задании по их привлекательности для не знающего правильного ответа.
Рассмотрим ранговое распределение числа неверных ответов на тестовое задание. Будем ранжировать каждый вариант ответа на тестовое задание по убыванию числа испытуемых, выбравших этот вариант ответа. Для описания рангового распределения выбора разных вариантов ответа для испытуемых, не знающих правильного ответа, будем использовать уравнение Ципфа-Парето, которое достаточно часто описывает процессы в экономике и психологии [4]:
1п Ы(г) = А-Ып1 (5)
где N(0 - число ответов на дистрактор ранга г, А и Ь - параметры уравнения (5), Ь - коэффициент привлекательности отдельного дистрактора.
Величина ехр(Л) характеризует число ответов на дистрактор ранга 1. Параметр Ь характеризует относительную предпочитаемость разных вариантов ответа для испытуемых, не знающих правильного ответа на вопрос тестового задания. При Ь = 0 все варианты ответа равнопривлекательны для тестируемых, не знающих правильного ответа. Если Ь существенно больше нуля, то привлекательность разных вариантов ответов на тестовые задания для не знающих правильные ответы различна, и это при определенных условиях увеличивает вероятность угадать правильный ответ на тестовое задание, так как в этом случае испытуемый будет делать выбор не между п дистракторами, а между п -/(Ь) дистракторами. Значение /(Ъ) монотонно возрастает с увеличением Ъ. В пределе, когда/(Ь)^(п-1), даже тестируемые не знающие правильного ответа без труда выберут верный.
Из уравнения (1) следует, что корректным и не несущим скрытых подсказок в форме явно неприемлемых дистракторов будет такое тестовое задание, для которого Ь = 0. В качестве некорректного тестового задания примера приведем гипотетическое тестовое задание, для которого Ь —> оо: какова форма Земли: куб, пирамида или геоид? Даже если испытуемый не знает, что такое геоид, неправильный ответ на это тестовое задание в нормальных условиях невозможен. В более сложном варианте этого
тестового задания: какова форма Земли: куб, пирамида, шар или геоид, значение Ь конечно, но тоже достаточно велико, так испытуемому нужно сделать выбор только между двумя разумными дистракторами - шаром или геоидом.
Таким образом, из (1) следует, что тестовые задания необходимо составлять так, чтобы привлекательность всех дистракторов была одинаковой для испытуемых, не знающих правильного ответа или же быть близкой, то есть в квалифицировано составленном тестовом задании значение Ь ~ 0. Заметим, что величина коэффициента привлекательности при стандартных способах оценки тестовых заданий не определяется.
Можно ли найти значение Ь для конкретного тестового задания и вычислить как число испытуемых, действительно знающих правильный ответ на вопрос тестового задания, так и число угадавших правильный ответ?
Если предположить, что ранговое распределение числа различных ответов среди тех, кто не знает правильного ответа подчинено уравнению (1), то после тестирования известно число испытуемых NJ (у Ф к), выбравших все возможные неправильные ответы, но не их ранг, так как не известно число Ык тех, кто по случайным причинам выбрал правильный ответ. Однако, согласно нашей гипотезе, все известные значения N ■ должны подчиняться уравнению (1), и для нахождения рангов этих
величин можно предложить следующую процедуру:
• все известные величины N] ранжируются;
• предполагается, что величина Ык имеет ранг г = к = 1 ив этом предположении определяются ранги остальных величин N. , вычисляются коэффициенты регрессионного уравнения (1) для рангов 2,..., п и определяется коэффициент детерминации В2 для I = к = 1;
• далее последовательно перебираются все возможные значения ранга ответа Nк и для каждого случая находятся коэффициенты уравнения (1) и коэффициенты детерминации Л2;
• ранг правильного ответа принимается равным гипотетическому рангу, для которого значение коэффициента детерминации максимально.
Предложенная процедура позволяет определить ранг /правильного ответа и найти коэффициенты а я Ь уравнения (1). Тогда величину = Лг; можно найти из следующего уравнения:
= ехр(<я - Ь 1п *) (6)
Зная и Ь, можно из (4) определить действительную сложность
тестового задания.
Предложенная процедура реализована в виде компьютерной программы в среде Вог1апс1 Бе1рЫ [9].
2. Результаты и обсуждение
Для анализа характеристик конкретных тестовых заданий нами использовались многолетние данные по компьютерному тестированию студентов первого курса Красноярского государственного медицинского университета по дисциплине «медицинская и биологическая физика». Для оценки характеристик тестового задания разработана компьютерная оболочка ТЕБТІ [7,8].
Ниже приведены результаты ответов на одно из тестовых заданий
Таблица 1 - Характеристики ответов на вопросы типичного тестового
задания
Ранг дистрактора среди не знающих правильного ответа Число ответивших
1 19
2 13
3 (правильный ответ) 9* (56**)
4 7
Сложность 0.505(0.410***)
Коэффициент привлекательности 0.72
* число испытуемых, случайно выбравших правильный ответ; ** - общее число правильно ответивших; *** - сложность без учета числа угадавших правильный ответ.
По данным таблицы 1 с использованием (1) были вычислены коэффициенты рангового распределения числа ответов на вопросы тестового задания среди не знающих правильного ответа (рисунок 1).
и
о
и
я
ё
св
=:
о
а
у
■&
в
о.
сЗ
и
О
ц
♦ неверные ответы □ угадавшие верный ответ
Рисунок 1 - Ранговое распределение числа ответов на вопросы тестового задания среди не знающих правильного ответа.
Как видно из рисункаї, распределение числа различных ответов с высокой точностью описывается уравнением (1). Это позволяет определить число правильно угаданных ответов.
Анализ результатов тестирования студентов показал, что ухудшение качества тестового задания, характеризуемое увеличением коэффициента его привлекательности Ь, ведет к уменьшению сложности IV тестового задания (рисунок 2).
привлекательность Ь
Рисунок 2 - Связь между привлекательностью и сложностью тестовых заданий.
Таким образом, параметры Ь и IV можно использовать для оценки качества отдельных тестовых заданий.
Тест будем рассматривать как набор к тестовых заданий, каждое из которых имеет свой показатель сложности \¥0 и Ь(]) ^ В табл.
2 приведена качественная классификация отдельных тестовых заданий.
Таблица 2 - Классификация типов тестовых заданий
Слож- ность Привлекательность отдельного дистрактора
низкая высокая
Высокая сложные тестовые задания с равнопривлекательными вариантами ответов сложные тестовые задания с различной привлекательностью вариантов ответов
Низкая простые тестовые с равнопривлекательными вариантами ответов простые тестовые задания с различной привлекательностью вариантов ответов
Тест в целом можно характеризовать функцией плотности распределения различных тестовых заданий, поскольку он должен содержать задания с разным уровнем сложности. На рис. 3 представлена эмпирическая функция плотности распределения различных тестовых заданий по слож-
ности, рассчитанная по результатам тестирования студентов I курса КрасГМУ в 2007-2008 гг
0,2 -|
0,15 ОД 0,05 0
0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 1
Рисунок 3 - Функция плотности распределения тестовых заданий по медицинской и биологической физике по уровню сложности (2008 г.).
Из рисунка 3 видно что, основная часть тестовых заданий характеризуется сложностью от 0.3 до 0.6, то есть не очень велика. И лишь около 30% тестовых заданий имели показатель сложности W > 0.6. Соответственно, для оценки сложности теста можно использовать как функцию плотности распределения сложности тестовых заданий, так и такие характеристики, как средняя сложность и дисперсия сложности тестовых заданий.
Выводы
1. Предложен подход к описанию процедуры мета-тестирования -оценки качества тестовых заданий и введены показатели качества тестовых заданий;
2. Предложена процедура расчетов показателей качества тестового задания по результатам тестирования;
3. Для оценки качества теста как совокупности тестовых заданий рассмотрена функция распределения тестовых заданий, входящих в состав теста, по показателям их качества.
Библиографический список
1. Батурин, Н.А. Проблема оценивания и оценок б общей психологии [Текст] / Н.А. Батурин //Вопросы психологии. - 1989. - №2. - С.81 -88.
2. Беспалько, В.П. Основы теории педагогических систем [Текст] / В.П. Беспалько. — Воронеж: ВГПУ, 1997. - 307с.
3. Логачев, В.А. Система качества образовательных учреждений [Текст] /
В.А. Логачев //Высшее образование в России. - 2001.-№1.-С.20.
4. Мандельброт, Б. Фракталы, случай и финансы/ Б. Мандельброт. - М.- Ижевск: ИКИ, 2001. —256 с.
5. Розенберг, Н.М. Проблемы измерений в дидактике [Текст] / Н.М. Розенберг. -Киев: Вища школа, 1979. - 176 с.
6. Шилина, Н.Г., Смолянинова, О.Г. Рейтинговая оценка знаний как элемент системы менеджмента качества образования в медицинском вузе [Текст] / Н.Г. Шилина, О.Г. Смолянинова // Стандарты и мониторинг в образовании. — 2008. — №2. - С. 48-53.
7. Шилина, Н.Г. Сравнительный анализ текущей успеваемости студентов с результатами экзаменационного тестирования по медицинской и биологической физике [Текст] / Н.Г. Шилина, Л .А. Шапиро, В.Г. Суховольский / Вузовская педагогика: сб.науч.работ/ коллектив авторов. Красноярская медиц.академия, -Красноярск: Версо. -
2008.-С.190-192.
8. Программная оболочка тестового контроля знаний студентов по медицинской и биологической физике [Текст] / Шилина Н.Г., Ковалев А.В., Шапиро Л.А. и др. / Тезисы докладов III Всероссийской научно-методической конференции «Развитие системы тестирования в России» (Москва, 22-23 ноября 2001 г.). М., - С. 235.
9. Мета-тестирование как процедура оценки качества тестовых заданий и тестов [Текст] / Суховольский В.Г., Шилина Н.Г., Резниченко Н.С. и др./ Вузовская педагогика: Управление образовательным процессом в современном медицинском вузе. -Красноярск: КрасГМУ, 2009. -С. 65 — 68.
10. Кульгина, Л. А. Интегративная основа качества процессов и результатов обучения студентов вуза [Текст] / Л. А. Кульгина.// Сибирский педагогический журнал. —
2009.-№ 2.-С. 65 -75.
11. Тимербулатова, А. Р. О педагогической технологии XXI века [Текст] / А. Р. Тимербулатова// Сибирский педагогический журнал. — 2009. - № 1. - С. 77-88.
12. Итин, Ю. К, Качество образовательного процесса высшей школе как объект управления [Текст] / Ю. К. Итин // Сибирский педагогический журнал. — 2008. - № 2. -
С. 82-101.
13. Белова, С. Н. Балльно-рейтинговая система оценки качества подготовки студентов как элемент системы менеджмента качества образовательного процесса в вузе [Текст] / С. Н. Белова // Сибирский педагогический журнал. - 2008. - № 2. - С. 70-81.
14. Игнатьева, Е. Ю. Системообразующая роль менеджмента знаний в тенденциях развития высшего образования [Текст] / Е. Ю. Игнатьева // Сибирский педагогический журнал. - 2008. - № 2. - С. 122-130.
15. Субетто, А. И. Концептуально-теоретические основы решения проблемы качества образования в России [Текст] / А. И. Субетто // Сибирский педагогический журнал. -2008. -№ 1. - С. 75-87.
