CC BY
51
УДК 378
АНАЛИЗ ПРАВДОПОДОБНОСТИ ДИСТРАКТОРОВ ПЕДАГОГИЧЕСКИХ ТЕСТОВ
И.Н. Буланова1
Самарский государственный технический университет 443100, г. Самара, ул. Молодогвардейская, 244 E-mail: i-bulanova@bk.ru
Рассматриваются особенности тестовых заданий закрытого типа. Проводится анализ привлекательности дистракторов тестовых заданий, применяемых для мониторинга успеваемости студентов на кафедре высшей математики и прикладной информатики Самарского государственного технического университета. Проверяется гипотеза о равномерном распределении дистракторов.
Ключевые слова: тестирование, задания закрытого типа, дистракторы, равномерность распределения.
Для массового аттестационного тестирования наиболее широко используется закрытая форма тестового задания (задание с выбором одного или нескольких ответов) [1]. Это объясняется ее универсальностью, так как содержание практически любой дисциплины можно трансформировать в задание с выбором ответа. Кроме того, привлекательность закрытой формы связана с быстротой тестирования, с широтой охвата материала и с простотой подсчета итоговых баллов обучаемых.
Задание закрытой формы состоит из основного текста, содержащего постановку задачи, и различных вариантов ответов, где правильные варианты носят название «райтеры», а неправильные - «дистракторы».
Разработка заданий с выбором, несмотря на их кажущуюся простоту, является сложной задачей. Особые требования предъявляются как к постановке задачи, так и к вариантам ответов.
Основная часть задания формулируется в форме утверждения, которое обращается в истинное или ложное высказывание после подстановки одного из ответов. Она должна иметь простую синтаксическую конструкцию: не более одного предложения из семи-восьми слов. В формулировке недопустима какая-либо неясность или двусмысленность. Из текста задания необходимо исключить все вербальные ассоциации, способствующие выбору правильного ответа с помощью догадки.
гИрина Николаевна Буланова, преподаватель кафедры «Высшая математика и прикладная информатика».
Подбор дистракторов имеет не меньшее, а в какой-то степени и большее значение для качества тестового задания. При формулировке ответов не рекомендуется использование выражений «все перечисленные», «ни один из перечисленных» и т. д., а также слов «все», «ни одного», «никогда», «всегда» и т. п., так как они могут способствовать угадыванию правильного ответа. Не рекомендуется включать ответы, вытекающие один из другого. Все ответы к одному заданию должны быть приблизительно одной длины и являться элементами одного множества, одного гомологического ряда (принцип однородности). Дистракторы должны отвечать принципу равновероятной привлекательности и достаточно высокой правдоподобности [2].
Количество дистракторов может варьироваться в зависимости от предпочтений составителя теста или от специфики дисциплины, по которой проводится тестирование. Оптимальное число неправильных ответов - четыре-пять. Уменьшение этого числа ведет к повышению вероятности угадывания правильного ответа, а увеличение - к громоздкости теста. Кроме того, погоня за количеством дистракторов может существенно снизить качество тестового задания, так как в этом случае неправильные ответы формируются некорректно, теряют привлекательность и, следовательно, не выполняют свою функцию. Дистрактор, который никто не выбирает в качестве правильного ответа, называют неработающим. Он подлежит удалению из числа ответов или корректировке.
Процесс создания равновероятно привлекательных, «работающих» дис-тракторов технически сложен, поэтому к нему иногда привлекают самих обучаемых. Им выдается задание в открытой форме (диагностическая, самостоятельная работа), а затем проводится анализ допущенных ошибок и полученных при этом ответов.
Правдоподобность дистракторов, мера их привлекательности оцениваются после первой эмпирической проверки на любой репрезентативной выборке с помощью подсчета долей студентов, выбравших тот или иной неправильный ответ. Идеальная ситуация, когда каждый из дистракторов выбирается одинаковым количеством тестируемых, практически недостижима. Поэтому допустимо несущественное отклонение отдельных долей от идеала в сторону уменьшения или увеличения [3].
На кафедре высшей математики и прикладной информатики Самарского государственного технического университета на протяжении многих лет для мониторинга успеваемости студентов применяются гомогенные педагогические тесты, состоящие из заданий закрытого типа.
Проверим привлекательность дистракторов одного из вариантов теста по теме «Пределы, производные». Тестирование проходили 905 человек, обучающихся на различных факультетах СамГТУ. Для проверки правдоподобности дистракторов случайным образом выбран вариант № 22. Распределение долей ответов представлено в табл. 1 (правильный ответ отмечен звездочкой).
Таблица 1
Распределение долей ответов
Номер Всего 1 -й ответ 2-й ответ 3-й ответ 4-й ответ 5-й ответ
задания чел. чел. % чел. % чел. % чел. % чел. %
1 29 1 3,4 1 3,4 3 10 22* 75,8 0 0
2 27 1 3,7 22* 81,5 2 7,4 2 7,4 0 0
3 26 6 2,3 0 0 2 7,7 4 15,3 13* 50
4 22 1 4,5 12* 54,5 1 4,5 3 13,6 5 22,7
5 28 0 0 1 3,6 0 0 27* 96,4 0 0
6 27 0 0 0 0 0 0 0 0 27* 100
7 27 4 14,8 13* 48 6 22,2 3 11,1 1 3,7
8 16 9 56,2 4 25 2 12,5 1 6,25 0 0
9 19 10* 34,5 7 36,8 1 5,3 1 5,3 0 0
10 12 5* 41,7 3 25 3 25 0 0 1 8,3
11 25 2 8 18* 72 2 8 0 0 3 12
12 16 4 25 0 0 10* 62,5 1 6,25 1 6,25
13 15 9* 60 0 0 2 13,3 0 0 4 26,7
Проведем анализ полученных данных. Близкая к идеальной работа дистракторов наблюдается в задании № 2, так как большинство студентов (75,8 %), выбрали верный ответ, а оставшиеся 24,2 % распределены равномерно между четырьмя неверными. Особо выделяются задания № 5 и 6, в которых не сработал практически ни один из дистракторов. Но это говорит не о низком качестве неверных ответов, а о стремлении к единице трудности данных заданий.
Обращает на себя внимание задание № 8, так как среди ответов отсутствует правильный (технический сбой при автоматизированном составлении тестового задания). Такая нестандартная ситуация не могла не повлиять на распределение долей ответов.
В целом можно заметить, что в большинстве заданий один из дистракторов выбирается чаще остальных. Это объясняется тем, что ошибки, допускаемые студентами при выполнении задания, распределяются неравномерно. Некоторые являются очень распространенными, а другие носят случайный характер.
32
Большое количество нулей, то есть никем не выбранных ответов, свидетельствует о наличии дистракторов, непривлекательных для данной выборки испытуемых. Если при повторном тестировании ситуация повторится, то неудачные ответы следует переработать.
Проверим равномерность распределения неверных ответов по критерию Пирсона х2. Критическое значение критерия, соответствующее двум степеням
свободы и уровню значимости а = 0,05: хК = 5,99. Гипотеза о равномерном рас-
2 2
пределении дистракторов принимается, если выполняется неравенство хЭ < хК, в противном случае требуется корректировка неправильных ответов.
Для вычисления хЭ (экспериментального) применим формулу
1 4 2
хЭ =— ^ (п - п *) , где 4 - количество дистракторов, п - эксперименталь-
п * м
ная частота (исходные данные взяты из табл. 1), п* - теоретическая частота, равная отношению числа студентов, ответивших неверно, к четырем [4]. Результаты вычислений приведены в табл. 2.
Таблица 2
Значения теоретической частоты и хЭ
Номер задания п* Х2 экс
1 1,75 1,54
2 1,25 1,75
3 3,25 2,98
4 2,5 4,4
5 0,25 2,25
6 0 0
7 3,5 3,71
8 4 9,5
9 2,25 11,42
10 1,75 2,11
11 2,5 0,3
12 1,5 4,5
13 1,5 4,33
Сравнивая полученные экспериментальные значения х2 с критическим, можно сделать вывод, что дистракторы распределяются равномерно во всех заданиях теста, кроме № 8 и № 9. О недостатке задания № 8 было сказано выше. Что касается задания № 9, то оно требует корректировки, причем не
обязательно менять ответы; возможно, изменения в основной части задания повлияют на распределение долей при выборе дистракторов.
Правдоподобность дистракторов является одной из характеристик теста, оказывающих влияние на его надежность и валидность, поэтому проведение дистракторного анализа необходимо для организации качественного процесса педагогического тестирования [5].
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
1. Аванесов В.С. Композиция тестовых заданий. Книга для преподавателей вузов, техникумов и училищ, учителей школ, гимназий и лицеев. - М.: Ассоциация инженеров-педагогов, 1996. - 191 с.
2. Ким В. С. Тестирование учебных достижений: Монография. - Уссурийск: Изд-во УГПИ, 2007. - 214 с.: ил.
3. Челышкова М.Б. Теория и практика конструирования педагогических тестов: Учеб. пособие. - М.: Логос, 2002. - 432 с.: ил.
4. Рыбанов А.А. Анализ качества дистракторов для тестовых заданий // Известия Волгоградского государственного технического университета. - 2009. - № 6 (10). - С. 137-140.
5. Аванесов В. С. Дистракторный анализ // Педагогические измерения. - 2013. - № 1. - С. 70-78.
Поступила в редакцию 21.02.17; в окончательном варианте 10.03.17
UDC 378
ANALYSIS OF PLAUSIBILITY OF DISTRACTORS OF PEDAGOGICAL TESTS
I.N. Bulanova1
Samara State Technical University 443100, Samara, Molodogvardeyskaya st., 244 E-mail: i-bulanova @bk.ru
In article features of test tasks of the closed type are considered. The analysis of appeal of distractors of the test tasks applied to monitoring of progress of students on department of the higher mathematics and applied informatics of the Samara state technical university is carried out. The hypothesis of uniform distribution of distrac-tors is checked.
Key words: testirovaniye, tasks of the closed type, distractors, uniformity of distribution.
1 Irina N. Bulanova, Lecture of Advanced Mathematics and Applied Informatics Department.
34
REFERENCES
1. Avanesov V.S. Kompozitsiya testovykh zadaniy [Kompozition of test tasks.] The book for teachers of higher education institutions, technical schools and schools, teachers of schools, gymnasiums and lyceums. M.: Association of engineers-teachers, 1996. 191 p.
2. Kim V.S. Testirovanie uchebnykh dostizheniy [Testing of educational achievements]. Monograph. Ussuriisk: UGPI publishing house, 2007. 214 p.: silt.
3. Chelyshkova M.B. Teoriya i praktika konstruirovaniya pedagogicheskikh testov [Theory and practice of designing of pedagogical tests]: Manual. M.: Logos, 2002. -432 p.
4. Rybanov A.A. Analiz kachestva distraktorov dlya testovykh zadaniy [The analysis of quality of distractors for test tasks] // News of the Volgograd state technical university. 2009. No. 6 (10). pp. 137-140.
5. Avanesov V.S. Distraktorny analiz [Distraktorny analysis] // Pedagogical measurements. 2013. No. 1. pp. 70-78.
Original article submitted 21.02.17; revision submitted 10.03.17
