Нетрадиционный подход к технологии обработки тестовых заданий с выбором нескольких правильных ответов

Станкевич Татьяна Геннадьевна

12. Педагогическое речеведение. Словарь-справочник / Под ред. Т. А. Ладыженской и А. К. Михальской; сост. А. А. Князьков. - М.: Флинта, Наука, 1998.

13. Рождественский Ю. В. Теория риторики. - М.: Добросвет, 1997.

14. Эко У. Отсутствующая структура. Введение в семиологию. - СПб.: Петрополис, 1998.

Т. Г. Станкевич

НЕТРАДИЦИОННЫЙ ПОДХОД К ТЕХНОЛОГИИ ОБРАБОТКИ ТЕСТОВЫХ ЗАДАНИЙ С ВЫБОРОМ НЕСКОЛЬКИХ ПРАВИЛЬНЫХ ОТВЕТОВ

В статье анализируются результаты нетрадиционной технологии обработки тестовых заданий с выбором нескольких правильных ответов на основе использования теории IRT, приводятся сравнительные результаты исследования, полученные традиционным и предложенным способами.

The result of a non - standard technique of tests processing with the selection of several correct answers based on the IRT theory are analysed in the paper. Comparative results of the investigation obtained by the traditional and suggested methods are presented

На современном этапе развития образовательного процесса качество образования остается по-прежнему одной из основных характеристик, определяющих конкурентоспособность как отдельной личности, так и национальной системы образования в целом. Повышение требований, предъявляемых к специалистам, актуализирует проблему качества их подготовки. Это предусматривает разработку новых моделей обучения и усовершенствование технологий педагогического контроля.

В данной статье предлагается методика обработки многовариантных тестовых заданий на основе теории IRT (Item Response Theory) [2] с использованием характеристик ответов, учитывающих доли верных, неверных и неполных ответов в каждом тестовом задании, коэффициента и логита полноты ответа.

Все возможные формы тестовых заданий (ТЗ) с точки зрения алгоритма их обработки можно разделить на те, у которых единственный ответ, и те, ответ на которые состоит из нескольких [5]. Последние ТЗ авторы относят к многовариантным. Таковыми являются: задания закрытого типа с выбором нескольких правильных ответов, на установление правильной последовательности, соответствия, задания открытого типа.

Проблема обработки и оценивания таких заданий в настоящий момент является не полностью решенной [4, 6]. Следует отметить, что в тестах часто необходимо использовать различные по форме задания, результаты ответов к которым нельзя оценивать одинаково.

Целью исследования является разработка на основе предложенной авторами методики технологии обработки тестов, содержащих различные по форме задания, с учетом их особенностей. Поскольку многовариантные ТЗ некорректно оценивать без учета неполноты ответа, нами была поставлена задача - включить в тест различные по числу дистракторов и правильных ответов задания и найти способ их качественной оценки на основании соотношения количества верных ответов испытуемого и в задании, а также соотношения количества дистракторов и верных ответов в каждом задании.

Для проверки эффективности методики была смоделирована матрица 10x10 (10 испытуемых, отвечающих на 10 различных ТЗ) и проведена их статистическая обработка двумя способами (табл. 1, 2).

Таблица 1

Матрица тестовых результатов (1-й способ)

Ис- пыту- емый ТЗ 1 ТЗ 2 ТЗ 10

а1 Ь1 с1 КПО1 а2 Ь2 с2 КПО 2 а10 Ь10 с10 КПО 10 ©

1 2 1 1 2/3 2 1 1 2/3 1 0 1 1/2 -1,39

2 3 1 0 1 2 0 1 2/3 2 0 0 1 -0,85

3 1 0 2 1/3 1 1 2 1/3 1 2 1 1/2 0,00

4 2 0 1 2/3 3 0 0 1 1 1 1 1/2 -2,20

5 3 2 0 1 3 1 0 1 2 1 0 1 -2,20

6 1 1 2 1/3 1 1 2 1/3 1 1 1 1/2 -1,39

7 2 0 0 1 2 0 1 2/3 2 0 0 1 0,85

8 3 1 0 1 3 1 0 1 2 0 0 1 -1,39

9 1 1 2 1/3 1 1 2 1/3 1 0 1 1/2 -да

10 2 1 1 2/3 2 1 1 2/3 2 0 0 1 0,41

Таблица 2

Матрица тестовых результатов (2-й способ)

Ис- ТЗ 1 ТЗ 2 ТЗ 10

пыту- емый а1 Ь1 с1 КПО 1 а2 Ь2 с2 КПО 2 а10 Ь10 с10 КПО 10 ©

1 0,40 0,20 0,20 0,67 0,50 0,25 0,25 0,67 0,33 0,00 0,33 0,50 -0,24

2 0,60 0,20 0,00 1,00 0,50 0,00 0,25 0,67 0,67 0,00 0,00 1,00 0,66

3 0,20 0,00 0,40 0,33 0,25 0,25 0,50 0,33 0,33 0,67 0,33 0,50 -0,02

4 0,40 0,00 0,20 0,67 0,75 0,00 0,00 1,00 0,33 0,33 0,33 0,50 -0,96

5 0,60 0,40 0,00 1,00 0,75 0,25 0,00 1,00 0,67 0,33 0,00 1,00 0,30

6 0,20 0,20 0,40 0,33 0,25 0,25 0,50 0,33 0,33 0,33 0,33 0,50 -0,34

7 0,40 0,00 0,00 1,00 0,50 0,00 0,25 0,67 0,67 0,00 0,00 1,00 1,43

8 0,60 0,20 0,00 1,00 0,75 0,25 0,00 1,00 0,67 0,00 0,00 1,00 0,71

9 0,20 0,20 0,40 0,33 0,25 0,25 0,50 0,33 0,33 0,00 0,33 0,50 -1,04

10 0,40 0,20 0,20 0,67 0,50 0,25 0,25 0,67 0,67 0,00 0,00 1,00 1,42

В табл. 1: а, Ь, с - количество верных, неверных, неполных ответов (при традиционном способе обработки); в табл. 2: а, Ь, с - доли верных, неверных, неполных ответов (по предложенной методике); КПО - коэффициент полноты

ответа, © - логит уровня знания, вычисленный традиционным способом, © -логит уровня знания, вычисленный по предложенной методике.

Традиционно оценка уровня знания ,-го тестируемого определяется по формуле:

к а.

,=1Ь

где ал - количество верных, Ь - количество неверных ответов каждого испытуемого (1-й способ обработки данных тестирования, табл. 1).

По предложенной методике (2-й способ, табл. 2) оценка уровня знания

к

производилась путем расчета долей: верных - ау = 1 (а / п), ; неверных -к к “1

Ьу =1 (Ь / п) 1 ; неполных - с у = I (с / п) 1 ответов, а также коэффициента полноты ответа (КПО,), логита уровня знаний (©у ) и логита полноты ответа (А,), вычисляемых по формулам:

КПО у =1 (а / т),

1=1

где г-номер ТЗ, к - общее число ТЗ, а, Ь, с - количество верных, неверных, неполных ответов, выбранных ,-м тестируемым, п - количество дистракторов, т - число правильных ответов в г-ом ТЗ.

ка © у = 1п I

1 ^ + с 1 ка

I у = 1п(!^)/ к.

=1 т

Ниже приводятся таблицы со значениями перечисленных величин и рейтинга испытуемых, определенного на их основе (табл. 3, 4).

Таблица 3

Рейтинг испытуемых по логиту уровня знания, определенного традиционным

способом (1-й способ)

Испытуемый 1 2 3 4 5 6 7 8 9 10

Число верных ответов (а) 2 3 5 1 1 2 7 2 0 6

Число неверных ответов (Ь) 8 7 5 9 9 8 3 8 10 4

Уровень знания © у -1,39 -0,85 0 -2,2 -2,2 -1,39 0,85 -1,39 - ю 0,41

Сравнение приведенных в табл. 3 и 4 результатов показывает, что при использовании традиционной методики (табл. 3) рейтинг у пяти из десяти тестируемых совпадает, как следствие, это не позволяет объективно разделить их по уровню знаний. Полученный результат не отражает реальной ситуации, так как испытуемые с одинаковым уровнем знания имеют различное число неполных ответов (при традиционном способе обработки данных они приравниваются к неправильным) (табл. 1). Можно предположить, что решение проблемы выстраивания по рейтингам испытуемых при большом объеме выборки еще более осложнится.

Таблица 4

Рейтинг испытуемых по логиту уровня знания и КПО, определенный по новой

методике (2-й способ)

Испытуемые 1 2 3 4 5 6 7 8 9 10

Доля верных ответов (аг) 2,78 4,27 3,28 2,13 5,47 2,93 4,62 4,97 1,93 4,57

Доля неверных ответов (Ьг) 1,85 1,3 1,92 3,93 4,03 2,03 0,45 2,45 1,65 0,45

Доля неполных ответов (сг) 1,68 0,7 1,48 1,43 0 1,68 0,45 0 3,63 0,65

КПО 5,5 7,5 6,17 3,33 10,0 5,00 8,83 10,0 3,00 8,67

Рейтинг по КПО, Я (КПО) 7 5 6 9 1=2 8 3 1=2 10 4

Рейтинг по Э, Я (Э) 7 4 6 9 5 8 1 3 10 2

Я (КПО) +Я (Э) 14 9 12 18 6,5 16 4 4,5 20 6

Я (Я (КПО) +Я (Э)) 7 5 6 9 4 8 1 2 10 3

Предлагаемая методика исключает такую ситуацию. Все испытуемые, как видно из табл. 4, имеют индивидуальный набор характеристик ответов, что достигается совместным учетом долей верных, неверных, неполных ответов при расчете логитов уровня знаний, а также логита полноты ответа.

Таким образом, введение доли верных, неверных и неполных ответов в расчет указанных характеристик позволяет получать более объективную информацию об ответах испытуемых; учет неполноты ответа на основе КПО значительно повышает дискриминативность теста в целом (т. е. позволяет отделить худших от лучших); логит полноты ответа дополняет полученную информацию и в случае одинаковых значений логитов знаний корректирует суммарную характеристику (Э), позволяет получить более объективные дан-

ные относительно знаний каждого испытуемого, что дает возможность впоследствии определить рейтинг испытуемых в соответствии с их индивидуальными результатами.

Задавая критерии оценки по уровню знания, можно перевести тестовые баллы в отметку, точность которой зависит от цели тестирования. Так, при сдаче вступительных экзаменов важно как можно более объективно разделить обучающихся по уровням знаний, а при текущем контроле иногда достаточно определить уровень знаний, соответствующий нормативным требованиям.

Результаты проведенного исследования выявили преимущества предлагаемой методики обработки данных тестирования с использованием многовариантных тестовых заданий по сравнению с традиционным способом. Это позволяет говорить о перспективности разработки и применения данной технологии.

Литература

1. Аванесов В. С. Основы научной организации педагогического контроля в высшей школе. - М.: МИСиС, 1989. - 167 с.

2. Нейман Ю. М., Хлебников В. А. Введение в теорию моделирования и параметризации педагогических тестов. - М.: Прометей, 2000. - 168 с.

3. Станкевич Т. Г., Дерябина А. Г. К вопросу о классификации многовариантных тестовых заданий с выбором нескольких правильных ответов в зависимости от числа правильных ответов / / Общие проблемы квалиметрии в образовании: Материалы XI Всерос. симп. «Квалиметрия в образовании: методология, методика, практика». Ч. 2 - М.: Исслед. центр проблем качества подготовки специалистов, 2006. - С. 33-35.

4. Станкевич Т. Г., Дерябина А. Г. О необходимости разработки многовариантных тестовых заданий с выбором нескольких правильных ответов // Инновационные процессы в сфере образования и проблемы повышения качества специалистов: Материалы международ. науч.-метод. конф. - Ижевск: Изд. дом «Удмуртский университет», 2005. - С. 218-220.

5. Станкевич Т. Г., Камашев Г. Я. Новый подход к обработке многовариантных тестовых заданий с выбором нескольких правильных ответов // Вопросы тестирования в образовании. - 2005. - № 4(16). - С. 32-43.

6. Станкевич Т. Г. Об особенностях различных типов многовариантных тестовых заданий с выбором нескольких правильных ответов / / Инновационные процессы в сфере образования и проблемы повышения качества специалистов: Матералылы международ. науч.-метод. конф. - Ижевск: Изд. дом «Удм. ун-т», 2005. - С. 195-199.

7. Челышкова М. Б. Разработка педагогических тестов на основе современных математических моделей. - М.: МИСиС, 1995. - 32 с.

8. Янченко С. И. Оценка уровня подготовленности: непараметрический подход // Вопросы тестирования в образовании. - 2002. - № 3. - С. 38-49.

Аннотация научной статьи по наукам об образовании, автор научной работы — Станкевич Татьяна Геннадьевна

Похожие темы научных работ по наукам об образовании , автор научной работы — Станкевич Татьяна Геннадьевна

Текст научной работы на тему «Нетрадиционный подход к технологии обработки тестовых заданий с выбором нескольких правильных ответов»