CC BY
66
ПЕДАГОГИЧЕСКАЯ И НАУЧНАЯ ДЕЯТЕЛЬНОСТЬ
УДК 378.016:744
О. А. Маркова, Г. С. Сагдеева, А. Т. Галимова
АНАЛИЗ И РАНЖИРОВАНИЕ ФОРМ ТЕСТОВЫХ ЗАДАНИЙ ПО ГРАФИЧЕСКИМ ДИСЦИПЛИНАМ
Ключевые слова: тестовые задания, графические дисциплины, форма и содержание заданий, ранжирование по трудности и сложности выполнения.
Проанализированы формы классических тестовых заданий, их применение при контроле учебных достижений по графическим дисциплинам, рассмотрен процесс экспресс-оценки четырех классических форм представления тестовых графических заданий.
Keywords: test tasks, graphic disciplines, form and mutter tasks, rating by difficulty and
complexity for realization.
Analyzed the forms of classical test tasks, their application in monitoring learning achievements for graphic disciplines. Reviewed the evaluation process of the four classical forms of presentation of test graphic tasks.
К тестовым относят задания, отвечающие трем требованиям: корректности содержания, корректности формы и наличию системообразующих свойств. Если происходит несоблюдение одного или двух требований, то задание становится псевдотестовым. Стандартом Центра тестирования предложено следующее определение тестового задания - это «минимальная содержательно законченная составляющая единица педагогического теста в виде проверочного задания в тестовой форме» [1].
В классическом тестовом задании соблюдается логическая правильность и чистота содержания, определенность формы, требования технологичности, эффективности, трудности и корреляции. Содержание задания находится в диалектической связи с формой, без которой существовать не может, соответственно содержание приобретает определенность и понимаемость через форму, а она является способом существования и сохранения содержания. Тестовую форму рассматривают как инвариант, концентрирующий в одном предложении и содержание задания и содержание ответа студента, причем предложение сформулировано в форме утверждения. Соответствие формы содержанию и содержания форме - главный принцип проектирования заданий [2].
Для оценивания определенных графических знаний, умений, навыков студентов необходимо подобрать соответствующие формы тестовых заданий. Если форма тестового задания активна, то это она задает начальные правила и ограничения при разработке тестов, позволяет так формулировать предложения, чтобы они были понятны и в бланковом и компьютерном исполнении. Все задания сначала являются предтестовыми, тестовыми они станут только в составе теста после статистической обработки.
На практике наибольшее распространение получили четыре классические формы представления тестовых заданий. Исторически первой считается форма закрытых заданий.
У заданий закрытой формы имеется определенная вероятность угадывания при выборе правильного ответа, поэтому предпочтительными являются задания с четырьмя или пятью вариантами ответов. Неверные ответы - это дистракторы, отвлекающие внимание, но они не могут быть случайными и должны выглядеть правдоподобно. Об удачном подборе дистракторов говорит тот факт, что все студенты, не выполнившие задание, примерно с одинаковой частотой выбирали все дистракторы [3].
Первая форма заданий была самой распространенной, затем популярность стала переходить к тестовым заданиям открытой формы, где испытуемый дописывает ответ в месте прочерка посредством добавления ключевых слов, фраз или формул. После выполнения предложение принимает в утвердительную форму [4]. В структурах заданий открытой формы применяются принципы: краткости; импликации - задания представляют собой предложения типа «Если..., то...»; неотрицательности - задания не содержат отрицательных слов, частиц, высказываний; фасетности - варьирование заданий в пределах одной укрупненной единицы учебного материала; обратимости. При создании нескольких модификаций тестов по одной теме или разделу использование принципов фасетности и обратимости обеспечивает соблюдение трех требований параллельности таких заданий: параллельности по содержанию, форме и трудности.
Третья форма тестовых заданий возникла недавно - это задания на соответствие. В них необходимо определить соответствие элементов одного множества элементам другого множества, элементов второго множества должно быть больше по сравнению с количеством элементов первого. Четвертая форма тестовых заданий - это задания на установление правильной последовательности, служащие для проверки знаний последовательности действий, процессов, операций.
Испытуемому, не уложившемуся в определенное время, засчитывается неправильный ответ, поэтому в отличие от общепринятых контрольных вопросов тестовые задания должны быть лаконичными, краткими по форме и четкими по содержанию и недвусмысленными, не допускающими различных толкований. При формировании таких тестовых заданий должны учитываться следующие требования: полное соответствие источникам информации, используемым студентами; однозначное разъяснение подобранными графическими терминами и изображениями задачи, поставленной перед студентами; подразумевание одного правильного ответа на каждое задание.
При выборе структуры тестовых заданий по графической подготовке руководствуются и различными принципами. Например, при формулировании тестовых заданий закрытой формы - это принцип классификации. Суть его в том, что ответы по своему содержанию не противостоят друг другу, а отображают разные стороны одного явления или процесса. Применяют и принципы: противоположности, когда содержание ответов контрарно по смыслу; противоречия, когда обычно два ответа, один из которых указывает на некоторый признак, а другой это отрицает, не заменяя его другим; кумуляции, содержание последующего ответа вбирает в себя содержание предыдущего и дает дополнительную информацию и т.д. [5].
Особенность любого учебного теста в том, что задания в нем располагаются в порядке возрастания трудности. В научной литературе понятие «трудность тестового задания» часто отождествляют с понятием «сложность тестового задания», а иногда даже определяют эти понятия друг через друга [6]. Под трудностью тестового задания понимают процент его выполнения. В классической теории тестов с показателем трудности связывают долю неправильных ответов Я;:
Я] = О; / N
где Qj - количество неправильных ответов на ]-е задание, N - количество испытуемых, Ц] -относительная частота неправильных ответов на ]-е задание. При этом выполняется условие:
Р + Ц] = 1 (р = ^ / N1
где ^ - количество правильных ответов на у-е задание и р] - относительная частота правильных ответов на данное задание.
Эту меру трудности, получаемую в шкале натуральных логарифмов, называют логит трудности задания. При логистическом распределении упрощается процедура размещения заданий по степени трудности - в середине теста располагают задания с логитом трудности 0, а все остальные задания размещаются при постоянстве шага логита в обе стороны от «центра» в порядке уменьшения и увеличения логита их трудности.
С целью ранжирования тестовых форм по уровням трудности их выполнения нами была проведена экспресс-оценка тестовых заданий четырех классических форм по теме «Плоскость». Исследованию форм представления предшествовала работа по: определению учебной траектории темы; выделению ключевых понятий темы; составлению контрольных вопросов; подбору для определенного содержания графического материала формы тестового задания; проверке заданий на качество (надежность, валидность, эффективность); компоновке теста по данной теме; отбору студентов для проведения эксперимента. После того, как спроектированный тест по заявленной теме прошел внутреннюю и внешнюю экспертизу, нами были созданы модификации теста, которые подверглись эмпирической проверке на студентах 1 курса дневного и вечернего форм отделений общей численностью 100 человек. При модификации графических тестовых заданий, при подборе под каждое содержание адекватной формы, мы обратили внимание на тот факт, что практически любое задание открытой формы легко трансформируется в задание закрытой формы или форму на установление соответствия, но не каждое закрытое задание, а тем более задание на соответствие удачно переформулируется в открытое. В то же время, задание на установление соответствия близки по сути к форме закрытых и легко преобразовываются друг в друга.
В результате экспресс-оценки была получена ранговая модель форм тестовых заданий, имеющая в порядке возрастания трудности выполнения следующую последовательность: задания закрытой формы, открытой формы, на соответствие и установление правильной последовательности. Задания закрытой формы просты в выполнении, ответ содержится в самом предложении, надо его только опознать и различить. Просты в выполнении и задания открытой формы, их решение требует воспроизведения ранее усвоенной информации. У заданий на соответствие уровень сложности выполнения выше, они проверяют ассоциативные знания - знания о взаимосвязи определений и форм, о соотношении между свойствами графических элементов. Решение таких задач требует от тестируемого как репродуктивной, так и продуктивной деятельности. Самый высокий уровень сложности у заданий на установление правильной последовательности. Эти задания сложны всегда, так как для их решения, во-первых, необходимо дробление на частные составляющие и, во-вторых, независимо от уровня подготовленности обучающегося, на выполнение заданий этой формы уходит значительный промежуток времени. Решение таких заданий требует глубокого освоения всех видов познавательной деятельности.
В итоге каждый тестовый бланк содержал 10 заданий только одной формы представления, расположенных в порядке возрастания трудности. Главным условием эксперимента было то, что задания одного порядкового номера в разных вариантах теста
обязательно имели параллельное содержание. Наша задача состояла в сравнении уровней трудности их выполнения, сопоставлялись по ряду показателей не сами задания, а именно формы представления. На выполнение одного задания независимо от его формы отводился одинаковый промежуток времени. Результаты исследования занесены в таблицу 1.
Следовательно, сложность тестового задания определяется временем, необходимым на его выполнение. Такие задания, как правило, требуют многооперационного решения и можно сказать, что сложные задания - это трудоемкие задания. Считаем, что если уровень трудности заданий связан с уровнем подготовленности тестируемых и определяется через него, то уровень трудности относительно форм представления заданий в большей степени может быть соотнесен именно с уровнем сложности их выполнения.
Таблица 1 - Ранжирование форм тестовых заданий по уровням трудности выполнения
Форма задания I II III IV Rj Qj Pj qj ln qjlpj
Кол-во испытуе мых 25 25 25 25
№ п/п з а д а н и я 1 23 22 17 15 77 23 0,77 0,23 -1,21
2 22 20 16 11 69 31 0,69 0,31 -0,8
3 21 18 13 10 62 38 0,62 0,38 -0,49
4 18 16 12 10 56 44 0,56 0,44 -0,24
5 16 14 11 8 49 51 0,49 0,51 0,040
6 15 12 10 6 43 57 0,43 0,57 0,282
7 12 11 8 6 37 63 0,37 0,63 0,533
8 9 9 7 5 30 70 0,3 0,7 0,847
9 8 7 5 3 23 77 0,23 0,77 1,208
10 6 5 4 2 17 83 0,17 0,83 1,586
Rf 150 134 103 76 m = iRf 463 I Pj = 4,63
Qf 100 116 147 174 IQj = ZQf = 537 Iqj =5,37
Pf 0,6 0,536 0,412 0,304 Формы тестовых заданий: I - закрытая II - открытая III - на установление соответствия IV - на установление последовательности f - форма представления задания
qf 0,4 0,464 0,588 0,696
ln qjlpj -0,41 -0,21 0,356 0,828
Процент выполнения заданий по формам, % 32,4 28,94 22,25 16,41
Каждое тестовое задание, независимо от уровня трудности и сложности выполнения требует всесторонней обязательной длительной экспертизы. Чтобы такие задания превратились в тестовые, они проходят отбор и упорядочивание, компоновку по темам, апробацию. Экспертиза, вычисление статистических характеристик, обработка тестовых результатов основывается на постулатах классической теории тестовых измерений - теории моделирования и параметризации педагогических тестов.
Литература
1. Хлебников, В. А. Особенности разработки отраслевого стандарта «Тестирование педагогическое. Термины и определения» / В. А. Хлебников // Вопросы тестирования в образовании. - М., 2004. -№ 9. - С. 5-30.
2. Аванесов, В. С. Формы тестовых заданий / В. С. Аванесов. - М.: Труды Исследовательского центра гособразования СССР, 1991 - 46 с.
3. Нейман, Ю.М. Введение в теорию моделирования и параметризации педагогических тестов / Ю. М. Нейман, В. А. Хлебников. - М., 2000. - 168 с.
4. Матушанский, Г.У. Тестовый контроль знаний в вузе: Курс лекций / Г. У. Матушанский. -Казань: КГТУ, 1993. - 36 с.
5. Аванесов, В. С. Композиции тестовых заданий: Учебное пособие / В. С. Аванесов. - М.: АДЕПТ, 1998. - 217 с.
6. Голубева, И. Л. Модульное обучение в геометро-графической подготовке учащихся старших классов / И. Л. Голубева, А. Р. Альтапов // Вестник Казан. технол. ун-та. - 2010. - №2. -С. 441-443.
© О. А. Маркова - канд. пед. наук, доц. каф. техники и физики низких температур НХТИ КГТУ, [email protected]; Г. С. Сагдеева - соиск. каф. методологии инженерной деятельности КГТУ; А. Т. Галимова - ст. препод. каф. техники и физики низких температур НХТИ КГТУ.
