CC BY
35
О.А. Маркова, Г.У. Матушанский
АНАЛИЗ ФОРМ ПРЕДСТАВЛЕНИЯ ГРАФИЧЕСКИХ ТЕСТОВЫХ ЗАДАНИЙ
Проанализированы формы классических тестовых заданий, их применение при контроле учебных достижений по графической подготовке, рассмотрен процесс экспресс-оценки четырех классических форм представления тестовых графических заданий, представлена модель зависимости уровней усвоения учебного графического материала от уровней трудности выполнения тестовых заданий.
Ключевые слова: тестовые задания, графические дисциплины, форма и содержание заданий, ранжирование по трудности и сложности выполнения, уровни усвоения учебного материала, уровни трудности выполнения заданий.
Контрольные задания с определенной формой представления можно отнести к тестовым, если они отвечают трем требованиям: корректности содержания, корректности формы и наличию системообразующих свойств. Если происходит несоблюдение одного или двух требований, то такие задания становятся псевдотестовыми. Стандартом Центра тестирования предложено следующее определение тестового задания - это «минимальная содержательно законченная составляющая единица педагогического теста в виде проверочного задания в тестовой форме» [1].
В тестовом задании соблюдается логическая правильность и чистота содержания, определенность формы, требования технологичности, эффективности, трудности и корреляции. Содержание задания находится в диалектической связи с формой, оно не может существовать без формы, приобретает определенность и понимаемость через нее, а она является способом существования и сохранения содержания. Тестовую форму рассматривают как инвариант, концентрирующий в одном предложении и содержание задания и содержание ответа студента, причем предложение сформулировано в форме утверждения. Соответствие формы содержанию и содержания форме - главный принцип проектирования заданий [2].
Для оценивания определенных графических знаний, умений, навыков студентов необходимо подобрать соответствующие формы тестовых заданий. Если форма тестового задания активна, то это она задает начальные правила и ограничения при разработке тестов, позволяет так формулировать предложения, чтобы они были понятны и в бланковом и компьютерном исполнении. Все задания сначала являются предтестовы-
ми, тестовыми они станут только в составе теста после статистической обработки.
На практике наибольшее распространение получили четыре классические формы представления тестовых заданий, остальные встречающиеся «новые» формы, по существу, являются их разновидностями. Исторически первой считается форма закрытых заданий. Инструкция к выполнению заданий такой формы: «обвести кружком или ввести номер правильного ответа». У заданий закрытой формы имеется определенная вероятность угадывания при выборе правильного ответа, поэтому предпочтительными являются задания с четырьмя или пятью вариантами ответов. Неверные ответы в задании - дистракторы, отвлекающие внимание, они не могут быть случайными и должны выглядеть правдоподобно. Об удачном подборе дистракторов говорит тот факт, что все студенты, не выполнившие задание, примерно с одинаковой частотой выбирали все дистракторы [3]. Например: ПРОЕКЦИИ ФРОНТАЛИ ПЛОСКОСТИ ИЗОБРАЖЕНЫ НА ЭПЮРЕ
^г
а б в г д
Первая форма заданий была самой распространенной, затем популярность стала постепенно переходить к тестовым заданиям открытой формы. Инструкция к заданиям этой формы: «дополнить». Испытуемый дописывает ответ в месте прочерка посредством добавления одного или нескольких ключевых слов или формул, после выполнения предложение принимает в утвердительную форму [4]. Например: ПРЯМАЯ,
ПЕРПЕНДИКУЛЯРНАЯ ГОРИЗОНТАЛЬНОЙ ПЛОСКОСТИ ПРОЕКЦИИ П1, НАЗЫВАЕТСЯ горизонтальнопроецирующей.
Третья форма тестовых заданий возникла сравнительно недавно -это задания на соответствие. В них необходимо определить соответствие элементов одного множества элементам другого множества, элементов второго множества должно быть больше по сравнению с количеством элементов первого. Четвертая форма тестовых заданий - это задания на установление правильной последовательности, служащие для проверки знаний последовательности действий, процессов, операций. Указанные
действия нумеруются. Инструкции к третьей и четвертой формам представления входят в формулировку самих заданий.
Разумеется, испытуемому, не уложившемуся в определенное время, засчитывается неправильный ответ, поэтому в отличие от общепринятых контрольных вопросов тестовые задания должны быть лаконичными, краткими по форме и четкими по содержанию, недвусмысленными, не допускающими различных толкований. При формировании таких тестовых заданий должны учитываться следующие требования: полное соответствие источникам информации, используемыми студентами; однозначное разъяснение подобранными графическими терминами и изображениями задачи, поставленной перед студентами; подразумевание одного правильного ответа на каждое задание.
При выборе структуры тестовых закрытых заданий по графической подготовке руководствуются известными принципами композиции, самый распространенный из которых - принцип классификации. Суть его в том, что ответы по своему содержанию не противостоят друг другу, а отображают разные стороны явления, процесса, все они - понятия одного рода. При формулировании тестовых заданий закрытой формы по графическому материалу часто используют и следующие принципы: 1) противоположности, когда содержание ответов контрарно по смыслу, ответы являются антонимами; 2) противоречия (контрадиктарности), когда ответы (обычно два) - понятия одного рода, один из которых указывает на некоторый признак, а другой это отрицает, не заменяя его другим; 3) кумуляции, содержание последующего ответа вбирает (кумулирует) в себя содержание предыдущего и, кроме того, содержит дополнительную информацию; 4) сочетания, когда ответы содержат несколько слов, знаков (обычно два или три); 5) сочетания ответов по правилу цепочки; 6) сочетания нескольких ответов, когда предлагаются несколько вариантов ответов одного рода по явлению или процессу; 7) полной системы возможных ответов; 8) принцип градуирования; 9) принцип удвоенной альтернативы, когда в каждом ответе присутствуют понятия, последовательно противопоставляемые один другому.
Примеры использования в закрытых заданиях принципов: градуирования -
РАЗМЕРЫ ИЗОБРАЖЕНИЯ ДЕТАЛИ НА РАБОЧЕМ ЧЕРТЕЖЕ С МАСШТАБОМ 1:2 ПО СРАВНЕНИЮ С ДЕЙСТВИТЕЛЬНЫМИ:
а) увеличиваются; б) остаются постоянными; в) уменьшаются; сочетания нескольких ответов -
КАЧЕСТВО УЧЕБНОГО ПРОЦЕССА ИЗУЧЕНИЯ ГРАФИЧЕСКОЙ ДИСЦИПЛИНЫ С КАЧЕСТВОМ ТЕСТОВОГО КОНТРОЛЯ:
а) связано значительно в) не связано заметным образом
б) связано, но незначительно г) не связано никак;
удвоенной альтернативы -
ОБРАТНАЯ СВЯЗЬ ПРИ ИСПОЛЬЗОВАНИИ ТЕСТОВОГО КОНТРОЛЯ В ОБУЧЕНИИ ГРАФИЧЕСКИМ ДИСЦИПЛИНАМ:
а) максимальна во времени и объеме
б) максимальна во времени, но минимальна в объеме
в) минимальна во времени, но максимальна в объеме
г) минимальна во времени и объеме.
В структурах тестовых заданий открытой формы применяются принципы: 1)краткости; 2) импликации - задания представляют собой предложения типа «Если..., то...»; 3) неотрицательности - задания не содержат отрицательных слов, частиц, высказываний; 4) фасетности -варьирование заданий в пределах одной укрупненной единицы учебного материала; 5) обратимости. При создании нескольких модификаций задания по графической подготовке использование принципов фасетности и обратимости обеспечивает соблюдение трех принципов параллельности: параллельности по содержанию, форме и трудности. Например, идея «фасета»: ПЛОСКОСТЬ (горизонтальная или фронтальная или профильная) ЗАНИМАЕТ В ПРОСТРАНСТВЕ частное положение - представлено три равнозначных варианта задания; идея «обратимости»: ПРЯМАЯ, ПАРАЛЛЕЛЬНАЯ ПЛОСКОСТИ ПРОЕКЦИИ ль НАЗЫВАЕТСЯ горизонталью; ГОРИЗОНТАЛЬЮ НАЗЫВАЕТСЯ ПРЯМАЯ,
ПАРАЛЛЕЛЬНАЯ ПЛОСКОСТИ ПРОЕКЦИИ п]. Использование принципов композиции при создании теста приводит к тому, что задания даже одной формы получаются тщательно разработанными.
Особенность любого учебного теста в том, что задания в нем располагаются в порядке возрастания трудности. В научной литературе понятие «трудность тестового задания» часто отождествляют с понятием «сложность тестового задания», а иногда даже определяют эти понятия друг через друга. Под трудностью тестового задания понимают процент его выполнения. В классической теории тестов с показателем трудности связывают долю неправильных ответов ъ.
Ъ = Р, / N
где 0, - количество неправильных ответов на j -е задание, N - количество испытуемых, ъ - относительная частота неправильных ответов на j -е за-
дание. При этом выполняется условие р, + ъ, = 1 (р, = Я, / Щ, где Я- количество правильного ответов на j-е задание и р, - относительная частота правильных ответов на данное задание.
Эту меру трудности, получаемую в шкале натуральных логарифмов, называют логит трудности задания. При логистическом распределении упрощается процедура размещения заданий по степени трудности - в середине теста располагают задания с логитом трудности 0, а все остальные задания размещаются при постоянстве шага логита в обе стороны от «центра» в порядке уменьшения и увеличения логита их трудности.
С целью ранжирования тестовых форм по уровням трудности их выполнения нами была проведена экспресс-оценка тестовых заданий четырех классических форм по теме «Плоскость». Исследованию форм представления предшествовала работа по: определению учебной траектории темы; выделению ключевых понятий темы; составлению контрольных вопросов; подбору для определенного содержания графического материала формы тестового задания; проверке заданий на качество (надежность, валидность, эффективность); компоновке теста по данной теме; отбору студентов для проведения эксперимента. После того, как спроектированный тест по заявленной теме прошел внутреннюю и внешнюю экспертизу, нами были созданы модификации теста, которые подверглись эмпирической проверке на студентах 1 курса дневного и вечернего форм отделений общей численностью 100 человек. При модификации графических тестовых заданий с целью подбора под каждое содержание адекватной формы мы обратили внимание на тот факт, что практически любое задание открытой формы легко трансформируется в задание закрытой формы или форму на установление соответствия, но не каждое закрытое задание (тем более задание на соответствие) удачно переформулируется в открытое. В то же время, задание на установление соответствия близки по сути к форме закрытых и легко преобразовываются друг в друга.
В итоге каждый тестовый бланк содержал 10 заданий только одной формы представления, расположенных в порядке возрастания трудности. Главным условием эксперимента было то, что задания одного порядкового номера в разных вариантах теста обязательно имели параллельное содержание. Наша задача состояла в сравнении уровней трудности их выполнения, сопоставлялись по ряду показателей не сами задания, а именно формы представления. На выполнение одного задания независимо от его формы отводился одинаковый промежуток времени. Результаты исследования занесены в таблицу 1.
Форма задания I II III IV К 0 Д Я) 1п Я)/Р)
Кол-во испытуемых 25 25 25 25
№ п/п з а д а н и я 1 23 22 17 15 77 23 0,77 0,23 -1,21
2 22 20 16 11 69 31 0,69 0,31 -0,8
3 21 18 13 10 62 38 0,62 0,38 -0,49
4 18 16 12 10 56 44 0,56 0,44 -0,24
5 16 14 11 8 49 51 0,49 0,51 0,040
6 15 12 10 6 43 57 0,43 0,57 0,282
7 12 11 8 6 37 63 0,37 0,63 0,533
8 9 9 7 5 30 70 0,3 0,7 0,847
9 8 7 5 3 23 77 0,23 0,77 1,208
10 6 5 4 2 17 83 0,17 0,83 1,586
К 150 134 103 76 т=т= 463 IР) = 4,63
Я/ 100 116 147 174 т=т= 537 =5,37
р/ 0,6 0,536 0,412 0,304 Формы тестовых заданий: I - закрытая II - открытая III - на установление соответствия IV - на установление последовательности / - форма представления задания
Я/ 0,4 0,464 0,588 0,696
1п ЯJ/P) 0,41 -0,21 0,356 0,828
Процент выполне-ния заданий по формам, % 32,4 28,94 22,25 16,41
В результате экспресс-оценки была получена ранговая модель форм тестовых заданий, имеющая в порядке возрастания трудности выполнения следующую последовательность: задания закрытой формы, открытой формы, на соответствие и установление правильной последовательности. Задания закрытой формы просты в выполнении, ответ содержится в самом предложении, надо его только опознать и различить. Просты в выполнении и задания открытой формы, их решение требует воспроизведения ранее усвоенной информации. У заданий на соответствие уровень сложности выполнения выше, они проверяют ассоциативные знания -знания о взаимосвязи определений и форм, о соотношении между свойствами графических элементов. Решение таких задач требует от тестируемого как репродуктивной, так и продуктивной деятельности. Самый высокий уровень сложности у заданий на установление правильной последовательности. Эти задания сложны всегда, так как для их решения, во-
первых, необходимо дробление на частные составляющие и, во-вторых,
117
независимо от уровня подготовленности обучающегося, на выполнение заданий этой формы уходит значительный промежуток времени. Решение таких заданий требует глубокого освоения всех видов познавательной деятельности. Следовательно, сложность тестового задания определяется временем, необходимым на его выполнение. Такие задания, как правило, требуют многооперационного решения и можно сказать, что сложные задания - это трудоемкие задания. Считаем, что если уровень трудности заданий связан с уровнем подготовленности тестируемых и определяется через него, то уровень трудности относительно форм представления заданий в большей степени может быть соотнесен именно с уровнем сложности их выполнения [5].
Каждое тестовое задание независимо от уровня трудности и сложности выполнения и от формы представления требует всесторонней обязательной длительной экспертизы. Чтобы такие задания превратились в тестовые, они проходят отбор и упорядочивание, компоновку по темам, апробацию. Экспертиза, вычисление статистических характеристик, обработка тестовых результатов основывается на постулатах классической теории тестовых измерений - теории моделирования и параметризации педагогических тестов. Уместно здесь привести разработанную нами модель, содержащую зависимость уровней усвоения учебного графического материала от уровней трудности выполнения тестовых заданий (таблица 2) [6].
Таблица 2. Зависимость уровней усвоения учебного графического материала от уровней трудности выполнения тестовых заданий
№ п/п Уровень усвоения учебного материала Характеристика заданий по уровню усвоения Характеристика заданий по уровню трудности выполнения
I Уровень идентификации (репродуктивное узнавание) типовые задания закрытой формы и на установление соответствия, содержащие в себе и задачу и ответ узнавание проекций, законов; общее представление о свойствах, явлениях (констатация); знание условных обозначений
II Уровень репродукции (репродуктивное воспроизведение) типовые задания открытой формы и на установление правильной последовательности не содержат в себе подсказку извне количественная и качественная оценка свойств, явлений; применение знании свойств, явлений для решения практических задач;
III Уровень адаптации (продуктивное применение усвоенной информации) нетиповые задания на установление соответствия и правильной последовательности, содержащие в себе скрытую дополнительную информацию
IV Уровень трансформации (продуктивное творческое действие) задания открытой формы и на установление правильной последовательности, содержащие в своем решении творческие элементы самостоятельная разработка алгоритма решения; решение задач по трансляции и трансформации знаний
Закрытые задания в научных публикациях подвергаются активной критике, но в то же время они чаще всего используются. Недостатков у этих заданий много: большая вероятность угадывания, возможность привития ложного знания, значительная трудоемкость в подборе дистракто-ров. Однако секрет широкого применения заданий этой формы представления заключается в возможностях объективной проверки понятий, элементов, а также оценке понимания связи, закономерностей и сути явлений. Тестируемым эти задания представляются более простыми, им кажется, что легче выбрать правильный ответ, чем самим его формулировать. Проблемой при создании таких заданий является подбор вариантов неверных ответов. Дистракторы содержат элементы подсказки и все они должны быть «работающими». В формулировке важна четкость и однозначность, чтобы исключить ошибку в ответе из-за непонимания задания, даже если дистракторы подобраны удачно. К неудачным можно отнести задания этой формы, для выполнения которых требуется много времени.
Заданиям открытой формы представления присущи следующие особенности: они имеют вид утверждений, формулируются кратко, поэтому легко воспринимаются тестируемыми; отсутствует вероятность возникновения ложного знания или угадывания правильного ответа; минимальные по сравнению с другими формами трудозатраты на составление. Открытые задания эффективно использовать для контроля знаний и умений на уровне чистого воспроизведения, частичного реконструирования, преобразования в выполнении типовых действий.
Задания закрытой и открытой форм представлений проверяют уровень усвоения учебного графического материала испытуемыми на первом и втором уровнях репродуктивной деятельности. Выборка из системы тестовых заданий этих форм представления позволяет создать тест, способный проверить и оценить уровень знаний понятийного материала, умение решать простейшие типовые задания, а также способность к элементам творческой деятельности.
При оценке третьих и четвертых уровней усвоения учебного материала эффективность применения заданий закрытой и открытой форм снижается. Ассоциативные знания - знания причинно-следственных связей, о взаимосвязи определений и фактов, форм и содержания, о соотношении между различными графическими элементами, свойствами, а также умения решать графические задачи позволяют проверить тестовые задания на установление соответствия и на установление правильной последовательности. Основные трудности при разработке заданий с формой
представления на «соответствие» связаны с необходимостью выбора элементов столбцов по одному основанию для включения только гомогенного материала в каждое задание теста, с подбором равновероятных правдоподобных дистракторов в правом столбце, с определением правильного подхода к оценке задания. Педагогический смысл применения заданий этой формы представления - стремление преподавателя реализовать обучающий потенциал тестовых заданий. Задания позволяют многократно активизировать одну и ту же учебную единицу содержания в процессе отработки умений и доведения их до навыков, так как приходится одно и то же искать несколько раз и неоднократно задействовать одно и то же умение. Недостаток таких заданий в их громоздкости.
Процедура созданий заданий на установление правильной последовательности по графической подготовке студентов также сложна и трудоемка; они допускают варьирующую по порядку последовательность ответов; многое из содержания графического материала не поддается трансформации в эту форму представления. Однако, к достоинствам заданий двух последних форм представления можно отнести их высокую дифференцирующую способность; то, что процент угадывания правильного ответа практически равен нулю; возможность использования в тестах, требующих выполнения продуктивной деятельности. Эти задания приемлемы для диагностирования уровня обученности в плоскости базового и программного уровней знаний. Задания форм представления на установление соответствия и на установление правильной последовательности особенно эффективны в выявлении операционного и аналитического уровней умений и навыков.
Источники
1. Хлебников В.А. Особенности разработки отраслевого стандарта «Тестирование педагогическое. Термины и определения» // Вопросы тестирования в образовании. 2004. № 9. С. 5-30.
2. Аванесов В.С. Формы тестовых заданий. М.: Труды Исследовательского центра гособразования СССР, 1991. 46 с.
3. Аванесов В.С. Композиции тестовых заданий: уч. пос. М.: АДЕПТ, 1998. 217 с.
4. Матушанский, Г. У. Тестовый контроль знаний в вузе: курс лекций. Казань: КГТУ, 1993. 36 с.
5. Матушанский Г. У., Маркова О. А. Ранжирование форм тестовых заданий по уровням трудности и сложности их выполнения // «Качество. Инновации. Образование» / материалы второй научной конференции. М., 2004. С. 78-79.
6. Маркова О. А. Система тестового контроля графической подготовки инженеров-механиков: дис. ... канд. пед. наук. Казань, 2005. 334 с.
Зарегистрирована 17.11.2010 г.
