CC BY
162...................................................................................................................................................................ЭШШША,.......ШМ1Ш,......ДШОСТШ
Грамотное применение тестового задания — основа эффективного
V V
процесса обучения в российской школе
Оксана Викторовна Горбунова,
учитель английского языка средней школы № 28 г. Мытищи Московской области, inshakovaox@gmail.com
Ольга Анатольевна Иванова,
учитель английского языка ГБОУ СОШ № 1095 г. Москвы
• контроль знаний • тестирование • системообразующие признаки теста • процедуры проведения теста • испытуемый •
Одна из задач повседневного учительского труда — необходимость осуществлять постоянный контроль качества и успеваемости учащихся. Формы контроля, применяемые учителями, очень разнообразны, но наиболее часто используются письменный или устный опросы. К сожалению, эти формы не лишены недостатков. При проведении устного опроса это относительно большая затрата времени урока при небольшом количестве выставляемых оценок. При проведении письменных работ количество оценок возрастает, но много времени уходит на проверку.
Тестирование как эффективный способ проверки знаний находит в школе всё большее применение. Одним из основных и несомненных его достоинств является минимум временных затрат на получение надёжных итогов контроля. При тестировании используют как бумажные, так и электронные варианты. Последние особенно привлекательны, так как позволяют получить результаты практически сразу по завершении теста.
Термин «тест» был введён в научный обиход американским психологом Дж. Кеттеллом в 1890 году для наименования психологических проб, т. е. специально разработанных стандартизированных методик, с помощью которых пытались измерить различия между индивидами или реакциями одного инди-
вида в разных условиях. Однако ни в психологии, ни в других научных областях (социологии, педагогике, медицине, физиологии, вычислительной технике) всё ещё нет единого определения термина.
Слово «тест» в английском языке означает «испытание», «эксперимент», «проверка», «проба». При такой полисемии терминологические неточности очевидны.
Иногда тест трактуется чрезвычайно широко: под ним понимаются и простые контрольные работы, и контрольно-тренировочные упражнения, и собственно процесс контроля, а также всё взятое вместе.
Французский психолог Альфред Бине считается родоначальником современных тестов, предназначенных для диагностики уровня развития интеллекта.
Понятие «тест» — базовый компонент других понятий, связанных с идеей измерений способностей,свойств, достижений личности. Так, теоретико-прикладная наука, исследующая тест с точки зрения его формы, структуры, функционального назначения, показателей качества, изучающая возможности использования тестов для выявления особенностей формирования и деятельности личности в конкретно-исторических условиях, называется тестологией. Соот-
ветствующий этому наименованию английский термин testing многозначен. Он переводится на русский язык и как тестирование (testing).
Под тестированием в широком смысле имеют в виду совокупность всех процедурных этапов, а именно: планирование, составление, апробация, обработка и интерпретация результатов первичного, предварительного теста — предтеста, перепланирование, оформление и подготовка спецификаций, инструкций окончательного теста.
В узком смысле тестирование есть форма контроля (и обучения) с помощью проведения ииспользования теста.
Функции тестирования
Тестирование в педагогике выполняет три основные взаимосвязанные функции: диагностическую, обучающую и воспитательную.
Диагностическая функция заключается в выявлении уровня знаний, умений, навыков учащегося. Это основная и самая очевидная функция тестирования. По объективности, широте и скорости диагностирования, тестирование превосходит все остальные формы педагогического контроля.
Обучающая функция тестирования состоит в мотивировании учащегося к активизации работы по усвоению учебного материала. Для усиления обучающей функции тестирования могут быть использованы дополнительные меры стимулирования учащихся, такие, как раздача преподавателем примерного перечня вопросов для самостоятельной подготовки, наличие в самом тесте наводящих вопросов и подсказок, совместный разбор результатов теста.
Воспитательная функция проявляется в периодичности и неизбежности тестового контроля. Это дисциплинирует, организует и направляет деятельность учащихся, помогает выявить и устранить пробелы в знаниях, формирует стремление развить свои способности, устранить пробелы в знаниях.
Тестирование — более справедливый метод, ставящий всех учащихся в равные ус-
ловия как в процессе контроля, так и в процессе оценки, практически исключая субъективизм преподавателя.
Тестовые задания могут составляться с использованием разнообразных компьютерных инструментов, начиная от различных редакторов и программ для разработки презентаций до использования языков программирования и возможностей сети Интернет.
Форма теста признана в системе образования многих стран мира. Актуальность и выбор темы состоят в том, что проблема контроля за уровнем знаний, умений и навыков учащихся — вечная проблема образования. Современный учебный процесс не мыслится без системы тестового контроля. Тест как метод изучения индивидуальных различий возник сравнительно недавно. Ввели его в конце XIX — начале XX веков психологи для определения физических, физиологических и психических особенностей человека.
Формы заданий в тестовой форме могут быть весьма разнообразными, в частности, В.М. Распопов предлагает 24 формы тестовых заданий. В этой связи классификация тестовых заданий представляется полезной.
С точки зрения формы тестового задания
можно ввести следующую их классификацию:
Задания в открытой форме подразделяются на задания с дополнением и в виде свободного изложения. В первом случае испы-
туемому необходимо дополнить содержание задания своей информацией. В результате задание должно превратиться в истинное логическое высказывание. Дополнение должно быть кратким — одно, в крайнем случае, два-три слова. При свободном изложении объём водимой информации может быть значительно больше.
В тестировании чаще всего используются задания в закрытой форме. Они характерны тем, что содержат в себе и основу (вопрос, утверждение), и ответы (элементы ответов), из которых испытуемый должен выбрать или составить верный ответ.
В заданиях с выбором нескольких верных ответов испытуемый должен указать все верные ответы. Процедура оценивания здесь сложнее, чем в предыдущем случае. Сумма баллов за такое задание может быть больше, чем в заданиях с выбором одного верного ответа.
Задания с градуированными ответами содержат ответы, которые, возможно, все являются правильными в той или иной степени. Ответы имеют градацию по степени правильности. Задача составителя заключается в том, чтобы найти и применить признак, позволяющий осуществить такую градацию. Максимальное количество баллов испытуемый получает, если его градация ответов полностью совпадает с градацией эксперта, например, разработчика задания.
Задания на установление соответствия требуют от испытуемого найти соответствие между элементами двух множеств. Соответствие устанавливается на основании логических умозаключений или использовании смысловых ассоциаций.
В заданиях на установление правильной последовательности испытуемому необходимо не просто выбрать соответствующие элементы ответа, но и расположить их в нужной последовательности. Заданиями такого типа хорошо проверять знание алгоритмов действий, технологических приёмов, логики рассуждений и т.п. С помощью этих заданий удобно проверять знание и понимание испытуемыми формулировок определений, понятий, терминов, путём конструирования их из отдельных слов, предложений, символов, графических элементов.
Тесты и по назначению могут быть разные:
• Входящие (входной контрольный срез) — данные тесты являются средством актуализации имеющихся знаний, умений, необходимых для последующего освоения содержания учебного предмета. Их уместно использовать не только в начале учебного года, но и в середине, когда начинается освоение нового раздела.
• Текущие — направлены на диагностирование хода дидактического процесса, проверку одной из единиц содержания образовательного процесса (знания, умения, опыт) и используются в повседневной учебной работе. Этот тип тестов имеет большое значение для стимулирования, повышает у учащихся интерес к учению, чувство ответственности за полученные результаты. Содержание этих тестов охватывает важнейшие элементы знаний, умений, освоенные учащимися в ходе урока или на протяжении 2-3 уроков.
• Промежуточные — позволяют оценить качество освоения какой-либо темы. Содержание этих тестов основано на большом объёме материала, поэтому к промежуточному педагогическому тесту предъявляются повышенные требования. Он должен обладать достаточно высокой надёжностью и валидностью. Педагог может разрабатывать такие тесты самостоятельно, имея для этого необходимые знания и навыки. Такие тесты могут разрабатываться централизованно, например, группой учителей районного методического объединения, на курсах повышения квалификации. Оценка этих тестов осуществляется на основе тех критериев, которые предусмотрены учебной программой, требованиями школы и государственными образовательными стандартами.
• Итоговые — предназначены для контроля и оценки степени сформированности знаний, умений, навыков по окончании учебного года, этапа обучения в школе (начальная, основная, средняя школа) или по завершении изучения учебной дисциплины.
По средствам предъявления существуют следующие тесты:
• с использованием тестовых тетрадей, в которых находятся тестовые задания и где испытуемый фиксирует результаты;
• бланковые, когда испытуемые отмечают или вписывают правильные ответы на специальных бланках. Бланки предъявляются отдельно от заданий;
• компьютерные.
Для отслеживания контроля знаний подходит любой из этих способов, но необходимо отметить, что, предъявляя один и тот же тест в разных формах, мы получим разные результаты.
По целям использования выделяются следующие группы тестов:
• Определяющий тест, предназначенный для оценки начальных способностей (применяется в начале года или четверти), несложный, охватывающий небольшой диапазон знаний.
• Формирующий тест (используется для контроля за прогрессом обучения, затрагивает ограниченный сегмент обучения, оценивает результаты обучения определённой главы или раздела, делается на оценке степени владения материалом).
• Диагностический тест, предназначенный для определения трудностей обучения, (внимание сосредотачивается на ответах учащихся, содержит большое число вопросов, имеющих отношение к конкретной тестируемой области). Этот тест фокусируется на распространённых ошибках учащихся, чётко ожидаемых результатах обучения, имеет очень невысокий уровень сложности, применяется для тех учеников, у которых есть проблемы обучения.
• Суммирующий тест. Данный тест разрабатывается для оценки широкого диапазона результатов обучения, определяет степень достижений, содержит более сложные вопросы.
Для мониторинга можно использовать три вида тестов: определяющий, диагностический и суммирующий.
По статусу контролирующей программы:
• Стандартизированные тесты — это официально зарегистрированные тесты, составленные коллективом специалистов и проверенные на большом числе испытуемых. В процессе подготовки и применения стандартизированных тестов предполага-
ется статистическая обработка результатов тестирования. Например, при проведении Единого государственного экзамена используются стандартизированные тесты.
• Нестандартизированные тесты могут быть составлены одним преподавателем и применяться в зависимости от конкретных задач в течение учебного года.
По характеру контролируемой деятельности:
• Дискретные тесты — это одноаспектные тесты, измеряющие усвоение одного определённого материала или сформирован-ность конкретного умения.
• Глобальные тесты — смешанные многоаспектные, измеряющие уровень владения материалом данными испытуемыми. Таковыми являются тесты итоговой аттестации при проведении ЕГЭ.
По критерию оценивания:
• Нормативно-ориентированные тесты — это тесты, предназначенные для определения сравнительного уровня подготовки (обученности) учащихся между собой и для определения сравнительного места, рейтинга для каждого тестируемого. Такие тесты используются, например, при проведении вступительных экзаменов в вузы. Результаты их выполнения позволяют ранжировать абитуриентов по количеству полученных баллов для зачисления.
• Критериально-ориентированные тесты предназначены для определения уровня обученности испытуемого относительно некоторого критерия. Такими критериями при проведении ЕГЭ служат требования образовательного стандарта по иностранным языкам к уровню подготовки выпускников. Число заданий в таких тестах значительно больше, чем в нормативно-ориентированных. При создании тестов, ориентированных на критерий, содержание обучения иностранному языку должно быть отражено максимально.
По характеру представления контрольно-измерительного материала:
• Тест закрытого типа с одним правильным ответом.
• Тесты закрытого типа, где несколько правильных ответов.
• Выделение строки с правильным ответом.
• Тесты на установление соответствия.
• Отсечение лишнего.
• Тесты, в которых нужно вставить пропущенные слова.
• Тесты, связанные с заполнением таблицы без вариантов ответов.
• Задания с выбором ответа: односложных «да» и «нет» или одного из двух предложенных вариантов. Эти задания проверяют понимание, узнавание учащимися известного, выявляют готовность к установлению соответствия предлагаемых ответов с их собственными представлениями.
• Задания со свободным ответом. Задания открытого типа предполагают самостоятельный поиск правильного ответа.
• Задания на завершение (дополнение) высказывания.
• Задания на поиск ошибки. Эти тесты проверяют уровень сознательности усвоения программного материала, степень развития самоконтроля, умение применять знания в нестандартной ситуации.
Преимущества тестирования
Тестирование является более качественным и объективным способом оценивания, его объективность достигается путём стандартизации процедуры проведения, проверки показателей качества заданий и тестов целиком.
Тестирование — более справедливый метод, оно ставит всех учащихся в равные условия — как в процессе контроля, так и в процессе оценки, практически исключая субъективизм преподавателя. По данным английской ассоциации NEAB, занимающейся итоговой аттестацией учащихся Великобритании, тестирование позволяет снизить количество апелляций более, чем в три раза, сделать процедуру оценивания одинаковой для всех учащихся независимо от места проживания, типа и вида образовательного учреждения, в котором занимаются учащиеся.
Тесты — это более объёмный инструмент, поскольку тестирование может включать в себя задания по всем темам курса, в то
время как на устный экзамен обычно выносится 2-4 темы, а на письменный — 3-5. Это позволяет выявить знания учащегося по всему курсу, исключив элемент случайности при вытаскивании билета. При помощи тестирования можно установить уровень знаний учащегося по предмету в целом и по отдельным его разделам.
Тест — это более точный инструмент; так, например, шкала оценивания теста из 20 вопросов состоит из 20 делений, в то время как обычная шкала оценки знаний — только из четырёх.
Тестирование более эффективно с экономической точки зрения. Основные затраты при тестировании приходятся на разработку качественного инструментария, то есть имеют разовый характер. Затраты же на проведение теста значительно ниже, чем при письменном или устном контроле. Проведение тестирования и контроль результатов в группе из 30 человек занимает полтора-два часа, устный или письменный экзамен — не менее четырёх часов.
Тестирование — это более мягкий инструмент, ставящий всех учащихся в равные условия при использовании единой процедуры и единых критериевк оценки, что приводит к снижению предэкзаменационных нервных напряжений.
Недостатки тестирования
Разработка качественного тестового инструментария — длительный, трудоёмкий и дорогостоящий процесс. Стандартные наборы тестов для большинства дисциплин ещё не разработаны, а разработанные обычно имеют очень низкое качество.
Данные, получаемые преподавателем в результате тестирования, хотя и включают в себя информацию о пробелах в знаниях по конкретным разделам, но не позволяют судить о причинах этих пробелов.
Тест не позволяет проверять и оценивать высокие, продуктивные уровни знаний, связанные с творчеством, то есть вероятностные, абстрактные и методологические знания.
Широта охвата тем в тестировании имеет и обратную сторону. Учащийся при тести-
ровании, в отличие от устного или письменного экзамена, не имеет достаточно времени для сколько-нибудь глубокого анализа темы.
Обеспечение объективности и справедливости теста требует принятия специальных мер по обеспечению конфиденциальности тестовых заданий. При повторном применении теста желательно внесение в задания изменений.
В тестировании присутствует элемент случайности. Например, учащийся, не ответивший на простой вопрос, может дать правильный ответ на более сложный. Причиной этого может быть как случайная ошибка в первом вопросе, так и угадывание ответа во втором. Это искажает результаты теста и приводит к необходимости учёта вероятностной составляющей при их анализе.
Но, как и к любой другой технологии обучения, к тестированию предъявляются определённые требования.
При разработке тестов необходимо учитывать несколько важных факторов. Первое: тесты должны быть составлены только на основе пройденного материала, дополнительный материал здесь учитываться не должен. Второе: время, отводимое на выполнение определённого тестового задания, должно быть рассчитано с учётом скорости выполнения подобных заданий не в среднем по классу, а по самому медлительному ученику; при необходимости таким детям следует дать дополнительное время без ущерба для усвоения нового материала. Третье: построение тестов должно идти от простого к сложному, чтобы ученик не запнулся на первых заданиях и не потерял драгоценное время. Четвёртое: все тестовые задания должны быть выполнимы, то есть предварительно проверены на наличие опечаток. При несоблюдении хотя бы одного из этих требований говорить о полноценной и объективной оценке знаний невозможно.
Под содержанием теста подразумевается оптимальное отображение содержания учебной дисциплины в системе тестовых знаний. При создании теста обычно ставятся цели, задачи и ожидаемые результаты.
В научной литературе выделяют 4 основные задачи:
Обучающая задача направлена на формирование у учащихся знаний основных общеучебных умений и навыков усвоения в процессе учебной деятельности. При этом необходимо инструктировать учащихся о требованиях к выполняемой работе и её частям, знакомить со способами самоконтроля.
Развивающая задача направлена на развитие учебных мотиваций, на формирование у учащихся приёмов самоконтроля.
Контролирующая задача направлена на усвоение у учащихся учебного материала, по нему они могут самостоятельно проверить свои знания по теме, определить уровень подготовки.
Воспитывающая задача направлена на интересы учащихся к предмету. Она фиксирует отношение учащегося к себе как к субъекту.
Содержание теста не может быть только лёгким или только трудным. Трудность теста зависит от цели, уровня овладения материалом, специальными умениями и навыками, уровня развития психических познавательных процессов.
Критерии ориентированности теста
В любой тест должны быть включены три основных уровня усвоения знаний и умений.
1. Первый уровень — базовый, на этом уровне ученик овладевает конкретным материалом по предмету на уровне его воспроизведения.
2. Второй уровень обеспечивает овладение учащимися теми общими и специфическими приёмами учебной и умственной деятельности, которые необходимы для решения задач.
3. Третий уровень поднимает учащихся на уровень осознанного творческого применения знаний, предусматривает свободное овладение практическим материалом, приёмами учебной работы умственных действий.
Согласно методике составления теста, разработанной в лаборатории образования ИОСО РАО, основная часть должна состо-
ять из заданий вопросов первого и второго уровней. Именно задания этих уровней соответствуют обязательным требованиям к знаниям и умениям учащихся.
К содержанию теста предъявляются определённые требования, которые также являются показателями качества теста. Одним из важных требований к содержанию теста считается его системность, или системообразующие свойства заданий, представленных в тесте.
Системообразующими признаками теста являются: принадлежность заданий теста к одной учебной дисциплине — так называемая предметная чистота теста, структурная и содержательная целостность, т.е. взаимосвязь заданий теста через общее содержание (например, все задания теста проверяют уровень сформированнос-ти лингвистической компетенции) и интерпретацию результатов (общие итоги результатов тестирования подводятся на основе анализа выполнения отдельных заданий).
Проявлением системного качества теста является различие заданий по степени их трудности. Тест строится как система заданий возрастающей трудности. В него входят лёгкие задания, с которыми должны справиться большинство учащихся (до 20% заданий от всех заданий теста), задания средней трудности (до 60% заданий теста) и трудные задания, с которыми справятся только наиболее подготовленные учащиеся (до 20% заданий теста).
Системообразующим качеством теста является также время тестирования. Время на выполнение стандартизированного теста обычно ограничено. Так, для выполнения 46 заданий экзаменационной работы ЕГЭ даётся 170 минут. Время на выполнение тестовых заданий, согласно приблизительным расчётам, тратится так: 1 мин — задание для чтения; 0,8 мин — задание для аудирования; 0,7 мин — задание по лексике и грамматике для заданий с выборочным ответом. Ограничение времени выполнения тестов — обязательное условие тестирования, так как скорость оперирования языковым и речевым материалом является важным показателем сформиро-ванности языковых навыков и речевых умений.
Репрезентативность — также показатель содержательной стороны тестов. Репрезентативность объектов тестирования означает, например, что в тест включены наиболее важные элементы программы обучения.
Следующим требованием к тестам является специфическая форма тестовых заданий. Таким образом, педагогический тест можно рассматривать как средство измерений, представляющее собой систему тестовых заданий возрастающей трудности, специфической формы, позволяющей надёжно и объективно измерить уровень усвоения знаний, сформированности навыков и умений испытуемых и выразить результат в числовом эквиваленте (баллах).
Объективность и стандартность теста достигается в процессе создания и применения тестов через одинаковые инструкции, формы получения ответов, способы обработки результатов, строгое нормирование условий тестирования.
Структура теста также должна включать:
• общую инструкцию, в которой указывается время выполнения всего теста или субтеста, а также в тестах на говорение — время на подготовку ответа; количество заданий в тесте или субтесте и их назначение, специфика выполнения заданий (работа с магнитофоном, с компьютерной программой), право использовать вспомогательные материалы (словарь);
• инструкцию для экзаменатора по проведению теста, по оцениванию результатов, другие методические рекомендации;
• инструкцию к конкретному заданию или группе заданий, объединённых одной основой (текстом, рисунком и т. д.) или одной задачей;
• собственно тестовые задания.
Итак, мы рассмотрели некоторые основные понятия теории тестов, знание которых необходимо преподавателям для того, чтобы самостоятельно разрабатывать качественные тесты и адекватно использовать их для проверки знаний, навыков и умений по иностранному языку.
Рассмотрим структуру задания в тестовой форме.
Задание с выбором состоит из трёх блоков:
1) блока инструкции;
2) основного, содержательного блока, сформулированного в виде утверждения или вопроса;
3) блока вариантов ответов.
На бланке эти элементы обычно размещаются именно в таком порядке.
В блоке инструкции описывается, как следует выполнять задание, например, «обвести кружочком номер выбранного ответа». Рассмотрим подробнее вопрос о размещении инструкции.
Если тест содержит однотипные задания, то допустимо инструкцию указывать в начале, для всего теста, а не для каждого задания. В тех случаях, когда испытуемый знает, как надо выполнять задание, инструкция вообще не нужна. Обучение испытуемого правилам выполнения задания можно провести посредством тренировочного тестирования. Особенно это касается компьютерного тестирования. Благодаря тренировочному тесту, испытуемые осваивают интерфейс программы-тестера, учатся выбирать ответ с помощью мыши или клавиатуры и избавляются от стресса, вызванного непривычностью процедуры тестирования. В дальнейшем, после запуска основного теста, испытуемые уже не испытывают каких-либо процедурных затруднений при выполнении заданий.
Удаление текста ненужной инструкции из бланка задания повышает его удобочитаемость. Лишняя, ненужная информация не отвлекает испытуемого от самого задания, что способствует концентрации его внимания на содержательном блоке. Таким образом, в некоторых случаях, блок инструкции в задании может отсутствовать.
Перейдём теперь к описанию оформления задания.
В.С. Аванесов придерживается правила: основной, содержательный блок выводится прописными буквами, а блок вариантов ответов — строчными. Варианты ответов помечаются числом и закрывающей скобкой. Номер тестового задания помечается числом и точкой.
Ясно, что стиль оформления заданий должен быть единым по всему тесту. Если решено для содержательного блока использовать строчные буквы, то этому правилу должны подчиняться все задания, независимо от количества строк в блоке.
При компьютерном тестировании текстовых и графических возможностей для построения структуры задания гораздо больше. Однако здесь следует предостеречь от необоснованного использования ярких цветовых гамм как для текстовой (содержательной) части задания, так и для фона, наличия анимированных объектов. Считается, что если программа предназначена для младших школьников, то наличие в диалоговых окнах различных анимированных объектов (подмигивающие рожицы, уморительные кошечки, бегающие по буквам текста и прочее) повышает дружественность интерфейса. Это очень спорный вопрос, и требуются специальные исследования для выявления роли диалоговых интерфейсов компьютерных программ в вербальном восприятии информации испытуемыми.
Тесты должны быть:
1. Относительно краткосрочными, т.е. не требовать больших затрат времени для выполнения тестовых заданий.
2. Однозначными, т.е. не допускать произвольного толкования тестовых заданий.
3. Правильными, т.е. исключать возможность формулирования многозначных ответов.
4. Относительно краткими, требующими сжатых ответов.
5. Удобными, т.е. пригодными для практического использования всеми учащимися.
6. Проверяемыми, т.е. соответствовать проектируемым целям обучения.
7. Надёжными, т.е. показывать устойчивые результаты в сходных условиях.
8. Валидными, т.е. ценными, имеющими значение для процесса обучения.
9. Объективными, т.е. демонстрирующими в результате измерения именно того, что предусмотрено целью контроля.
Тесты обученности составляются по всему курсу или по отдельной изучаемой теме,
в основном по узловым вопросам программы, и применяют на всех этапах дидактического процесса. Образовательный, воспитательный характер тестов направлен на реализацию принципов гуманизма и толерантности. Чтобы добиться развивающего и выравнивающего эффекта и формулировки учебной задачи, тесты удобно использовать на первом, ориентировочно-мо-тивационном, этапе. Обычно составляется небольшой тест, например, из 6 вопросов: 5 вопросов — на активизацию необходимых знаний, а последний вопрос помогает создать проблемную ситуацию, приводит к формулировке учебной задачи. За минимальный срок необходимо получить информацию о степени усвоения предыдущей темы, создать мотивацию к усвоению новой темы, оценить знания. Оптимальны тесты, содержащие 10-12 вопросов при 3-4 выборочных ответах, из которых правильным явлется лишь один. Для обработки результатов тестирования я обычно применяю следующую шкалу: 85-100% — «5», 6585% — «4», 40-65% — «3», 0-40% — «2».
При правильном отборе контрольного материала содержание теста может быть использовано не только для контроля, но и для обучения, позволяя, таким образом, испытуемому самостоятельно обнаруживать пробелы в структуре своих знаний и принимать меры для их ликвидации. В таких случаях можно говорить о значительном обучающем потенциале проектируемой системы, использование которого станет одним из эффективных направлений практической реализации принципа взаимосвязи и единства контроля и обучения.
Отличием теста от контрольной работы является его оснащение, то есть осуществление жёсткой процедуры проведения. Отличие тестов от экзаменов состоит в том, что тесты, используя единые критерии оценки, ставят всех учащихся в равные условия, а это приводит к снижению предэкзаменационных нервных напряжений. Широта теста позволяет ученикам показать свои достижения на широком поле материала. Кроме того, тесты — это эффективный инструмент с экономической точки зрения. Но важнейшее отличие тестов от других форм поверки знаний — его технологичность: задания имеют точный однозначный ответ и оцениваются стандартно.
Общие правила составления тестовых заданий
Способ 1
1. Формулировка вопроса должна начинаться с правильного ответа.
2. Содержание задания должно отвечать программным требованиям и отражать содержание обучения.
3. Вопрос должен содержать одну законченную мысль.
4. При составлении вопросов следует особенно внимательно использовать слова: «иногда», «часто», «всегда», «все», «никогда».
5. Вопрос должен быть чётко сформулирован. Необходимо избегать использования слов: «большой», «небольшой», «малый», «много», «мало», «меньше», «больше» и т.д.
6. Необходимо избегать вводных фраз и предложений, имеющих мало связи с основной мыслью.
7. Неправильные ответы должны быть разумны, корректно подобраны, не должно быть явных неточностей, подсказок.
8. Не следует задавать вопросы с подвохом.
9. Все варианты ответов должны быть грамматически согласованны с основной частью задания. Лучше использовать короткие, простые предложения.
10. Необходимо реже использовать отрицание в основной части, избегать двойных отрицаний, таких как: «Почему нельзя не делать...?»
11. Ответ на поставленный вопрос не должен зависеть от предыдущих ответов.
12. Правильные и неправильные ответы должны быть однозначны по содержанию, структуре и общему количеству слов.
13. Если ставится вопрос количественного характера, ответы следует располагать по возрастанию.
14. Лучше не использовать варианты ответов «ни один из перечисленных» и «все перечисленные».
15. Следует избегать повторения.
16. Имеет смысл использовать ограничения в самом вопросе.
17. Не стоит упрощать вопросы.
18. Место правильного ответа должно быть определено так, чтобы оно не повторялось от вопроса к вопросу.
19. Лучше использовать длинный вопрос и короткий ответ.
20. Необходимо проанализировать задания с точки зрения неверного ответа наиболее подготовленных учеников.
Способ 2
1. Тестовое задание (ТЗ) должно быть представлено в форме краткого суждения, сформулировано ясным, чётким языком и исключать неоднозначность.
2. Содержание задания должно быть выражено краткой, предельно простой синтаксической конструкцией. В тексте задания исключаются повторы и двойное отрицание.
3. Используйте задания с однозначными ответами. В тестовом задании не должно отображаться субъективного мнения или понимания отдельного автора.
4. В тексте тестового задания не должно быть сленга (исключая случая составления теста специально для целей, связанных со знанием этих слов).
5. Следует избегать обобщающих слов, таких как: «всегда», «иногда», «никогда».
6. Формулировка тестового задания не должна начинаться с предлога, частицы, союза.
7. Необходимо избегать использования очевидных, тривиальных формулировок при составлении тестовых заданий и проверять, чтобы каждое ТЗ имело отношение к конкретному факту, принципу, умению, знанию, т.е. обладало достаточной важностью для включения в тест. Все ТЗ должны быть связаны с целями обучения.
8. Следует избегать потери времени. Этого можно достичь следующими способами:
• Используйте в тесте лишь столько ТЗ, сколько необходимо для достижения всех целей тестирования. При тестировании вашей целью должно являться не количество тестовых заданий, а отражение всех целей тестирования.
• Не пытайтесь «обхитрить» испытуемого любым путём. Исключайте ТЗ и ответы (в закрытой форме, например), если их можно оценить, как «обманные».
• Тщательно продумывайте формулировку ТЗ, чтобы избежать дублирования фраз слов.
• В основную часть задания необходимо включить как можно больше слов, необходимых при формулировании задания, а для ответа оставить меньшую часть наиболее важных, ключевых слов для данной проблемы.
9. Следует избегать взаимосвязанных заданий, где содержание одного задания подсказывает ответ на другое.
10. Стоит избегать непреднамеренных подсказок в заданиях и образцах ответа. Эти подсказки являются одним из способов угадывания правильного ответа без обладания достаточными знаниями или умениями. Из текста задания необходимо исключить все вербальные ассоциации, способствующие выбору правильного ответа с помощью догадки. Такими подсказками могут быть:
• Грамматические подсказки.
• Ассоциативные слова и определения (например, в ТЗ закрытой формы использование одинаковых жаргонных фраз или слов в формулировке ТЗ и в возможном ответе).
• Систематическое повторение некоторых черт правильного ответа (например, в ТЗ закрытой формы правильным чаще является ответ наиболее длинным по количеству символов).
11. При разработке заданий открытой формы следует предусмотреть и указать возможные варианты ответа.
12. Задания на установление соответствия:
• Задание необходимо сформулировать так, чтобы всё содержание можно было выразить в виде двух однородных множеств. Элементы задающего столбца необходимо расположить слева (сверху), а элементы для выбора — справа (внизу экрана). Для каждого столбца желательно ввести определённое название, обобщающее все элементы столбца.
• Необходимо, чтобы правый столбец содержал хотя бы несколько дистракторов. Ещё лучше, когда число элементов правого множества примерно в два раза больше числа элементов левого столбца.
13. В задании на установление правильной последовательности чётко формулируется критерий упорядочивания.
14. Национальные системы ряда стран ставят специфические требования к тестовым заданиям, на которые у нас пока обращается недостаточно внимания. В качестве примера приведём требование инструкции по составлению тестов, предоставленной NEAB (Northen Examinatione sand Assesment Board): «Необходимо избегать вопросов, которые в каком-либо виде дают превосходство тестируемому определённого пола. Половой ориентации вопроса необходимо избегать в любом случае. Нельзя считать, что формулировка вопроса в мужском роде подразумевает большую лёгкость ответа, чем в женском роде. Использование формулы «он/она» также нежелательно при формулировании вопросов. Лучше пользоваться неродовыми формулировками. Лучше обращаться к группе, а не к отдельному обучающемуся».
Рассматривая наиболее доступные способы построения тестов, выделим основные.
Вопрос, требующий однозначного ответа
Задания с выбором одного верного ответа (далее — задания с выбором) широко используются в практике тестирования. Другое название этой формы — задания в закрытой форме.
В заданиях этого типа испытуемому предлагается несколько вариантов ответа, среди которых один — верный, а остальные — неверные. Неверные ответы называются дистракторами (distractor). Подбор хороших, правдоподобных дистракторов представляет собой непростую задачу. Если дистракторы подобраны неудачно, то они перестают работать и тогда задание, например с тремя ответами, превращается в задание с двумя ответами. Дистракторы должны отвечать принципу равной привлекательности и достаточно высокой правдоподобности. Считается, что каждый дист-рактор должен выбираться не менее, чем 5% испытуемых.
Приведём рекомендации М.Б. Челышковой по созданию дистракторов. Первый ме-
тод — предъявление ученикам неоконченного списка вариантов выбора и последующее использование неправильных ответов, предложенных учениками. Второй метод — предъявление группе испытуемых заданий в открытой форме и последующий анализ типичных ошибок учеников в составленных ими ответах. Оба метода дают исходную информацию о типичных ошибках испытуемых, на основании которой можно создать весьма правдоподобные, с точки зрения испытуемых, дистракторы.
Характерной особенностью заданий с выбором является то, что испытуемый выполняет задание только выбором одного из ответов. При этом нет необходимости вписывать верный ответ или его фрагмент в бланк задания. Эта особенность является очень важным достоинством заданий с выбором, поскольку здесь достигается однозначное соответствие замысла разработчика задания и понимание задания испытуемым (в заданиях открытого типа это не так). Эта же особенность порождает и часто критикуемые недостатки заданий с выбором. Другим достоинством заданий с выбором является их технологичность. Задания относительно легко оформляются, результаты выполнения фиксируются довольно просто и однозначно. Далее отметим, что обработка результатов тестирования легко выполняется на компьютере, а при использовании некоторых приёмов (особые бланки с копировальной бумагой) и вручную.
Наряду с достоинствами, задания с выбором одного верного ответа подвергаются критике по следующим причинам:
1. Испытуемому демонстрируют неверные ответы, которые он может запомнить. В этом случае, благодаря проявлению действия обучающей функции теста, испытуемый закрепляет в своём сознании неверные ответы как верные. Происходит искажение как содержания, так и структуры знаний испытуемого. Эти рассуждения не лишены оснований, но к настоящему моменту экспериментальных доказательств их истинности нет.
2. Испытуемому предоставляется возможность случайным или целенаправленным образом, угадать верный ответ. Происходит завышение индивидуального балла
испытуемого (количеств верных ответов испытуемого по тесту в целом). Возникает ошибка измерения, которая тем меньше, чем больше дистракторов в задании. С этим явлением можно с тем или иным успехом бороться, вводя поправку на угадывание. Отметим, что с педагогической точки зрения необходимо учитывать мотивацию испытуемых к угадыванию при расчёте поправок.
получиться ситуация, когда испытуемый показал низкие результаты не потому, что имел низкий уровень знаний, а потому, что не имел физической возможности для обстоятельного анализа заданий.
Вопрос, требующий множественного ответа
Как быть, если испытуемый не знает верного ответа, но не желает угадывать его, считая это неэтичным? В этом случае желательно предоставить испытуемому возможность отказа от ответа. Технически это можно сделать, добавив к дистракторам ещё один вариант ответа, например «не знаю». Можно также никак не отмечать номер выбранного ответа, например не обводить кружочком. В компьютерном тестировании необходимо предусмотреть возможность пропуска тестового задания и перехода к следующему.
Чтобы мотивировать испытуемых к отказу от угадывания, можно начислять баллы согласно той или иной специальной процедуре. Например, за верный ответ ставить +1 балл, за неверный ответ — 1 балл, а за отказ от ответа — 0 баллов.
В целом, учитывая все достоинства и недостатки, следует признать, что тестовые задания с выбором одного верного ответа оправдывают своё назначение и вполне могут применяться в тестировании. Минимальное количество вариантов ответа в задании равно двум, а максимальное, в принципе, не ограничено. На самом деле, это, конечно не так.
Во-первых, чисто технически очень непросто разработать большое количество правдоподобных дистракторов. Если в задание ввести большое количество слабых дист-ракторов, то проку от этого будет мало — дистракторы не будут работать и, как указывалось выше, в действительности мы получим тестовое задание с гораздо меньшим числом ответов.
Во-вторых, поскольку время тестирования ограничено, то испытуемый может просто не успеть проанализировать всю совокупность дистракторов по всему тесту. Может
Разработка заданий с выбором, несмотря на их кажущуюся простоту, является непростым делом. Более того, это настоящее искусство — создание удачного задания в тестовой форме. Созданию качественных заданий в тестовой форме способствует следование принципам их разработки.
Подбор ответов к заданиям можно осуществлять на основе следующих принципов:
1) противоречивости;
2) противоположности;
3) однородности; 5) сочетания;
7) удвоенного противопоставления.
Задания с тремя, четырьмя и более ответами имеют более широкую область применения по сравнению с заданиями с альтернативой, так как имеют большее количество дистракторов.
Задания с выбором одного правильного ответа (одна из разновидностей задания в закрытой форме) справедливо критикуются за довольно высокую вероятность угадывания верного ответа. Этого недостатка лишены задания с выбором нескольких правильных ответов. Такие задания иногда называют заданиями с множественным выбором. В этих заданиях в блоке ответов размещено несколько верных ответов и несколько дистракторов.
Увеличение количества верных ответов приводит к общему увеличению числа ответов. Если считать оптимальным соотношение «один верный ответ на два дистракто-ра» (например, в заданиях с тремя ответами), то при трёх верных ответах потребуется 6 дистракторов, итого — 9 вариантов ответов. Это достаточно трудно.
Оценивание выполнения такого задания сложнее, чем оценивание задания с выбором одного верного ответа. В. Аванесов предлагает за полностью правильное решение дать три балла, за каждую ошибку снимать один балл. Если ошибок больше трёх, то давать 0 баллов. Таким образом, максимальное число баллов равно 3, а минимальное — 0, то есть испытуемый может получить за выполнение такого задания 0, 1, 2, 3 балла. Предложенная схема позволяет получать только положительные баллы в предположении, что число верных ответов равно трём и более.
Схема оценивания задания с выбором нескольких верных ответов получается более сложной, чем для заданий с выбором одного ответа. Кроме того, вклады в итоговый результат (индивидуальный балл испытуемого) у них разный. В первом случае за одно полностью выполненное задание испытуемый получает 3 балла, а во втором случае — 1 балл. Это может привести к снижению точности измерений такого теста.
М. Челышкова рекомендует за полностью выполненное задание с выбором нескольких верных ответов давать 1 балл и 0 баллов — за хотя бы один неверный ответ.
В. Переверзев описывает метод «частичного балла» (рагйа^геСй), в котором за каждый правильно выбранный ответ даётся 1 балл, за неправильно выбранный ответ — 0 баллов. Штрафные баллы в этом методе не предусмотрены.
На наш взгляд, использование заданий с выбором одного верного ответа предпочтительней. Единственным преимуществом заданий с выбором нескольких верных ответов является хорошая защищённость от угадывания. Однако весьма непросто создать задание, содержащее и несколько верных ответов, и большое количество очень хороших дистракторов. При слабых дистракторах защищённость от угадывания будет сильно снижаться. Лучше всё же заменить одно задание с выбором нескольких верных ответов на несколько заданий с выбором одного верного ответа. Можно также использовать серийные задания, но остаётся проблема оценивания.
Вопрос, требующий свободного ответа
Для заданий в открытой форме мы будем рассматривать только задания вида «дополнение». Задания вида «свободное изложение» не технологичны и не могут использоваться в компьютерном тестировании. В заданиях свободного изложения проверку правильности осуществляет человек, от субъективизма которого мы хотим избавиться. В этом смысле задания со свободным изложением не являются заданиями в тестовой форме.
Задания в открытой форме принципиально отличаются от заданий в закрытой форме. Задания в закрытой форме содержат всё необходимое для ответа, испытуемому только нужно отметить выбранные элементы в блоке вопросов. Задания же в открытой форме требуют ввода дополнительной информации — дополнения.
Рекомендуется формулировать задания так, чтобы дополнение находилось в конце задания. Однако иногда не удаётся этого сделать, и тогда допустимо расположение дополнения внутри задания. Крупным недостатком заданий в открытой форме является сложность подбора формулировки, чётко и однозначно определяющей, какое дополнение необходимо вставить.
В случае компьютерного тестирования испытуемый может получить 0 баллов просто потому, что эталон ответа, заложенный в память ЭВМ, не соответствует введённому слову. Тогда происходит неверное оценивание ответа испытуемого, что приводит к увеличению ошибки измерения. Другой источник неверного оценивания — орфографические ошибки. По существу испытуемый ответил правильно, ведь цель данного задания — выяснить, знает ли он правильный ответ. Проверка же орфографии, грамматики — это цели совсем других заданий.
Очевидно, что разработчик должен предусмотреть все возможные варианты правильных ответов. К сожалению, во многих случаях это очень сложно сделать. Предпринимаются различные меры, с тем, чтобы упростить процесс создания заданий в открытой форме. В частности, предлагается сформировать множество верных ответов, затем в качестве эталона использо-
вать корни слов, совокупности символов, характеризующих правильный ответ.
Характеризуя тестовые задания в открытой форме, следует отметить, что их несомненное достоинство — полное исключение угадывания. Недостатком, и очень сильным, является сложность:
Очевидно, что правильно подобранный материал, корректно построенные вопросы, знание основных принципов работы с тестовым материалом — залог высокой результативности и повышения мотивации учащихся. □
а) формулирования ясного, недвусмысленного задания. Может оказаться, что испытуемый понял задание не так, как задумал разработчик теста. В закрытых заданиях, даже неудачно сформулированных, испытуемый получает дополнительную информацию из списка ответов, что помогает ему однозначно понять задание;
б) всестороннего и полного анализа ответа испытуемого — нередки случаи, когда испытуемый предлагает, по сути, верный ответ, но его формулировка отличается от эталона. Все возможные варианты верных по существу ответов должны быть предусмотрены во множестве эталонов к заданию;
в) отсутствия технологичности — как правило, проверка ответов возлагается на экзаменатора; машинную проверку, особенно в гуманитарных областях, далеко не всегда удаётся реализовать.
В тех случаях, когда этот недостаток пре-одолён, можно получить хорошее тестовое задание, позволяющее повысить точность измерений уровня знаний. Отметим, что Георг Раш при экспериментальной проверке своей теории настаивал на применении тестовых заданий именно в открытой форме.
В целом, взвешивая все «за» и «против», мы считаем, что задания в закрытой форме предпочтительнее, поскольку практически исключают занижение индивидуального балла из-за неудачно сформулированного задания. Эффект угадывания можно заметно уменьшить, используя задания: серийные, на соответствие, на правильную последовательность, с градуированными ответами. Можно также вводить поправки на угадывание.
