CC BY
177
МЕТОДИЧЕСКИЕ ОСНОВЫ КОНСТРУИРОВАНИЯ КОМПЬЮТЕРНЫХ ТЕСТОВ
О.Г. Деменченок,
начальник кафедры математики и информатики ФГОУ ВПО ВСИ МВД России,
кандидат технических наук, доцент
Н.К. Ширяева,
заместитель начальника кафедры математики и информатики ФГОУ ВПО ВСИ МВД России, кандидат технических наук, доцент
В.И. Демаков,
доцент кафедры математики и информатики ФГОУ ВПО ВСИ МВД России,
кандидат технических наук
Предложена технология создания и применения на учебных занятиях средств компьютерного тестирования с использованием программы Assistent. Изложены методические рекомендации для подготовки материала и построения компьютерных тестов.
The technology of creation and application on studies of means of computer testing with use of program Assistent is offered. Methodical recommendations for preparation of a material and construction of computer tests are stated1.
В последнее время всё более востребованными становятся тестовые технологии контроля знаний.
На федеральном уровне тестирование, в том числе и компьютерное, прочно вошло в повседневную практику. В качестве примеров можно привести Единый государственный экзамен (ЕГЭ, сайт www.ege.ru), теоретический экзамен на получение водительских прав, федеральный Интернет-экзамен в сфере профессионального образования (проводится при лицензировании и аккредитации вузов, сайт www.fepo.ru), тестирование уровня остаточных знаний курсантов, организуемое ДКО МВД России в системе STELLUS и др. Тесты становятся необходимой частью учебного процесса.
Основные функции программ автоматизированного контроля знаний:
• разработка компьютерных тестов,
• автоматизация предъявления теста обучаемым, регистрация ответов,
• обработка результатов тестирования,
• определение педагогической оценки (зачтено - не зачтено; неудовлетворительно - удовлетворительно - хорошо - отлично).
Дополнительными характеристиками программ компьютерного тестирования являются:
• количество поддерживаемых форм тестовых заданий (т.е. типов шаблонов для ввода формулировки задания, исходных данных,
1 Demenchenok O.G., Shiryaeva N.K., Demakov V.I. Methodical bases of designing computer tests.
иллюстративного материала, вариантов ответа и данных для оценки степени правильности ответа);
• шкала педагогического оценивания(4 бальная - неуд/ уд/ хор /отл, 20 или 100 балльная шкала и др.);
• возможность использования мультимедийных файлов (графика, видео, аудио) для иллюстрации задания и в качестве вариантов ответов;
• задание условий формирования выборки вопросов при тестировании,
• задание критериев оценки,
• возможность сохранения и печати протокола тестирования (после подписания обучаемым протокол может служить документальным подтверждением факта тестирования и обоснованием педагогической оценки);
• накопление и анализ статистики ответов;
• возможность работы в сети и др.
Один из наиболее удобных способов реализации тестирования - это инструментальные оболочки, позволяющие пользователю составлять различные тесты. Одним из авторов этой работы созданна система автоматизированного контроля знаний Assistent,. Сайт программы www.asksystem.narod.ru; для учебных заведений регистрация бесплатна. Программу используют в учебном процессе 34 учебных заведений России, Украины и Беларуси.
Методика разработки теста
Прежде всего, уточним что тест - это система заданий специфической формы, позволяющая формализовано измерить уровень обученности.
Автоматизированный контроль знаний основан на использовании стандартизированных форм заданий. Форма тестового заданий представляет собой шаблон для ввода содержания задания, т.е.:
• формулировки задания,
• исходных данных,
• иллюстративного материала,
• вариантов ответа,
• данных для оценки степени правильности ответа.
Принято различать тестовые задания открытого и закрытого типа.
Задание открытого типа - тестовое задание без указания возможных вариантов ответа; испытуемому предлагается самостоятельно сформулировать и записать ответ или выполнить какое-либо действие в соответствии с заданием (например, нарисовать схему).
Задания открытого подразделяются на задания с развернутым и кратким ответом. Первые подразумевают запись ответа в произвольной форме; такие задания нетехнологичны и используются редко. Оцениваются такие задания экспертами (автоматизация проверки невозможна). Задания с развернутым ответом - это единственная форма тестовых заданий, не
используемая в автоматизированных (компьютерных) системах контроля знаний.
Более технологичны задания с кратким свободным ответом, на которые тестируемый должен записать ответ словом, словосочетанием или числом, например:
Прочтите отрывок из статьи экономиста Б.Д. Бруцкуса и напишите сокращенное название политики, о которой идет речь в тексте.
«Уже в марте 1922 г., через год после [ее] объявления, Ленин провозгласил, что отступление социализма должно быть остановлено и что он должен укрепиться на командных высотах экономической жизни, т.е. в ее централизованных секторах».
Ответ:________________.
Эта форма задания наиболее близка к традиционной. Вероятность угадывания минимальна, методически ценна самостоятельная формулировка ответа. Недостаток - сложность синтаксического (тем более -семантического) анализа ответа, невозможность в ряде случаев предусмотреть ввод учащимся различных синонимов, всех частично правильных ответов и т.п. Указанный тип заданий наиболее эффективен при проверке разного рода терминов, констант, дат.
Проверка заданий с кратким свободным ответом в отличие от заданий с развернутым ответом легко поддаётся формализации (отпадает необходимость в экспертах), а также автоматизации (т.е. может быть выполнена компьютерной программой без участия человека).
Значительно более привычны задания закрытого типа.
Задание закрытого типа - тестовое задание, содержание которого сопровождается несколькими вариантами ответа; испытуемому предлагается выбрать правильный ответ.
Прежде всего, рассмотрим задания с выбором одного правильного ответа. Эта форма задания интуитивно понятна студенту, ввод ответа требует минимального времени, процедура обработки ответа предельно проста.
Пример:
Укажите тип сменных носителей информации, основанный на магнитной записи:
дискеты;
CD диски;
DVD диски;
Flash USB Drive.
Недостатки заданий с выбором одного правильного ответа -существенная вероятность угадывания правильного ответа, возможность запоминания неверных ответов. Зацикливание исключительно на этой форме заданий нецелесообразно, так как случайное угадывание правильных ответов способно существенно повлиять на результат тестирования, нарушая достоверность педагогического измерения.
Тестовое задание с несколькими правильными ответами - задание, в котором правильных ответов может быть несколько.
Задания с выбором нескольких правильных ответов очень похожи на предыдущую форму тестовых заданий. Поэтому в инструкции для тестируемых или в самом задании необходимо указать на возможность выбора нескольких вариантов ответа, например:
Укажите все типы оптических сменных носителей информации: дискеты;
CD диски;
DVD диски HDD USB Drive;
Flash USB Drive.
Эта форма заданий более информативна, дает возможность учесть частично правильные ответы. Следует отметить, что задания с выбором нескольких правильных ответов обладают достаточной стойкостью к случайному угадыванию правильного ответа: при выборе из пяти вариантов ответа вероятность угадывания менее 10 %.
Тестовое задание на установление правильной последовательности -тестовое задание, выполнение которого состоит в установлении правильной последовательности операций, действий, событий.
Тестируемому задается вопрос и дается набор готовых элементов. В его задачу входит расстановка этих элементов в правильной последовательности. Вероятность угадывания (при числе элементов более трех) - незначительна. Пример:
Объём памяти внешних запоминающих устройств возрастает в порядке:
DVD;
Жесткий диск; гибкий диск;
CD.
Задания на установление правильной последовательности специфичны, и в силу этого применимы не во всех ситуациях. Такие задания весьма результативны в тех предметных областях, где требуется четкое знание последовательности операций, алгоритма действий или взаимного
расположение объектов.
Тестовое задание на соответствие (тестовое задание перекрестного выбора) - тестовое задание, при выполнении которого необходимо установить соответствие между элементами двух множеств (двух списков). Пример.
Установите соответствие:
ОБЛАСТЬ ЗНАНИЯ УЧЕНЫЕ
1. математика А) Сократ
2. философия Б) Пифагор
В) Кант
Г) Г егель
Д) Эйлер
Е) Лагранж
Ответы: 1 -__________,
2 -__________.
Задание на соответствие информативно, т.к. содержит целую группу заданий с выбором правильного ответа выбора. Вероятность угадывания (при числе элементов более трех, а также при разной длине списков) -практически нулевая.
Выбор формы тестового задания во многом определяется спецификой содержания проверяемого материала, целевым назначением теста и личными предпочтениями составителя. Целесообразно учитывать, что включение заданий с несколькими правильными ответами, заданий на восстановление последовательности и соответствия, а также заданий с кратким свободным ответом в арсенал составителя теста содействует снижению вероятности случайного угадывания и повышению достоверности педагогических измерений.
Разработка теста
На первый взгляд всё просто: нужно лишь составить вопросы (задания) и варианты ответов, с чем легко справится любой преподаватель. К сожалению, это неверно. Составление тестов - это трудоемкая операция, требующая методической грамотности и опыта работы с тестами. Основные ошибки в составлении теста: несоответствие целевому назначению теста; недостаточное количество заданий; некорректность формулировок, неоднозначность вопросов и вариативность ответов, акцентирование на малозначимых фактах, усвоение которых может не отражать овладение всей системой знаний, умении, навыков; требование элементов интерпретации в ответах и т.п.
Чтобы не быть голословными, приведем два примера неудачных тестовых заданий.
Какой датой обозначено начало действия романа И.С.Тургенева «Отцы и дети»? 1) 1848 г. 2) 1859 г. 3) 1861 г. 4) 1862 г.
К какому из героев романа Булгакова «Мастер и Маргарита» могут быть отнесены слова эпиграфа?
1) Мастеру; 2) Маргарите; 3) Воланду.
Чтобы ответить, когда началось действие романа «Отцы и дети», или в каком году написана поэма «Двенадцать» с разбросом вариантов ответов один-два года, нужно обладать феноменальной памятью или заучить эти даты наизусть. Подобные задания нацелены на проверку знания малозначимых фактов, и весьма условно соответствуют целевому назначению теста - проведению единого государственного экзамена по литературе.
Некорректно спрашивать, к какому из героев романа Булгакова «Мастер и Маргарита» могут быть отнесены слова эпиграфа. Прежде всего, эпиграф относится ко всему произведению в целом, а не к отдельному герою. Кроме того, мнение обучаемого может не совпасть с мнением авторов.
Приведенные выше задания взяты из официальных демо-версий единого государственного экзамена (ЕГЭ), утвержденных Департаментом общего образования Минобразования России, с официального сайта ЕГЭ www.ege.ru. Надо полагать, что задания составлены высококвалифицированными специалистами, успешно прошли рассмотрение и утверждены на самом высоком уровне. Если уж тесты такого уровня несовершенны, то трудно ожидать совершенства от тестов, создаваемых обычными преподавателями. Вместе с тем, избежать хотя бы грубых ошибок можно, если следовать следующим рекомендациям.
1. Оценить целесообразность тестирования. Автоматизированный контроль эффективен в тех предметных областях, которые поддаются формализации (большинство естественнонаучных, юридических и технических дисциплин). Внедрение его в таких дисциплинах, как философия, литература, риторика, большей частью, достаточно сложно.
2. Выделить для этой работы достаточное количество времени. С учетом загруженности учебной работой и другими обязательными мероприятиями на составление теста целесообразно отвести не менее 10 дней.
3. Четко определить целевое назначение теста - проверка готовности к занятию, контроль знаний по теме, итоговый контроль и т.д. Каждое задание следует мысленно проверять на соответствие целевому назначению.
4. Отобрать учебный материал, подлежащий тестовому контролю. Контролироваться должно как знание теории, так умение практического применения полученных знаний.
5. Сформулировать тестовые задания. Спорные точки зрения, вполне приемлемые в науке, не рекомендуется включать в содержание тестовых заданий. Тестовые задания обычно требуют определенных ответов, признаваемых в качестве точных и бесспорных. Поэтому правильно сформулированное тестовое задание должно быть:
- легко понимаемым (формулировка задания должна быть понятна после первого прочтения, целесообразно использовать простые по синтаксической конструкции предложения);
- однозначным (не должно быть двусмысленности, не желательно использовать такие слова, как «иногда», «часто», «обычно» и т.п.);
- по возможности кратким (содержать минимум информации, необходимой для передачи смысла).
Ориентировочное количество тестовых заданий: для входного контроля
- 10-15; для контроля на занятии - 15-30; для итогового контроля - 30-60. Общее количество тестовых заданий должно, как минимум, в 2-3 раза превышать количество заданий, предъявляемых в одном сеансе тестирования.
Время тестирования может определяться на основе времени выполнения теста преподавателем (испытуемым выделяют в 3-5 раз больше); усредненных эмпирических данных выполнения отдельного задания из расчёта 0,5-2 минуты на одно задание или данных пробного тестирования.
Если скорость выполнения теста не имеет первостепенного значения, то жесткие временные рамки становятся препятствием для объективного измерения уровня подготовленности. В этом случае, как правило, принимается время, достаточное для полного прохождения теста абсолютным большинством испытуемых при пробном тестировании.
6. Апробация и доработка теста. После окончания разработки теста составителю рекомендуется самостоятельно выполнить все тестовые задания. Это позволит выявить и исправить различные случайные ошибки: опечатки, пропуск слов, несоответствие правильных и неправильных вариантов ответа и др., а также приблизительно оценить трудность теста. Затем желательно представить тест на суд своих коллег, преподающих ту же учебную дисциплину (как известно, ошибки со стороны виднее, можно получить ценные советы по совершенствованию теста). Перед первым тестированием обучаемых необходимо разъяснить им порядок работы с применяемым программным средством. Представляется целесообразным запуск демонстрационного теста, что позволит в дальнейшем избежать технических ошибок.
К сожалению, от ошибок никто не застрахован. Поэтому после внедрения теста в учебный процесс работа над ним не заканчивается. Для доработки теста может использоваться накопительный статистический анализ по ответам на каждое тестовое задание. Следует обратить особое внимание на задания с низким процентом правильных ответов. Анализ подобной статистики позволяет выявить недостаточно раскрытые в процессе обучения вопросы, а также некорректно сформулированные задания.
ПРИМЕЧАНИЯ
1. Беспалько В.П. Образование и обучение с участием компьютеров. - М.: МОДЭК, 2002.
2. Деменченок О.Г. Ширяева Н.К. Расчет влияния случайных факторов на результат тестового контроля знаний. Вестник ВСИ МВД России № 4(31). 2004.
3. Деменченок О.Г. Пути повышения достоверности педагогических измерений. Монография. - Иркутск, ВСИ МВД России, 2007. - 99 с.
