CC BY
25
Методика
МЕТОДИКА ОБУЧЕНИЯ РАБОТЫ С ПАКЕТОМ ПРОГРАММ MYTEST
-1-
В России принято название «Педагогические Измерения» (Ред.).
Валерий Фетисов,
Нежинский государственный университет им. Гоголя
fetis1@mail.ru
Три украинских вуза — Национальный педагогический университет, Нежинский государственный университет и Кировоградский государственный педагогический университет — совместными усилиями разработали и предложили абитуриентам новую специальность «Образовательные измерения»1. Среди курсов её учебной программы есть и курс «Компьютерные технологии в тестировании», одним из разработчиков которого является автор статьи. Представляется, что читателям будет интересно ознакомиться с комплексом лабораторных работ для работы с пакетом программ MyTest для создания тестовых заданий, который разработал и использует автор на практических занятиях.
Ключевые слова: компьютерные системы тестирования знаний; программное обеспечение для тестирования; тестирование; образовательные измерения, учебный процесс, лабораторные работы; методика; организация тестирования в MyTest.
Лабораторная работа №1
Тема: «Создание тестовых заданий при помощи MyTest»
Цель: научиться использовать пакет программ MyTest для создания тестовых заданий.
-e-
Указания к выполнению
1. При создании тестовых заданий позволяется использовать Интернет, библиотеку и другие источники информации.
2. Во время формирования тестовых заданий создавайте их сразу в электронном виде в любом текстовом редакторе, а по окончанию переносите их в MyTest путем копирования.
3. Во время работы с программой учитывайте следующее:
• шкала (система) оценки: пятибалльная;
• периодически осуществляйте проверку заданий на ошибки;
• для графических изображений используйте формат JPEG, PNG.
4. Обращайте внимание на грамматику текста задания. В частности:
• все ответы должны начинаться или из большой или с маленькой буквы;
• после символов «;», «,», «.», а также «%» ставится пробел;
• перед символами «,» и «:» пробел не ставится;
• не ставьте между словами более одного пробела.
5. Для тестового задания на установление соответствия («Сопоставление») ответы располагаются в левом списке.
Задание
1. Создайте тест. Тест должен включать комплекс заданий разной сложности: от простых до достаточно сложных.
2. Создайте для него тестовые задания на заданную преподавателем тему (темы) согласно такими требованиями:
• по одному тестовому заданию для следующих форм: задание с простым множественным выбором; со сложным множественным выбором; на установление соответствия; на восстановление правильной последовательности; с открытой формой ответа;
• по одному тестовому заданию для каждой из разновидностей тестовых форм заданий, которые предоставляет возможность создавать программа: простой и сложный множественный выбор, указание последовательности, сопоставление, указание истинности или ошибочности утверждений (MCQ-задание), ручной ввод числа, ручной ввод текста, выбор части изображения, перестановка букв, «Да/Нет».
3. Установите для каждого задания уровень сложности в пределах от «1» до «5».
4. Ограничение по времени устанавливайте только на тест в целом.
5. Требования к форматированию текста заданий. Во время создания тестовых заданий используйте:
• шрифт «Times New Roman»;
• размер кегля «14»;
• выравнивание «по ширине»;
• абзацный отступ для первой строки вопроса тестового зада-
^^то^ииккаа
Pn
измерения
ния «10», для ответов — «0»;
• все интервальные отступы равны «0»;
• другие параметры форматирования (там, где Вы считаете целесообразным), устанавливайте по Вашему усмотрению.
6. Обязательными требованиями являются:
• наличие общего заголовка теста (название, автор, назначение);
• наличие общей инструкции прохождения тестирования, содержащей пояснение к процессу прохождения теста;
• одно из заданий открытой формы для ввода числа должно позволять ввод правильного ответа на интервале, то есть позволять допуски;
• наличие рисунка хоть бы для одного тестового задания (кроме того, который уже предусматривает обязательное наличие рисунка).
7. Выполните самостоятельно тестирование по созданному тесту и убедитесь в отсутствии ошибок. Примените для этого в модуле MyTestEdit режим «Учебный».
8. Осуществите орфографический контроль текста Вашего теста. Для этого:
• выгрузите тест в текстовый файл (примените для этого команду Файл ^ Экспорт -^ Бумажный тест), после чего текстовый файл будет автоматически загружен в текстовый редактор MyTest;
• скопируйте из него текст в Word;
• осуществите проверку орфографии средствами Word.
г
Контроль знаний и навыков
После выполнения лабораторной работы студент должен знать:
1. Что такое «portaЫe»-версия программы?
2. Как создать новый тест в MyTest?
3. Как задать систему оценки?
4. Какие разновидности тестовых заданий позволяет создавать MyTest?
5. Как добавить в тестовое задание изображение?
6. Почему нужно использовать графические изображения в форматах JPEG, PNG?
7. Как проверить задания на ошибки?
8. Какие режимы тестирования имеет модуль создания тестов?
9. Как изменить режим тестирования?
10. Как установить пароль на редактирование теста, тестирование, защищённые результаты?
После выполнения лабораторной работы студент должен уметь:
1. Создать новый тест в MyTest.
2. Создавать тестовые задания при помощи MyTest.
3. Форматировать текст заданий.
4. Установить нужную систему оценки.
-e-
5. Добавить в тестовое задание изображение.
6. Изменить режим тестирования.
7. Осуществить проверку заданий на ошибки.
8. Установить пароль на редактирование теста, тестирование, защищённые результаты.
Лабораторная работа №2
Тема: «Организация тестирования при помощи MyTest»
Цель задания:
1. Научиться использовать пакет программ MyTest для проведения тестирования.
2. Создание общего теста по заданной преподавателем теме (темами).
Указания к выполнению
1. Перед началом проведения тестирования студенты определяют администратора, который будет выполнять функцию объединения созданных тестовых заданий в единый общий тест. Администратор проводит тестирование первым, а потом формирует общий тест из всех тестовых заданий, которые по результатам обсуждения признаются студентами целесообразным включить в общий тест. В общий тест могут быть включены тестовые задания и одинакового содержания, но с раз-
ной формулировкой. Для объединения тестов в модуле MyTest нужно выполнить следующее:
• загрузить тест, к которому следует добавить тестовое задание из другого теста;
• выполнить команду Файл ^ Импорт ^ Задания ^ из другого теста и в окне «Открыть» найти и открыть файл с тестом, задания из которого следует импортировать;
• в окне «Выбор заданий для импорта» отобрать задания, которые нужно добавить к основному тесту.
2. Определить IP-адрес компьютера можно различными путями. Например:
• Выбрать из группы «Стандартные» программу «Командная строка», после чего откроется окно «Командная строка». Ввести в командной строке окна команду ipconfig.
• В группе «Ethernet adapter. Подключение по локальной сети» строка «IPv 4 адрес» и содержит IP-адрес компьютера, например, «10.0.1.227».
3. Сообщение «Отказано в получении теста» при наличии связи с компьютером преподавателя является признаком того, что в модуле «Журнал тестирования» не полностью определены параметры, например, не включено действие «Раздавать файл с тестом» или не определено место расположения файла.
нл
измерения
Задание
Каждый из студентов проводят тестирование всех других студентов.
Студент, который на текущем занятии проводит тестирование первым, выполняет такое задание:
1. Загружает модуль «Журнал тестирования» (MyTestServer).
2. Выполняет настройки параметров (Настройка ^ Параметры):
• На вкладке «Папки» определяет папку для сохранения результатов тестирования.
• На вкладке «Сохр. Результаты» выбирает текстовый формат и обязательно формат резервного файла результатов программы Помните о важности результатов, которые Вам будут нужны в дальнейшем для анализа результатов тестирования.
3. На вкладке главного окна «Раздать тест»:
• добавляет созданный в лабораторной работе файл (тест) в список раздач (кнопка «Добавить файл в список раздач»). Место расположения файла произвольно, это может быть папка в сети, жёсткий диск, флеш-карта своего компьютера.
• включает действие «Раздавать файл с тестом».
4. Определяет №-адрес своего компьютера и сообщает его всем студентам с целью установления ими связи.
5. На вкладке «Монитор» наблюдает за процессом тестирования.
6. Итоговые результаты тестирования студентов отображаются на вкладке «Результаты».
7. Убедиться в наличии файлов с результатами тестирования.
Для других студентов, которые будут проводить тестирование, действия будут такими:
1. Выполнить команду Файл ^ Новый.
2. Удалить файл-тест предыдущего студента из списка, щелкнув кнопку «Удалить файл из списка».
3. Добавить свой файл с тестом в список раздач, щелкнув кнопку «Добавить файл в список раздач».
Студент, проходящий тестирование, в первом сеансе работы с модулем производит такие действия:
1. Загружает модуль плеера тестов (MyTestStudent). При этом не обращайте внимание на сообщение «Ошибка связи с сервером»: она появляется вследствие того, что настройки модуля содержат заведомо неверные настройки.
2. Осуществляет настройки на вкладке «Сеть»:
• вводит указанный №-адрес компьютера. Порт сервера (5050) не изменяется;
• включает действия «Отправлять результаты на сервер учителю, получать тесты» и «Пытаться загрузить тест с сервера при старте»;
• проверяет связь с сервером, в результате которой должно быть полученное сообщение «Соединение выполнено успешно»;
• обязательно нажмите большую кнопку «Применить».
3. На вкладке «Имя» вводятся такие данные:
• В группе полей «Имя пользователя:» в поле «Заголовок» введите «Фамилия:», в поле «По умолчанию» — Вашу фамилию и имя, а также удалите информацию в поле «Шаблон».
• В группе полей «Дополнительное поле»: в поле «Заголовок» введите «Группа:», в поле «По умолчанию» — название Вашей учебной группы, а также удалите информацию в поле «Шаблон».
• Установите флажок в поле-метке «Помнить информацию о последнем пользователе».
• Щелкните большую кнопку «Применить».
Помните, что параметры на этой вкладке задаются только один раз в сеансе работы с программой.
4. На вкладке «Сохр(анение) параметров» отмените действие «Сохранять настройки при выходе».
Для начала тестирования выполнить команду Файл ^ Получить по сети.
Перед началом нового тестирования выполните команду Файл ^ Закрыть или на панели инструментов окна модуля щелкните кнопку|Л |
Если после окончания тестирования не удаётся прекратить работу с модулем, то причиной этого скорее всего будет то, что на вкладке «Сохр(ане-ние). параметров» не было отменено действие «Сохранять настройки при выходе».
После проведения тестирования осуществляется обсуждение тестовых заданий. Студенты, которые проходили тестирование, для каждого из тестовых заданий теста в процессе обсуждения теста должны дать ответы на следующие вопросы:
1. Что можно сказать относительно общих требований к тесту (например, доступность для понимания)?
2. Было ли целесообразным включение в тест тестового задания?
3. Насколько корректным является текст задания и ответа?
4. Отвечает ли тестовое задание заявленному уровню сложности и ограничению по времени?
5. Качественность дистракторов.
6. Насколько оправданным является применение к тексту задания элементов форматирования. Или — наоборот — где его можно было бы применить?
Pn
измерения
-e-
Контроль знаний и навыков
После выполнения лабораторной работы студент должен знать:
1. Какие действия должен осуществить преподаватель для проведения тестирования для того, чтобы иметь возможность наблюдать за ходом тестирования и автоматически раздавать тест по сети?
2. Какие действия должен осуществить студент для получения теста по сети?
3. Как сохранить результаты тестирования?
4. В каких форматах возможное сохранение результатов тестирования?
После выполнения лабораторной работы студент должен уметь:
1. Организовать тестирование.
2. Контролировать прохождение тестирования.
3. Сохранить результаты тестирования в разных форматах.
Лабораторная работа №3
Тема: «Анализ результатов тестирования с помощью MyTest»
Цель
Научиться использовать пакет программ MyTest для анализа результатов тестирования.
Указания к выполнению
1. Тест должен включать комплекс заданий разной сложности: от простых до достаточно сложных. Вместе с тем очевидно, что очень простые тестовые задания, на которые правильно отвечают все студенты без исключения, а также сложные задания, на которые не отвечает ни один студент, не имеют свойства дифференциации студентов по уровню подготовки, поэтому в этом смысле они не являются настоящими тестовыми заданиями и их нужно исключить из теста.
2. Если файл с результатами в формате MTR содержит данные тестирования с разными тестами, то следует удалить лишние результаты из списка. Для этого вызовите контекстное меню на строке с ненужным результатом и выберите из него пункт «Удалить результат из списка». Определить, к какому тесту принадлежит результат, можно из колонки «Файл» или «Заголовок».
Задание
1. Подготовьте в текстовом редакторе отчёт с анализом тестирования.
2. Составьте в отчёте таблицу (допускается сформировать её отдельно от отчёта в Excel) по такой форме:
методдииаа
№ п/п Формулировка вопроса Уровень сложности в тесте Количество правильных ответов Потрачено времени на обдумывание (мин.) Потрачено на обдумывание времени (% от всего времени) Уровень сложности (предлагается по результатам тестирования)
1.
Всего I I 100 I
3. Откройте модуль журнала тестирования и загрузите в него результаты тестирования (осуществите импорт) Вашего теста.
4. Выполните анализы модуля, которые помогут заполнить содержание таблицы.
5. Исключите из теста тестовые задания, на которые все 100 %
студентов дали правильный ответ. Выделите такие задания в таблице, например, примените к ним форматирование «зачеркивание» или выделите другим цветом.
6. Постройте матрицу результатов тестовых заданий для заданий, которые остаются в составе теста по следующему образцу:
Студенты (г = 1, 2, ..., К)
Задание а ,2,...А) хи Х21 Х1 N-1 Х1М
X21 Х11 Х2Ы-1 Х2Ы
Хк-11 Хк-12 Хк-1 N-1 Хк-1 N
Хк1 Хк2 Хк N-1 хкы
Pl
П-1_
Pk
7. Итоги pi для каждой строки, то есть тестового задания, дают представление относительно сложности задания: чем большее значение Р3, тем больше студентов на это задание дали правильный ответ и тем более простым оно является. На практике лёгкость задания можно рассчитать с помощью
индекса лёгкости по формуле
N Хшах j
а сложность задания — с помощью индекса сложности за формулой 1 - Iлегкости. Примите за «1» сложность наименее сложного задания среди тех, которые остаются в тесте, и ис-
Г I
измерения
ходя из него определите уровень сложности для других тестовых заданий.
8. Постройте график зависимости количества полученных баллов от индекса лёгкости по приведённому ниже примеру. Если Вы получаете график приблизительно такого вида,
как на рисунке, то есть приблизительно плавную возрастающую кривую, то можно считать, что тестовые задания в тесте достаточно равномерно отображают задания разного уровня сложности и свидетельствуют об адекватности теста.
9. Включите в отчёт диаграммы правильности и среднего времени обдумывания.
[ч^Л Контроль
знании и навыков
После выполнения лабораторной работы студент должен знать:
1) как загрузить результаты тестирования, то есть осуществить импорт?
2) какие отчёты содержит модуль «Журнал тестирования»?
После выполнения лабораторной работы студент должен уметь:
1) загрузить результаты тестирования, то есть выполнить импорт;
2) использовать отчёты модуля «Журнал тестирования».
-е
