CC BY
43
УДК 681.3
Р.А. Файзрахманов, Д.С. Курушин, Г.И. Рустамханова, Ю.А. Слаутин, И.С. Полевщиков
Пермский национальный исследовательский политехнический университет
РАЗРАБОТКА ТРЕБОВАНИЙ К СОСТАВЛЕНИЮ ТЕСТОВЫХ ВОПРОСОВ ДЛЯ КУРСАНТОВ, ОБУЧАЮЩИХСЯ НА ТРЕНАЖЕРНОМ КОМПЛЕКСЕ
Рассмотрены особенности автоматизированного тестирования. Изучены существующие требования к тестовым вопросам для систем тестирования ПНИПУ и ДВГУ. Оценены возможности использования этих требований для подсистемы тестирования тренажерного комплекса. Составлен полный список требований к тестовым вопросам для подсистемы тестирования тренажерного комплекса.
В процессе обучения на тренажерном комплексе важную роль играет контроль уровня усвоения учебного материала. Подсистема тестирования, являющаяся частью тренажерного комплекса, позволяет оперативно оценить знания обучающегося. Автоматизированное тестирование дает возможность проверить усвоение каждой изучаемой темы, выполнять текущий и итоговый контроль знаний. Подсистема тестирования может накапливать и обрабатывать статистический материал, что необходимо для выявления наиболее трудных для усвоения тем и вопросов.
Успехи применения автоматизированного тестирования зависят как от качества тестовых вопросов, так и от компьютерной программы, лежащей в основе подсистемы тестирования [1]. По поводу первого фактора следует отметить, что качество тестовых вопросов во многом определяется типами вопросов, формулировками тестовых вопросов, и т.п. Второй фактор определяет возможность создания в подсистеме различных типов вопросов, а также решаемые тестированием задачи.
Далее остановимся более подробно на первом факторе, т.е. на обеспечении качества тестовых вопросов.
В процессе создания тренажерного комплекса была поставлена цель разработать требования к тестовым вопросам таким образом, чтобы вопросы, которые будут составлены в соответствии с данными требованиями, позволили качественно оценить знания курсантов.
Для достижения поставленной цели выделены следующие задачи:
1) изучить существующие требования к тестовым вопросам для систем тестирования Пермского национального исследовательского политехнического университета (ПНИПУ) и Дальневосточного государственного университета (ДВГУ);
2) оценить возможность использования этих требований для подсистемы тестирования тренажерного комплекса;
3) составить полный список требований к тестовым вопросам для подсистемы тестирования тренажерного комплекса.
В настоящее время в ПНИПУ действует система тестирования, являющаяся важной составляющей общей системы управления качеством образования в университете, направленной на осуществление независимого контроля уровня обученности студентов [2]. Основу содержания системы тестирования составляют комплекты тестовых заданий по учебным дисциплинам. В документе [3] приведены общие требования к составлению тестовых вопросов и особые требования к составлению тестовых вопросов закрытого типа.
Было принято решение адаптировать эти требования для подсистемы тестирования тренажерного комплекса. Главная особенность, которую нужно учесть при адаптации, заключается в том, что после изучения работы с транспортным средством с помощью тренажера, от курсантов требуется только четко знать последовательность действий для того или иного сценария, но им не нужно делать какие-либо выводы из этой последовательности действий, решать какие-то задачи и т.п. Поэтому тестовые вопросы для курсантов должны быть составлены более простыми, чем те вопросы, которые создаются для студентов ПНИПУ.
Проанализируем возможность применения каждого из этих требований для подсистемы тестирования тренажерного комплекса (табл. 1, 2).
Общие требования
Требования ПНИПУ Возможность применения требований к тренажерному комплексу
1 2
1. Тестовый вопрос (тестовое задание) должен быть представлен в форме краткого суждения, сформулированного четким языком и исключающего неоднозначность заключения тестируемого на требования тестового утверждения, в утвердительной повествовательной форме. 1. Данное требование полностью применимо к подсистеме тестирования тренажерного комплекса.
2. Содержание вопроса должно отвечать требованиям государственного образовательного стандарта, т.е. содержать дидактические единицы этого стандарта. 2. Содержание вопросов должно соответствовать содержанию инструкций по работе с транспортным средством и должно проверять знание: а) различных устройств транспортного средства; б) функциональных обязанностей каждого из операторов; в) последовательности действий операторов; г) согласованности работы операторов.
3. Следует избегать вводных слов или предложений (неверно: к понятиям..., верно: понятиями.). 3. Данное требование полностью применимо к подсистеме тестирования тренажерного комплекса.
4. Содержание тестового вопроса не должно содержать повторов, двойных отрицаний и сленга. 4. Данное требование полностью применимо к подсистеме тестирования тренажерного комплекса.
5. В тестовом вопросе не должно отражаться субъективного мнения или понимания отдельного автора. 5. Данное требование полностью применимо к подсистеме тестирования тренажерного комплекса.
6. Формулировка тестового вопроса должна быть выражена в повествовательной форме (вопрос исключается). 6. Данное требование полностью применимо к подсистеме тестирования тренажерного комплекса.
7. В формулировке тестового вопроса не должно быть повелительного наклонения (выберите, вычислите, укажите и т.д.) или вопросительной формы (сколько ., что относится к ., кто является . и т. п.). 7. Данное требование не является обязательным для подсистемы тестирования тренажерного комплекса.
1 2
8. Ответ в тестовом вопросе не должен зависеть от предыдущих ответов студента. 8. Ответ в тестовом вопросе не должен зависеть от предыдущих ответов курсанта.
9. В тестовом вопросе и ответах не должно быть подсказок. 9. Данное требование полностью применимо к подсистеме тестирования тренажерного комплекса.
10. Форма тестового вопроса должна быть узнаваемой и не требовать дополнительных пояснений. 10. В качестве формы тестовых вопросов были выбраны тестовые вопросы закрытой формы с 2-3 вариантами ответа, из которых правильным может быть только один, так как вопросы такой формы являются наиболее простыми.
11. Тестовые вопросы (тестовые задания) на установление соответствия и правильной последовательности должны начинаться со слов: Соответствие (а не установить соответствие), Последовательность (а не установить последовательность). 11. Т естовые вопросы на установление соответствия и правильной последовательности в подсистеме тестирования тренажерного комплекса не предусмотрены.
Таблица 2
Особые требования к составлению тестовых вопросов закрытого типа
Требования ПНИПУ Возможность применения требований к тренажерному комплексу
1. Не должно быть заведомо ложных, а также явно выделяющихся обособленных ответов. Правильные и неправильные ответы должны быть однозначны по содержанию, структуре и общему количеству слов. Рекомендуется применять правдоподобные ошибочные варианты, взятые из опыта. 1. Не должно быть заведомо ложных, а также явно выделяющихся обособленных ответов. Например, вариантами ответа на какой-либо вопрос, в котором нужно указать, какой оператор выполняет определенное действие, могут быть: 1) оператор № 1; 2) оператор № 2; 3) оператор № 1 и оператор № 2 совместно.
2. Ответы не должны начинаться или заканчиваться повторяющимися словами или выражениями. 2. Данное требование не является обязательным для подсистемы тестирования тренажерного комплекса.
1 2
3. Недопустимы ответы типа: «все вышеперечисленное верно», «все указанные ответы не верны» и т.д. 3. Данное требование полностью применимо к подсистеме тестирования тренажерного комплекса.
4. Лучше «длинный» вопрос и «короткие» ответы, чем наоборот. 4. Данное требование полностью применимо к подсистеме тестирования тренажерного комплекса.
5. Количество слов в формулировках тестового задания не должно превышать 13. 5. Количество слов в формулировках тестового вопроса должно быть как можно меньшим.
6. В заданиях с 3-5 ответами правильным должен быть только 1. 6. В качестве формы тестовых вопросов были выбраны тестовые вопросы закрытой формы с 2-3 вариантами ответа, из которых правильным может быть только 1, так как вопросы такой формы являются наиболее простыми.
Также были рассмотрены требования для компьютерной системы тестирования Webtest ДВГУ [4]. В целом требования к составлению вопросов для двух систем (т.е. систем тестирования ПНИПУ и ДВГУ), не противоречивы, а в чем-то и дополняют друг друга. Поэтому некоторые из требований системы тестирования ДВГУ было решено учесть в разрабатываемой подсистеме (например, требование о том, что вариантами ответа не могут быть «да», «нет», «верно», «неверно»).
Подводя итоги, требования к составлению вопросов для подсистемы тестирования тренажерного комплекса выглядят следующим образом:
1. В качестве формы тестовых вопросов были выбраны вопросы закрытой формы с 2-3 вариантами ответа, из которых правильным может быть только 1.
2. Тестовый вопрос должен быть представлен в форме краткого суждения, сформулированного четким языком и исключающего неоднозначность заключения тестируемого на требования вопроса.
3. Формулировка тестового вопроса может быть выражена только в повествовательной форме.
4. Содержание вопросов должно соответствовать содержанию инструкций по работе с транспортным средством и должно проверять знание:
а) различных устройств транспортного средства;
б) функциональных обязанностей каждого из операторов;
в) последовательности действий операторов;
г) согласованности работы операторов.
5. В тестовом вопросе не должно отражаться субъективного мнения или понимания отдельного автора.
6. Содержание тестового вопроса не должно содержать повторов, двойных отрицаний и сленга.
7. Следует избегать вводных слов или предложений (неверно: к понятиям..., верно: понятиями...).
8. Ответ в тестовом вопросе не должен зависеть от предыдущих ответов курсанта.
9. В тексте вопроса и в ответах не должно быть подсказок.
10. Не должно быть заведомо ложных, а также явно выделяющихся обособленных ответов.
11. Недопустимы ответы типа: «да», «нет», «верно», «неверно» «все вышеперечисленное верно», «все указанные ответы не верны» и т.д.
12. Лучше «длинный» вопрос и «короткие» ответы, чем наоборот.
13. Количество слов в формулировках тестовых вопросов должно быть как можно меньшим.
Приведем примеры тестовых вопросов, составленных в соответствии с данными требованиями:
1. При включении станции питания частота вращения коленчатого вала двигателя должна быть установлена .
а) от 400 до 450 об/мин;
б) от 1400 до 1450 об/мин;
в) от 2400 до 2450 об/мин.
2. Закрепить чехол необходимо ...
а) после закрытия бортов;
б) до закрытия бортов.
Таким образом, разработаны требования к составлению вопросов для подсистемы тестирования тренажерного комплекса. Вопросы, которые будут составлены в соответствии с данными требованиями, позволят качественно оценить знания курсантов.
Библиографический список
1. Ноткин, А.М. Модель автоматизированной системы тестирования // Вестник ПГТУ. Электротехника, информационные технологии, системы управления. - 2007. - № 9(1). - С. 41-48.
2. Положение о системе тестирования в образовательном процессе Пермского государственного технического университета. -Пермь: Изд-во Перм. гос. техн. ун-та, 2008.
3. Барков Ю.А., Зверев О.М., Цаплин А.И. Требования к составлению тестовых вопросов (для преподавателей). - Пермь: Изд-во Перм. гос. техн. ун-та, 2007.
4. Поддубный А.В., Панина И.К., Ащепкова Л.Я. Методические основы разработки и использования педагогических тестов: пособие для преподавателей ДВГУ [Электронный ресурс]. - Владивосток, 2003. - ЦКЬ: http://www.dvgu.ru/umu/pedtest/Main.htm, свободный.
Получено 05.09.2011
