CC BY
408
Типы вопросов тематических тестов По классической механике на основе программного продукта testmaker
Сафаров Р.Х.,
профессор кафедры теоретической физики, Татарский государственный гуманитарно-педагогический университет, Казань, Татарстан, 2 rsafar@majl.ru, (843)543-58-90
Хрусталев А.В.
аспирант кафедры теоретической физики, Татарский государственный гуманитарно-педагогический университет, Казань, Татарстан, 2 hartv@mail.ru, (843)556-01-71
Аннотация
С целью эффективного использования программного продукта TestMaker для тестового контроля знаний по физико-математическим дисциплинам выявляются возможные типы вопросов, заложенные в этом продукте. Проводится классификация типов вопросов с описанием их преимуществ и недостатков на примере применения в тематических тестах по курсу классическая механика.
From product TestMaker to test knowledge on control the physico-mathematical disciplines identifies possible types of items embedded in this product. Is the classification of types of issues with description their advantages and disadvantages to the example application in case tests on the rate of classical mechanics.
Ключевые слова
Компьютерное тестирование, физико-математические дисциплины, типы вопросов
Computer testing, physico-mathematical discipline, item types Введение
Современный период информатизации отечественной системы образования характеризуется интенсивным развитием компьютерного тестирования, при котором с помощью компьютера формируются варианты тестов, предъявляются учащимся на экран монитора тестовые задания, оцениваются выполнения этих заданий и выставляются баллы в протокол результатов теста.
Успешное развитие этого направления обусловлено созданием новых программных продуктов конструирования тестов, которые обеспечивают высокое качество педагогических измерений, анализируя характеристики задания на основе современных теорий тестов. Такие программные продукты создают профессиональные разработчики обычно для внутреннего пользования и не часто появляются на нашем рынке, возможно оттого, что они достаточно сложны и трудно их освоение без помощи разработчика, да и стоимость их соответственно высокая, а наши потребители не столь платежеспособны.
В тестовой практике физического факультета ТГГПУ также наметился переход на компьютерную технологию тестирования на основе программного комплекса TestMaker, разработанного под руководством доц. Галеева И.Х.[1-2] (КГТУ, г. Ка-
зань). Мы весьма ему благодарны за безвозмездную передачу этой тестовой оболочки и помощь в переложении содержаний заданий тематических тестов по классической механике в компьютерную форму.
Ранее на кафедре проводилось тестирование по ряду предметов теоретической физики без компьютеров на бумажных бланках, и был накоплен определенный опыт по составлению тестовых заданий и практическому проведению тестирования.
Специфичность дисциплин теоретической физики требует применение тестовых заданий открытой формы с ответами в виде математических выражений, формул, текстовых определений физических величин, а так же в виде числовых ответов решения задач. На проверку ответов таких заданий тратилось значительное время преподавателя, а теперь с переходом на компьютерное тестирование этот вопрос снимается.
Определенных усилий требовал и перевод содержания тестовых заданий с бумажной формы на компьютерную форму. Вынуждены были переделать некоторые задания так, чтобы ответы на них были в возможности компьютерной проверки, без упрощения содержания заданий и снижения их качеств.
Теперь общепринято [3-6], что оценка качества знаний на каждом уровне знания, умения и навыков может быть осуществлена с помощью использования многообразных типов заданий. Очевидно, для проверки знания учащихся достаточна традиционная форма задания закрытой формы, но для выявления умений и творческих способностей учащихся необходимо широкое использование заданий открытой формы в различных модификациях. Применяя большое многообразие форм и типов заданий, можно имитировать естественный опрос и беседу преподавателя с учащимся.
В последнее время, когда говорят о тестировании, то обычно подразумевают итоговый контроль знаний, и не заслуженно забывают о роли тематических тестов, в которых регулярно проводится контроль с целью оперативного выявления пробелов в процессе обучения и закрепления знания выполнением ряда заданий. В отличие от итоговых контролей тематические тесты имеют повышенный обучающий потенциал, результат которого проявляется в итоговом тестировании.
Для эффективного использования программного продукта ТеБШлкег необходимо выявить все возможности этого программного продукта. С этой целью рассмотрим, какие типы заданий могут быть использованы при создании тематических тестов по классической механике.
Классификация типов тестовых заданий
В связи с требованиями современных реформ в области образования учебный курс разбивается на несколько тематически связанные части (модули), по которым отдельно проводится контроль знаний. По содержанию каждого модуля были созданы тематические тесты. За время одного учебного семестра успевали проводить лишь 3 тестирования студентов по одной дисциплине. Используя этот опыт, на кафедре ограничились проведением 3 тематических тестов по учебному курсу, изучаемому в течение семестра.
В соответствие с этим, были составлены тематические теста по предмету «Классическая механика и специальная теория относительности» по трем модулям:
М1 - основы классической механики,
М2 - теоретическое описание явлений механики,
М3 - основы специальной теории относительности.
Каждый тематический тест состоит из 30 и более тестовых заданий, которые сопровождаются инструкцией, поясняющей правила выполнения задания. Тестовое задание может состоять из одного или нескольких вопросов, на которые предстоит
студенту ответить. Для выполнения тематического теста отводится ограниченное время от 30 до 40 минут за счет учебных часов индивидуальных занятий.
Была проведена апробация тематических тестов на студентах двух групп 3 курса физического факультета. На основе результатов тестирования проводится анализ этих тематических тестов с целью выявления возможностей тестовой программы ТеБШлкег и расширения многообразия форм тестовых заданий.
Мы определили возможные типы заданий, которые могут быть применены в физико-математических дисциплинах, и попытались провести классификацию их. Обще принято разбивать тестовые вопросы на две известные формы: закрытую и открытую формы вопросов. Эти формы вопросов в свою очередь можно подразделить на ниже приведенные типы.
Вопросы закрытой формы выполняются с помощью курсора и можно выделить следующие типы: А1 - выбор однозначного ответа, А2 - выбор многозначного ответа,
А3 - выбор соответствия между элементами двух множеств,
Вопросы открытой формы выполняются с клавиатуры, набирая ответ, и имеют следующие типы:
Б1 - набор ответа в виде текста с возможной опечаткой, Б2 - набор числового ответа решения задачи,
Б3 - набор номера выбранного ответа для установления соответствия между элементами двух множеств.
Б4 - набор ответа в виде текста с необязательными словами, Б5 - набор математического выражения со структурой «ИЛИ», Б6 - набор ответа в виде числа с допуском погрешности.
Ниже проводится обсуждение достоинств используемых типов тестовых вопросов и их применимость к определенной формулировке вопроса контролируемой темы.
Вопросы закрытой формы
Не все знания и умения учащихся можно проверить одной формой вопроса. Поэтому часто приходится идти на совмещение разных форм вопросов в тестовом задании. Существует мнение, что применение разных форм вопроса способствует повышению мотивации учащихся при выполнении теста, разнообразные формы вопроса делают выполнение теста менее утомительным и монотонным, способствует тем самым повышению интереса к работе над тестом. Такой тест более подходит для промежуточного тестирования, но не для итогового контроля, когда на первый план выходят вопросы точности оценок. А в тематических тестах желательно использовать все разнообразие вопросов, возможные в инструментальном тестовом продукте. Ниже проводится перечисление типов вопросов, примененных при конструировании тематических тестов по классической механике на основе программного комплекса ТеБЖакег.
Вопрос типа А1 требует выбрать один правильный ответ из нескольких предложенных. Историю появления такого вопроса связывают с разработкой и распространением так называемого программированного обучения. Тогда он был единственным типом тестового вопроса, и некоторые до сих пор придерживаются такого мнения.
Длительное время продолжавшаяся критика применения в учебном процессе тестирования знаний была вызвана в основном из-за ограниченных возможностей этого типа вопроса. Действительно, такой тип вопроса проверяет скорее механическую память испытуемого, а не его творческие способности и умение мыслить. Более
того, этот тип вопроса позволяет просто угадывать ответ [6]. Поэтому в современных тестах не ограничиваются применением этого вопроса. Чтобы приблизить компьютерный контроль знаний к естественной проверке в виде диалога преподавателя со студентом, стараются расширить многообразие вопросов, используемых в тесте. В наших тестах этот тип вопроса большей частью применяется в сочетании с другими типами вопроса.
На рис. 1 приведен пример тестового задания, в котором используется этот тип вопроса в сочетании с открытой формой вопроса. Таким путем достигается смысловая законченность задания, требующее выявить умение студента применять физическую формулу.
Тип вопроса А2 заключается в выборе с помощью курсора многозначного ответа. Вследствие специфичности физико-математических дисциплин не желательно в качестве дистракторов использовать заведомо неправильный ответ, чтобы в памяти у испытуемых не осталось ложное представление. В нашем случае этот тип вопроса применяется, когда требуется провести отбор объектов по определенному признаку. Содержание большинства тем дисциплины не поддается конструированию вопросов такого типа, поэтому частота использования их не велика.
Рис. 1. Вопрос типа А1 - выбор однозначного ответа из нескольких предложенных
Рис.2. Вопрос типа А2 с выбором многозначного ответа
На рис.2 приведено тестовое задание, в котором применяется вопрос с многозначным ответом, в котором перечисляются возможные виды механического движения двух жестко связанных материальных точек.
Тип вопроса А3 требует установления соответствия между левой частью утверждения и правой его частью, отмечая их курсором (см. Рис. 3). Обычно этот тип используется для установления определения физической величины, понятия или раздела дисциплины.
В этом типе вопроса утверждения задаются только в виде текста, и не имеется возможности писать математические выражения или физические формулы, что ограничивает его применение в тестах по физико-математическим дисциплинам.
Что изучают следующие науки?
Классическая механика изучает Релятивисткая механика изучает Квантовая механика изучает Релятивистская квантовая механика изучает движение микроскопических тел со скоростями V < с и при учете величин порядка постоянной Планка (1 движение макроскопических тел со скоростями с и при пренебрежении величинами порядка постоянной Планка И движение макроскопических тел со скоростями V-с и при пренебрежении величинами порядка постоянной Планка И движение микроскопических тел со скоростями с и при учете величин порядка постоянной Планка и
Указание: установите соответствие, выделив снчала левую часть утверждения, а потом правую часть!
Рис. 3. Пример вопроса типа А3 на соответствие Вопросы открытой формы
Вопрос типа Б1 относится к открытой форме вопроса с рамкой, в которую требуется вписать текст. Хотя в качестве текста может быть целая строка, но мы из-за осторожности ограничились лишь одним словом, которым может быть название физической величины или дополнение к формулировке физического закона.
На рис.4 приводится в качестве примера тестовое задание с двумя вопросами, требующими вписать пропущенное слово. Здесь при написании слова допускается однократная ошибка в виде пропущенной буквы, лишней буквы, замены буквы или перестановки двух соседних букв. Также не учитывается регистр слова, не учитываются пробелы в начале и в конце слова. Но с помощью этого типа вопроса трудно сконструировать задание, которое проверяет не память, а творческие способности испытуемого.
ЁРедактор теста - С:\Тесты\Тематические тесты М1,М2,МЗ\Тест МЗ.Ьв( -|п|х|
£айл Правка Вопросы Настройка Помощь
Й! ЕЙ Р, СЗ, Щи-** « Т + * * 31 ша а И ► ж из? ИР? и п— вп-г^
В основе специальной теории относительности : лежат два постулата (принципа):
1. Принцип относительности Эйнтейна утверждает, что все явления Г протекают одинаково во всех инерциальных системах
2. Принцип постоянства скорости света утверждает что скорость | в вакууме одинакова во всех инерциальных системах и является предельной скоростью
.......................................... Альберт Эйнштейн
(1879-1955)
Указание: впишите в окна пропущенное слово!
Рис. 4. Пример вопроса типа Б1 - вписать слово с возможной опечаткой
Вопрос типа Б2, требующий ответа в виде числа или математического выражения, является наиболее часто используемым в тестах по физико-математическим дисциплинам. Этот тип вопроса применяется в решениях задач с ответом в виде числа или при выводе физической формулы в качестве завершающего математического выражения.
Рис.5. Пример вопроса типа Б2 с ответом в виде числа или математического выражения
На рис.5 приводится пример с применением этого типа вопроса для выяснения умения вычислять момент инерции тела на основе теоремы Штейнера.
Надо отметить, что этот тип вопроса еще более был бы востребован при контроле знаний по физико-математическим дисциплинам, если бы ТеБШакег позволял с клавиатуры набирать выражения с математическими операциями не только алгебры, но более сложными операциями высшей математики.
Вопрос типа Б3 основан на выборе соответствия между элементами
Рис. 6. Пример применения типа задания Б3 - установления соответствия между элементами двух списков, набирая номер ответа.
двух списков. Такой вопрос восполняет недостаток предыдущего типа вопроса А3, позволяя включать в списки не только текстовой материал, но и физические формулы, математические выражения. На рис.6 приведен пример использования этого типа задания для выяснения физического смысла, заключенного в формулах.
Редактор теста - С:\Тесты\Тематические тесты Ml,M2,M3\npo6a.tst ^jnjxj
Т>ДИП ПпДРк-Д Rnnnnrk-I Ндгтппйк-А Ппмптк
[выполнение теста *
Указание: введите в окна пропущенные слова!
[
На основе законов Кеппера
F=7-
Ньютон открыл закон ] Всемирного тяготения 3
Mm г
—г-
и теоретически вывач эти законы:
1-ыи закон j^ennqsa Все планеты движутся по элчипсам.
[солнце
2-ой закон Кегтера
к
а 1 Мь
Верно 1 к
Ы
< 1 0К
L
3-ий закон Кепчера
Квадрат периода обращения планеты
пропорционален кубу большой полуоси
Кеплер Иоганн (1571-1630)
Вопрос:!/2 Время:0:00:50 Нажмите для перехода к следующему вопросу
! Пуск| J 0
^ -glj Введение, а... | Тематически... | • ~ Test
■ i 18:05
Рис.7. Пример задания типа Б4 - текста с необязательными словами
Вопрос типа Б4 - расширенный открытый вопрос более сложен, чем обычный открытый вопрос, и имеет свой семантический анализатор ответа.
На рис.7 приводится пример применения этого типа с ответом в виде текста с необязательными словами. В тексте «Ньютон открыл закон {[Всемирного] тяготения}» тестируемый может дописать слова «Всемирного тяготения» или просто «тяготения», опуская слово «Всемирного». Используя специальные конструкции шаблона, ответ в обоих случаях будет считаться правильным.
Вопрос типа Б5 требует набрать ответ в виде математического выражения со структурой «ИЛИ». Этот тип вопроса используется, когда требуется выполнить математические действия, и ответ может быть в нескольких вариантах. Пример использования такого типа задания показан на рис. 8.
|Вопрос: 5130 ¡Элементов: 12
ф Пуск| [0 0 & ^ (£ & Тематические тес... | ^ KINGSTON (Е:) 11Д Test 0! | « ^ ж 20:37
Рис.8. Пример использования вопроса типа Б5 - набор математического выражения со структурой «ИЛИ»
В задании дается кинематический закон движения уравнением
x(t) = a*exp(b*t)
и требуется найти скорость, т.е. вычислить производную. Написав шаблон ответа в виде
v = {a*b*exp(b*t)|b*a*exp(b*t)} можно учесть разную последовательность множителей a и b.
Заключение
Как было рассмотрено, в тематических тестах по классической механике и теории относительности были использованы 3 типа вопросов (А1, А2, А3) закрытой формы и 5 типов вопросов (Б1, Б2, Б3, Б4, Б5) открытой формы. Каждое тематическое задание может состоять из нескольких вопросов и не только одинакового типа. Считая все типы вопроса равными по сложности, а сложность тематического задания будем определять количеством типов вопроса, из которых состоит задание. Средняя сложность тематических тестов оказалось равной для теста М1 - 1,67, для М2 - 2, для М3 - 1,67, т.е. в каждом задании используется порядка 2 типов вопроса.
Относительная частота типов вопроса в тестах: М1-1,М2-2,М3-3
ж 60
Ряд1 Ряд2 Ряд3
А1 А2 А3 Б1 Б2 Б3
Типы вопроса
Рис.9. Относительная частота типов вопроса в тестах М1, М2 и М3
Но частота использования разных типов вопроса не одинакова. На рис. 9 сравниваются относительная частота использования разных типов вопросов в составленных тематических тестах по классической механике. Как следует из рис. 9, в тестах по физико-математическим дисциплинам более предпочтительны вопросы открытой формы по сравнению с вопросами закрытой формы. При этом наиболее часто применяется вопрос типа Б2 с ответом в виде числа или математического выражения. Но к сожалению ничтожно мало используются вопросы расширенной открытой формы: типа Б4 - с ответом в виде текста с необязательными словами, типа Б5 - с ответом в виде математического выражения со структурой «ИЛИ» и типа Б6 - с ответом в виде числа с допуском погрешности. Необходим определенный опыт преподавателей для создания тестов с этими вопросами, а так же нужна и предварительная подготовка студентов к такому контролю знаний. Планируется больше включать такие вопросы в тестовые задания.
Регулярное проведение тестирования по каждой теме изучаемой дисциплины способствует закреплению знаний учащихся, умению решать конкретные задачи. Значительное число 30% ) заданий в тематических тестах отводится для проверки знания учащимися основных законов физики, определений физических величин и знания формул, касающихся теме теста. Такие задания оформляются, используя, в основном, открытую форму вопросов типа Б1 и Б3. Вопросы типа Б1 требуют дописать пропущенное слово в определении физических законов и физических понятий. Это слово должно иметь значащий смысл в вопросе. Вопросы типа Б3 могут быть использованы для проверки понимания физических величин, которые входят в физическую формулу.
Основную часть тестовых заданий (~ 50%) составляют задания для выявления умения решать конкретные задачи физики. Сложные задачи, состоящие из нескольких этапов решения, уместно составить из соответствующего числа вопросов. Эти вопросы могут иметь ответы в виде числового значения (вопросы типа Б2) или требующие вписать недостающую физическую величину (вопрос типа Б5).
Около 20% тестовых заданий отводится для проверки смысловой связи между различными понятиями и глубокого понимания физических явлений. Такие задания можно оформить помимо вопросов открытой формы и вопросами закрытой формы типа А1, А2 или А3. Необходимо особо отметить, при использовании вопро-
сов типа А1 следует избегать включения в число дистракторов заведомо неправильных утверждений, так как такие утверждения могут у недостаточно освоивших дисциплину, остаться в памяти, как напечатанная истина. Поэтому, чтобы не включать такие ответы, можно несколько вопросов типа А1 можно объединить в один вопрос типа A3 - установление соответствия между элементами двух множеств.
Необходимо отметить, что тестовая продукция TestMaker имеет продвинутый дизайн, который позволяет красочно оформить экран тестового задания, включив не только математические формулы и рисунки, но и различные графические объекты и портреты ученых, что значительно повышает интерес студентов к тестированию.
В заключение отметим, что эффективность тестового контроля знаний по физико-математическим дисциплинам с использованием программного продукта Test-Maker значительно повысится, если в ответах на вопросы открытой формы будет включена возможность вносить с клавиатуры математические выражения так просто и легко, как например, позволяет математический пакет MathCad. А так же желательно было бы доработать систему защиты протокола результатов тестирования от несанкционированного вмешательства.
Тем не менее, в течение нескольких лет программный комплекс TestMaker успешно используется для компьютерного тестирования знаний на физическом факультете ТГГПУ, и многолетний опыт позволит еще более расширить многообразие форм тестовых заданий и существенно повысит педагогические качества тематических тестов по физико-математическим дисциплинам, и в частности, по классической механике.
Литература
1. И.Х. Галеев, В.Г. Иванов, Д.Л. Храмов, О.В. Колосов. Компьютерный контроль знаний (локально и дистанционно): Учебное пособие / Казан. гос. технол. ун-т. Казань, 2005, 125с.
2. И.Х. Галеев, В.Г. Иванов, Н.В. Аристова, В.Г. Урядов Сравнительный анализ программных комплексов TestMaker и ACT-Test // Образовательные технологии и общество (Educational technology & Society) - 2007 (http://ifets.ieee.org/russian/periodical/joumal.html)- V. 10 -N 3.- С.336-360. - ISSN 14364522.
3. Челышкова М.Б. Теория и практика конструирования педагогических тестов. М. Логос, 2002, 432 стр.
4. Звонников В.И., Челышкова М.Б. Современные средства оценивания результатов обучения. М. Академия, 2007, 218 с.
4. Майоров А.Н. Теория и практика создания тестов для системы образования. М., 2000, 352 с.
5. Аванесов А.В. Композиция тестовых заданий. М. Адепт, 1998, 217 с.
6.Талызина Н.Ф. Управление процессом усвоения знаний. М.: Изд-во МГУ, 1984, 344 с.
