CC BY
23
АНАЛИЗ РЕЗУЛЬТАТОВ PALM ТЕСТИРОВАНИЯ СТУДЕНТОВ
ПЕРВОГО КУРСА ПО ФИЗИКЕ О.А. Кавтрева, А.А. Королев, А.В. Смирнов
В настоящее время в нашем техническом университете осуществляется компьютеризированная проверка знаний по физике студентов первого и второго курса. Они проходят тестирование с помощью наладонных компьютеров Palm. Студенты первого курса в начале текущего учебного года прошли вводное тестирование, целью которого была проверка уровня их школьных знаний по различным разделам физики. В дальнейшем тестирование осуществляется по мере прохождения учебного материала: по окончании изучения определенного раздела физики студентам предлагается тест, состоящий из восьми заданий, на выполнение которого отводится тридцать минут. Результаты каждого теста предоставляются для ознакомления учащимся и преподавателям, которые учитывают результаты тестирования при проставлении аттестационных оценок.
Несколько слов хотелось бы посвятить вводному тестированию, поскольку анализ его результатов позволяет оценить уровень знаний студентов, с которым они поступили в наш университет после окончания школы. В случае вводного тестирования каждый из восьми вопросов был посвящен определенному разделу физики: кинематика, динамика, статика, законы сохранения, молекулярно-кинетическая теория, термодинамика, электричество и магнетизм, оптика. Полученные данные свидетельствует о том, что в процессе школьного обучения хуже всего были усвоены разделы "Термодинамика" и "Оптика" - по ним получены самые низкие показатели.
Необходимо отметить, что полученные в результате вводного тестирования результаты очень важны. В текущем учебном году достаточно большая группа абитуриентов поступала по линии Межвузовского подготовительного отделения с применением методик Всероссийского центра тестирования. Как следует из [1], предварительный анализ данных мониторинга уровня знаний свидетельствует о том, что данная форма отбора является вполне приемлемой. Об эффективности подобной формы отбора абитуриентов говорит и тот факт, что средний балл вводного тестирования этой группы студентов оказался, с учетом статистической погрешности, на уровне среднего балла абитуриентов бюджетной формы обучения.
Разумеется, данный метод проверки знаний имеет свои преимущества и недостатки. К безусловным достоинствам тестирования следует отнести тот факт, что преподавателю нет необходимости тратить дополнительное время на текущий контроль знаний, поскольку тестирование проводится без участия самого преподавателя, который делает выводы на основе полученных данных. Кроме того, сам факт проведения регулярных аттестаций дисциплинирует студентов и вынуждает их более серьезно относится к изучению предмета. Одной из особенностей именно данного тестирования (с помощью Palm компьютеров) является также отсутствие необходимости занимать постоянно компьютерный класс. В то же время компьютеры Palm, несмотря на малый размер, обладают всеми преимуществами обычного компьютера: есть клавиатура, возможность просмотра рисунков и калькулятор для вычислений.
К числу недостатков тестирования как метода проверки знаний следует отнести невозможность проверить некоторые важные навыки, которыми студенты должны овладеть в процессе обучения. В частности, мы можем проверить лишь некоторые формальные навыки решения определенных задач, но не умение мыслить творчески, гибкость и широту мышления. Затруднительно также проверить умение решать задачи различного уровня сложности в пределах одной темы. Кроме того, есть вероятность, что разным учащимся попадутся задачи из одной темы, но различного уровня
сложности. В этом случае результат нельзя оценивать одинаково. Как показала практика, понимание сложности задания у преподавателей, занимающихся подготовкой теста, и у студентов, их выполняющих, существенно различается. Проиллюстрируем этот факт на примере результатов тестирования по теме "Кинематика". Это хорошо видно из табл. 1, в которой приведены индексы решаемости заданий и уровень сложности задания в баллах (экспертная оценка). В ряде случаев наблюдается слабая корреляция между сложностью задания в баллах и его индексом решаемости.
Таблица 1
Индекс решаемости заданий ^
В среднем весь I курс 1 24% Балл 2 39% Балл 3 33% Балл 4 34% Балл 5 22% Балл 6 27% Балл 7 36% Балл 8 15%
Вариант 1 27% 2 26% 1 49% 1 12% 2 22% 3 26% 1 28% 2 23%
Вариант 2 10% 2 13% 1 33% 1 23% 2 34% 3 81% 1 26% 2 36%
Вариант 3 15% 2 56% 1 14% 1 54% 2 33% 3 18% 1 29% 2 14%
Вариант 4 14% 2 48% 1 52% 1 31% 2 12% 3 24% 1 63% 2 28%
Вариант 5 31% 1 54% 1 29% 3 39% 2 21% 2 25% 1 38% 2 24%
Вариант 6 16% 2 43% 1 37% 1 48% 2 6% 3 12% 1 25% 2 0%
Вариант 7 41% 1 54% 1 25% 2 37% 3 47% 2 17% 1 49% 2 10%
Вариант 8 29% 1 37% 2 29% 1 37% 2 10% 3 18% 1 32% 2 1%
Вариант 9 7% 2 13% 2 33% 1 27% 2 13% 3 5% 1 38% 23 0%
Вариант 10 13% 1 33% 1 27% 1 28% 2 15% 1 29% 2 34% 3 10%
Как следует из вышеприведенной таблицы, индекс решаемости задания, оцениваемого в один балл (самого простого), варьируется от 5 % до 81 %, задания сложностью в два балла (средней сложности) - от 0 % до 63 %, задания сложностью в три балла (самого сложного) - от 0 % до 38 %.
Соответственно, в настоящий момент мы можем говорить лишь о предварительной оценке уровня знаний студентов, прошедших тестирование, поскольку сам процесс тестирования еще находятся в процессе доработки и отладки. Тем не менее, определенную динамику усвоения знаний учащимися мы можем проследить и на основе имеющегося материала. Подробнее этот вопрос будет рассмотрен ниже.
Все тесты построены по одному принципу, что упрощает анализ результатов. Тест состоит из восьми вопросов, каждый из которых посвящен отдельной теме в том разделе физики, по которому проводится проверка знаний. В частности, по теме "Кинематика" распределение следующее:
1 и 2 вопросы - кинематика прямолинейного движения материальной точки;
3 вопрос - ускорение при криволинейном движении;
4 вопрос - движение тела, брошенного вблизи поверхности Земли;
5 вопрос - относительность скорости и ускорения;
6 вопрос - связь между угловыми характеристиками при вращении тела вокруг фиксированной оси;
7 вопрос - связь линейных и угловых характеристик при вращении тела;
8 вопрос - векторное описание криволинейного движения.
Рассмотрим обработку результатов тестирования также на примере темы "Кинематика". Анализ результатов тестирования проводится по следующим направлениям. Во-первых, вычисляется общий средний балл, полученный всеми студентами, прошедшими тестирование, а также средние баллы по факультетам и по группам. Средний балл учитывает количество баллов за каждый вопрос (от одного до трех).
Таблица 2
Средний балл
Факультет Количество человек Средний балл |
Всего Бюджет Контракт В среднем Бюджет Контракт
Всего 1098 769 329 3,92 4,35 2,90
ТМТ 163 138 25 3,13 3,23 2,56
ЕНФ 101 78 23 3,61 3,99 2,35
ИТиП 101 41 60 6,18 10,07 3,52
ИФФ 176 121 55 3,57 3,84 2,98
КТиУ 383 266 117 4,18 4,75 2,90
ОИСТ 174 125 49 3,29 3,60 2,51
Кроме того, этот показатель отдельно рассчитывается для студентов бюджетной и контрактной форм обучения. Необходимо отметить, что, согласно имеющимся данным, студенты бюджетной формы обучения лучше справляются с тестовыми заданиями, чем студенты, обучающиеся по контракту. Например, средний балл студентов бюджетной формы обучения равен 4,35, а студентов, обучающихся на контрактной основе, - 2,90. Эти данные приведены в табл. 2.
Анализируются также данные о решаемости каждого из вопросов. При этом формируются две таблицы. В первую заносятся данные о количестве правильных ответов на каждый из вопросов по факультетам, группам и по всему курсу в целом. Во вторую таблицу заносятся аналогичные данные, но разделенные на варианты внутри отдельных факультетов. По этим данным мы можем проследить успешность решения заданий внутри групп и факультетов, что позволяет делать выводы относительно качества обучения в группах или на различных факультетах. Другими словами, мы можем выявить наиболее подготовленные или самые слабые группы с точки зрения их уровня знаний по определенному разделу физики или дисциплине в целом. На основе этих данных можно корректировать учебный курс в целом или давать рекомендации отдельным преподавателям.
Однако более обобщенные данные, по которым можно судить о том, насколько хорошо усвоены знания по определенным темам на различных факультетах, могут быть получены из таблицы, в которой представлены индексы решаемости заданий по факультетам (табл. 3).
Таблица 3
_Индексы решаемости заданий по факультетам
Факультет
Количество человек
№1 №2 №3 №4 №5 №6 №7 №8
Всего 1098 260 424 363 373 239 291 393 166
Индекс реш-ти 24% 39% 33% 34% 22% 27% 36% 15%
|ТМТ 163 |21 53 44 45 25 48 55 17
Индекс реш-ти 13% 33% 27% 28% 15% 29% 34% 10%
|ЕНФ 101 |24 40 36 33 17 26 31 15
Индекс реш-ти 24% 40% 36% 33% 17% 26% 31% 15% |
|ИТиП 101 |39 42 42 52 38 38 54 32
Индекс реш-ти 39% 42% 42% 51% 38% 38% 53% 32% |
|ИФФ 176 |42 66 61 50 30 33 63 25
Индекс реш-ти 24% 38% 35% 28% 17% 19% 36% 14%
|КТиУ 383 1102 156 135 140 98 109 132 63
Индекс реш-ти 27% 41% 35% 37% 26% 28% 34% 16% |
|ОИСТ 174 |32 67 45 53 31 37 58 14 1
Индекс реш-ти 18% 39% 26% 30% 18% 21% 33% 8%
На основе данных этой таблицы строится гистограмма, которая наглядно представляет картину уровня усвоения студентами различных тем по факультетам.
В настоящий момент положение таково: безусловным лидером по решению всех заданий является факультет ИТиП, главным образом, причем основной вклад дают группы 139 и 139, поскольку остальные группы этого факультета показывают знания, соответствующие среднестатистическому уровню. Близкие показатели по кинематике у студентов факультетов ЕНФ и КТиУ (на уровне среднестатистических показателей), несколько хуже результаты на факультете ИФФ, еще более низкий уровень на факультетах ОИСТ и ТМТ примерно с одинаковыми показателями. Эти данные иллюстрирует гистограмма (рис. 1)..
н
о о
2 ф
п
3 ф ср
о а Я)
4
60 50 40 30 20 10 0
□ В среднем
□ ТМТ
□ ЕНФ
□ ИТиП
□ ИФФ
□ КТиУ
□ ОИСТ
№1
№2
№3
№4
№5
№6
№7
№8
Номер задания
Рис. 1. Индексы решаемости заданий
Более конкретные выводы можно будет сделать по итогам тестирования в течение первых двух семестров. Тогда же можно будет проследить динамику успеваемости по всем группам и факультетам в целом и оценить корреляцию показателей вводного тестирования и успеваемости в течение учебного года.
Безусловно, описанная система тестирования нуждается в дополнительной доработке и со временем будет совершенствоваться. В дальнейшем целесообразно на основе результатов тестирования разрабатывать методические рекомендации по преподаванию тех тем и разделов физики, которые, согласно результатам тестирования, усваиваются хуже всего.
Литература
1. Кавтрева О.А., Королев А.А., Невенчаный А.С., Стафеев С.К. Система мониторинга уровня знаний по физике как один из способов оценки эффективности новых форм отбора абитуриентов // Третья Всероссийская научно-методическая конференция «Развитие системы тестирования в России», Москва, 22-23 ноября 2001 г. Тезисы докладов. С. 141.
