CC BY
39DOI: 10.12737/article_590878fba9e1c3.76567862
Сафина Г.Л., канд. техн. наук, доц., Галагуз Ю.П., ст.пр.
Национальный исследовательский Московский государственный строительный университет АНАЛИЗ ТЕСТИРОВАНИЯ ПО МАТЕМАТИКЕ
minkinag@mail.ru
Тестирование является одной из основных форм проверки знаний учащихся. В сфере образования используют тестовые задания двух типов: открытого типа, когда испытуемый предлагает свой ответ, и закрытого типа, когда каждый вопрос сопровождается ответами, и испытуемый выбирает из них либо один, либо несколько правильных. Статья посвящена моделированию уровня математических знаний студентов Московского государственного строительного университета на основе результатов тестирования с использованием специальной программы формирования тестов. Проводится сравнительный анализ результатов, полученных в ходе применения тестовых заданий открытого и закрытого типов. Получена оценка относительной сложности тестовых заданий открытого и закрытого типа, при этом сделан вывод о ее неизменности в зависимости от типа тестовых заданий. Сформулированы методические рекомендации по проведению тестирования студентов и преподаванию математической дисциплины.
Ключевые слова: педагогический тест, формирование тестов, моделирование уровня знаний, задания закрытого и открытого типа, математические дисциплины.
Введение. В настоящее время педагогические тесты становятся одной из основных форм контроля знаний студентов ВУЗов. Они позволяют получить объективную информацию о степени владения студентом учебного материала и соотнести эти данные с задачами обучения с целью своевременной коррекции процесса обучения.
Педагогический тест представляет собой совокупность тестовых заданий, которая дает возможность качественно и эффективно оценить уровень и структуру подготовленности испытуемых [1, 2]. По целям использования таких тестов их можно разделить на два больших класса - нормативно-ориентированные и критериально-ориентированные [3, 4]. Первый тип тестов позволяет ранжировать испытуемых по уровню знаний, сопоставлять успехи испытуемых в области изучения той или иной дисциплины. Второй тип тестов представляет собой систему заданий, позволяющую оценить, насколько хорошо испытуемый усвоил пройденный учебный материал [5].
В работе проводится математическое моделирование результатов тестирования по математике студентов первого курса МГСУ. Анализ выполнения теста позволяет оценить как степень усвоения испытуемыми материала учебной дисциплины, так и пригодность конкретного теста для измерения знаний учащихся [6-10].
Структура и условия выполнения теста. Тестирование проводилось по теме «Введение в математический анализ. Пределы» для девяти групп студентов-первокурсников МГСУ: студенты первых шести групп обучаются по программе бакалавриата по направлению 38.03.01
«Экономика» и остальных трех - по специальности 09.03.01 «Информатика и вычислительная техника». Первые три группы потока экономистов образовали испытуемую группу А, другие три - группу В, а студенты системотехники -группу С. Все девять групп обучаются по сходным программам дисциплины с единообразной методикой проведения практических занятий, но уровень знаний школьной математики студентов, специализирующихся на информатике и вычислительной технике, гораздо выше.
Тест состоит из 20 заданий. При подготовке теста преподаватели кафедры информатики и прикладной математики МГСУ составили по 30 различных однотипных задач для каждого из 20 заданий теста. Затем оригинальная авторская программа [11] сформировала уникальные наборы тестовых заданий для каждого испытуемого. Программа позволяет генерировать тесты закрытого и открытого типа. Тест проводился в письменном «бумажном» виде. Это несколько усложняет проверку работ преподавателями, но позволяет проверять открытые задания, в которых форма записи ответа не регламентирована.
Для группы испытуемых А тест проводился в открытой форме, т. е. в заданиях отсутствовал список ответов, студенты должны были самостоятельно решить задачу и записать полученный ответ. Студенты из групп В и С выполняли тест из закрытых заданий, в каждом из которых необходимо было выбрать один правильный ответ из имеющихся пяти. Продолжительность написания теста для каждой группы составила 90 минут. При оценке тестовых заданий использовалась дихотомическая оценка тестирования,
т. е. {0, 1}, где 0 - задание выполнено неправильно, 1 - задание выполнено правильно.
Очевидным недостатком тестов закрытого типа является возможность случайного угадывания верного ответа. Для минимизации угадывания при проведении данного тестирования от студентов требовалось не только указать верный ответ, но и предъявить письменное решение задачи. Качество и форма записи текста решения не оценивались, но при его отсутствии тестовое задание не засчитывалось. Вопросы, связанные с оценкой влияния угадывания на итоговый балл теста, подробно исследуются в [12-14].
Анализ результатов тестирования. Результаты выполнения теста обрабатывались таб-
;
I ■j
g
м -
х
—
•2
У
ill .1 ill......
I з ? 7 S 11 13 li Д7 №
Количество Етбрапиых баллов
Рис. 1. Распределение баллов студентов группы А
На рисунках 3 и 4 представлены гистограммы правильно решенных заданий студентами групп А и В (по горизонтальной оси - номер задания, по вертикальной - количество студентов, верно решивших задание). Видно, что распределения для обеих групп имеют схожий вид,
личным процессором Excel. На рисунках 1 и 2 представлены гистограммы распределения набранных баллов студентами из групп А и В (по горизонтальной оси - количество набранных баллов, по вертикальной - количество студентов). Видно, что наиболее часто встречающееся количество баллов в группе А равно 6, а в группе В - 10. При этом в группе А менее 20 % студентов верно решили более половины заданий, в то время как в группе В таких студентов около 70 %. Это означает, что студентам-экономистам легче выполнять тест с заданиями закрытого типа, в которых имеются варианты ответов.
яичсство каЕгранныл баллов
Рис. 2. Распределение баллов студентов группы В
при этом коэффициент корреляции верно решенных задач студентами двух групп равен 0,94. Следовательно, относительная сложность задачи не зависит от типа задания, то есть от того, предъявлены ли студенту варианты ответов или нет.
задания
Рис. 3. Распределение правильно решенных заданий в группе А
Аналогичные гистограммы распределения баллов и правильно решенных заданий для группы С приводятся на рис. 5 и рис. 6. соответственно. Большинство испытуемых этой группы набрали 13 баллов, при этом около 80 % студентов правильно решили более половины заданий. Сравнение результатов выполнения закрытого теста группами В и С позволяет сделать вывод, что студенты группы С имеют лучшие знания по
1 задания Рис. 4. Распределение правильно решенных заданий в группе В
математике, чем студенты-экономисты группы В. Распределение набранных баллов студентов, специализирующихся на информатике и вычислительной технике, приблизительно такое же, как и у студентов-экономистов. Коэффициент корреляции правильно решенных заданий группы С с группой А равен 0,9, у группы С с группой В - 0,89.
л и честно набранных баллов
Рис. 5. Распределение баллов студентов группы С
В начале первого семестра студенты всех девяти групп писали тест по элементарной математике, который содержал 20 заданий открытого типа и охватывал все разделы школьной математики [15]. В таблице 1 приведены сред-
Рис. 6. Распределение правильно решенных заданий в группе С
ние баллы теста «Введение в математический анализ. Пределы», а также коэффициенты корреляции с баллом ЕГЭ и с баллом теста по элементарной математике.
Статистические характеристики теста
Таблица 1
Средний балл теста Коэффициент корреляции с баллом ЕГЭ Коэффициент корреляции с баллом теста по элементарной математике
Группа А 7,2 0,35 0,46
Группа В 10,4 0,37 0,38
Группа С 11,5 0,37 0,59
Сравним результаты тестирования групп В и С, которые писали закрытый тест с предъявленными вариантами ответов. Средний тестовый балл в группе С выше, чем в группе В, т.е. уровень знаний и умений студентов экономических специальностей ниже уровня знаний студентов, специализирующихся на вычислительной технике. У студентов группы А средний балл самый низкий. Слабая корреляция с баллом ЕГЭ у всех трех групп объясняется тем, что в университете иная методика обучения, студентам в первое время тяжело адаптироваться к новой обстановке, к тому же в школе к ЕГЭ их «натаскивают» в течение двух лет, решая одни и те же однотипные задачи, в то время как в университете тему «Пределы» изучают в течение одного месяца.
Заключение. Сформулируем итоги моделирования и анализа результатов выполнения теста по теме «Введение в математический анализ. Пределы».
1. Получена оценка относительной сложности тестовых заданий открытого и закрытого типа. Наиболее сложным оказался тест открытого типа, который выполняли студенты экономических специальностей, средний балл которых составил 7,2. Самый лучший результат показали студенты, специализирующиеся на вычислительной технике, получившие в среднем 11,5
балла. У экономистов, выполнявших тест в закрытой форме, средний бал оказался немного меньшим и равным 10,4. Сравнение средних баллов в группах А и В позволяет количественно оценить усложнение одного и того же тестового задания при изменении его типа: около 3 баллов на тест или около 0,15 балла на одно задание. Отметим, что подобная оценка может существенно измениться при тестировании других групп по иным разделам и дисциплинам, данный вопрос требует отдельного тщательного исследования.
2. Сделан вывод о неизменности относительной сложности задач независимо от того, тест открытого или закрытого типа выполняют студенты.
3. По итогам теста сформулированы методические рекомендации по тестированию студентов и преподаванию учебной дисциплины «Математика». Во-первых, целесообразно студентам-экономистам выдавать тест закрытого типа, чтоб средний балл испытуемых был около N/2, где N - количество заданий в тесте. Это важно для установления адекватного порога успешного прохождения теста и ранжирования знаний студентов. Во-вторых, в результате анализа содержания тестовых заданий, оказавшихся наиболее сложными, выяснилось, что хуже всего испытуемые решают задачи, требующие зна-
ния свойств элементарных функции. Именно на эту тему нужно обратить особое внимание при повторении школьной математики на первых занятиях.
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
1. Ким В.С. Тестирование учебных достижений. Уссурийск: УГПИ, 2007. 214 с.
2. Аванесов В.С. Форма тестовых заданий. М.: Центр тестирования, 2005. 156 с.
3. Вилфорд Д. Современная типология педагогических тестов. Информационный бюллетень «Тесты в образовании», 1999, вып.1. 66 Berk R.A. Criterion-referenced measurement: The state of art. Baltimor, MD: Johns Hopkins University Press, 1980.
4. Keeves J.P. (Ed.) Educational Research, Metodology and Measurement: An International Handbook. Oxford: Pergamon press, 1988.
5. Переверзев В. Ю. Критериально-ориентированное педагогическое тестирование: Учеб. пособие. М.: Логос, 2003.
6. Сафина Г.Л., Осипов Ю.В., Керимова Д.Х., Красовская И.А. Полуавтоматическая система тестирования по математике // Открытое и дистанционное образование. 2015. № 2 (58). С. 56-62.
7. Duncan K.A., MacEachern S.N. Nonpara-metric Bayesian modelling for item response // Statistical Modelling. 2008. Vol. 8. No. 1. P. 41-66.
8. Кирьяков Б.С. Статистическая модель многократного тестирования учащихся // Вестник Рязанского государственного университета имени С.А. Есенина. 2008. № 1/18. С. 3-23.
9. Liang L., Browne M. W. A Quasi-Parametric Method for Fitting Flexible Item Response Functions // Journal of Educational and Behavioral Statistics. 2015. Vol. 40. P. 5-34.
10. Захаров А.А. Количественные и структурные характеристики комплексных тестовых композиций, сформированных на основе бинома Ньютона // Вестник Саратовского государственного технического университета. 2004. № 1. С. 19-24.
11. Fujimoto K.A., Karabatsos G. Dependent Dirichlet Process Rating Model Applied Psychological Measurement. 2014. Vol. 38. P. 217-228.
12. Кузьмина Л.И., Осипов Ю.В. Коррекция тестовых баллов с учетом отказов от угадывания // Alma-mater (Вестник высшей школы). 2014. № 12. С. 85-91.
13. Ким В.С. Коррекция тестовых баллов на угадывание. // Педагогические измерения. 2006. №4. С. 47-55.
14. Кромер В.В. Еще раз о коррекции тестовых баллов. // Педагогические измерения. 2007. № 1.С. 89-94.
15. Кузьмина Л.И., Осипов Ю.В. О тестировании студентов по «школьной» математике // Качество. Инновации. Образование. 2014. № 12. С. 3-7.
Safina G.L., Galaguz Yu.P.
ANALYSIS OF TESTING IN MATHEMATICS
Testing is one of the main forms of checking of students knowledge . In education two types of test items are used: an open type, when the examinee offers his answer, and a closed type, when each question is accompanied by answers, and the examinee chooses either one or several correct ones. The article is devoted to modeling of the level of mathematical knowledge of students of the Moscow State University of Civil Engineering on the basis of testing results with usage of a special program for tests generation. A comparative analysis of the results obtained during the usage of open and closed types of test items is carried out. The estimation of relative complexity of open and closed type of test items is obtained, the conclusion about its invariance depending on type of the test items is made. The methodological recommendations on the testing of students and the teaching of mathematical discipline are formulated.
Key words: pedagogical test, generation of tests, modeling of the level of knowledge, open and closed forms of items, mathematical disciplines.
Сафина Галина Леонидовна, кандидат технических наук, доцент
Национальный исследовательский Московский государственный строительный университет, кафедра прикладной математики
Адрес: Россия, 129337, Москва, Ярославское шоссе, д. 26. E-mail: minkinag@mail.ru
Галагуз Юрий Петрович, старший преподаватель.
Национальный исследовательский Московский государственный строительный университет, кафедра прикладной математики
Адрес: Россия, 129337, Москва, Ярославское шоссе, д. 26. E-mail: coneil@mail.ru
