CC BY
22
УДК 378.14:51-77
DOI: 10.24151/2409-1073-2019-1-140-148
Корреляционный анализ данных накопительно-балльной системы по математическим дисциплинам
С. Г. Кальней, И. Г. Завьялова, А. П. Кузнецов, А. С. Андреянова, Т. С. Макарова
Национальный исследовательский университет «МИЭТ», Москва, Россия skalney@yandex.ru
Изучается связь между результатами текущего контроля знаний и результатами экзаменов. Для нескольких математических дисциплин, преподаваемых студентам первого курса, найдены коэффициенты корреляции между результатами текущего контроля в семестре и итогового контроля (экзамена) во время экзаменационной сессии. Обсуждается характер найденных зависимостей и значения коэффициентов корреляции. Обосновывается вывод о существенности и значимости статистической зависимости между суммой баллов текущего контроля и баллами итогового контроля.
Ключевые слова: рейтинговая система оценки знаний; текущий контроль; итоговый контроль; корреляционный анализ.
Correlation Analysis of Accumulative Point-Based System for Mathematical Subjects
S. G. Kalney, I. G. Zavialova, A. P. Kuznetsov, A. S. Andreyanova, T. S. Makarova
National Research University of Electronic Technology, Moscow, Russia skalney@yandex.ru
The authors study a relation between results of formative knowledge assessment and of final exam. They did find coefficients of correlation between formative assessment results in academic term and summative assessment (exam) results in examination period for some mathematical subjects taught to first-grade students. The authors discussed the type of dependence they found and values of correlation rates and have justified the conclusion about substantial and significant nature of statistical relation between total points of formative assessment and points of summative assessment.
Keywords: rating-based knowledge assessment system; formative assessment; summative assessment; correlation analysis.
В советское время во многих технических вузах контроль качества освоения математических дисциплин традиционно разделялся на текущий контроль в процессе обучения в семестре (контрольные работы, индивидуальные расчетные задания и др.) и контроль в зачетно-экзаменационную
сессию (в форме экзамена или зачета). Экзамен, при его наличии, считался основной формой контроля. Именно его результаты определяли оценку по дисциплине за семестр. При выставлении оценки на экзамене преподаватель не был обязан учитывать результаты текущего контроля. Они
© Кальней С. Г., Завьялова И. Г., Кузнецов А. П., Андреянова А. С., Макарова Т. С.
могли быть учтены по желанию экзаменатора, в частности, в случае сомнений при определении окончательной оценки (например, «удовлетворительно» или «хорошо»).
Однако и при такой системе выставления оценок по дисциплине преподаватели, обсуждая итоги экзамена, отмечали, что студенты, имевшие лучшие результаты текущего контроля, как правило, получали и более высокие оценки на экзамене. Тем не менее не столь редко встречались ситуации, когда значительное число студентов в группе, имевших положительные оценки по текущему контролю, на экзамене получали «неудовлетворительно» из-за плохого знания теоретического материала дисциплины. Последнее часто было связано со следующим обстоятельством: на практических занятиях по математическим дисциплинам в семестре основное внимание уделялось выработке и последующей проверке навыков и умений решения задач, а на экзаменах — проверке степени освоения студентом теоретического материала (знание формулировок и доказательств утверждений, определений понятий, способность обосновать высказываемые утверждения и т. п.). Хотя в экзаменационный билет обычно включалось и решение задачи.
В 1990-е гг. в российских вузах началась разработка и внедрение систем оценивания качества освоения дисциплин, в которых итоговая оценка по дисциплине складывалась из совокупности показателей: оценки работы студента на занятиях в семестре, результатов текущих контрольных мероприятий и итогового контроля — экзамена или зачета. Такое изменение методов оценки качества обучения отражено в порядке организации образовательной деятельности в вузах [1, п. 39—40]. В нем вводится термин «промежуточная аттестация» вместо «экзамен» и «зачет». При этом форму и порядок проведения промежуточной аттестации устанавливает сам вуз. Причин введения таких систем довольно много, одна из них — необходимость повышения объективности контроля качества освоения дисциплины.
В разных вузах системы оценивания знаний называются по-разному: накопительно-балльные, балльно-рейтинговые и т. п. В Национальном исследовательском университете «МИЭТ» (НИУ МИЭТ) используется накопительная стобалльная шкала с дальнейшим переводом накопленных баллов в оценку по пятибалльной шкале.
Для многих математических дисциплин, реализуемых кафедрой высшей математики № 2 НИУ МИЭТ, в качестве окончательной формы оценки знаний установлен экзамен. В течение семестра студенты выполняют ряд обязательных контрольных мероприятий по отдельным разделам дисциплин (текущий контроль), а во время сессии сдают экзамен (итоговый контроль). В экзаменационные билеты включены задания по всем разделам дисциплины, при этом часть из них обязательно ориентирована на проверку уровня усвоения теоретического материала курса.
Итоговая оценка по дисциплине выставляется на основании суммы баллов, начисленных студенту за выполнение текущих контрольных мероприятий, и баллов, полученных им на экзамене. В сумму также включаются баллы, выставляемые студентам за посещение занятий в семестре (при наличии экзамена — не более 10 баллов). В процессе обучения студент может набрать до 60 баллов за семестр, а за экзамен получить максимум 40 баллов.
Мы уверены, что между результатами экзамена и текущего контроля есть положительная зависимость: более качественная работа студента в семестре влечет за собой более успешную сдачу экзамена.
Целью нашего исследования являлось обоснование этого утверждения методами математической статистики и обсуждение количественных характеристик зависимости между результатами текущего контроля и экзамена.
Педагогические и психологические исследования с привлечением методов математической статистики широко распространены за рубежом. Эти методы, адаптированные к уровню математической подготовки педагогов и психологов,
и многочисленные примеры их применения подробно изложены в книге [2]. В России статистические методы чаще используются в психологических исследованиях и значительно реже — в педагогических. Но в последние десятилетия в связи с внедрением тестов для оценки учебных достижений статистические методы стали использоваться при анализе качества тестов и обработке результатов тестирования (см. [3; 4]). К сожалению, нами не были найдены журнальные статьи, посвященные исследованию статистических зависимостей между результатами отдельных видов контроля знаний в рамках одной дисциплины.
Далее рассматриваются зависимости между результатами контрольных мероприятий по ряду дисциплин (математический анализ, линейная алгебра и дифференциальные уравнения) студентов 1-го курса факультета электроники и компьютерных технологий (ЭКТ) НИУ МИЭТ за 2016/17 и 2017/18 уч. г. В 2016/17 уч. г. на 1-м курсе обучалось 182 студента, в 2017/18 уч. г. — 181.
Анализировалась попарная корреляционная зависимость между следующими данными: а) баллами за текущие контрольные работы, проводимые в аудитории в присутствии преподавателя (обозначение баллов — КР); б) баллами за задания, выполняемые дома с последующей проверкой решений преподавателем (БДЗ); в) баллами за посещаемость практических занятий (П); г) баллами, полученными на экзамене (Э); д) суммами баллов по текущему контролю в семестре до проведения экзамена (СТК). Кроме того, рассматривались корреляционные зависимости результатов указанных выше мероприятий и так называемого рубежного контроля (РК) при его наличии. Рубежный контроль выделен в силу того, что он проводится в форме компьютерного онлайн-теста, выполняемого студентами дома с использованием сети Интернет.
Отметим некоторые особенности обработанных данных текущего контроля и экзаменов.
1. Данные для обработки взяты из корпоративной информационной системы НИУ МИЭТ (ОРИОКС). В силу особенностей сбора и отражения информации в ней результаты текущих контрольных мероприятий приведены с учетом их пересдачи (допускается при получении неудовлетворительной оценки), а результаты экзамена — без учета пересдач.
2. Студентам, не явившимся на экзамен, в системе проставляется «н». Этот результат не приравнивался к численному значению нуль, поэтому не был учтен при расчетах коэффициента корреляции между текущими контрольными мероприятиями и экзаменом.
3. Текущие контрольные работы и экзамен проводятся в письменной форме и имеют оговоренные критерии оценивания отдельных заданий. Однако критерии трудно сформулировать так, чтобы все преподаватели понимали и применяли их абсолютно одинаково. Поэтому в баллах, выставляемых разными преподавателями за представленные студентами решения одного и того же задания, есть элемент субъективности.
4. В рамках одного контрольного мероприятия задания, имеющие разную сложность, могут оцениваться одинаковым количеством баллов.
5. При выполнении контрольных мероприятий в дистанционной форме студенты могут использовать справочные материалы и прибегать к посторонней помощи.
6. Шкала оценивания отдельных мероприятий может предусматривать «разрывы». Например, за контрольную работу, оцениваемую максимально в 10 баллов, могут выставляться только баллы 0, 5, 6, 7, 8, 9, 10.
Набольший интерес представляет изучение зависимости между суммой баллов за все текущие контрольные мероприятия (СТК) и баллом на экзамене (Э).
С целью определить вид возможной зависимости между этими данными рассмотрим диаграммы рассеивания (рисунки 1 и 2). Результаты с одинаковыми координатами отмечаются на диаграммах как одна точка, поэтому число точек на диаграммах не совпадает с числом студентов.
45 40 35 30
и И
| 25
б
£ 20 и
I 15 10 5 0
Рис. 45
40
35 30
и К
Ш 25
I В
£ 20 к
I 15 10 5 О
• • •
______•• •• _
• • • •••
• • ••••• • •
____••____•__•__• • •____•_____
•• •••• ••• •• • • ••• • • • ••• ••• •
--------• •--• •• ••---•••----
••• •• ••••• •• • ••
_ • •••______•• • _ • _ _____
• • • • ••••• • •
• • •••••-•«—•-•-••
) 5 10 15 20 25 30 35 40 45 50 55 60
Балл СТК
1. Диаграмма рассеивания «СТК — Э» по математическому анализу, 1-й семестр 2017/18 уч. г.
• •
О 5 10 15 20 25 30 35 40 45 50 55 60
Балл СТК
^ис. 2. Диаграмма рассеивания «СТК — Э» по линейной алгебре, 1-й семестр 2017/18 уч. г.
Сделаем несколько замечаний. Во-первых, на обоих рисунках у части точек координата по оси ординат является нулевой. Это объясняется тем, что в шкале
оценки экзамена также есть «разрывы». Для математического анализа положительная оценка за экзамен начиналась с 14 баллов, баллы от 1 до 13 не выставлялись. Для
линейной алгебры положительная оценка начиналась с 15 баллов. Неудовлетворительные ответы оценивались в 0 баллов.
Во-вторых, на рисунке 1 отсутствуют точки с координатой СТК более 57, на рисунке 2 — с координатой СТК более 55, хотя максимальная СТК баллов за семестр по дисциплинам равняется 60. Это связано с тем, что при обработке данных были исключены баллы, начисляемые за активную работу студента на занятиях (от 0 до 3 баллов по математическому анализу и от 0 до 5 — по линейной алгебре). Так как критерии активности работы студента не были сформулированы достаточно четко, ее оценка отличается большой субъективностью.
Расположение точек на рисунках 1 и 2 позволяет предположить наличие линейной статистической зависимости между данными, причем по математическому анализу зависимость более сильная, чем по линейной алгебре. Аналогичный вид имеет расположение точек (СТК, Э) для других предметов и семестров.
Одной из характеристик, выражающих наличие линейной статистической зависимости между величинами, является коэффициент корреляции. В таблице 1 приведены коэффициенты корреляции между СТК и баллами на экзаменах по нескольким дисциплинам. Математический анализ изучается с 1-го по 3-й семестр, линейная алгебра — в 1-м семестре, дифференциальные уравнения — во 2-м.
Таблица 1
Коэффициенты корреляции между суммой баллов текущего контроля и баллом на экзамене
Математический анализ Линейная алгебра Дифференциальные уравнения
Поступившие в 2016 г. Поступившие в 2017 г. 2016/17 уч. г. 2017/18 уч. г. 2017/18 уч. г.
1 сем. 2 сем. 3 сем. 1 сем. 2 сем.
0,44 0,60 0,54 0,63 0,74 0,50 0,48 0,40
В таблице 2 приведены коэффициен- мероприятий для студентов, поступивших ты корреляции между группами отдельных на факультет ЭКТ в 2017 г.
Таблица 2
Коэффициенты корреляции между отдельными контрольными мероприятиями
Математический анализ, 1 сем. Математический анализ, 2 сем.
БДЗ П Э БДЗ П Э
КР 0,72 0,61 0,59 КР 0,80 0,79 0,73
БДЗ 0,62 0,50 БДЗ 0,75 0,53
П 0,33 П 0,35
СТК 0,63 СТК 0,74
Линейная алгебра Дифференциальные уравнения
БДЗ П РК Э БДЗ П РК Э
КР 0,72 0,63 0,32 0,41 КР 0,72 0,73 0,51 0,50
БДЗ 0,67 0,41 0,42 БДЗ 0,53 0,78 0,29
П 0,18 0,32 П 0,37 0,51
РК 0,15 РК 0,12
СТК 0,48 СТК 0,40
Прокомментируем полученные результаты.
Если коэффициент корреляции между двумя контрольными мероприятиями равен единице, то результат одного из них полностью предсказуем по результатам другого. В этом случае одно из мероприятий можно считать лишним. Вместе с тем оно может проводиться исходя из методики обучения и желания преподавателя повторно проверить уровень усвоения некоторых знаний и умений.
На практике даже для одной академической группы студентов из 20—25 человек маловероятна ситуация, когда коэффициент корреляции между двумя контрольными мероприятиями в группе равен единице или близок к ней.
По нашему мнению, основанному на опыте проведения контрольных мероприятий по высшей математике и сравнения полученных результатов, стоит считать, что линейная зависимость между результатами при коэффициенте корреляции более 0,8 является очень сильной, 0,6—0,7 — сильной, 0,4—0,5 — средней, менее 0,2 — фактически отсутствующей.
Уже при значениях коэффициента корреляции на уровне 0,4—0,5 преподаватели отмечают наличие заметной связи между результатами контрольных мероприятий в целом по группе и потоку. Поясним возможные причины этого на примере данных об успеваемости студентов 2017 г. поступления.
С одной стороны, наименее успевающие студенты потока (к ним отнесены набравшие не более 10 баллов из 60 в текущем контроле, примерно 10 % для каждой дисциплины) имеют неудовлетворительные оценки почти по всем контрольным мероприятиям дисциплины (исключение могут составлять посещаемость занятий и рубежный контроль). По этой причине в данной группе наблюдается сильная линейная зависимость между результатами отдельных контрольных мероприятий.
С другой стороны, у наиболее успевающих студентов потока (к ним отнесены те, кто набрал более 45 баллов из 60 в
текущем контроле, примерно 25 % для каждой дисциплины) результаты контрольных мероприятий имеют заметные колебания. Ни один из студентов группы не имеет неудовлетворительных оценок по проведенным контрольным работам. Но при этом: 1) по математическому анализу в 1-м семестре из 26 максимально возможных баллов по трем контрольным работам 26 баллов набрали 2 студента; 2) ни один студент не набрал во 2-м семестре 36 баллов из 36 максимально возможных по четырем контрольным работам; 3) по линейной алгебре из 20 максимально возможных баллов по двум контрольным работам 20 баллов набрали 4 студента; 4) по дифференциальным уравнениям никто из студентов не набрал 20 баллов из 20 максимально возможных по двум контрольным работам. Вместе с тем написали хотя бы одну контрольную работу на высший балл: по математическому анализу в 1-м семестре — 30 студентов, во 2-м — 29, по линейной алгебре — 17 студентов, по дифференциальным уравнениям — 19. Такие колебания существенно влияют на значение коэффициента корреляции, но поскольку колебания происходят в диапазоне положительных оценок, преподаватели считают связь между результатами контрольных работ существенной и значимой.
Отметим, что применение описательных прилагательных («очень сильная», «сильная» и т. д.) к значениям коэффициентов корреляции не имеет строгого определения и выражает лишь основанную на нашем опыте словесную характеристику наличия и степени линейной зависимости между данными.
Как видно из таблиц 1 и 2, наиболее слабую линейную зависимость с экзаменом имеют результаты рубежного контроля, проводимого в дистанционной форме. На это неоднократно обращали внимание многие преподаватели НИУ МИЭТ. Отметим, что по математическому анализу рубежный контроль не проводится.
На рисунке 3 приведена диаграмма рассеивания «СТК по математическому анализу — СТК по линейной алгебре», а на рисунке 4— «балл на экзамене — балл на рубежном
контроле» по линейной алгебре. Прямой линией на рисунках 3—5 обозначена линия линейной регрессии. Очевидно наличие очень сильной линейной зависимости между данными на рисунке 3 и ее фактическое отсутствие на рисунке 4. В первом 60
и &
"8 50
=8 О
« 40
<1>
случае коэффициент корреляции равен 0,87, во втором — 0,15. Заметим, что диаграмма рисунка 4 позволяет утверждать: между данными «балл на экзамене — балл на рубежном контроле» по линейной алгебре нет и нелинейной зависимости.
о а
о о Я и о св
т ^
«
30
20
10
0
0
5 10 15 20 25 30 35 40 45 50 55 60
Баллы СТК по математическому анализу
Рис. 3. Диаграмма рассеивания «СТК по математическому анализу — СТК по линейной алгебре»,
1-й семестр 2017/18 уч. г.
" Л §4
§ 13
и
1 & 9
се Ж
И
0
10
20
30
40
50
Балл на экзамене
Рис. 4. Диаграмма рассеивания «Э — РК» по линейной алгебре, 1-й семестр 2017/18 уч. г.
Отметим также, что наблюдается сла- математическим дисциплинам в вузе (ри-
бая зависимость между результатами ЕГЭ сунок 5). Коэффициент корреляции равен
по математике и результатами обучения 0,19. 100
90 80
I 70
60 50 40 30 20 10 0
S I
40
45
50
55
60
65
70
75
80
85
90
95
100
Сумма баллов ЕГЭ по математике
Рис. 5. Диаграмма рассеивания «балл ЕГЭ по математике — сумма баллов за семестр по математическому анализу», 1-й семестр 2017/18 уч. г.
Данные таблицы 2 показывают более сильную зависимость между контрольными мероприятиями в семестре по сравнению с их связью с результатами экзамена. Мы объясняем это тем, что: 1) содержание отдельных контрольных мероприятий менее объемно по сравнению с экзаменом; 2) содержание контрольных работ и индивидуальных заданий тесно связано с содержанием практических занятий; 3) контрольные работы в большей степени проверяют наличие и уровень практических умений решения задач и примеров, тогда как на экзамене значительное внимание уделяется проверке уровня владения теоретическим материалом дисциплины.
Сделаем выводы.
Таким образом, корреляционный анализ показывает наличие значимой статистической связи между результатами текущего
контроля и экзамена. Следовательно, учет в окончательной оценке по дисциплине результатов накопленных студентами баллов по текущему контролю оправдан, поскольку позволяет более точно оценить качество освоения дисциплины.
Литература
1. Порядок организации и осуществления образовательной деятельности по образовательным программам высшего образования — программам бакалавриата, программам специалитета, программам магистратуры: утв. приказом Министерства образования и науки Российской Федерации от 5 апреля 2017 г. № 301 // Официальный интернет-портал правовой информации: [Электронный ресурс] / Государственная система правовой информации. Опубл.: 17.07.2017. URL: http://publication. pravo.gov.ru/Document/View/ 0001201707170035 (дата обращения: 21.02.2019).
2. Гласс Дж., Стэнли Дж. Статистические методы в педагогике и психологии / Пер. с англ. Л. И. Хай-русовой. М.: Прогресс, 1976. 494 с.: ил.
3. Челышкова М. Б. Теория и практика конструирования педагогических тестов. М.: Логос, 2002. 431 с.: ил., табл.
4. Звонников В. И., Челышкова М. Б. Оценка качества результатов обучения при аттестации: компетент-ностный подход. Изд. 2-е, перераб. и доп. М.: Логос, 2012. 279 с.: ил., табл.
Поступила 10.12.2018
Кальней Сергей Григорьевич — кандидат физико-математических наук, заведующий кафедрой высшей математики № 2 Национального исследовательского университета «МИЭТ» (Россия, 124498, Москва, г. Зеленоград, пл. Шокина, д. 1), skalney@yandex.ru
Завьялова Ирина Геннадьевна — кандидат физико-математических наук, доцент кафедры высшей математики № 2 Национального исследовательского университета «МИЭТ» (Россия, 124498, Москва, г. Зеленоград, пл. Шокина, д. 1), hm2@miee.ru
Кузнецов Алексей Павлович — студент 3-го курса Национального исследовательского университета «МИЭТ» (Россия, 124498, Москва, г. Зеленоград, пл. Шокина, д. 1), kkuznetsov-a-p@yandex.ru
Андреянова Алина Сергеевна — студентка 3-го курса Национального исследовательского университета «МИЭТ» (Россия, 124498, Москва, г. Зеленоград, пл. Шокина, д. 1), andreyanova-alina-0807@yandex.ru
Макарова Татьяна Сергеевна — студентка 3-го курса Национального исследовательского университета «МИЭТ» (Россия, 124498, Москва, г. Зеленоград, пл. Шокина, д. 1), makarovatatianasergeevna@gmail.com
References
1. "Poryadok organizatsii i osushchestvleniya obra-zovatel'noi deyatel'nosti po obrazovatel'nym programmam vysshego obrazovaniya — programmam bakalavriata, pro-grammam spetsialiteta, programmam magistratury, utv. prikazom Ministerstva obrazovaniya i nauki Rossiiskoi Federatsii ot 5 aprelya 2017 g. No. 301" (Arrangement Procedure of Educational Operations Implementation upon
Higher Education Programs: Undergraduate Programs, Specialist Programs and Master Programs, Approved by Order of Ministry of Education and Science of the Russian Federation No. 301 from April 5, 2017). Ofltsial'nyi internet-portal pravovoi informatsii. Gosudarstvennaya sistema pravovoi informatsii, opubl. 17.07.2017. Web. 21 Feb. 2019. <http://publication.pravo.gov.ru/Document/View/ 0001201707170035>.
2. Glass Dzh. (Glass G. V.), Stenli Dzh. (Stanley J. C.) Statisticheskie metody v pedagogike i psikhologii (Statistical Methods in Education and Psychology), Per. s angl. L. I. Khairusovoi, M.: Progress, 1976, 494 p., il.
3. Chelyshkova M. B. Teoriya i praktika konstruiro-vaniya pedagogicheskikh testov (Theory and Practice of Education Tests Designing), M., Logos, 2002, 431 p., il., tabl.
4. Zvonnikov V. I., Chelyshkova M. B. Otsenka kache-stva rezul'tatov obucheniya pri attestatsii: kompetentnostnyi podkhod (Learning Outcomes Quality Assessment in Course of Performance Assessment: Competence-Based Approach), Izd. 2-e, pererab. i dop., M., Logos, 2012, 279 p., il., tabl.
Submitted 10.12.2018
Kalney Sergey G., PhD (Physics and Mathematics), Associate Professor, Head of Higher Mathematics Department No. 2, National Research University of Electronic Technology (Russia, 124498, Moscow, Zelenograd, Shokin sq., 1), skalney@yandex.ru
Zavialova Irina G., PhD (Physics and Mathematics), Associate Professor, associate professor at Higher Mathematics Department No. 2, National Research University of Electronic Technology (Russia, 124498, Moscow, Zelenograd, Shokin sq., 1), hm2@miee.ru
Kuznetsov Alexey P., third-year student, National Research University of Electronic Technology (Russia, 124498, Moscow, Zelenograd, Shokin sq., 1), kkuznetsov-a-p@yandex.ru
Andreyanova Alina S., third-year student, National Research University of Electronic Technology (Russia, 124498, Moscow, Zelenograd, Shokin sq., 1), andreyanova-alina-0807@yandex.ru
Makarova Tatiana S., third-year student, National Research University of Electronic Technology (Russia, 124498, Moscow, Zelenograd, Shokin sq., 1), makarovatatianasergeevna@gmail.com
