CC BY
57
Перспективы Науки и Образования
Международный электронный научный журнал ISSN 2307-2334 (Онлайн)
Адрес выпуска: pnojournal.wordpress.com/archive21/21-04/ Дата публикации: 30.08.2021 УДК 371.1
А. К. Погребников, В. Н. Шестаков, Ю. Ю. Якунин
Влияние системы оценивания студентов на их показатели успеваемости во время пандемии COVID-19
Системы оценки знаний студентов в традиционном обучении и дистанционном различаются и дают различные оценки результатов обучения, что влияет на показатели успеваемости студентов. Тенденции современного образования направлены на всё большее вовлечение дистанционных форм в образовательный процесс вузов, что требует определённой синхронизации систем оценивания на уровне результатов обучения. Исследование направлено на выявление и подтверждение наличия различий между результатами оценивания в традиционной и дистанционных формах обучения, которые отражены в показателях успеваемости студентов.
В исследовании использовались методы непараметрического анализа с использованием программы STATISTICA 10.0. Для сравнения независимых совокупностей в случаях отсутствия признаков нормального распределения данных использовался и-критерий Манна-Уитни, а для сравнения номинальных показателей применен Хи-квадрат Пирсона. Для сравнения связанных (парных) количественных выборок использовался критерий Уилкоксона.
Результаты исследования констатировали факты статистически значимого роста показателей успеваемости у студентов в период пандемии СОУЮ-19 при дистанционном обучении. Так, при сравнении показателей успеваемости студентов в весенних семестрах 2018/2019 и 2019/2020 учебных годов обнаружены значимые различия по и-критерию и Хи-квадрат с разными уровнями (р < 0,05, р < 0,01, р < 0,001) в зависимости от курса обучения и показателя успеваемости. Исключением являются только студенты выпускных курсов магистратуры, продемонстрировавшие спад успеваемости.
По результатам исследования можно сделать вывод, что система оценивания в дистанционном формате предъявляет более низкие требования к результатам обучения с точки зрения показателей успеваемости студентов, что завышает их относительно традиционной формы обучения.
Ключевые слова: успеваемость студентов, СОУЮ-19, высшее образование, система оценивания студентов
Ссылка для цитирования:
Погребников А. К., Шестаков В. Н., Якунин Ю. Ю. Влияние системы оценивания студентов на их показатели успеваемости во время пандемии СОУЮ-19 // Перспективы науки и образования. 2021. № 4 (52). С. 80-93. сМ: 10.32744^.2021.4.5
Perspectives of Science & Education
International Scientific Electronic Journal ISSN 2307-2334 (Online)
Available: psejournal.wordpress.com/archive21/21-04/ Accepted: 21 May 2021 Published: 30 August 2021
A. K. Pogrebnikov, V. N. Shestakov, Yu. Yu. Yakunin
Impact of grading system on student academic performance during the COVID-19 pandemic
The grading systems used for assessment students' knowledge in traditional and distance learning differ and give different assessments of learning outcomes, which affects the indicators of student academic performance. The trends of modern education are aimed at the increasing involvement of distance forms in the educational process of universities, which requires a certain synchronization of grading systems at the level of learning outcomes. The research is aimed at identification and confirmation of the existence of differences between the results of assessment in traditional and distance learning forms, which are reflected in the indicators of student performance.
The study used methods of nonparametric analysis using the STATISTICA 10.0 program. The Mann-Whitney U-test was used to compare independent populations in cases where there were no signs of normal data distribution, and Pearson's Chi-square test was used to compare nominal values. To compare related (paired) quantitative samples, the Wilcoxon test was used.
The research results showed a statistically significant increase in student academic performance during the COVID-19 pandemic during distance learning. Therefore, when comparing the indicators of student performance in the spring semesters of 2018/2019 and 2019/2020 academic years, significant differences were found in the U-criterion and Chi-square with different levels (p <0.05, p <0.01, p <0.001) depending on the course of study and the performance indicator. The only exceptions are the senior students of Master's programmes who have shown a decline in academic performance.
According to the results of the study, it can be concluded that the distance grading system makes lower requirements for learning outcomes in terms of student academic performance indicators, which overestimates them relative to the traditional form of education.
Keywords: student academic performance, COVID-19, higher education, student grading system
For Reference:
Pogrebnikov, A. K., Shestakov, V. N., & Yakunin, Yu. Yu. (2021). Impact of grading system on student academic performance during the COVID-19 pandemic. Perspektivy nauki i obrazovania -Perspectives of Science and Education, 52 (4), 80-93. doi: 10.32744/pse.2021.4.5
_Введение
развитие дистанционных форм обучения и применение специализированных ] электронных обучающих систем в последнее время позволило создать ряд онлайн университетов и оказать серьёзное влияние на подходы в обучении студентов в традиционных вузах. При этом, пандемия COVID-19 весной 2020 года временно, но почти одномоментно вовлекла в дистанционное обучение всю систему образования, испытывая её на прочность.
Так называемое смешанное обучение, включающее наряду с традиционными методами дистанционные, всё глубже проникает в образовательные процессы современных вузов и регулируется федеральными образовательными стандартами, законом об образовании и набором подзаконных актов [1].
Смешанный подход обучения хоть и обилует смелыми экспериментами в части применения дистанционных технологий, однако классическая организация учебного процесса прежде всего ориентирована на традиционные формы, включая сложившуюся систему оценивания успеваемости студентов. Само по себе оценивание знаний - это отдельная обширная тема, которой посвящены труды многих исследователей. Важную роль в этом процессе играет преподаватель, который фактически принимает единоличное решение при оценивании студентов, на основе которого включаются в работу уже другие организационные процессы, такие как назначение стипендий, организация пересдач, отчисление, переводы и пр.
Исследования в этой области показывают, что большое внимание уделяется оценке компетенций. Так, по результатам Немецкой исследовательской программы КоКо^ [2] можно сделать выводы о важности таких оценок, разработке и применению соответствующих инструментов, в том числе тестирования, документирования, четкого представления оцениваемых конструкций, обратной связи, средств интерпретации результатов оценивания. Исследователи из США отмечают, что в образовании, основанном на компетенциях, широко используются два основных типа оценок: объективная оценка и оценка успеваемости [3], у каждой из которых есть свои преимущества. Тем не менее предлагают собственную методику объективной оценки, состоящую из 12 шагов. В Испании результаты работы по государственной программе исследований, разработок и инноваций перед вызовами общества показали важность формирующего оценивания - процесса, с помощью которого преподаватели предоставляют учащимся информацию в процессе обучения, чтобы изменить их понимание и саморегуляцию [4].
Дистанционные формы обучения преимущественно формализуют процесс оценивания знаний студентов и минимизируют участие в этом процессе преподавателя [5]. Отсюда возникает вопрос сохранения качества образования, выражающегося в компетенциях, сформированных у студентов, которые в случае традиционного образования оцениваются экспертно, а в случае дистанционного - преимущественно автоматически обучающей системой. В дистанционном обучении может применяться электронное портфолио в качестве альтернативного метода оценивания результатов электронного обучения [6]. Наряду с этим используется взаимная оценка открытых заданий, что способствует преодолению социальной изоляции, окружающей дистанционное образование [7]. Также применяются инструменты и подходы игровой направленно-
сти, позволяющие повысить и улучшить результаты обучения [8; 9]. Одновременно с этим существуют и серьёзные проблемы электронного оценивания, связанные с мошенничеством, которое может привести к подмене и искажению оценок результатов обучения [10].
Как сложившаяся система оценки успеваемости работает для полностью дистанционного формата обучения? Этот вопрос подробно мы смогли изучить благодаря 2019/2020 учебному году, в весеннем семестре которого учебный процесс был организован полностью в дистанционном формате, в связи с официально объявленной пандемией COVID-19.
Проведённые исследования пандемийного учебного года показывают, что ограничения COVID-19 оказывают значительное положительное влияние на успеваемость студентов [11]. Этот эффект значим как для дисциплин, которые увеличили количество оценочных заданий, так и для дисциплин, которые не повлияли на учебную нагрузку учащихся.
В университетах Мексики выявили зависимость между успеваемостью студентов во время пандемии COVID-19 и тремя переменными окружающей среды (освещение, шум и температура) [12]. Анализ и результаты данного исследования показывают, что все исследуемые переменные играют важную роль в академической успеваемости студентов во время пандемии.
Выявлено влияние психологического состояния студентов (депрессии, беспокойства и стресс) во время пандемии на академическую успеваемость студентов. Такое влияние оказалось незначительным и составило лишь 5,7% в общем объёме факторов, влияющих на успеваемость [13].
Исследование в Голландском исследовательском университете показало понижение мотивации студентов и снижение усилий на обучение в пандемию. Тем не менее, в среднем студенты получили немного больше кредитов, чем раньше [14].
В некоторых работах встречаются противоположные результаты по успеваемости в пандемию, показывающие существенное негативное влияние цифрового семестра на академическую успеваемость, где студенты показали значительно худшие результаты после того, как вспышка COVID-19 заставила университет отказаться от очного обучения и адаптироваться к удаленному обучению [15].
Стоит также отметить, что карантин во время пандемии COVID-19 вызвал и повысил уровень беспокойства и стресса среди студентов, что, в свою очередь, способствовало электронному мошенничеству, которое проявилось в виде обмана на онлайн-экзаменах [16].
Целью настоящей статьи было выявить отличия показателей успеваемости студентов в дистанционном режиме во время пандемии и очном или смешанном режимах, а также выявить основные причины, влияющие на изменение показателей успеваемости студентов. Поставлены и решены следующие задачи исследования.
1) Проведён сравнительный анализ показателей успеваемости студентов в весенних семестрах разных учебных годов в дистанционном во время пандемии и традиционном режимах.
2) Проведён анализ отличия контингента студентов исследуемых учебных годов в дистанционном и традиционном режимах.
3) Выполнен анализ динамики показателей успеваемости студентов в разрезе курсов и семестров для разных учебных годов.
4) Выявлены причины отличия показателей успеваемости студентов, обучающихся в дистанционном формате и в очной форме.
_Материалы и методы
Для исследования были взяты 115 учебных групп всего контингента, обучающихся в бакалавриате и магистратуре Института космических и информационных технологий (ИКИТ) Сибирского федерального университета (СФУ) общей численностью 1825 студента.
Проводились сравнения всего контингента, учащихся в магистратуре и учащихся в бакалавриате. В магистратуре и бакалавриате контингент сравнивается с делением на курсы обучения и семестры. Весенний семестр - ключевой (первый в условиях пандемии), сравнения в нем средних баллов и результатов сессий - главная задача. Осенний семестр анализируется в качестве контрольного, в нем были обычные условия обучения.
Материалы исследования подвергнуты статистической обработке с использованием методов непараметрического анализа. Накопление, корректировка, систематизация исходной информации и визуализация полученных результатов осуществлялись в электронных таблицах Microsoft Office Excel. Статистический анализ проводился с использованием программы STATISTICA 10.0.
Количественные показатели оценивались на предмет соответствия нормальному распределению, для этого использовался критерий Колмогорова-Смирнова, частотные гистограммы, нормально-вероятностные графики, диаграммы размаха, показатели асимметрии и эксцесса.
Наборы количественных показателей, распределение которых отличалось от нормального, описывались при помощи значений медианы (Me), нижнего и верхнего квартилей (Q1-Q3).
Для сравнения независимых совокупностей в случаях отсутствия признаков нормального распределения данных использовался U-критерий Манна-Уитни. Для сравнения связанных (парных) количественных выборок использовался критерий Уилкоксона.
Для сравнения номинальных выборок применялся критерий Хи-квадрат Пирсона (для независимых выборок), критерий Кохрена (для парных выборок).
_Результаты исследования
В таблице 1 приведено сравнение показателей успеваемости в весеннем семестре 2018/2019 учебного года с аналогичными показателями весеннего семестра 2019/2020 учебного года. Студенты в сравниваемые периоды учились разные.
Контингент в таблице представлен тремя группами: все студенты; учащиеся бакалавриата; учащиеся в магистратуре. В каждой группе показатели успеваемости в двух учебных годах сравнивались совокупно по всем курсам и по каждому курсу отдельно.
Исследовались показатели успеваемости студентов в изучаемой сессии: средний балл за сессию представлен медианным значением (Me) и интервалами нижнего -верхнего квартиля (Q1-Q3); результаты сессии, выраженные одним из четырех вариантов: 0 - сессия не сдана полностью и в срок, 1 - сессия сдана с наличием хотя бы одной оценки «удовлетворительно», 2 - «хорошо» и «отлично», 3 - только «отлично». В последнем столбце p - это уровни значимости различий показателей успеваемости в весенних семестрах 2018/2019 и 2019/2020 учебных годов по U-критерию Манна-Уитни для показателей «средний балл», по критерию Хи-квадрат Пирсона для показателей «результат сессии».
Таблица 1
Сравнение успеваемости студентов в весенних семестрах 2018/2019 и 2019/2020
учебных годов
Контингент Курс Показатель Учебный год Р
2018/2019 2019/2020
Все 1-4 Средний балл Ме (Ц1-Ц3) 4,40 (3,80-5,00) 4,60 (4,00-5,00) <0,001***
Результат сессии (0 / 1 / 2 / 3), % 48 / 11 / 18 / 22 43 / 8 / 22 / 27 <0,001***
Бакалавриат 1-4 Средний балл Ме (Ц1-Ц3) 4,25 (3,69-4,80) 4,50 (3,88-5,00) <0,001***
Результат сессии (0 / 1 / 2 / 3), % 50 / 13 / 20 / 18 43 / 9 / 24 / 23 <0,001***
1 Средний балл Ме (Ц1-Ц3) 4,20 (3,60-4,60) 4,25 (3,75-4,75) 0,129
Результат сессии (0 / 1 / 2 / 3), % 48 / 19 / 21/ 12 48 / 12 / 26 / 14 0,006**
2 Средний балл Ме (Ц1-Ц3) 4,25 (3,75-5,00) 4,40 (3,85-4,83) 0,242
Результат сессии (0 / 1 / 2 / 3), % 52 / 8 / 17 / 23 47 / 7 / 26 / 20 0,005**
3 Средний балл Ме (Ц1-Ц3) 4,40 (3,80-4,80) 4,67 (4,00-5,00) <0,001***
Результат сессии (0 / 1 / 2 / 3), % 57 / 4 / 22 / 17 45 / 7 / 20 / 27 0,006**
4 Средний балл Ме (Ц1-Ц3) 4,33 (3,67-4,83) 4,75 (4,00-5,00) <0,001***
Результат сессии (0 / 1 / 2 / 3), % 41 / 17 / 21 / 21 21 / 12 / 24 / 44 <0,001***
Магистратура 1 и 2 Средний балл Ме (Ц1-Ц3) 5,00 (4,50-5,00) 5,00 (4,75-5,00) 0,128
Результат сессии (0 / 1 / 2 / 3), % 41 / 4 / 11 / 45 40 / 1 / 12 / 48 0,046*
1 Средний балл Ме (Ц1-Ц3) 5,00 (4,67-5,00) 5,00 (4,60-5,00) 0,780
Результат сессии (0 / 1 / 2 / 3), % 54 / 0 / 9 / 36 42 / 1 / 14 / 43 0,103
2 Средний балл Ме (Ц1-Ц3) 5,00 (4,15-5,00) 5,00 (5,00-5,00) 0,069
Результат сессии (0 / 1 / 2 / 3), % 21 / 9 / 12 / 58 36 / 1 / 8 / 55 0,001**
Примечание. Здесь и далее * p < 0,05, ** p < 0,01, *** p < 0,001; серым цветом выделены ячейки, в которых, статистически-значимо различающиеся показатели, имеют лучшие значения в сравниваемые периоды.
Из таблицы 1 видно, что показатели успеваемости в весеннем семестре 2019/2020 учебного года изменились по отношению к весеннему семестру 2018/2019 учебного года. Изменение выразилось в повышении показателей успеваемости. Утверждение справедливо для всего контингента: средний балл сессии повысился в среднем на 0,2 балла, результат сессии улучшился (меньше не сдавших сессию вовремя и в срок; меньше сессий, закрытых с оценками «удовлетворительно»; больше «круглых» отличников).
У бакалавров медиана средних баллов увеличилась в целом (+0,25), на 3-м курсе (+0,27) и особенно на 4-м куре (+0,42); результат сессии также улучшился в целом и по всем курсам обучения: уменьшилось число вышедших на пересдачи (особенно на 4-м курсе), увеличилось число отличников. В магистратуре значимых изменений в средних баллах за сессию не обнаружено; зафиксировано небольшое смещение в сторону оценки «отлично» у магистрантов в целом, при этом у магистрантов-выпускников увеличилось число вышедших на пересдачу (+15%).
Такими образом, в первую (весеннюю) сессию периода пандемии у изучаемого контингента обнаружено увеличение показателей успеваемости по отношению к аналогичной сессии годом ранее. Это особенно заметно у студентов бакалавриата старших курсов.
В таблице 2 сравниваются показатели успеваемости студентов, сдававших сессию в осенних семестрах 2018/2019 и 2019/2020 учебных годов. Обе осенние сессии
прошли до пандемии. Цель сравнения - проверить однородность контингента, изученного на предыдущем этапе. Дополнительной проверкой однородности контингента стало сравнение баллов ЕГЭ при поступлении у студентов бакалавриата.
Описательная статистика и статистические критерии для показателей успеваемости студентов аналогичны представленным в таблице 1. Баллы ЕГЭ представлены медианными значениями (Ме) и интервалами нижнего - верхнего квартиля (Ц1-Ц3). Сравнение значимости различий баллов ЕГЭ проведено и-критерием Манна-Уитни.
Таблица 2
Сравнение успеваемости и баллов ЕГЭ студентов, сдававших сессию в осенних семестрах 2018/2019 и 2019/2020 учебных годов
Контингент Курс Показатель Учебный год Р
2018/2019 2019/2020
Все 1-4 Средний балл Ме (Ц1-Ц3) 4,25 (3,50-5,00) 4,43 (3,67-5,00) <0,001***
Результат (0 / 1 / 2 / 3), % 54 / 8 / 17 / 21 50 / 8 / 18 / 25 0,002**
Бакалавриат 1-4 Балл ЕГЭ Ме (Ц1-Ц3) 212 (188-231) 215 (191-234) 0,003**
Средний балл Ме (Ц1-Ц3) 4,00 (3,50-4,67) 4,25 (3,50-5,00) <0,001***
Результат (0 / 1 / 2 / 3), % 57 / 9 / 18 / 16 51 / 9 / 19 / 21 <0,001***
1 Балл ЕГЭ Ме (Ц1-Ц3) 212 (193-228) 218 (191,5-234) 0,015*
Средний балл Ме (Ц1-Ц3) 4,00 (3,45-4,50) 4,00 (3,50-4,50) <0,001***
Результат (0 / 1 / 2 / 3), % 47 / 14 / 26 / 12 48 / 11 / 21 / 20 <0,001***
2 Балл ЕГЭ Ме (Ц1-Ц3) 211 (190-233) 213 (193-231) 0,393
Средний балл Ме (Ц1-Ц3) 4,00 (3,42-4,75) 4,00 (3,40-4,75) 0,690
Результат (0 / 1 / 2 / 3), % 65 / 8 / 12 / 14 54 / 11 / 17 / 18 0,002**
3 Балл ЕГЭ Ме (Ц1-Ц3) 212 (180-234) 213,5 (190-234,5) 0,222
Средний балл Ме (Ц1-Ц3) 4,33 (3,86-5,00) 4,33 (3,67-5,00) 0,193
Результат (0 / 1 / 2 / 3), % 57/ 5 / 15 / 24 57 / 5 / 13 / 25 0,878
4 Балл ЕГЭ Ме (Ц1-Ц3) 212 (171-230,5) 214 (184-237) 0,084
Средний балл Ме (Ц1-Ц3) 4,25 (3,67-4,86) 4,50 (3,67-5,00) 0,225
Результат (0 / 1 / 2 / 3), % 65 / 4 / 11 / 19 45 / 6 / 24 / 24 <0,001***
Магистратура 1 и 2 Средний балл Ме (Ц1-Ц3) 5,00 (4,50-5,00) 5,00 (4,67-5,00) 0,359
Результат (0 / 1 / 2 / 3), % 42 / 2 / 15 / 42 43 / 1 / 12 / 44 0,304
1 Средний балл Ме (Ц1-Ц3) 5,00 (4,50-5,00) 5,00 (4,67-5,00) 0,950
Результат (0 / 1 / 2 / 3), % 49 / 1 / 11 / 39 50 / 0 / 8 / 42 0,439
2 Средний балл Ме (Ц1-Ц3) 5,00 (4,40-5,00) 5,00 (4,63-5,00) 0,159
Результат (0 / 1 / 2 / 3), % 31 / 3 / 20 / 45 35 / 1 / 17 / 47 0,489
Проверка подтвердила, что сравниваемый контингент (студенты, сдававшие весеннюю сессию в 2020 году и годом ранее) частично отличается. Это отличие характерно только для бакалавров, магистранты оказались однородны. Неоднородны по входным параметрам (при поступлении и в ходе обучения) оказались бакалавры на 1-м курсе (по ЕГЭ, среднему баллу и результату сессии) в пользу 2019/2020 учебного года, и отчасти 2, 4 курсов (по результату сессии).
На следующем этапе проверялась стабильность успеваемости изучаемого контингента в условиях пандемии и до нее (сравниваем весеннюю и осеннюю сессии
2019/2020, и дополнительно весеннюю и осеннюю сессии 2018/2019), чтобы изучить фактор сложности осенних и весенних сессий для одних и тех же студентов.
В таблице 3 представлено сравнение показателей успеваемости: средние баллы сессии (аналогично таблице 1) и результаты сессии осенью и весной у изучаемого контингента. Результаты сессии в отличие от предыдущих таблиц представлены только процентом не сдавших вовремя сессию и успешно справившихся с её закрытием.
Поскольку сравнивались баллы и результаты одних и тех же студентов, на этом этапе база анализируемых данных сократилась за счет удаления студентов, не обучающихся в осеннем и весеннем семестрах. По тем или иным причинам они были переведены, отчислены или взяли академический отпуск. Использованы статистические критерии для парных (связанных) выборок: для сравнения средних баллов - Критерий Уилкоксона; для сравнения результатов сессии - критерий Кохрена.
Таблица 3
Стабильность показателей успеваемости
Контингент Курс Учебный Показатель Сессия Р
год Осенняя Весенняя
Все 1-4 2018/2019 Средний балл Ме (Ц1-Ц3) 4,25 (3,50-5,00) 4,40 (3,80-5,00) 0,000***
Результат (0 / 1-3), % 52 / 48 48 / 52 0,000***
2019/2020 Средний балл Ме (Ц1-Ц3) 4,50 (3,67-5,00) 4,60 (4,00-5,00) 0,000***
Результат (0 / 1-3), % 44 / 56 42 / 58 0,074
Бакалавриат 1-4 2018/2019 Средний балл Ме (Ц1-Ц3) 4,00 (3,50-4,67) 4,25 (3,69-4,80) 0,000***
Результат (0 / 1-3), % 55 / 45 49 / 51 0,000***
2019/2020 Средний балл Ме (Ц1-Ц3) 4,25 (3,50-5,00) 4,50 (3,88-5,00) 0,000***
Результат (0 / 1-3), % 46 / 54 43 / 57 0,045*
1 2018/2019 Средний балл Ме (Ц1-Ц3) 4,00 (3,50-4,50) 4,20 (3,60-4,60) 0,000***
Результат (0 / 1-3), % 43 / 57 48 / 52 0,012*
2019/2020 Средний балл Ме (Ц1-Ц3) 4,00 (3,50-5,00) 4,25 (3,75-4,75) 0,140
Результат (0 / 1-3), % 44 / 56 48 / 52 0,016*
2 2018/2019 Средний балл Ме (Ц1-Ц3) 4,15 (3,40-4,75) 4,25 (3,75-5,00) 0,000***
Результат (0 / 1-3), % 63 /37 52 / 48 0,000***
2019/2020 Средний балл Ме (Ц1-Ц3) 4,25 (3,50-4,75) 4,40 (3,85-4,83) 0,000***
Результат (0 / 1-3), % 47 / 53 47 / 53 0,919
3 2018/2019 Средний балл Ме (Ц1-Ц3) 4,33 (3,82-5,00) 4,40 (3,80-4,80) 0,808
Результат (0 / 1-3), % 55 / 45 56/ 44 0,586
2019/2020 Средний балл Ме (Ц1-Ц3) 4,33 (3,67-5,00) 4,67 (4,00-5,00) 0,000***
Результат (0 / 1-3), % 51 / 49 45 / 55 0,062
4 2018/2019 Средний балл Ме (Ц1-Ц3) 4,27 (3,67-5,00) 4,33 (3,67-4,83) 0,379
Результат (0 / 1-3), % 65 / 35 41/ 59 0,000***
2019/2020 Средний балл Ме (Ц1-Ц3) 4,50 (3,67-5,00) 4,75 (4,00-5,00) 0,000***
Результат (0 / 1-3), % 41 / 59 20 / 80 0,000***
Магистратура 1 и 2 2018/2019 Средний балл Ме (Ц1-Ц3) 5,00 (4,50-5,00) 5,00 (4,50-5,00) 0,540
Результат (0 / 1-3), % 39 / 61 41 / 59 0,353
2019/2020 Средний балл Ме (Ц1-Ц3) 5,00 (4,67-5,00) 5,00 (4,75-5,00) 0,882
Результат (0 / 1-3), % 39 / 61 40 / 60 0,902
1 2018/2019 Средний балл Ме (Ц1-Ц3) 5,00 (4,50-5,00) 5,00 (4,67-5,00) 0,362
Результат (0 / 1-3), % 46 / 54 54 / 46 0,001**
2019/2020 Средний балл Ме (Ц1-Ц3) 5,00 (4,67-5,00) 5,00 (4,60-5,00) 0,270
Результат (0 / 1-3), % 48 / 52 42 / 58 0,070
2 2018/2019 Средний балл Ме (Ц1-Ц3) 5,00 (4,40-5,00) 5,00 (4,14-5,00) 0,904
Результат (0 / 1-3), % 28 / 72 21 / 79 0,105
2019/2020 Средний балл Ме (Ц1-Ц3) 5,00 (4,63-5,00) 5,00 (5,00-5,00) 0,224
Результат (0 / 1-3), % 27 / 73 36 / 64 0,028*
У магистрантов по среднем баллу сессии наблюдается стабильность как в 2019/2020, так и в 2018/2019 учебном году. По 2019/2020 году результат сессии был лучше в зимней сессии.
У учащихся на 1-м курсе бакалавриата в 2019/2020 учебном году средние баллы сессии осенью и весной были стабильны, на остальных курсах - очевидная положительная динамика в весеннем семестре. В предыдущем (2018/2019) учебном году стабильность средних баллов продемонстрировали учащиеся бакалавриата на 3-м и 4-м курсах, положительную динамику - учащиеся 1-го и 2-го курсов.
Для наглядности и визуального представления полученных результатов на графике введём понятие результативности обучения, которое включает в себя и средний балл и результат обучения одновременно. Такое объединение позволяет избежать неполноты показателей среднего балла и результатов обучения по отдельности. Так, показатель среднего балла не учитывает дисциплины с формой контроля «зачёт» и не сданные дисциплины с экзаменом, а показатель результатов обучения в свою очередь лишён качественной оценки для дисциплин с экзаменом.
4
3,5
2,5
1,5
а и О
сп
X
о а л
а о О
СП X
о
си
□□
л
X
а о О
о ш
Сй
л
X
а о О
СП X
о
си
□□
Все
1 курс Магистратура
2 курс
Все
Осень Весна Осень Весна Осень Весна
1 курс 2 курс 3 курс
а и О
СП X
о си
4 курс
12013/2019
Бакалавриат 2019/2020
Рисунок 1 График результативности обучения
Показатель результативности обучения (През) будем рассчитывать по формуле През = Бср * К, где Бср - средний балл, а Кс - доля студентов, успешно сдавших сессию. Кс С [0, 1], где 0 означает, что ни один из студентов не сдал вовремя сессию (т.е. хотя бы по одному предмету имеется задолженность на момент окончания сессии), а 1 — все студенты сдали сессию вовремя по графику учебного процесса. Такой показатель позволяет отразить успеваемость по учебному процессу образовательного учреждения более точно, с учётом дисциплин с формой контроля «зачёт» и с учётом графика учебного процесса.
На рисунке 1 приведён график результативности обучения в весенних и осенних семестрах 2018/2019 и 2019/2020 годов обучения для бакалавров и магистров в разрезе курсов. Из графика видно, что результативность обучения в весенних семестрах 2019/2020 года выше, чем аналогичная результативность предыдущего учебного года. Исключение составляет только 2-й курс магистратуры.
_Обсуждение результатов
Эксперты ЮНЕСКО в августе 2020 года, прогнозируя варианты развития событий в сфере образования, ожидали ухудшение показателей успеваемости: снижение среднего балла, увеличение его стандартного отклонения, увеличение числа отчислений [17]. Изученные авторами настоящей статьи данные, прогноз не подтверждают. Сравнение показателей успеваемости студентов в весенних семестрах пандемий-ного учебного года и предыдущего показало однозначное повышение показателей среднего балла и результатов обучения у студентов бакалавриата. Чистота эксперимента подтверждается исследованием однородности контингентов студентов в сравниваемых учебных годах, которое показало незначительное преимущество у студентов 2019/2020 учебного года, в основном у первого курса бакалавриата, что не могло оказать существенного влияния на массовое повышение показателей успеваемости. Подобное повышение показателей успеваемости, в частности, среднего балла также фиксирует и Высшая школа экономики [18], университеты Екатеринбурга (УГГУ, УрГЭУ, УрФУ) [19], университеты республики Узбекистан [20].
Учитывая экстренные меры, принятые по массовому переводу студентов на дистанционное обучение в весеннем семестре 2019/2020 учебного года, вызванные пандемией, вузы не были готовы к качественному обеспечению этого процесса. Как справедливо отмечается в аналитике Минобрнауки [21], отсутствие у преподавателей опыта работы в онлайн-среде стало серьезным испытанием (до пандемии 60% педагогов вузов редко проводили занятия в онлайн-формате), утверждается, что ключевым стал дефицит методических навыков и цифровых компетенций. В исследуемом авторами институте подготовленность к дистанционному обучению была выше, чем в других институтах Сибирского федерального университета, тем не менее, большая часть дисциплин до пандемии преподавалась в смешанной форме, а полный дистанционный формат не предполагался.
Повышение показателей успеваемости студентов в такой ситуации можно объяснить снижением требований преподавателей, делающим поправки на вынужденное изменение процесса обучения и учитывающим неготовность в полной мере организационного и обеспечивающего процессов. С этой интерпретацией солидарны коллеги из ВШЭ, указывающие, что «преподаватели ослабили контроль за результатами
обучения студентов» [18], наряду с возможным улучшением качества методической работы преподавателей по подготовке материалов. Узбекским коллегам [20] также справедливо представляется, что такой рост успеваемости был достигнут, во-многом, вследствие снижения общих требований к качеству обучения и оценки успеваемости. Схожее мнение и в Уральском федеральном университете: «некоторые преподаватели не так критично относились при проверке знаний и делали некоторую скидку на дистанционный подход» [19].
Рост и другие отклонения показателей успеваемости в условиях пандемии - индикатор необходимости мониторинга качества образования и оценивания. Ещё летом 2020, в разгар первой волны пандемии, эксперты ЮНЕСКО заявляли о необходимости повышения качества данных и средств мониторинга в сфере образования [17]. Представленные результаты исследования подтверждают важность этой идеи.
Отдельного внимания заслуживает спад успеваемости студентов выпускного курса магистратуры в весеннем семестре 2019/2020 учебного года. Это объясняется спецификой подготовки студентов в магистратуре, у которых в весеннем семестре выпускного курса основной упор сделан на подготовку и написание магистерской диссертации. В этом процессе важно непосредственное взаимодействие с научным руководителем в очном формате. Дистанционное взаимодействие оказало негативное влияние на этот процесс, что повлияло на снижение количества студентов, вышедших на защиту магистерских диссертаций и успешно их защитивших.
Заключение
Результаты проведенного исследования позволяют сделать вывод о влиянии системы оценивания студентов в дистанционном формате на их показатели успеваемости относительно традиционной. Оценивание в дистанционном формате занижает требования к результатам обучения и не позволяет их оценить в полном объёме достаточном для понимания преподавателем истинного освоения студентами материала. Так, исследование показало, что в основном у всех студентов бакалавриата и первого курса магистратуры зафиксировано повышение показателей успеваемости. Результаты также свидетельствуют о том, что система оценки знаний студентов в традиционном обучении и дистанционном различаются не только с точки зрения процесса оценивания, но и с точки зрения результатов оценивания. Такие отличия затрудняют одновременное использование двух систем оценивания, что в последнее время набирает популярность, в том числе в виде перезачётов по дисциплинам традиционной формы обучения, которые были освоены на массовых открытых онлайн-курсах.
Однако, для второго курса магистратуры зафиксировано снижение показателей успеваемости, выраженных в уменьшении количества студентов, допущенных и успешно защитивших магистерские диссертации. Это отражает другую сторону дистанционного обучения, когда при фактической дистанционной работе над выпускными квалификационными работами магистров, их защита была максимально приближена к традиционному формату.
Внезапный и массовый перевод студентов на дистанционную форму обучения во время пандемии показал неготовность организационных и технологических процессов вузов для обеспечения соответствующего контроля результатов обучения студентов, который существенно отличается от традиционных и смешанных технологий.
Вузам ещё предстоит наработать опыт и технологии для обеспечения адекватных и валидных оценок результатов обучения в дистанционном формате, в том числе, через мониторинг данных о качестве образования.
ЛИТЕРАТУРА
1. Закон РФ «Об образовании» от 29 декабря 2012 г. N 273 - ФЗ // Принят Государственной Думой 21 декабря 2012 года, одобрен Советом Федерации 26 декабря 2012 года. URL: http://www.consultant.ru/document/ cons_doc_LAW_140174/ (дата обращения: 10.06.2021).
2. Zlatkin-Troitschanskaia O. et al. Valid competency assessment in higher education: Framework, results, and further perspectives of the German Research Program KoKoHs // AERA Open. 2017. Т. 3. №. 1.
3. Gyll S., Ragland S. Improving the validity of objective assessment in higher education: Steps for building a best-in-class competency-based assessment program // The Journal of Competency-Based Education. 2018. Т. 3. №. 1.
4. Lopez-Pastor V., Sicilia-Camacho A. Formative and shared assessment in higher education. Lessons learned and challenges for the future // Assessment & Evaluation in Higher Education. 2017. Т. 42. №. 1. С. 77-97.
5. Nguyen Q. et al. Examining the designs of computer-based assessment and its impact on student engagement, satisfaction, and pass rates // Computers in Human Behavior. 2017. Т. 76. С. 703-714.
6. Makokotlela M. V. An E-Portfolio as an Assessment Strategy in an Open Distance Learning Context // International Journal of Information and Communication Technology Education (IJICTE). 2020. Т. 16. №. 4. С. 122-134.
7. Usher M., Barak M. Peer assessment in a project-based engineering course: comparing between on-campus and online learning environments // Assessment & Evaluation in Higher Education. 2018. Т. 43. №. 5. С. 745-759.
8. Iwamoto D. H. et al. Analyzing the efficacy of the testing effect using KahootTM on student performance // Turkish Online Journal of Distance Education. 2017. Т. 18. №. 2. С. 80-93.
9. Tokac U., Novak E., Thompson C. G. Effects of game-based learning on students' mathematics achievement: A meta-analysis // Journal of Computer Assisted Learning. 2019. Т. 35. №. 3. С. 407-420.
10. Mellar H. et al. Addressing cheating in e-assessment using student authentication and authorship checking systems: teachers' perspectives // International Journal for Educational Integrity. 2018. Т. 14. №. 1. С. 1-21.
11. Gonzalez T. et al. Influence of COVID-19 confinement on students' performance in higher education // PloS one.
2020. Т. 15. №. 10.
12. Realyvasquez-Vargas A. et al. The impact of environmental factors on academic performance of university students taking online classes during the COVID-19 Pandemic in Mexico // Sustainability. 2020. Т. 12. №. 21.
13. Maulana H. A. The Influence of Psychological Impact of Online Learning during Covid-19 on Student's Academic Achievement: A Case Study at Vocational Higher Education // Psychocentrum Review. 2021. Т. 3. №. 1. С. 10-21.
14. Meeter, M., Bele, T., den Hartogh, C., Bakker, T., de Vries, R. E., & Plak, S. (2020). College students' motivation and study results after COVID-19 stay-at-home orders. PsyArxiv. URL: https://doi.org/10.31234/osf.io/kn6v9 (дата обращения: 10 июня 2021 г.)
15. Halilic M., Tinjic D. The Impact of Digitalization on Student Academic Performance in Higher Education: Investigating the change in academic performance of university level students after a sudden switch to digital education due to the COVID-19 outbreak. Case of Jonkoping International Business School. 2020.
16. Abdelrahim Y. How COVID-19 Quarantine Influenced Online Exam Cheating: A Case of Bangladesh University Students // Journal of Southwest Jiaotong University. 2021. Т. 56. №. 1.
17. Концептуальная записка: образование в эпоху covid-19 и в последующий период. Август 2020 год // Организация Объединенных Наций. URL: https://www.un.org/sites/un2.un.org/files/policy_brief_-_education_ during_covid-19_and_beyond_russian.pdf (дата обращения: 10 июня 2021 г.)
18. Как изменилась успеваемость студентов в дистанте. Результаты СОП и средний балл // Университетская жизнь. Высшая школа экономики. 2021. URL: https://www.hse.ru/our/news/444619547.html (дата обращения: 10 июня 2021 г.)
19. Университеты Екатеринбурга заявили о росте успеваемости на дистанте // Mail.ru. 2021. URL: https://news. mail.ru/economics/45149787 (дата обращения: 10 июня 2021 г.)
20. Хусанов К.А., Кахаров Р.Т. Влияние пандемии COVID-19 на развитие цифрового обучения в высшем образовании Узбекистана // Scientific Collection «Interconf». 2021. №3. С. 513-522.
21. В Минпросвещения и Минобрнауки рассказали о вызовах для системы образования в пандемию // ТАСС.
2021. URL: https://tass.ru/obschestvo/10875667 (дата обращения: 10 июня 2021 г.)
REFERENCES
1. Law of the Russian Federation "On Education" of December 29, 2012 N 273 - FZ / Adopted by the State Duma on December 21, 2012, approved by the Federation Council on December 26, 2012. Available at: http://www. consultant.ru/document/cons_doc_LAW_140174/ (accessed 10 June 2021). (in Russ.)
2. Zlatkin-Troitschanskaia O. et al. Valid competency assessment in higher education: Framework, results, and further perspectives of the German Research Program KoKoHs. AERA Open 2017, vol. 3, no. 1.
3. Gyll S., Ragland S. Improving the validity of objective assessment in higher education: Steps for building a best-in-class competency-based assessment program. The Journal of Competency-Based Education, 2018, vol. 3, no. 1.
4. Lopez-Pastor V., Sicilia-Camacho A. Formative and shared assessment in higher education. Lessons learned and challenges for the future. Assessment & Evaluation in Higher Education, 2017, vol. 42, no. 1, pp. 77-97.
5. Nguyen Q. et al. Examining the designs of computer-based assessment and its impact on student engagement, satisfaction, and pass rates. Computers in Human Behavior, 2017, vol. 76, pp. 703-714.
6. Makokotlela M. V. An E-Portfolio as an Assessment Strategy in an Open Distance Learning Context. International Journal of Information and Communication Technology Education (IJICTE), 2020, vol. 16, no. 4, pp. 122-134.
7. Usher M., Barak M. Peer assessment in a project-based engineering course: comparing between on-campus and online learning environments. Assessment & Evaluation in Higher Education, 2018, vol. 43, no. 5, pp. 745-759.
8. Iwamoto D. H. et al. Analyzing the efficacy of the testing effect using KahootTM on student performance. Turkish Online Journal of Distance Education, 2017, vol. 18, no. 2, pp. 80-93.
9. Tokac U., Novak E., Thompson C. G. Effects of game-based learning on students' mathematics achievement: A meta-analysis. Journal of Computer Assisted Learning, 2019, vol. 35, no. 3, pp. 407-420.
10. Mellar H. et al. Addressing cheating in e-assessment using student authentication and authorship checking systems: teachers' perspectives. International Journal for Educational Integrity, 2018, vol. 14, no. 1, pp. 1-21.
11. Gonzalez T. et al. Influence of COVID-19 confinement on students' performance in higher education. PloS one, 2020, vol. 15, no. 10.
12. Realyvasquez-Vargas A. et al. The impact of environmental factors on academic performance of university students taking online classes during the COVID-19 Pandemic in Mexico. Sustainability, 2020, vol. 12, no. 21.
13. Maulana H. A. The Influence of Psychological Impact of Online Learning during Covid-19 on Student's Academic Achievement: A Case Study at Vocational Higher Education. Psychocentrum Review, 2021, vol. 3, no. 1, pp. 10-21.
14. Meeter, M., Bele, T., den Hartogh, C., Bakker, T., de Vries, R. E., & Plak, S. (2020). College students' motivation and study results after COVID-19 stay-at-home orders. PsyArxiv. Available at: https://doi.org/10.31234/osf.io/kn6v9 (accessed June 10, 2021)
15. Halilic M., Tinjic D. The Impact of Digitalization on Student Academic Performance in Higher Education: Investigating the change in academic performance of university level students after a sudden switch to digital education due to the COVID-19 outbreak. Case of Jonkoping International Business School. 2020.
16. Abdelrahim Y. How COVID-19 Quarantine Influenced Online Exam Cheating: A Case of Bangladesh University Students. Journal of Southwest Jiaotong University, 2021, vol. 56, no. 1.
17. Concept note: Education in the covid-19 era and beyond. August 2020 / United Nations. Available at: https://www. un.org/sites/un2.un.org/files/policy_brief_-_education_during_covid-19_and_beyond_russian.pdf (accessed June 10, 2021) (in Russ.)
18. How students' progress in the distance has changed. SOP results and average score / University life. High School of Economics. 2021. Available at: https://www.hse.ru/our/news/444619547.html (accessed June 10, 2021) (in Russ.)
19. Universities of Yekaterinburg announced an increase in academic performance at a distance / Mail.ru. 2021. Available at: https://news.mail.ru/economics/45149787 (accessed June 10, 2021) (in Russ.)
20. Khusanov K.A., Kakharov R.T. Impact of the COVID-19 pandemic on the development of digital learning in higher education in Uzbekistan. Scientific Collection "Interconf, 2021, no. 3, pp. 513-522. (in Russ.)
21. The Ministry of Education and the Ministry of Education and Science spoke about the challenges for the education system in a pandemic / TASS. 2021. Available at: https://tass.ru/obschestvo/10875667 (accessed June 10, 2021) (in Russ.)
Информация об авторах Погребников Александр Константинович
(Россия, г. Красноярск) Старший преподаватель Институт космических и информационных технологий, базовая кафедра интеллектуальных систем управления ФГАОУ ВО «Сибирский федеральный университет» E-mail: [email protected] ORCID ID: 0000-0001-6003-2555
Шестаков Вячеслав Николаевич
(Россия, г. Красноярск) Кандидат философских наук, доцент Институт педагогики, психологии и социологии, кафедра современных образовательных технологий ФГАОУ ВО «Сибирский федеральный университет» E-mail: [email protected] ORCID ID: 0000-0001-7737-2900
Information about the authors
Alexander K. Pogrebnikov
(Russia, Krasnoyarsk) Senior Lecturer Institute of Space and Information Technologies, Department of Intelligent Control Systems Siberian Federal University E-mail: [email protected] ORCID ID: 0000-0001-6003-2555
Vyacheslav N. Shestakov
(Russia, Krasnoyarsk) PhD in Philosophy, Associate Professor Institute of Pedagogy, Psychology and Sociology, Department of Modern Educational Technologies Siberian Federal University E-mail: [email protected] ORCID ID: 0000-0001-7737-2900
Якунин Юрий Юрьевич
(Россия, г. Красноярск) Доцент, кандидат технических наук, заведующий кафедрой
Институт космических и информационных технологий, базовая кафедра интеллектуальных систем управления ФГАОУ ВО «Сибирский федеральный университет» E-mail: [email protected] ORCID ID: 0000-0002-2330-2963
Yuri Yu. Yakunin
(Russia, Krasnoyarsk) Associate Professor, PhD in Technical Sciences, Head of the Department Institute of Space and Information Technologies, Department of Intelligent Control Systems Siberian Federal University E-mail: [email protected] ORCID ID: 0000-0002-2330-2963
