CC BY
10УПРАВЛЕНИЕ ОБРАЗОВАТЕЛЬНЫМ ПРОЦЕССОМ EDUCATIONAL PROCESS MANAGEMENT
ISSN 1999-6640 (print) http://umj.ru
ISSN 1999-6659 (online)
DOI 10.15826/umpa.2022.04.027
ПРОБЛЕМЫ ИНФЛЯЦИИ ОЦЕНОК И СИМПТОМЫ АКАДЕМИЧЕСКОГО МОШЕННИЧЕСТВА НА МООК: О ЧЕМ ГОВОРИТ УЧЕБНАЯ АНАЛИТИКА
В. А. Ларионова, Н. В. Гончарова, Л. В. Дайнеко
Уральский федеральный университет имени первого Президента России Б. Н. Ельцина Россия, 620002, Екатеринбург, ул. Мира, 19; v.a. larionova@urfu.ru
Аннотация. В статье рассматриваются вопросы использования массовых открытых онлайн-курсов (МООК) при реализации образовательных программ в вузах и связанные с этим проблемы оценивания результатов обучения студентов. Широкое внедрение в образовательную практику онлайн-курсов существенно повышает риски неконтролируемой инфляции оценок, что в дальнейшем может повлечь за собой потерю доверия к университетскому образованию со стороны работодателей. В рамках исследования был проведен анализ данных 18 он-лайн-курсов УрФУ на Национальной платформе открытого образования (более 50 запусков в период пандемии COVID-19) с целью оценки показателей качества контрольно-измерительных материалов курсов, успеваемости, активности и равномерности обучения студентов с помощью системы рекомендательных сервисов и поддержки индивидуализированного обучения «Цифровой тьютор». Результаты исследования дают основания утверждать, что существующие онлайн-курсы не позволяют объективно оценивать реальный уровень знаний и навыков студентов ввиду несовершенства контрольно-измерительных материалов и недостаточного объема банка заданий. Усугубляют ситуацию случаи академического мошенничества со стороны студентов, выявленные в ходе анализа их цифрового следа на платформе. Это приводит к неконтролируемой инфляции оценок, что подтверждается высокими значениями среднего балла слушателей (82 балла по текущему контролю и 70 баллов по итоговой аттестации), смещением медианных значений распределения в сторону больших баллов по отношению к среднему, а также критически высокой долей хороших и отличных оценок по всем курсам (80 %). Выявленные проблемы не позволяют использовать МООК в модели исключительно электронного обучения и требуют применения смешанных форматов обучения и итоговой аттестации в виде независимого тестового контроля на основе специально разработанного банка заданий, удовлетворяющего требованиям психометрики.
Ключевые слова: цифровая трансформация образования, массовые открытые онлайн-курсы, учебная аналитика, контрольно-измерительные материалы, психометрика, инфляция оценок
Благодарности: Авторы выражают благодарность Фонду Потанина за поддержку проекта создания новой программы онлайн-магистратуры и исследований в области онлайн-обучения (договор № ГСГК-0090/21). Для цитирования: Ларионова В. А., Гончарова Н. В., Дайнеко Л. В. Проблемы инфляции оценок и симптомы академического мошенничества на МООК: о чем говорит учебная аналитика // Университетское управление: практика и анализ. 2022. Т. 26, № 4. С. 5-21. DOI 10.15826/итра.2022.04.027.
DOI 10.15826/umpa.2022.04.027
PROBLEMS OF GRADE INFLATION AND SYMPTOMS OF ACADEMIC FRAUD WITHIN THE MOOCS: WHAT EDUCATIONAL ANALYTICS SAYS
V. A. Larionova, N. V. Goncharova, L. V. Daineko
Ural Federal University named after the first President of Russia B. N. Yeltsin 19 Mira str., Ekaterinburg, 620002, Russian Federation; v.a. larionova@urfu.ru
Abstract. The article studies the use of massive open online courses (MOOCs) when implementing educational programs at the university together with the related problems of evaluating students' learning outcomes. The widespread introduction of online courses into educational practice significantly increases the risks of uncontrolled inflation of grades, which in the future may lead to a loss of employers' confidence in university education. Within the study, there were analyzed the data of eighteen Ural Federal University's online courses on the National Open Education Platform (more than 50 launches during the COVID-19 pandemic). The aim was to assess the quality indicators of the course materials, academic performance, steadiness and regularity of students' learning with the help of the «Digital Tutor» system. The results of the study show that the existing online courses cannot be a basis for an objective assessment of the real level of students' knowledge and skills due to the imperfection of test materials and the insufficient volume of the task bank. The situation comes to be even worse thanks to the cases of students' academic fraud, its traces identified during the analysis of their digital footprint on the platform. This leads to the uncontrolled inflation of grades, that is, to the high average score (82 points out of 100 in the semester and 70 points at the exam), to the shift in the median values of the distribution towards higher scores as compared to the average one, as well as to a critically high proportion of good and excellent marks in all courses (80 %). The identified problems do not allow to use MOOCs in an exclusively e-learning model and require mixed learning formats and final certification in the form of an independent test control based on a specially developed bank of tasks that should meet the requirements of psychometrics. Keywords: digital transformation of education, massive open online courses, educational analytics, test materials, psychometrics, grade inflation
Acknowledgments. The authors express their utmost gratitude to the Vladimir Potanin Foundation for supporting the project of creating a new online master's program and research in the sphere of online learning (Contract No. rcrK-0090/21). For citation: Larionova V. A., Goncharova N. V., Daineko L. V. Problems of Grade Inflation and Symptoms of Academic Fraud within the MOOCs: What Educational Analytics Says. University Management: Practice and Analysis, 2022, vol. 26, nr 4, pp. 5-21. doi 10.15826/umpa.2022.04.027. (In Russ.).
Введение
Практика применения электронного обучения и дистанционных образовательных технологий получила широкое распространение как вынужденная мера в период локдауна во время пандемии СОУГО-19 и впоследствии стала привычной для большинства российских и зарубежных университетов. По данным Министерства науки и высшего образования РФ, к концу 2021 года количество основных образовательных программ, реализуемых с применением электронного обучения, возросло в 1,7 раза по сравнению с допандемийным периодом 2018 года, а число программ, реализуемых на основе дистанционных технологий, возросло в 2,5 раза [1].
Накопив за этот период достаточный опыт использования массовых открытых онлайн-кур-сов (МООК) в образовательной деятельности, вузы столкнулись с проблемами, связанными с контролем качества обучения и вопросами доверия к образовательным результатам, полученным студентами в новых формах учебного процесса [2]. Среди
негативных проявлений можно назвать низкую вовлеченность и недостаточную активность студентов при освоении МООК [3], несовершенство контента и инструментов оценивания [4], академическую нечестность [5] и, как следствие, инфляцию оценок [6]. Следует заметить, что инфляция оценок наблюдалась и до пандемии, причем не только в российских, но и в зарубежных университетах, и выражалась в росте среднего балла успеваемости студентов и увеличении доли повышенных оценок без объективных предпосылок изменения образовательных результатов студентов [7]. Однако причины этого явления лежали, в основном, в субъективизме оценки преподавателями академических достижений студентов или в низкой различительной способности применяемых в очном формате инструментов оценивания [8].
Широкое внедрение в образовательную практику онлайн-курсов существенно повышает риски неконтролируемой инфляции оценок, что в дальнейшем может повлечь за собой потерю доверия к университетскому образованию со стороны работодателей. Сегодня перед университетами стоит
задача переосмысления опыта применения технологий онлайн-обучения в образовательной деятельности, поиска оптимальных решений на основе данных учебной аналитики и системного внедрения новых форм образовательного процесса с глубоким анализом его эффективности и адекватности оценивания знаний и навыков студентов.
Настоящее исследование фокусируется на проблеме оценивания результатов обучения студентов на основе массовых открытых онлайн-курсов. Авторы задались исследовательским вопросом: позволяют ли объективно оценивать реальный уровень знаний и навыков студентов массовые открытые онлайн-курсы, размещенные на Национальной платформе открытого образования (НПОО) и используемые в образовательном процессе российскими университетами?
Обзор литературы
Тенденция повышения среднего балла успеваемости обучающихся и связанная с ней проблема инфляции оценок была выявлена достаточно давно [8]. Так, в исследовании 1995 года за авторством J. E. Stone утверждается, что до 15 % выпускников 1990-х годов в США не смогли бы получить диплом в 1960-х годах из-за более высоких требований к оцениванию [9]. Исследователь анализирует снижение академических стандартов, завышение оценок и бюджетные стимулы для увеличения количества обучающихся в США и призывает провести на государственном уровне глобальное исследование проблемы инфляции оценок, обращая внимание на явное отсутствие интереса к ней со стороны органов общественного надзора. Экстренный перевод образовательного процесса в дистанционный формат, обусловленный пандемией [10], обострил эту проблему для образовательных учреждений всего мира. Например, в Турции отметили инфляцию оценок в 9,21 %, что является самым высоким показателем из когда-либо зафиксированных [6]. Российские исследователи также отметили рост успеваемости студентов во время пандемии [11]. Зачастую его объясняют сознательным завышением баллов на экзамене или зачете преподавателями [12] или выбором студентов курсов с более «мягким» оцениванием при формировании индивидуальной образовательной траектории [13]. Поэтому исследователями даже ставится вопрос о возможности использования оценок в качестве показателя академической успеваемости [14].
Массовое использование МООК в образовательном процессе ставит перед исследователями вопрос о корректности оценок при прохождении
студентами онлайн-курсов, зачастую не предполагающих даже процедуры прокторинга для итоговой аттестации. Изучая данный вопрос, исследователи делятся опытом использования МООК в качестве учебных материалов в рамках онлайн-курса для студентов магистерских программ [15], описывают модель оценивания прогресса и достижений студентов в МООК для оценки различий внутри и между пользователями [16], предлагают алгоритм поддержки учащихся адаптированными материалами курсов и оценками, основанными на результатах обучения, чтобы обучающиеся могли достигать лучших результатов обучения, следуя адаптированным учебным материалам и автоматически сгенерированным экзаменам [17]. Также авторы работ исследуют, кто и почему регистрируется на МООК, возможность студентов самостоятельно регулировать свое обучение в МООК [18], делятся опытом использования интерактивных модулей (видеороликов и презентаций) в МООК для мотивации и активизации студентов [19]. О11е с коллегами считают, что для повышения эффективности открытых курсов в процессе планирования следует сосредоточить внимание на более строгом контроле за учебной деятельностью студентов и на разработке обучающих материалов, позволяющих обеспечивать эту непрерывную деятельность [20].
Стародубцев с коллегами, исследуя статистику активности слушателей онлайн-курсов, доказали, что оптимизация формы представления контента, временной структуры курса и качества контрольно-измерительных материалов позволяют увеличить учебную активность студентов [21]. По мнению Тихоновой, поиск адекватной формы оценки знаний и компетенций студентов является поводом для дискуссий. По мнению ученой, в условиях дистанционного обучения необходимо пересмотреть и усовершенствовать контрольно-измерительные материалы, используя гибкие режимы оценивания, увеличение значимости текущего контроля, внедрение альтернативных форм оценивания, направленных на развитие творческого и критического мышления студентов [22]. Саяпин для повышения качества контрольно-измерительных материалов предложил использовать цифровые технологии - они позволяют выстроить структуру контрольно-измерительных материалов в соответствии с заранее заданными статистическими критериями [23]. По мнению Базановой и Соколовой, для повышения мотивации изучения МООК важно не только высокое качество материалов курса, но и правильно выстроенная система пиринговых заданий [24]. Изосимов утверждает, что основной сложностью проектирования контрольно-измерительных материалов
является недостаточность научно-методических и практических разработок в сфере оценивания сформированности компетенций обучающихся [25]. Захарова и Панасенко, исследуя достоинства и недостатки МООК для преподавателей, выяснили, что преподаватели высшей школы считают основным недостатком МООК несовершенство формата, вызванного особыми требованию к онлайн-кур-сам, высокой ресурсозатратностью и, как следствие, профессиональными рисками для преподавателя [4]. По этой причине необходимо переосмыслить образовательную культуру для продвижения новых подходов к обучению с применением возможностей технологического опосредованного обучения [26]. Контролируемое внедрение технологий онлайн-обучения в университете и использование учебной аналитики как инструмента мониторинга качества учебного процесса позволят нивелировать риски и предотвратить негативные последствия цифровизации вузов. На сегодняшний день накоплены большие данные на платформах онлайн-обучения, но недостаточно исследований, посвященных проблемам внедрения онлайн-техноло-гий при реализации учебных дисциплин на основе МООК, в том числе вопросам контроля результатов онлайн-обучения и рискам, связанным с академическим мошенничеством.
В ходе нашего исследования, направленного на изучение возможности использования массовых открытых онлайн-курсов для оценки результатов обучения студентов, будут решены следующие задачи:
1. Выбор онлайн-курсов для проведения исследования, включая не менее 3-х запусков каждого курса для получения достаточной выборки;
2. Анализ показателей качества контрольно-измерительных материалов онлайн-курсов на основе данных учебной аналитики;
3. Анализ показателей успеваемости студентов (сравнение среднего балла и медианы) и их виртуальной посещаемости;
4. Выявление случаев, указывающих на академическое мошенничество, на основе совместного изучения индивидуальной активности студентов и их успеваемости.
Методы и инструменты исследования
Для проведения исследования были выбраны онлайн-курсы гуманитарной, естественно-научной, инженерно-технической и социально-экономической направленности, разработанные Уральским федеральным университетом и размещенные
на НПОО. Выбор осуществлялся, исходя из наличия не менее 2-х запусков в период пандемии и объемом выборки студентов, прошедших итоговое тестирование на платформе НПОО с идентификацией личности (прокторингом), не менее 100 человек.
Для анализа показателей качества контрольно-измерительных материалов онлайн-курсов (индекса решаемости и интегрального показателя качества), успеваемости студентов (средний балл и медиана) и средней виртуальной посещаемости была использована система рекомендательных сервисов и поддержки индивидуализированного обучения «Цифровой тьютор» [27], разработанная в УрФУ в рамках грантового проекта Министерства науки и высшего образования РФ «Создание модели цифрового университета». Система «Цифровой тьютор» использует ролевую схему, включающую основных участников образовательного процесса в университете - руководителей образовательных программ, преподавателей, тьюторов, студентов. Функциональность системы «Цифровой тьютор» направлена на поддержку участников образовательного процесса в решении стоящих перед ними профессиональных задач. Система основана на специально разработанных математических моделях для аналитики учебных данных, собираемых на платформе в процессе прохождения студентами онлайн-курсов, включая данные о разных типах активностей слушателей на платформе (log-файлы), их успеваемости по каждому контрольному мероприятию и итоговом прогрессе [28]. Система позволяет рассчитать показатели качества контрольно-измерительных материалов и статистические показатели успеваемости и активности (виртуальной посещаемости) студентов на платформе, а также визуализировать их в виде удобных графиков и дэшбордов. На рис. 1 приведена концептуальная схема системы «Цифровой тьютор» с примерами дэшбордов.
С помощью системы «Цифровой тьютор» можно проводить сравнение разных курсов по заданным критериям или отдельных запусков одного курса. Кроме рассчитанных показателей пользователь получает рекомендации по использованию курсов в образовательном процессе и их улучшению. Руководители образовательных программ на основе автоматизированного анализа большого массива данных принимают решения о включении курса в образовательную программу1. Преподавателям и авторам курсов предоставлены удобные инструменты для мониторинга уровня
1 Сайт «Цифровой тьютор». URL: https://dtutor.ru/ (дата обращения: 30.11.2022).
Рис. 1. Концептуальная схема системы рекомендательных сервисов и поддержки индивидуализированного обучения «Цифровой тьютор» Fig. 1. Conceptual scheme of the system of recommendation services and support for individualized learning
«Digital Tutor»
активности студентов и их успеваемости2. Сервис «Компетентностный профиль студента» позволяет отследить процесс формирования компетенций студентов в динамике от начала до конца обучения. Система «Цифровой тьютор» предоставляет детализированную и визуализированную информацию о том, как обучаются студенты в онлайн-среде, на каких этапах они испытывают проблемы, какие стратегии обучения выбирают и какие результаты демонстрируют. На основании анализа данных цифрового следа система формирует рекомендации по совершенствованию материалов МООК, применимости курса для конкретной
2 Демоверсия сайта. URL: https://mon.dtutor-urfu.ru/ (дата обращения: 30.11.2022).
Описание онлайн-курсов Online courses description
аудитории и ожидания успешного завершения курса студентами. Для выявления случаев, где может иметь место академическое мошенничество, используются гистограммы индивидуальной активности студентов на фоне средне-групповой активности, которые анализируются совместно с результатами успеваемости студента.
В Табл. 1 приведены данные по онлайн-курсам Уральского федерального университета (УрФУ), удовлетворяющим критериям отбора.
Среди них - 10 онлайн-курсов инженерно-технической и естественно-научной направленности (1-я группа) и 8 онлайн-курсов гуманитарной и социально-экономической направленности (2-я группа). По мнению авторов, такое разделение
Таблица 1
и статистика слушателей
Table 1
and students' distribution
Название онлайн-курса Направленность* Общее количество слушателей на всех запусках Трудоемкость, зач. ед. Ссылка на курс Кол-во недель освоения Кол-во часов в неделю Запуск Зарегистрированных слушателей, чел. Доля активных слушателей, % Кол-во активных слушателей, чел. Доля слушателей, сдавших итоговый тест, % Кол-во слушателей, сдавших итоговый тест, чел.
2020 весна 13б2 48 б54 22 300
Инженерная механика Т 1244 5 https://openedu.ru/course/ urfu/ENGM/ 18 7-8 2019 осень 1453 59 857 24 349
2019 весна 1750 б5 1138 34 595
2020 весна 2353 37 871 8 188
Основы электротехники и электроники Т 254 4 https://openedu.ru/course/ urfu/ELB/ 1б 7-8 2019 осень 1872 2 37 2 37
2019 весна 1437 22 31б 2 29
Основы метро- 2020 весна 1397 49 б85 5 70
логии, стандартизация и оценка Т 175 3 https://openedu.ru/course/ urfu/METR/ 1б 7-8 2019 осень 98б 47 4б3 2 20
соответствия 2019 весна 712 37 2б3 12 85
Начертательная геометрия и инженерная графика 2020 весна 1298 29 37б 2 2б
Т 100 4 https://openedu.ru/course/ urfu/GEOM/ 18 7-8 2019 осень 1459 35 511 2 29
2019 весна 75б 23 174 б 45
Системная динами- 2020 весна 57б 25 144 б 35
ка устойчивого развития (Системная экология) Е 19б 2 https://openedu.ru/course/ urfu/ECOS/ 12 2-6 2019 осень б71 34 228 13 87
2019 весна 434 25 109 17 74
Теория решения изобретательских 2020 весна 1154 2 23 0 0
Т 1S1 2 https: //openedu.ru/course/ urfu/TRIZ/ 18 7-8 2019 осень 152б 3 4б 7 107
задач 2019 весна 1472 29 427 5 74
Продолжение табл. l Table l continues
Название онлайн-курса Направленность* Общее количество слушателей на всех запусках Трудоемкость, зач. ед. Ссылка на курс Кол-во недель освоения Кол-во часов в неделю Запуск Зарегистрированных слушателей, чел. Доля активных слушателей, % Кол-во активных слушателей, чел. Доля слушателей, сдавших итоговый тест, % Кол-во слушателей, сдавших итоговый тест, чел.
2020 весна 1273 3S 4S4 4 51
струкционных Т 15б 4 https://openedu.ru/course/ urfu/TECO/ 1б 7-8 2019 осень 777 2S 21S 3 23
материалов 2019 весна S23 39 321 10 S2
2020 весна 4000 12 480 2 80
Самоменеджмент Г 452 4 https://openedu.ru/course/ urfu/SMNGM/ 1б 7-8 2019 осень 4193 13 545 5 210
2019 весна 3244 13 422 5 1б2
2020 весна 45б7 37 1690 4 1S3
Культура русской деловой речи Г 1247 3 https: //openedu.ru/course/ urfu/RUBSCULT/ 12 7-8 2019 осень 3S97 43 1б7б 22 S57
2019 весна 25SS 2S 725 S 207
Беспроводные телекоммуникационные 2020 весна 7б5 1б 122 3 23
Т 101 3 https: //openedu.ru/course/ urfu/TELECOM/ 1б 6-7 2019 осень 590 23 13б 12 71
системы 2019 весна 342 10 34 2 7
2020 весна 1423 12 171 0 0
Философия и методология науки Г 1SS 4 https: //openedu.ru/course/ urfu/PHILSCI/ 15 7 2019 осень 1595 30 479 11 175
2019 весна 1315 7 92 1 13
2020 весна S21 33 271 15 123
Практики системной инженерии Т 297 3 https: //openedu.ru/course/ urfu/SYSTENG/ 12 3-9 2019 осень 951 2S 2бб 11 105
2019 весна 690 2S 193 10 б9
Основы экономической эффективнос- 2020 весна 1134 2S 31S 3 34
Э 139 3 https: //openedu.ru/course/ urfu/ECOEFF/ 1б S 2019 осень 1096 2S 307 S SS
ти производства 2019 весна S72 20 174 2 17
Основы педагогической деятель- 2020 весна 2S39 13 Зб9 2 57
Г 210 3 https: //openedu.ru/course/ urfu/EDUBASE/ 1б б 2019 осень 2038 15 306 5 102
ности 2019 весна 1279 9 115 4 51
Управление интеллектуальной собственностью 2020 весна 1537 2б 400 S 123
Г 208 3 https: //openedu.ru/course/ urfu/INTPR/ 9 7-8 2019 осень 19SS 19 37S 3 60
2019 весна 123S 15 1S6 2 25
2020 весна 5359 59 31б2 45 2412
Философия Г 4257 3 https://openedu.ru/course/ urfu/PHILOSOPHY/ 1б 7 2019 осень 3107 39 1212 27 S39
2019 весна 2794 51 1425 Зб 1006
Окончание табл. ¡ Table ¡ finishes
Название онлайн-курса Направленность* Общее количество слушателей на всех запусках Трудоемкость, зач. ед. Ссылка на курс Кол-во недель освоения Кол-во часов в неделю Запуск Зарегистрированных слушателей, чел. Доля активных слушателей, % Кол-во активных слушателей, чел. Доля слушателей, сдавших итоговый тест, % Кол-во слушателей, сдавших итоговый тест, чел.
История: 5 подхо- Г 20З6 3 https: //openedu.ru/course/ urfu/HISTVIEW/ 1б 6-7 2020 весна 11б3 27 314 11 128
дов к историческому развитию 2019 осень 4771 59 2815 40 1908
Естественнонауч- Е б99 3 https://openedu.ru/course/ 1б 7-8 2020 весна 2128 31 660 12 255
ная картина мира urfu/MCS/ 2019 осень 1481 45 ббб З0 444
* Т - инженерно-технические курсы, Е - естественно-научные, Г - гуманитарные, Э - социально-экономические
курсов на группы обусловлено спецификой областей знаний и особенностями обучения по соответствующим дисциплинам, что может отразиться на результатах исследования. Так, гуманитарные и социально-экономические дисциплины требуют обязательного включения коммуникативной составляющей при проектировании он-лайн-курсов (soft-skills), а инженерно-технические и естественно-научные курсы должны содержать большое количество заданий на отработку практических навыков (hard-skills). Трудоемкость он-лайн-курсов варьировалась от 2 до 5 зачетных единиц. Большинство из них рассчитано на семестровый период с интенсивностью освоения 6-8 часов в неделю. Анализ проводился по 52-м запускам курсов, включая весенний и осенний семестры 2019 года и весенний семестр 2020 года.
Количество слушателей, зарегистрировавшихся на выбранные курсы, составляет 91 346 человек. Из них была сформирована экспериментальная выборка слушателей, освоивших курсы в полном объеме и сдавших итоговое тестирование. Общий объем выборки составляет 12 140 человек, включая 3 403 слушателей онлайн-курсов 1-й группы и 8 737 слушателей курсов 2-й группы. Среди слушателей курсов были, в основном, студенты УрФУ, на некоторых курсах присутствовали студенты других российских вузов и физические лица, осваивающие курсы в инициативном порядке (их доля в общей выборке незначительна - от 3 % до 5 %).
Оценка качества контрольно-измерительных материалов (КИМ) курса проводилась на основе двух характеристик: трудности испытания (индекс решаемости заданий), который, согласно классической теории тестирования, рассчитывается
как доля испытуемых, выполнивших задание верно [29], и интегрального индекса качества КИМ, рассчитанного с использованием стандартных методов теории информации [30] для оценки информативности и различительной способности испытания [31]. Нормативными считаются значения индекса решаемости в диапазоне от 0,3 до 0,7. Если показатели выходят за границы рекомендуемого диапазона, то такое задание не позволяет измерить реальные достижения испытуемых (либо они все справились с заданием, либо никто не смог его решить). Индекс качества КИМ должен быть не ниже 0,7, в противном случае невозможно дифференцировать их по уровню знаний и сформированности навыков. В качестве дополнительной информации приводилось значение виртуальной посещаемости слушателями контрольных точек, что позволяло оценить их активность при освоении курса.
Одновременно с оценкой уровня качества КИМ анализировалась успеваемость студентов на курсах по промежуточным учебным и контрольным заданиям, итоговому контрольному мероприятию и итоговому прогрессу за курс. Оценки, полученные слушателями на итоговом тестировании, имели более высокую степень доверия в связи с тем, что итоговое мероприятие по курсу проводилось с применением прокторинга. В качестве показателей успеваемости использовались средние и медианные значения оценок слушателей, а также доли отличных, хороших, удовлетворительных и неудовлетворительных оценок. Для уточнения причин отклонений медианных значений успеваемости от средних выводилась частотная диаграмма распределения оценок по каждой контрольной точке.
Результаты и обсуждение
На основании данных учебной аналитики авторами был проведен анализ следующих показателей успеваемости студентов и качества КИМ он-лайн-курсов: средний итоговый прогресс по курсу, средняя оценка по текущей успеваемости студентов, оценка за итоговый тест, индекс виртуальной посещаемости, индекс решаемости заданий и индекс качества контрольно-измерительных материалов. Результаты проведенного анализа качества КИМ и успеваемости студентов представлены в Табл. 2. Как видно из таблицы, значение индекса решаемости заданий практически во всех запусках существенно превышает 0,7, находясь в среднем около 0,95. Это свидетельствует о слишком простых заданиях в курсах и нецелесообразности их использования для измерений результатов обучения. Исключение составляет лишь осенний запуск курса «Естественно-научная картина мира», чей средний индекс решаемости равен 0,62,
что может быть связано с низкой виртуальной посещаемостью контрольных точек курса (0,6), тогда как в остальных курсах этот показатель в среднем равен 0,9.
Второй индекс, характеризующий информативность и различительную способность КИМ, существенно отличается для разных курсов, однако в большинстве запусков не превышает 0,7, а среднее его значение по всем запускам равно 0,49. Выделяется два курса: «Основы метрологии, стандартизация и оценка соответствия» и «Философия», которые имеют индекс качества КИМ, превышающий нижнюю границу рекомендуемого диапазона. Таким образом, можно констатировать низкое качество и нерелевантность используемых в курсах тестовых материалов. Можно также предположить, что банк тестовых заданий в курсах слишком мал, что приводит к утечке верных ответов уже после первого запуска курса и проявлению академического мошенничества на последующих запусках.
Название онлайн-курса Направленность Запуск Средний итоговый прогресс по курсу Средняя оценка по всем тестам, кроме итогового Оценка за итоговый тест Среднее значение Индекса виртуальной посещаемости Среднее значение Индекса решаемости заданий Среднее значение Индекса качества КИМ
средний балл медиана доля хороших и отличных оценок средний балл медиана доля хороших и отличных оценок средний балл медиана доля хороших и отличных оценок
Инженерная механика Т 2020 весна lS S1 90 80 S6 S6 l4 l6 S1 0,93 0,93 0,7
2019 осень l3 l4 SS S3 SS 92 Si Si 4S 0,93 0,94 0,57
2019 весна 6S 6S 6S 6l l3 6l 61 64 SS 0,82 0,9 0,65
Основы электротехники и электроники Т 2020 весна is il Si l9 S2 90 6S 70 l9 0,87 0,95 0,51
2019 осень 64 64 66 6S 66 l3 SS SS 44 0,8 0,92 0,66
2019 весна 64 66 l4 l6 S3 S4 46 44 24 0,85 0,92 0,51
Основы метрологии, стандартизация и оценка соответствия Т 2020 весна l3 l3 S9 S3 S6 93 62 62 S6 0,99 0,94 0,73
2019 осень il lS 90 S4 SS 93 66 66 62 0,98 0,95 0,67
2019 весна 6S 6S 6l il S6 SS 4l 49 39 0,96 0,89 0,77
Начертательная геометрия и инженерная графика Т 2020 весна l3 l6 91 S6 93 91 S3 S2 33 0,98 0,94 0,59
2019 осень il lS 100 Si 90 100 60 60 Si 0,98 0,96 0,59
2019 весна 6l l4 l2 l6 S4 S3 S3 64 61 0,91 0,91 0,69
Таблица 2
Показатели качества контрольно-измерительных инструментов и успеваемости студентов
Table 2
Quality indicators of the tests and students' performance
Продолжение табл. 2 Table 2 continues
а с Средний итоговый прогресс по курсу Средняя оценка по всем тестам, кроме итогового Оценка за итоговый тест S- р и в Среднее значение Индекса решаемости заданий а с к
Название онлайн-кур' Направленность Запуск средний балл медиана доля хороших и отличных оценок средний балл медиана доля хороших и отличных оценок средний балл медиана доля хороших и отличных оценок Среднее значение Индекса альной посещаемост: Среднее значение Инде качества КИМ
Системная динами- 2020 весна ll lS S3 81 92 69 69 70 12 1 0,95 0,17
ка устойчивого развития (Системная Е 2019 осень 80 S3 8б 82 92 14 14 1S 12 0,98 0,96 0,28
экология) 2019 весна S2 S3 94 l4 90 S4 91 100 9S 0,98 0,91 0,37
Теория решения изобретательских 2020 весна 80 ^ 100 80 80 100 14 12 50 1 0,98 0,04
Т 2019 осень l3 l4 SS S3 SS 92 S1 S1 4S 0,93 0,94 0,57
задач 2019 весна 6S б8 6S 61 13 61 61 64 SS 0,82 0,9 0,65
Технология конструкционных 2020 весна is 80 9l S3 81 9S 11 12 81 0,9 0,99 0,46
Т 2019 осень S1 84 9S SS 93 96 70 1S 81 0,93 0,99 0,24
материалов 2019 весна lS ll 8б 19 86 SS 68 70 11 0,9 0,97 0,58
2020 весна SS 93 100 SS 9S 91 90 93 91 0,94 0,96 0,47
Самоменеджмент Г 2019 осень SS 90 99 91 9S 98 84 SS 94 0,96 0,98 0,44
2019 весна S3 92 Sl 86 96 88 18 88 S3 0,91 0,97 0,49
2020 весна 82 84 9б 92 91 86 68 66 68 0,95 0,98 0,39
Культура русской деловой речи Г 2019 осень S3 SS 93 91 98 82 70 69 61 0,94 0,98 0,36
2019 весна 82 8б 92 89 9S SS 12 1S 14 0,93 0,98 0,38
Беспроводные телекоммуникационные 2020 весна 94 94 100 91 96 100 91 92 100 1 1 0,18
Т 2019 осень 90 93 98 91 96 9S 89 9S 94 0,99 0,98 0,58
системы 2019 весна 89 90 100 96 96 100 19 82 1S 1 1 0,11
2020 весна б3 бб б2 63 12 62 62 62 50 0,54 0,74 0,36
Философия и методология науки Г 2019 осень б9 70 ^ 13 19 16 64 62 S2 0,56 0,83 0,6
2019 весна l4 81 8б 18 82 81 70 81 66 0,6 0,91 0,37
2020 весна 9б 100 100 99 100 91 91 100 96 1 1 0,19
Практики системной инженерии Т 2019 осень 94 100 100 99 100 12 81 100 81 0,99 1 0,14
2019 весна 90 9б 9S 92 100 1S 86 90 91 0,93 1 0,29
Основы экономической эффективнос- 2020 весна ll l4 l3 12 70 70 70 11 13 0,79 0,89 0,53
Э 2019 осень б9 б8 l3 11 68 70 68 61 70 0,78 0,88 0,62
ти производства 2019 весна l2 lS 81 14 84 13 69 16 61 0,73 0,97 0,4
Окончание табл. 2 Table 2 finishes
Название онлайн-курса Направленность Запуск Средний итоговый прогресс по курсу Средняя оценка по всем тестам, кроме итогового Оценка за итоговый тест Среднее значение Индекса виртуальной посещаемости Среднее значение Индекса решаемости заданий Среднее значение Индекса качества КИМ
средний балл медиана доля хороших и отличных оценок средний балл медиана доля хороших и отличных оценок средний балл медиана доля хороших и отличных оценок
Основы педагогической деятельности Г 2020 весна S3 S4 9S 87 90 97 76 78 86 0,92 0,98 0,58
2019 осень S2 S4 97 86 91 93 76 7S 91 0,95 0,93 0,62
2019 весна S6 SS 9S 81 S3 94 93 9S 100 0,87 0,91 0,59
Управление интеллектуальной собственностью Г 2020 весна 80 S2 90 90 97 91 64 6S 66 0,96 0,98 0,56
2019 осень 80 S2 96 90 9S 96 66 6S 7S 0,97 0,98 0,5
2019 весна 74 80 SS 86 97 91 S6 6S SS 0,92 0,98 0,43
Философия Г 2020 весна 77 80 90 78 S3 86 7S 76 88 0,91 0,96 0,61
2019 осень 72 7S S2 79 84 SS SS S4 34 0,91 0,94 0,62
2019 весна бб 6s 68 67 73 69 62 63 S7 0,85 0,88 0,77
История: 5 подходов к историческому развитию Г 2020 весна 79 S1 90 S3 91 88 73 7S 78 0,92 0,96 0,69
2019 осень 74 76 87 84 90 90 S9 S7 43 0,94 0,97 0,69
Естественнонаучная картина мира Е 2020 весна S1 S2 94 SS 89 92 7S 78 87 0,91 0,95 0,44
2019 осень бб 67 82 71 74 89 S7 S7 42 0,6 0,62 0,3
Анализ текущей успеваемости студентов на всех промежуточных контрольных точках (за исключением итогового тестирования) подтверждает тот факт, что задания недостаточно сложны для испытуемых, и все они сдают тесты на высокие баллы. Среднее значение оценок по всем курсам равно 82, что соответствует оценке «отлично», а среднее значение медианы находится на уровне 87. Смещение медианы вправо от среднего значения свидетельствует о наличии инфляции оценок. Как следствие, доля хороших и отличных оценок критически велика (81 %) в сравнении с рекомендациями европейской комиссии Болонского процесса (доля оценок A - отлично, В - очень хорошо и С - хорошо не должна превышать 65 %3). Такие результаты обучения не вызывают доверия и снижают
3 The ECTS Tables and Grading Scale. URL: https://www.unibo. it/en/teacWng/enrolment-transfer-and-final-examination/the-university-system/ects-label (дата обращения: 30.11.2022).
ценность университетского образования в глазах работодателя.
Следует заметить, что текущая аттестация в онлайн-курсах проводится без прокторинга, что создает условия для использования во время тестов дополнительных источников информации, помощи со стороны третьих лиц, списывания, тогда как итоговое тестирование предполагает идентификацию личности и контроль за соблюдением студентами правил поведения на экзамене. В этом случае итоговый тест должен показывать реальную картину успеваемости. Это действительно подтверждает анализ оценок слушателей курсов на итоговой аттестации. Как видно из таблицы, результаты итогового тестирования ниже, чем текущей аттестации, их среднее и медианное значения составляют 70 баллов и 72 балла соответственно. При этом наблюдается разброс оценок для разных курсов в диапазоне от 44 баллов до 100 баллов. Доля хороших и отличных оценок также ниже, чем в текущей
аттестации, хотя по-прежнему находится на высоком уровне и составляет в среднем 69 %.
Итоговый прогресс по курсу является интегральным показателем результатов обучения слушателя, который включает оценки по текущей аттестации и итоговому тестированию с заданными весовыми коэффициентами. Итоговый прогресс по курсу пересчитывается в оценку по соответствующей дисциплине и переносится в балльно-рейтинговую систему. Можно заметить, что в итоговом прогрессе слушателей исследуемой выборки проявляются те же проблемы инфляции оценок, что и в текущей аттестации. Доля хороших и отличных оценок в среднем равна 87 %, а средний балл и медиана успеваемости близки к 80 баллам (77,5 баллов
и 80 баллов соответственно). Это подтверждает гипотезу о том, что онлайн-курсы не позволяют объективно оценивать реальный уровень знаний и навыков студентов из-за низкого качества контрольно-измерительных материалов, что приводят к сильной искусственной инфляции оценок студентов.
Анализ ^-файлов на платформе помогает выявить случаи, напоминающие академическое мошенничество, хотя точно формализовать признаки таких действий пользователей достаточно сложно. На рисунке представлены гистограммы учебной активности трех слушателей курса «Естественнонаучная картина мира» на платформе НПОО (осенний запуск 2019 года) на фоне
400
300
200
I 100
II
600
ш 500
I-U
1 400
300
10 11 12 13 14 15 16 17
200 100 0
600
500
400
300
10 11 12 13 14 15 16 17
200
100
о о
е О О
6 7 8 9 10 11 Недели семестра
12 13 14 15 16 17
Рис. 2. Гистограмма учебной активности трех слушателей курса «Естественнонаучная картина мира» на платформе НПОО (столбцы) на фоне средней активности студентов академической группы (точки) Fig. 2. A histogram of three students' ed ucational activity at the course «Natural-Science Picture оf the World» on the open.edu platform (columns) against the average activity of their academic group (dots)
средней активности студентов той же академической группы. Как видно из рисунка, процесс освоения курса вторым и третьим слушателями отличается от первого существенной неравномерностью: крайне низким уровнем активности в течение всего семестра и двумя резкими пиками во время последних двух недель.
Количественные показатели учебной активности и успеваемости для этих слушателей приведены в Табл. 3. Средняя активность слушателя рассчитывается путем усреднения его активности по периодам времени, в которых он демонстрировал активность. Индекс активности показывает отношение средней активности слушателя к средней активности группы. Оба этих показателя близки для всех трех слушателей, тогда как индексы равномерности освоения курса, равные отношению стандартного отклонения активности слушателя к его средней активности, значительно отличаются. При равномерном освоении курса, как у первого слушателя, данный индекс положителен (0,13), а при наличии отдельных всплесков на гистограмме активности второго и третьего слушателя он принимает отрицательные значения (0,96 и 0,75 соответственно). При этом средние баллы текущей успеваемости, как и индексы успеваемости, показывающие отношение средних оценок слушателей к средней оценке группы, всех трех слушателей близки.
Это свидетельствует о том, что семестровый курс был успешно освоен вторым и третьим слушателем за две последние недели семестра. Можно предположить, что задания в курсе были слишком простыми, но, как видно из таблицы 2, индекс решаемости заданий в осеннем запуске он-лайн-курса «Естественнонаучная картина мира» равен 0,62, то есть находится в диапазоне нормативных значений. Кроме того, курс ориентирован
на студентов гуманитарных направлений подготовки и направлен на понимание физической природы явлений, что нелегко дается даже студентам инженерно-технических направлений подготовки. По мнению авторов, такие случаи можно квалифицировать как имеющие признаки академического мошенничества. В дальнейшем планируется провести более глубокое исследование поведенческих паттернов слушателей на массовых открытых онлайн-курсах с целью выявления и типизации признаков академического мошенничества по цифровым следам на платформах открытого образования.
Заключение
Перспективы развития высшего образования всего мира неразрывно связаны с расширением внедрения в образовательный процесс онлайн-кур-сов, которые позволяют студентам одновременно учиться в нескольких университетах из любой точки мира и строить индивидуальные образовательные траектории, выбирая из всего многообразия онлайн-курсов ведущих мировых университетов. В настоящее время использование МООК для реализации дисциплин и модулей учебного плана образовательных программ высшего образования вошло в обычную практику вузов.
Как любая инновационная технология, онлайн-обучение, с одной стороны, открывает новые возможности для развития образовательной деятельности, а, с другой стороны, сопряжено с рисками снижения качества обучения, возникновения случаев академического мошенничества, инфляции оценок и, в конечном итоге, потери доверия работодателей к университетскому образованию. В связи с этим возникает необходимость параллельно с развитием онлайн-обучения внедрять сервисы учебной аналитики в университете, которые
Количественный показатели учебной активности и успеваемости слушателей онлайн-курса «Естественнонаучная картина мира»
Quantitative indicators of the students' educational activity and academic performance within the online course «Natural-Science Picture of the World»
Таблица S
Table S
Шифр студента Средняя активность студента Индекс активности студента Индекс равномерности занятий студента Средний балл текущей успеваемости студента Индекс успеваемости студента
1520316 130.42 0,89 0,13 7S 1,06
1S2SS77 119.17 0,81 -0,96 72 1,01
1260543 129.57 0,88 -0,75 71 1,01
позволили бы осуществлять мониторинг активности и успеваемости студентов и контроль качества онлайн-курсов.
Отвечая на поставленный исследовательский вопрос, проведенное исследование подтвердило, что существующие онлайн-курсы на НПОО не позволяют объективно оценивать реальный уровень знаний и навыков студентов ввиду несовершенства контрольно-измерительных материалов и недостаточного объема банка заданий. Это приводит к неконтролируемой инфляции оценок, что подтверждается высокими значениями среднего балла слушателей (82 балла по текущему контролю и 70 баллов по итоговой аттестации), смещением медианных значений распределения в сторону больших баллов по отношению к среднему, а также критически высокой долей хороших и отличных оценок по всем курсам (80 %).
Выявленные проблемы не позволяют использовать МООК в модели исключительно электронного обучения и требуют применения смешанных форматов, например, модели перевернутого класса с переводом лекционных занятий в онлайн-среду и проведением практических занятий в традиционном формате. Итоговую аттестацию по дисциплине рекомендуется проводить на основе специально разработанного банка заданий для независимого тестового контроля, который соответствует требованиям классической психометрики.
Дополнительными инструментами снижения риска инфляции оценок и поддержания качества университетского образования при использовании технологии онлайн-обучения являются:
- постоянный мониторинг данных на платформе онлайн-обучения для выявления проблем с оцениванием результатов обучения студентов;
- повышение требований к качеству и вариативности контрольно-измерительных материалов в онлайн-курсах;
- ежегодное обновление банка заданий не менее, чем на 30 %;
- выявление и профилактика случаев академического мошенничества среди обучающихся на платформе;
- использование прокторинга не только на итоговом, но и на отдельных заданиях при текущем контроле, например, с помощью открытого приложения Moodle РгаСюп^. Проведение данных мероприятий позволит
повысить объективность оценивания реального уровня знаний и навыков студентов при прохождении онлайн-курсов и будет способствовать росту доверия к университету со стороны внешних стейкхолдеров.
Список литературы
1. Статистическая информация Минобрнауки РФ. Форма № ВПО-2 «Сведения о материально-технической и информационной базе, финансово-экономической деятельности образовательной организации высшего образования». URL: https://minobrnauki.gov.ru/action/stat/highed/ (дата обращения: 30.11.2022).
2. Абрамова М. О., Баранников К. А., Груздев И. А., Жихарев Д. А., Лешуков О. В., Отт М. А., Рогозин Д. М., Сандлер Д. Г., Суханова Е. А., Терентьев Е. А., Фрумин И. Д. Качество образования в российских университетах: что мы поняли в пандемию: Аналитический доклад. Томск: Издательство Томского государственного университета, 2021. 46 с.
3. Семенова Т. В. «Когда сидишь просто перед компьютером, он от тебя ничего не требует»: трудности и стратегии студентов при прохождении МООК в вузах // Мониторинг общественного мнения: экономические и социальные перемены. 2022. № 2. С. 292-316. DOI: 10.14515/ monitoring. 2022.2.1999
4. Захарова У. С., Танасенко К. И. МООК в высшем образовании: достоинства и недостатки для преподавателей // Вопросы образования. 2019. № 3. С. 176-202. DOI: 10.17323/1814-9545-2019-3-176-202
5. Шмелева Е. Д., Семенова Т. В. Академическое мошенничество студентов: учебная мотивация vs образовательная среда // Вопросы образования. 2019. № 3. С. 101-129. DOI: 10.17323/1814-9545-2019-3-101-129
6. Karadag E. Effect of COVID-19 Pandemic on Grade Inflation in Higher Education in Turkey // Plos One. 2021. Vol. 16. № 8. P. e0256688. DOI: 10.1371/journal.pone.0256688
7. Pattison E., Grodsky E., Muller C. Is the Sky Falling? Grade Inflation and the Signaling Power of Grades // Educational Researcher. 2013. Vol. 42. № 5. P. 259-265.
8. Пискунов А. Ф., Филимонова Е. Н. Инфляция оценок: реальная или мнимая угроза? // Оценивание: образовательные возможности. Сборник научно-методических статей. Вып. 4. Серия «Современные технологии университетского образования». Минск : БГУ, 2006. С. 78-87.
9. Stone J. E. Inflated Grades, Enrollments & Budgets // Education Policy Analysis Archives. 1995. Vol. 3 (11). P. 1-30. DOI: 10.14507/epaa.v3n11.1995
10. Daineko L., Larionova V., Yurasova I., Davy Y., Karavaeva N. Educational process digiltalization in Ural Federal University. Proceedings of the 19th European Conference on e-Learning. ECEL 2020, Berlin, 2020. P. 146-153. DOI: 10.34190/EEL.20.029
11. Daineko L., Goncharova N., Larionova V. Retrospective comparative analysis of student performance before and during the pandemic. ICERI2021 Proceedings, 2021. P. 6434-6440. DOI: 10.21125/iceri.2021.1457
12. Макарова Г. Ю., Харитонова Ю. Н., Рыбаков В. Е., Гужин А. А. Кризис высшего образования. Взгляд изнутри // Инновации и инвестиции. 2016, № 2. С. 106-109.
13. Bar T., Kadiyali V., Zussman A. Grade information and grade inflation: The Cornell experiment // Journal of Economic Perspectives. 2009. Vol. 23 (3). P. 93-108. DOI: 10.1257/jep.23.3.93
14. Kostal J. W., Kuncel N. R., Sackett P. R. Grade inflation marches on: Grade increases from the 1990s to 2000s //
Educational Measurement: Issues and Practice. 2016. Vol. 35 (1). P. 11-20. DOI: 10.1111/emip.12077
15. Chen W. E. Case Study on Using MOOC. Materials in a Small Private Online Course. International Workshop on Learning Technology for Education Challenges, 2016. P. 162-167. DOI: 10.1007/978-3-319-42147-6_14
16. DeBoer J., Breslow L. Tracking progress: predictors of students' weekly achievement during a circuits and electronics MOOC. Proceedings of the first ACM conference on Learning@scale conference, 2014. P. 169-170. DOI: 10.1145/2556325.2567863
17. Ewais A., AwadM., Hadia K. Aligning learning materials and assessment with course learning outcomes in MOOCs using data mining techniques. Advances in integrations of intelligent methods. Springer, Singapore, 2020. P. 1-25. DOI: 10.1007/978-981-15-1918-5_1
18. Weinhardt J. M., Sitzmann T. Revolutionizing training and education? Three questions regarding massive open online courses (MOOCs) // Human Resource Management Review. 2019. Vol. 29. № 2. P. 218-225.
19. Kolas L., Nordseth H., Hoem J. Interactive modules in a MOOC. 15th International Conference on Information Technology Based Higher Education and Training (ITHET), IEEE, 2016. P. 1-8. DOI: 10.1109/ITHET.2016.7760707
20. Olle J., Namestovski Z. Student Performance and Learning Experience in MOOCs: The Possibilities of Interactive Activity-Based Online Learning Materials. International Conference on Interactive Collaborative Learning, Springer, 2017. P. 649-653. DOI: 10.1007/978-3-319-73210-7_75
21. Стародубцев В. А., Ситникова О. В., Лобаненко О. Б. Оптимизация контента онлайн-курса по данным статистики активности пользователей // Высшее образование в России. 2019. Т. 28, № 8-9. С. 119-127. DOI: 10.31992/0869-36172019-28-8-9-119-127
22. Тихонова Н. В. Организация контроля знаний студентов в условиях удаленного обучения // Казанский лингвистический журнал. 2021. Т. 4, № 1. С. 111-125.
23. Саяпин А. В. Методика конструирования контрольно-измерительных материалов в вузе с целью повышения качества // Научное мнение. 2012. № 8. С. 77-83.
24. Базанова Е. М., Соколова Е. Е. МООК по академическому письму: управление мотивацией обучения студентов // Высшее образование в России. 2017. № 2. С. 99-109.
25. Изосимов Д. В. Разработка дидактического банка контрольно-измерительных материалов как средства диагностики поэтапного формирования профессиональных умений у курсантов военного вуза // Вопросы педагогики. 2020. № 5-2. С. 172-177.
26. Brown K., Larionova V., Stepanova N., Lally V. Re-imagining the Pedagogical Paradigm within a Technology Mediated Learning Environment // Open Education Studies. 2019. Vol. 1(1). P. 138-145. DOI: 10.1515/edu-2019-0009
27. Brown K., Khalfin A., Sandler D., Sinitsyn E., Tolmachev A. System of Digital Services for Supporting the Individualized Learning Process. Proceedings of the 13th annual International Conference of Education, Research and Innovation (ICERI-2020), Sevilla, 2020. P. 8598-8607. DOI: 10.21125/iceri.2020.1911
28. Sinitsyn E., Tolmachev A., Larionova V., Ovchinnikov A. Mathematical Models of Learning Analytics for Massive Open
Online Courses. EDULEARN Proceedings, 2019. P. 4395-4404. DOI: 10.21125/edulearn.2019.1107
29. Шмелев А. Г. Практическая тестология: тестирование в образовании, прикладной психологии и управлении персоналом. М.: Маска, 2013. 688 с.
30. Корн Г., Корн Т. Справочник по математике для научных работников и инженеров. М.: Главная редакция физико-математической литературы, 1973. 832 с.
31. Быстрова Т. Ю., Ларионова В. А., Синицын Е. В., Толмачев А. В. Учебная аналитика МООК как инструмент прогнозирования успешности обучающихся // Вопросы образования. 2018. № 4. С. 139-166. DOI: 10.17323/18149545-2018-4-139-166
References
1. Statisticheskaya informatsiya Minobrnauki RF. Forma № VPO-2 «Svedeniya o material'no-tekhnicheskoi i informatsionnoi baze, finansovo-ekonomicheskoi deyatel'nosti obrazovatel'noi organizatsii vysshego obrazovaniya» [Statistical Information of the Ministry of Education and Science of the Russian Federation. Form VPO-2 «Information about the Material and Technical and Information Base, Financial and Economic Activity of the Educational Organisation of Higher Education»], available at: https://minobrnauki.gov.ru/action/ stat/highed/ (accessed 30.11.2022). (In Russ.).
2. Sukhanova E. A., Frumin I. D. (Eds.) Kachestvo obrazovaniya v rossiiskikh universitetakh: chto my ponyali v pandemiyu [The Quality of Education in Russian Universities: What have we Learned during the Pandemic], Tomsk State University Press, 2021, 46 p. (In Russ.).
3. Semenova T. V. «Kogda sidish' prosto pered komp'yuterom, on ot tebya nichego ne trebuet»: trudnosti i strategii studentov pri prokhozhdenii MOOK v vuzakh [«When You Just Sit in front of a Computer, It does not Require Anything from You»: Difficulties and Strategies of Students while Completing University-Level MOOCs]. Monitoring obshchestvennogo mneniya: ekonomicheskie i sotsial'nye peremeny [Monitoring of Public Opinion: Economic and Social Changes Journal], 2022, nr 2, pp. 292-316. doi 10.14515/monitoring.2022.2.1999. (In Russ.).
4. Zakharova U. S., Tanasenko K. I. MOOK v vysshem obrazovanii: dostoinstva i nedostatki dlya prepodavatelei [MOOCs in Higher Education: Advantages and Pitfalls for Instructors]. Voprosy obrazovaniya [Educational Studies], 2019, nr 3, pp. 176-202. doi 10.17323/1814-95452019-3-176-202. (In Russ.).
5. Shmeleva E. D., Semenova T. V. Akademicheskoe moshennichestvo studentov: uchebnaya motivatsiya vs obrazovatel'naya sreda [Academic Dishonesty among College Students: Academic Motivation vs Contextual Factors]. Voprosy obrazovaniya [Educational Studies], 2019, nr 3, pp. 101-129. doi 10.17323/1814-9545-2019-3-101-129. (In Russ.).
6. Karadag E. Effect of COVID-19 Pandemic on Grade Inflation in Higher Education in Turkey. Plos One, 2021, vol. 16, nr 8, p. e0256688. doi 10.1371/journal.pone.0256688. (In Eng.).
7. Pattison E., Grodsky E., Muller C. Is the Sky Falling? Grade Inflation and the Signaling Power of Grades. Educational Researcher, 2013, vol. 42, nr 5, pp. 259-265. (In Eng.).
8. Piskunov A. F., Filimonova E. N. Inflyatsiya otsenok: real'naya ili mnimaya ugroza? [Grade Inflation:
Real or Perceived Threat?]. Otsenivanie: obrazovatel'nye vozmozhnosti. Sbornik nauchno-metodicheskikh statei. Vyp. 4. Seriya «Sovremennye tekhnologii universitetskogo obrazovaniya» [Evaluation: Educational Opportunities. Collection of Scientific and Methodological Articles. Vol. 4. Series "Modern Technologies of University Education], Minsk, 2006, pp. 78-87. (In Russ.).
9. Stone J. E. Inflated Grades, Enrollments & Budgets. Education Policy Analysis Archives, 1995, vol. 3 (11), pp. 1-30. doi 10.14507/epaa.v3n11.1995. (In Eng.).
10. Daineko L., Larionova V., Yurasova I., Davy Y., Karavaeva N. Educational Process Digitalization in Ural Federal University. Proceedings of the 19th European Conference on e-Learning (ECEL 2020), Berlin, 2020, pp. 146-153. doi 10.34190/EEL.20.029. (In Eng.).
11. Daineko L., Goncharova N., Larionova V. Retrospective Comparative Analysis of Student Performance before and during the Pandemic. ICERI2021 Proceedings, 2021, pp. 6434-6440. doi 10.21125/iceri.2021.1457. (In Eng.).
12. Makarova G. Yu., Kharitonova Yu. N., Rybakov V. E., Guzhin A. A. Krizis vysshego obrazovaniya. Vzglyad iznutri [The Crisis of Higher Education. A Look from the Inside]. Innovatsii i investitsii [Innovations and investments], 2016, nr 2, pp. 106-109. (In Russ.).
13. Bar T., Kadiyali V., Zussman A. Grade Information and Grade Inflation: The Cornell Experiment. Journal of Economic Perspectives, 2009, vol. 23(3), pp. 93-108. doi 10.1257/ jep.23.3.93. (In Eng.).
14. Kostal J. W., Kuncel N. R., Sackett P. R. Grade Inflation Marches On: Grade Increases from the 1990s to 2000s. Educational Measurement: Issues and Practice, 2016, vol. 35 (1), pp. 11-20. doi 10.1111/emip.12077. (In Eng.).
15. Chen W. E. Case Study on Using MOOC. Materials in a Small Private Online Course. International Workshop on Learning Technology for Education Challenges, 2016, pp. 162-167. doi 10.1007/978-3-319-42147-6_14. (In Eng.).
16. DeBoer J., Breslow L. Tracking Progress: Predictors of Students' Weekly Achievement during a Circuits and Electronics MOOC. Proceedings of the First ACM Conference on Learning@scale Conference, 2014, pp. 169-170. doi 10.1145/ 2556325.2567863. (In Eng.).
17. Ewais A., Awad M., Hadia K. Aligning Learning Materials and Assessment with Course Learning Outcomes in MOOCs Using Data Mining Techniques. Advances in Integrations of Intelligent Methods, Springer, Singapore, 2020, pp. 1-25. doi 10.1007/978-981-15-1918-5_1. (In Eng.).
18. Weinhardt J. M., Sitzmann T. Revolutionizing Training and Education? Three Questions Regarding Massive Open Online Courses (MOOCs). Human Resource Management Review, 2019, vol. 29, nr 2, pp. 218-225. (In Eng.).
19. Kolâs L., Nordseth H., Hoem J. Interactive Modules in a MOOC. 15th International Conference on Information Technology Based Higher Education and Training (ITHET), IEEE, 2016, pp. 1-8. doi 10.1109/ITHET.2016.7760707. (In Eng.).
20. Ollé J., Namestovski Z. Student Performance and Learning Experience in MOOCs: The Possibilities of Interactive Activity-Based Online Learning Materials. International Conference on Interactive Collaborative Learning, Springer, 2017, pp. 649-653. doi 10.1007/978-3-319-73210-7_75. (In Eng.).
21. Starodubtsev V. A., Sitnikova O. V., Lobanenko O. B. Optimizatsiya kontenta onlain-kursa po dannym statistiki ak-tivnosti pol'zovatelei [Optimization of Online Course Content according to Users Activity Statistics]. Vysshee obrazovanie vRossii [Higher Education in Russia], 2019, vol. 28, nr 8-9, pp. 119127. doi 10.31992/0869-3617-2019-28-8-9-119-127. (In Russ.).
22. Tikhonova N. V. Organizatsiya kontrolya znanii studentov v usloviyakh udalennogo obucheniya [Students' Knowledge Assessment in Online Learning]. Kazanskii lingvisticheskii zhurnal [Kazan Linguistic Journal], 2021, vol. 4, nr 1, pp. 111-125. (In Russ.).
23. Sayapin A. V. Metodika konstruirovaniya kontrol'no-izmeritel'nykh materialov v vuze s tsel'yu povysheniya kachestva [Method of Monitoring Tests Building in Higher Education Aimed at Their Quality Improvement]. Nauchnoe mnenie [The Scientific Opinion], 2012, nr 8, pp. 77-83. (In Russ.).
24. Bazanova E. M., Sokolova E. E. MOOK po akademicheskomu pis'mu: upravlenie motivatsiei obucheniya studentov [Massive Open Online Course on Academic Writing: Management of Students' Motivation to Study]. Vysshee obrazovanie vRossii [Higher Education in Russia], 2017, nr 2, pp. 99-109. (In Russ.).
25. Izosimov D. V. Razrabotka didakticheskogo banka kontrol'no-izmeritel'nykh materialov kak sredstva diagnostiki poetapnogo formirovaniya professional'nykh umenii u kursantov voennogo vuza [Development of a Didactic Bank of Control and Measurement Materials as a Means of Diagnosing the Gradual Formation of Professional Skills among Military Cadets]. Voprosypedagogiki [Pedagogical Issues], 2020, nr 5-2, pp. 172-177. (In Russ.).
26. Brown K., Larionova V., Stepanova N., Lally V. Re-imagining the Pedagogical Paradigm within a Technology Mediated Learning Environment. Open Education Studies, 2019, vol. 1 (1), pp. 138-145. doi 10.1515/edu-2019-0009. (In Eng.).
27. Brown K., Khalfin A., Sandler D., Sinitsyn E., Tolmachev A. System of Digital Services for Supporting the Individualized Learning Process. Proceedings of the 13th Annual International Conference of Education, Research and Innovation (ICERI-2020), Sevilla, 2020, pp. 8598-8607. doi 10.21125/iceri.2020.1911. (In Eng.).
28. Sinitsyn E., Tolmachev A., Larionova V., Ovchinnikov A. Mathematical Models of Learning Analytics for Massive Open Online Courses. EDULEARN Proceedings, 2019, pp. 4395-4404. doi 10.21125/edulearn.2019.1107 (In Eng.).
29. Shmelev A. G. Prakticheskaya testologiya: testirovanie v obrazovanii, prikladnoi psikhologii i upravlenii personalom [Practical Testology. Testing in Education, Applied Psychology and Human Resource management], Moscow, Maska, 2013, 688 p. (In Russ.).
30. Korn G., Korn T. Spravochnik po matematike dlya nauchnykh rabotnikov i inzhenerov [Mathematics Handbook for Scientists and Engineers], Moscow, Glavnaya redaktsiya fiziko-matematicheskoi literatury, 1973, 832 p. (In Russ.).
31. Bystrova T. Yu., Larionova V. A., Sinitsyn E. V., Tolmachev A. V. Uchebnaya analitika MOOK kak instrument prognozirovaniya uspeshnosti obuchayushchikhsya [Learning Analytics in MOOC as a Tool for Predicting Students' Performance]. Voprosy obrazovaniya [Educational Studies], 2018, nr 4, pp. 139166. doi 10.17323/1814-9545-2018-4-139-166. (In Russ.).
Информация об авторах / Information about the authors
Ларионова Виола Анатольевна - кандидат физико-математических наук, доцент, заместитель директора по проектам развития образования, заведующий кафедрой экономики и управления строительством и рынком недвижимости, Уральский федеральный университет имени первого Президента России Б. Н. Ельцина; v.a.larionova@urfu.ru.
Гончарова Наталья Вадимовна - кандидат технических наук, доцент кафедры экономики и управления на металлургических и машиностроительных предприятиях, Уральский федеральный университет имени первого Президента России Б. Н. Ельцина; n.v.goncharova@urfu.ru.
Дайнеко Людмила Владимировна - старший преподаватель кафедры экономики и управления строительством и рынком недвижимости, Уральский федеральный университет имени первого Президента России Б. Н. Ельцина; l.v.daineko@urfu.ru.
Viola A. Larionova - PhD (Physics and Mathematics), Associate Professor, Vice-Director for Education Development Projects, Head of Department of Economics and Management in Construction and Real Estate Market, Ural Federal University named after the first President of Russia B. N. Yeltsin; v.a.larionova@urfu.ru.
Natalia V. Goncharova - PhD (Engineering Sciences), Associate Professor, Department of Economics and Management at Metallurgical and Machine Building Enterprises, Ural Federal University named after the first President of Russia B. N. Yeltsin; n.v.goncharova@urfu.ru.
Ludmila V. Daineko - Senior Lecturer, Department of Economics and Management in Construction and Real Estate Market, Ural Federal University named after the first President of Russia B. N. Yeltsin; l.v.daineko@urfu.ru.
