CC BY
8
Инструменты статистической обработки результатов онлайн тестирования студентов
Ш.Г. Магомедов, Н.Ш. Газанова, А.В. Тарасов, Я.С. Грюкан, Е. В. Никульчев
Аннотация— Электронное обучение и онлайн-тестирование прочно вошли в образовательную практику высших учебных заведений, не только во время пандемии. Цифровые технологии предоставляют новые возможности для совершенствования методологии обучения на основе анализа вовлеченности студентов в образовательный процесс и оперативной оценки объема усваиваемого материала. Онлайн-системы электронного обучения сохраняют большое количество данных, таких как логирование действий пользователя, сохранение времени, потраченного на взаимодействие с определенными компонентами, время ответа на вопросы контрольных или итоговых аттестационных тестов, время, проведенное в онлайн-системе обучения. Эти данные, как правило, недоступны преподавателям и используются для контроля доступа к данным. Однако эти данные могут являться основой для методического анализа. В работе на основе имеющихся данных в онлайн-системе тестирования формируется комплекс инструментов статистического анализа времени ответов на вопросы при тестировании. Как известно, время ответов на когнитивные тесты является важным инструментом исследований в области психологии. Имея богатый набор данных, собранный во время пандемии в системах электронного обучения, можно разработать психологические и педагогические цифровые методики для анализа данных, которые можно применять как для совершенствования электронного обучения, так и для выявления несамостоятельных или невовлеченных ответов в ходе тестирования.
Ключевые слова— статистические инструменты, электронное обучение, онлайн тестирование.
I. Введение
Пандемия COVID-19 привела к серьезным ограничениям в мире и вынудила образовательные учреждения по всему миру принимать новые подходы к обучению. Онлайн-обучение стало неотъемлемой частью учебного процесса во многих учебных заведениях, и это привело к значительному увеличению числа преподавателей и студентов, которые освоили технологии электронного обучения.
Статья получена 22 апреля 2023.
Шамиль Гасангусейнович Магомедов, к.т.н., доцент, зав.кафедрой КБ-4, МИРЭА - Российский технологический университет, Москва (magomedov_sh@mirea.ru)
Нурзия Шапиевна Газанова, старший преподаватель, МИРЭА -Российский технологический университет, Москва (e-mail: gazanova@mirea.ru)
Андрей Валерьевич Тарасов, аспирант, МИРЭА - Российский технологический университет, Москва (e-mail: tarasov_av@mirea.ru) Ярослав Сергеевич Грюкан, магистрант, МИРЭА - Российский технологический университет, Москва (e-mail: grukan@mirea.ru) Евгений Витальевич Никульчев, профессор РАО, профессор, МИРЭА - Российский технологический университет, Москва (e-mail: nikulchev@mail.ru)
Учебные заведения были вынуждены быстро перейти на онлайн-обучение, чтобы обеспечить непрерывность учебного процесса в условиях пандемии [I]. Кроме того, учебные заведения начали использовать онлайн-платформы и технологии [2], такие как видеоконференции, виртуальные классы и системы управления обучением. Также было выявлено [3], что в онлайн-обучении есть ряд преимуществ, таких как большая гибкость и доступность образования, что может увеличить участие в обучении для студентов, которые ранее не могли принять участие в традиционных формах обучения.
Однако онлайн-обучение также имеет свои вызовы, такие как необходимость эффективной поддержки технологий и преподавателей, а также сложности, связанные с оценкой результатов освоения материала. Как правило, основой выпускной аттестации по курсу является прохождение теста с открытыми и закрытыми вопросами. При тестировании фиксируется сам ответ и время, потраченное на ответ [4]. В современной психологии уже существует набор инструментов для оценки результатов тестирования [5, 6]. В этой области выявлены особенности верификации ответов, способы и инструменты выявления недостоверных данных, характерных для онлайна [7] — паттерны кликеров, паттерны ботов, невовлеченность студентов в процессы. Эти инструменты могут быть привлечены и адаптированы для системы образования.
Технологии LMS (Learning Management Systems), которые обеспечивают электронное обучение [8], предоставляют новые возможности для улучшения методологии обучения через анализ вовлеченности студентов в учебный процесс [8] и быстрой оценки объема усвоенного материала [9]. Онлайн-системы записывают действия пользователей [6], фиксируют время, потраченное на взаимодействие с отдельными компонентами и всей системой в целом. Особую ценность представляют данные о времени ответа на контрольные или итоговые аттестационные тесты, которые могут использоваться для совершенствования методического обеспечения. Как известно [I0], время ответа на когнитивные тесты является важным инструментом исследований в области психологии. Aнализ времени ответа может использоваться для улучшения образовательного процесса, например, для выявления следующих факторов: 1) студенты потратили на тест существенно больше времени, чем ожидалось, или наоборот, задания были выполнены очень быстро; 2) имеется большой разброс во времени ответа, что указывает на неравномерное усвоение материала и т.д.
Статистические методы могут использоваться для обнаружения мошенничества при сдаче тестов, используя анализ плотности распределения времени ответа. Если некоторые студенты отвечают без раздумий или используют общие ответы, то это может быть выявлено при помощи таких методов. Например, исследования показывают [11], что использование анализа времени ответа позволяет выявлять различные типы аномалий при сдаче тестов.
Одним из примеров статистических методов, используемых для выявления мошенничества, является анализ времени ответа. В частности, тяжелые хвосты в плотности распределения времени ответа может свидетельствовать о том, что некоторые студенты отвечают быстрее, чем другие, используя при этом различные стратегии ответа [12]. Кроме того, анализ распределения времени ответа может позволить выявить группы студентов, отвечающих одинаково или использовавших общие ответы [13].
Таким образом, важно определить принципы работы с данными онлайн систем обучения посредством комплекса статистических инструментов, чтобы выявить аномалии при сдаче тестов с высокой точностью [14]. Для разработки методического обеспечения, основанного на статистических методах, необходимо проводить дополнительные исследования возможностей и ограничений применения таких методов.
Статья посвящена формированию комплекса программно-математических инструментов
статистической обработки результатов онлайн тестирования студентов на основе анализа времени задержки при ответах на вопросы онлайн тестирования.
II. Общая постановка задачи
Пусть имеется набор данных, сформированный онлайн системой, реализующей электронное обучение. включают номер вопроса, время ответа на вопрос. Данные могут содержать и иную информацию. Для формирования статистических инструментов сформируем выборку мощностью n = 1000 и проведем анализ возможности применения инструментов математической статистики для целей образования. Обработку будем программно анализировать с использованием Python [15, 16]. Анализ будем осуществлять с использованием методов психометрики.
Здесь рассматриваются только закрытые вопросы (то есть результат нужно выбрать из предлагающегося списка с учетом множественного выбора). Некоторые вопросы требует дополнительных вычислений, остальные — достаточно очевидный выбор из представленных вариантов.
Таким образом, возможно сформировать дата-сеты для статистической обработки.
Набор данных для анализа получен из онлайн-системы электронного обучения и включает в себя ответы на экзаменационные тесты. Данные обезличены и содержат балл за тест, время затраченное на сдачу всего теста и время затраченное на ответ на каждый
вопрос Для создания статистических инструментов мы создадим выборку из 1000 элементов и проведем анализ, используя методы математической статистики и психометрики, с помощью программирования на языке Python [12, 13]. Уточним, что в анализе рассматриваются только закрытые вопросы, то есть ответы выбираются из представленного списка вариантов с возможностью множественного выбора. Некоторые вопросы могут требовать дополнительных вычислений, но для анализа были выбраны вопросы с возможностью выбора из представленных вариантов.
III. Формирование комплекса инструментов
Комплекс инструментов будем формировать с использованием классических статистических инструментов. Поскольку по каждому вопросы имеет более n = 1000 испытаний, будем использовать статистические инструменты для больших выборок. В случае малых выборов инструменты (маленьких групп студентов) должны иные, в соответствии с теорией математической статистики.
1. Построение гистограммы распределения времени ответов.
Каждый обучающийся тратит определенное время на ответ на каждый вопрос, которое фиксируется онлайн системой обучения в минутах и секундах. Таким образом, ответ на каждый вопрос можно рассматривать как случайную величину. При этом время ответов рассматривается как испытание без повторений из генеральной совокупности обучающихся студентов.
Чтобы оценить распределение вероятностей ответов на вопросы, можно построить эмпирическую плотность распределения вероятности для выборки мощностью 1000. Это может быть выполнено с помощью гистограммы и диаграммы разброса.
На рисунках 1-4 показаны эмпирические плотности распределения вероятностей для случайных величин, состоящих из ответов на разное количество вопросов теста. Очевидно, что форма плотности распределения вероятностей ответов на вопросы не одинакова: в первом и восьмом вопросах имеется пик, после которого происходит монотонное снижение, а в ответ на второй вопрос снижается как в экспоненциальном распределении. Гладкость функций плотности свидетельствует о состоятельности эксперимента, отсутствуют несколько пиков и тяжеловесных хвостов.
Полученной информацией можно воспользоваться в будущей педагогической практике для оценки среднего времени ответа на вопрос и разброс возможных значений. А также обратить внимание на ответы, быстрее медианных значений.
---Mai ожидание
— — ■ Медиана
Время
Математическое ожидание; 1в.вС175в54&5238 Дисперскй : if-Нелнача: а.60Э
Рис. 1. Плотность распределения ответов на 1 вопрос
Г
— ™ Мат ожидание — — Медиана
L
Время
Математическое «жида«не; 3,a88&48262S4fl2632 Дигпг-рсил : 11.î«4?xeia8eîïi HUAXJHJ: M
Рис. 2. Плотность распределения ответов на 2 вопрос
- - ■ Мат. ожидание
1н_
О 10 ЙО
Время
Математическое ожидание: 4.ifcUUtte/ieoie/ Диспеэсир; Недиача; 3,9,
Рис. 3. Плотность распределения ответов на 7 вопрос
h____
О 5 10 15 SO 26 ЭО ГТ| Ш1П
группу вопросов и анализ времени ответа на несколько тестовых заданий. Полученные данные могут быть использованы в будущей педагогической практике для оценки среднего времени ответа на вопросы и разброса возможных значений.
Особое внимание следует уделить ответам, которые быстрее медианных значений. Это может свидетельствовать о том, что студенты используют запомненные ответы или пользуются другими недобросовестными методами, чтобы получить высокие баллы. Для выявления таких ответов можно использовать методы анализа времени ответа и сравнение результатов с нормальным распределением [17].
Более того, некоторые исследования показывают, что анализ распределения времени ответа на группу вопросов может быть полезным для выявления недобросовестных практик при сдаче тестов [18]. В целом, анализ времени ответа может помочь выявить подозрительные ответы и выявить возможное мошенничество при сдаче тестов.
2. Построение диаграмм размаха. Диаграмма размаха, которая в Python называется «ящик с усами» [16], является важным инструментом для визуализации и интерпретации данных, и он широко используется в научных исследованиях и анализе данных. Он может быть использован для сравнения распределения данных в разных группах, а также для определения выбросов и аномалий в данных.
На рис. 5, 6 приведены диаграмма разброса при ответах на те же самые вопросы, что и в примере выше.
Диаграмма размаха
:
»
1
Рис. 5. Диаграмма размаха для вопросов 1 и 2
Диаграмма размаха
Рис. 4. Плотность распределения ответов на 8 вопрос
Для анализа времени ответа и оценки его распределения могут использоваться различные методы, например, методы анализа времени ответа на отдельные вопросы, анализ распределения времени ответа на
□ Г
А7 А8
Рис. 6. Диаграмма размаха для вопросов 7 и 8
Таким образом, можно сделать следующие статистически значимые выводы. Согласно исследованию [7], верхняя граница на диаграмме размаха может иметь естественные причины, связанные с паттернами поведения человека при прохождении трудоемких тестов продолжительностью более часа, а также с паузами между заданиями. Если же значения, выходящие за границы диаграммы разброса снизу (ближе к нулю) являются выбросами. При времени ответа, ниже найденной границы, необходимо рассмотреть ответ подробнее — студент мог просто кликнуть на ответ, либо знать ответ заранее. Если таких ответов будет некоторое число - выше критической границы, необходимо более детально рассмотреть эти ответы и при необходимости аннулировать их.
3. Относительный анализ ответов конкретного студента. Интересной информацией могут обладать сведения о персональных оценках времени ответа на конкретные вопросы.
Зафиксируем конкретного студента N и посмотрим значение его времени ответа на вопросы 1,2,7,8 (рис. 7, 8).
Q10»Xl*l5frtCTO 0 S 10 Ii ïS И M
Al.drfl A2.dift
Рис. 7. Время ответа на 1 и 2 вопросы студента N.
Сгуд*ит
d 1 fe__ _
1 ОуйЯИТ
1
1 к
о £ io t& д я я »
количество времени, то есть бросил отвечать на вопросы теста или безуспешно искал ответ на вопрос в сети Интернет, а самый последний ответ, просто «прокликал», возможно, даже не прочитав. Видно, что возможные сложности составили ответы на вопрос 1 и 3, что требует анализа самого вопроса.
J w I ;чл !
L 1 А
Рис. 8. Время ответа на 7 и 8 вопросы студента N
Анализ конкретных оценок может дать следующие результаты: ответы студента на вопросы 2, 7 потребовали некоторой время (не нулевой, значит, не были просто «прокликаны»), близкое к средним. Ответ на вопрос 8 потребовал большего времени на рассуждение, чем среднее значения, а ответ на первый вопрос может быть связан с паттернами поведения -естественные задержки реакции.
Если зафиксировать студента N и посмотреть его ответы на 12 вопросов, можно увидеть следующую картину (см. рис. 9). Из рисунка хорошо видно, что на предпоследний вопрос студент N затратил большое
Рис. 9. Время ответов на вопросы 1-12 на фоне плотности распределения по всей выборке
4. Проверка гипотез об однородности распределений при ответах на разные вопросы.
Можно рассмотреть принадлежность вопросов как к конкретным распределению, например, нормальному (это может быть основой для дальнейшего исследования, выстраивания корреляционных зависимостей при сдвоении материала). Также имеет смысл проверить гипотезу о принадлежности случайных величин ответов на разные вопросы к одному распределению. Поскольку у нас выборка значительная (1000), можно для этого воспользоваться критерием согласия Колмогорова-Смирнова. Нулевой гипотезой при этом является, предположение, что выборки принадлежат одному и тому закону распределения. На рис. 10, 11 приведены результаты применения критерия для вопросов 1 и 2, и для 7, 8.
/
- A A 2
_ _
D = 0.05346652224188566
Statistic:
1.6114617603363585
P-value: 5.861126937617613e-272
Рис. 10. Тест Колмогорова-Смирнова для 1 и 2 вопроса.
Statistic : 0.1729903536977492 P-value: 9.96755755Э&4539е-21 D = в .6FS457H8699S478Ï6
оценку тестов. Это особенно актуально в условиях увеличения количества студентов и онлайн-обучения.
Приведены результаты экспериментальных исследований и их аналитической обработки с использованием программно-математических средств обработки данных. Представлены инструменты для определения мошенничества при тестировании, которые могут быть применены в системах прокторинга.
Рис. 11. Тест Колмогорова-Смирнова для 7 и 8 вопроса.
Анализ результатов показывает, что ответы на вопросы 1 и 2 не принадлежат одному распределению, а отклонять гипотезу о равенстве распределений для ответов на вопросы 7 и 8 нет оснований.
Полученные результаты могут быть учтены в последующей педагогической практике (например, в другой группе студентов), что распределение времени ответов на вопросы 7 и 8 одинаковы с учетом масштабирования значений.
IV. Заключение
В статье сформирован комплекс инструментов для статистической обработки времени ответов на вопросы онлайн тестирований. Показано, что средства электронного обучения существенно расширяют возможности психолого-педагогического анализа усвоения материала группы в целом, и отдельных студентов в частности. Например, анализ времени ответов может помочь выявить те вопросы, на которые студентам сложно ответить, и те методы обучения, которые дают наилучшие результаты. Таким образом, инструменты, предложенные в данной статье, могут помочь учителям и преподавателям улучшить процесс обучения и повысить успеваемость студентов.
Дополнительно, важно отметить, что использование онлайн тестирования и анализа времени ответов позволяет сократить временные затраты на проверку и
[1]
[2]
[3]
[4]
[5]
[6]
[7]
[8]
[9]
Библиография
Al Lily, A. E., Ismail, A. F., Abunasser, F. M., Alqahtani, R., Alshumaimeri, Y. A., Albugami, S. S. (2020). Distance education as a response to pandemics: Coronavirus and Arab culture //Technology in society. - 2020. - Т. 63. - С. 101317.
Zhang Y., Lin C. H. Student interaction and the role of the teacher in a state virtual high school: what predicts online learning satisfaction? //Technology, Pedagogy and Education. - 2020. - Т. 29. - №. 1. - С. 57-71.
Khalil R. et al. The sudden transition to synchronized online learning during the COVID-19 pandemic in Saudi Arabia: a qualitative study exploring medical students' perspectives //BMC medical education. -2020. - Т. 20. - С. 1-10.
Magomedov, S., Ilin, D., Silaeva, A., Nikulchev, E. (2020). Dataset of user reactions when filling out web questionnaires. Data, 5(4), 108. doi: https://doi.org/10.3390/data5040108
Nikulchev, E., Ilin, D., Silaeva, A., Kolyasnikov, P., Malykh, S. (2020). Digital Psychological Platform for Mass Web-Surveys. Data, 5(4), 95. doi: https://doi.org/10.3390/data5040095 Nikulchev, E.; Gusev, A.; Ilin, D.; Gazanova, N.; Malykh, S. Evaluation of User Reactions and Verification of the Authenticity of the User's Identity during a Long Web Survey. Apply Sciences. 2021, 11, 11034. doi: https://doi.org/10.3390/app112211034 Nikulchev E., Gusev A., Gazanova N,, Magomedov S., Alexeenko A., Malykh A., Kolyasnikov P., Malykh S. Engagement assessment for the educational web-service based on largest Lyapunov exponent calculation for user reaction time series // Education Sciences, 2023. Vol. 13, No. 2, P. 141. https://doi.org/10.3390/educsci13020141 Комлева Н. В. «Цифровой тьютор»-платформа для создания онлайн-курсов //Плехановский научный бюллетень. - 2021. - N°. 1. - С. 35-44..
Очков В. Ф., Тихонов А. И., Леонова Д. С. И др. Математика и новые информационные технологии. Окончание // Математическое образование. 2021. № 2 (98). С. 34-43.
[10] Тихомирова Т.Н., Малых С.Б. Когнитивное развитие школьников: эффекты макро-и микросредовых условий образования // Вопросы психологии. 2021. № 67(5). С. 30-43.
[11] Mottus, R., Kattai, K., Allik, J., Realo, A. (2021). Combining item response theory and multivariate density modeling for detecting cheating in tests. Journal of Educational Measurement, 58(2), 207227. doi: 10.1111/jedm.12251
[12] Cizek, G. J. (2020). Detecting cheating in tests: A review and critique. Educational Measurement: Issues and Practice, 39(1), 47-54. doi: 10.1111/emip.12316
[13] Jiao, H., Zou, H., Chen, Y., Qian, M. (2021). The identification of cheating behavior based on multimodal test response data: A clustering approach. Journal of Educational Data Mining, 13(1), 124.
[14] Boruch, R. F., & Gormley Jr, W. T. (2022). Statistical methods for detecting test fraud. Annual Review of Statistics and Its Application, 9, 325-346. doi: 10.1146/annurev-statistics-042821-110259
[15] Брюс П., Брюс Э., Гедек П. Практическая статистика для специалистов Data Science: — СПб.: БХВ-Петербург, 2021.
[16] Ковальчук А. О., Капитан В. Ю. Основы статистического и исследовательского анализа данных на Python. — Владивосток : Изд-во ДФУ, 2021.
[17] Chen, C., Wu, Y., & Huang, S. (2020). Identifying cheating behavior in online tests based on time-series data analysis. Computers & Education, 153, 103933. doi: 10.1016/j.compedu.2020.103933
[18] Chen, C., Wu, Y., & Huang, S. (2020). Identifying cheating behavior in online tests based on time-series data analysis. Computers & Education, 153, 103933. doi: 10.1016/j.compedu.2020.103933
Tools for Statistical Analysis of Online Student
Testing Results
S. G. Magomedov, N.Sh. Gazanova, A. V. Tarasov, Ya. S. Gryukan, E.V. Nikulchev
Abstract— E-learning and online testing have become firmly embedded in the educational practice of higher education institutions, not just during the pandemic. Digital technologies provide new opportunities to improve learning methodology based on the analysis of student engagement in the educational process and rapid assessment of the amount of material being learned. Online e-learning systems store a large amount of data, such as logging of user actions, saving time spent on interaction with certain components, time to answer questions of control or final certification tests, time spent in the online learning system. These data, as a rule, are not available to teachers and are used to control access to data. However, such data can be the basis for methodological analysis. In this paper, a set of tools for statistical analysis of test response times is formed based on the available data in the online testing system. As we know, response time on cognitive tests is an important research tool in the field of psychology. With the rich data set collected during the pandemic in e-learning systems, it is possible to develop psychological and pedagogical digital techniques for data analysis, which can be applied both to improve e-learning and to identify non-self or non-involved responses during testing. Keywords— statistical tools, e-learning, online testing.
References
[1] Al Lily, A. E., Ismail, A. F., Abunasser, F. M., Alqahtani, R., Alshumaimeri, Y. A., Albugami, S. S. (2020). Distance education as a response to pandemics: Coronavirus and Arab culture //Technology in society. - 2020. - T. 63. - C. 101317.
[2] Zhang Y., Lin C. H. Student interaction and the role of the teacher in a state virtual high school: what predicts online learning satisfaction? //Technology, Pedagogy and Education. - 2020. - T. 29. - №. 1. - C. 57-71.
[3] Khalil R. et al. The sudden transition to synchronized online learning during the COVID-19 pandemic in Saudi Arabia: a qualitative study exploring medical students' perspectives //BMC medical education. -
2020. - T. 20. - C. 1-10.
[4] Magomedov, S., Ilin, D., Silaeva, A., Nikulchev, E. (2020). Dataset of user reactions when filling out web questionnaires. Data, 5(4), 108. doi: https://doi.org/10.3390/data5040108
[5] Nikulchev, E., Ilin, D., Silaeva, A., Kolyasnikov, P., Malykh, S. (2020). Digital Psychological Platform for Mass Web-Surveys. Data, 5(4), 95. doi: https://doi.org/10.3390/data5040095
[6] Nikulchev, E.; Gusev, A.; Ilin, D.; Gazanova, N.; Malykh, S. Evaluation of User Reactions and Verification of the Authenticity of the User's Identity during a Long Web Survey. Apply Sciences. 2021, 11, 11034. doi: https://doi.org/10.3390/app112211034
[7] Nikulchev E., Gusev A., Gazanova N,, Magomedov S., Alexeenko A., Malykh A., Kolyasnikov P., Malykh S. Engagement assessment for the educational web-service based on largest Lyapunov exponent calculation for user reaction time series // Education Sciences, 2023. Vol. 13, No. 2, P. 141. https://doi.org/10.3390/educsci13020141
[8] Komleva N. V. "Digital tutor"-platform for creating online courses // Plekhanov Scientific Bulletin. - 2021. - №. 1. - C. 35-44.
[9] V. F. Ochkov, A. I. Tikhonov, D. S. Leonova et al. Mathematics and new information technologies. Ending // Mathematical Education.
2021. № 2 (98). C. 34-43.
[10] Tikhomirova T.N., Malykh S.B. Cognitive development of schoolchildren: the effects of macro- and microenvironmental conditions of education // Voprosy psychologii. 2021. № 67(5). C. 30-43.
[11] Mottus, R., Kattai, K., Allik, J., Realo, A. (2021). Combining item response theory and multivariate density modeling for detecting cheating in tests. Journal of Educational Measurement, 58(2), 207227. doi: 10.1111/jedm.12251
[12] Cizek, G. J. (2020). Detecting cheating in tests: A review and critique. Educational Measurement: Issues and Practice, 39(1), 47-54. doi: 10.1111/emip.12316
[13] Jiao, H., Zou, H., Chen, Y., Qian, M. (2021). The identification of cheating behavior based on multimodal test response data: A clustering approach. Journal of Educational Data Mining, 13(1), 124.
[14] Boruch, R. F., & Gormley Jr, W. T. (2022). Statistical methods for detecting test fraud. Annual Review of Statistics and Its Application, 9, 325-346. doi: 10.1146/annurev-statistics-042821-110259
[15] Bruce P., Bruce E., Gedek P. Practical Statistics for Data Science Specialists: - SPb.: BHV-Peterburg, 2021.
[16] Kovalchuk A. O., Kapitan V. Yu. Fundamentals of statistical and research data analysis in Python. - Vladivostok : FEFU Publishing House, 2021.
[17] Chen, C., Wu, Y., & Huang, S. (2020). Identifying cheating behavior in online tests based on time-series data analysis. Computers & Education, 153, 103933. doi: 10.1016/j.compedu.2020.103933
[18] Chen, C., Wu, Y., & Huang, S. (2020). Identifying cheating behavior in online tests based on time-series data analysis. Computers & Education, 153, 103933. doi: 10.1016/j.compedu.2020.103933
About authors
S. G. Magomedov, head of department KB-4, MIREA - Russian Technological University, Moscow (e-mail:magomedov_sh@mirea.ru) N.S. Gazanova, senior lecturer, MIREA - Russian Technological University, Moscow (e-mail: gazanova@mirea.ru)
A.V. Tarasov, postgraduate student, MIREA - Russian Technological University, Moscow (e-mail: tarasov_av@mirea.ru)
Y. S. Grukan, master's degree student, MIREA — Russian Technological University, Moscow
E.V. Nikulchev, Professor of the Russian Academy of Education, Professor of MIREA - Russian Technological University, Moscow (e-mail: nikulchev@mail.ru)
