CC BY
0
Высшее образование в России
Vysshee obrazovanie v Rossii = Higher Education in Russia
ISSN 0869-3617 (Print), ISSN 2072-0459 (Online) http://vovr.elpub.ru
Применение учебной аналитики в высшем образовании: датасеты, методы и инструменты
Обзорная статья
DOI: 10.31992/0869-3617-2024-33-5-86-111
Дюличева Юлия Юрьевна — канд. физ.-мат. наук, доцент, доцент кафедры прикладной математики Физико-технического института, ORCID: 0000-0003-1314-5367, Scopus Author ID: 56669951600, Researcher ID: R-2515-2017, dyulicheva_yu@mail.ru Крымский федеральный университет им. В.И. Вернадского, Симферополь, Россия Адрес: Россия, 295007, Республика Крым, Симферополь, пр-т Академика Вернадского, 4
Аннотация. Накапливание больших объёмов образовательных данных на платформах вузов и социальных медиа приводит к необходимости разработки инструментов для извлечения закономерностей из образовательных данных, которые могут быть использованы для понимания поведенческих паттернов обучающихся и преподавателей, для улучшения методик преподавания и качества учебного процесса, а также для разработки обоснованных стратегий развития вузов и формирования их политики. В данной статье приводится анализ и систематизация датасетов из открытых репозиториев с учётом решаемых на их основе задач учебной аналитики. В частности, в статье отмечается преобладание датасе-тов, направленных на решение задач аналитики на уровне понимания поведения студентов, в то же время датасеты, направленные на решение задач аналитики на уровне понимания потребностей преподавателей и административно-управленческого персонала вузов, практически отсутствуют Между тем, полный потенциал инструментов учебной аналитики может быть раскрыт только при внедрении комплексного подхода к анализу образовательных данных, учитывающего потребности всех участников и организаторов учебного процесса.
В предлагаемой обзорной статье рассматриваются методы учебной аналитики для решения задач, связанных с исследованием паттернов социального взаимодействия между обучающимися и преподавателями, и инструменты учебной аналитики - от внедрения простых дашбордов до сложных фреймворков, исследующих различные уровни учебной аналитики. Отмечается, что вузы в целом заинтересованы во внедрении инструментов учебной аналитики, которые способны улучшить качество учебного процесса за счёт разработки стратегий адресной поддержки отдельных групп обучающихся, однако преподаватели относят ся к таким инициативам с осторожностью из-за недостатка навыков анализа данных и правильной интерпретации результатов анализа. Новизна данного аналитического обзора связана с рассмотрением учебной аналитики на разных уровнях её реализации в контексте подходов к открытости, обработке и анализу образовательных данных.
Данная статья будет интересна разработчикам инструментов учебной аналитики, научно-педагогическим работникам, административно-управленческому персоналу вузов с
Контент доступен под лицензией Creative Commons Attribution 4.0 License. This work is licensed under a Creative Commons Attribution 4.0 License. © Дюличева Ю.Ю., 2024.
И]
точки зрения формирования представления о целостности процесса аналитики вуза с учётом различных уровней реализации аналитики, направленных на понимание потребностей всех участников учебного процесса.
Ключевые слова: учебная аналитика, датасеты, аналитика поведения обучающихся, аналитика поведения преподавателей, аналитика стратегии и политики вуза
Для цитирования: Дюличева Ю.Ю. Применение учебной аналитики в высшем образовании: датасеты, методы и инструменты // Высшее образование в России. 2024. Т. 33. № 5. C. 86-111. DOI: 10.31992/0869-3617-2024-33-5-86-111
Application of Learning Analytics in Higher Education: Datasets, Methods and Tools
Original article
DOI: 10.31992/0869-3617-2024-33-5-86-111
Yulia Yu. Dyulicheva — Cand. Sci. (Mathematics), Associate Professor, Associate Professor of Applied Mathematics Department of the Physical Technology Institute, ORCID: 0000-0003-13145367, Scopus Author ID: 56669951600, Researcher ID: R-2515-2017, dyulicheva_yu@mail.ru V.I. Vernadsky Crimean Federal University, Simferopol, Russian Federation Address: 4 Vernadsky Ave., Simferopol, 295007, Russian Federation
Abstract. The accumulation of big educational data on the platforms of universities and social media leads to the need to develop tools for extracting regularities from educational data, which can be used for understanding the behavioral patterns of students and teachers, improve teaching methods and the quality of the educational process, as well as form sound strategies and policies for universities development. This article provides an analysis and systematization of datasets on available repositories, taking into account the learning analytics problems solved on their basis. In particular, the article notes the predominance of datasets aimed at solving analytical problems at the level of student's behavior understanding, Datasets aimed at solving analytical problems at the level of understanding the needs of teachers and administrative and managerial staff of universities are practically absent. Meanwhile, the full potential of learning analytics tools can only be revealed by introducing an integrated approach to the analysis of educational data, taking into account the needs ofall participants and organizers ofthe educational process.
This review article discusses learning analytics methods related to the study of social interaction patterns between students and teachers, and learning analytics tools from the implementation of simple dashboards to complex frameworks that explore various levels of learning analytics. The problems and limitations that prevent learning analytics from realizing its potential in universities are considered. It is noted that universities are generally interested in introducing learning analytics tools that can improve the quality of the educational process by developing strategies for targeted support for individual groups of students, however, teachers treat such initiatives with caution due to a lack of data analysis skills and correct interpretation of analysis results. The novelty of this analytical review is associated with the consideration of learning analytics at different levels of its implementation in the context of approaches to openness, processing and analysis of educational data.
This article will be of interest to developers of learning analytics tools, scientific and pedagogical workers, and administrative and managerial staff of universities from the point of view of forming an idea of the integrity of the university analytics process, taking into account various levels of ana-
lytics implementation aimed at understanding the needs and requirements of all participants in the educational process.
Keywords: learning analytics, datasets, student behavior analytics, teacher behavior analytics, university strategy and policy analytics
For citation: Dyulicheva, Yu.Yu. (2024). Application of Learning Analytics in Higher Education: Datasets, Methods and Tools. Vysshee obrazovanie v Rossii= Higher Education in Russia. Vol. 33, no. 5, pp. 86-111, doi: 10.31992/0869-3617-2024-33-5-86-111 (In Russ., abstract in Eng.).
Введение
Накапливание больших объёмов данных об обучающихся как на платформах, которые использует вуз для организации учебного процесса, так и в социальных медиа приводит к необходимости разработки автоматизированных систем, направленных на извлечение закономерностей, описывающих потребности обучающихся и способствующих пониманию их поведения. Такого рода закономерности могут быть использованы для оптимизации учебного процесса и управления вузом, в том числе для улучшения методик обучения, внедрения персонализированных траекторий обучения, прогнозирования академической успеваемости обучающихся, притока и отсева обучающихся, оптимальной организации научно-исследовательской и проектной деятельности вуза, улучшения образовательной среды и т. п. [1]. Таким образом, результаты учебной аналитики способствуют трансформациям, направленным на улучшение высшего образования в сферах управления, мониторинга и организации различных процессов в вузах, включая преподавание и обучение, а также принятию органами управления обоснованных решений.
Учебная аналитика (УА) основывается на междисциплинарных подходах, связанных с обработкой, анализом образовательных данных и их визуализацией [2]. Учебная аналитика тесно связана с интеллектуальным анализом образовательных данных (ИАОД),
но УА направлена на применение существующих методов и моделей анализа данных и машинного обучения в сфере образования, а ИАОД связан с разработкой новых методов и моделей для извлечения закономерностей из образовательных данных1. Именно в этом контексте в данной статье и будут рассматриваться учебная аналитика и интеллектуальный анализ образовательных данных. В настоящее время наблюдается значительный рост исследований, направленных на применение существующих и разработку новых методов интеллектуального анализа образовательных данных и инструментов учебной аналитики, однако внедрение таких методов и инструментов в вузах часто затруднено по разным причинам, которые обсуждаются далее в статье.
Применение учебной аналитики находится практически в зачаточном состоянии, несмотря на важность цифровой трансформации для сферы образования и очевидные преимущества, связанные с извлечением знаний из образовательных данных, которые могут быть использованы административно-управленческим персоналом, преподавателями, исследователями и обучающимися вузов [3; 4]. Кроме того, учебная аналитика оказывает влияние на формирование политики вузов и их стратегий развития от регионального до международного уровня, позволяет получить представление о качестве образовательного процесса [5].
1 Enhancing teaching and learning through educational data mining and learning analytics: An issue brief / M. Bienkowski, M. Feng, B. Means. (E. U.S. Department of Education, Office of Educational Technology. Washington D.C.). URL: https://api.semanticscholar.org/CorpusID:62061003 (дата обращения: 11.03.2024).
Цель предлагаемой статьи - сформировать представление о целостности процесса аналитики вуза с учётом различных уровней реализации аналитики на основе данных, направленных на понимание потребностей всех участников образовательного процесса.
Методика анализа
Для реализации указанной цели был проведён анализ представленных в открытом доступе датасетов в репозиториях Kaggle2 и UCI3, информации на официальных сайтах вузов о внедрении учебной аналитики в учебный процесс, а также научных публикаций по тематике, связанной с учебной аналитикой, и представленных в базах Scopus, WoS, РИНЦ. На основе анализа и систематизации датасетов и результатов научных статей были выделены типы задач учебной аналитики, которые решались на различных уровнях реализации учебной аналитики в вузах, продемонстрировано отсутствие открытых репозиториев с русскоязычными данными в сфере образования, направленных на решение задач учебной аналитики на разных уровнях её реализации, особенно это касается аналитики на уровне вузов. Сформулированы проблемы и ограничения, связанные с внедрением инструментов учебной аналитики в вузах и рассмотрены новые магистерские программы, лаборатории и кейсы, связанные с внедрением инструментов учебной аналитики в вузах Российской Федерации. Новизна данного аналитического обзора связана с рассмотрением учебной аналитики на разных уровнях её реализации в контексте подходов к открытости, обработке и анализу образовательных данных.
Построение эмпирической базы для решения задач учебной аналитики на разных уровнях её реализации является важным
этапом. В настоящее время сформированы репозитории с датасетами в открытом доступе, предоставляющие возможности как для изучения существующих моделей, так и для разработки новых моделей и инструментов для анализа данных. Наиболее популярными репозиториями для решения задач машинного обучения являются Kaggle и иС1.
Датасеты для разработки инструментов учебной аналитики
Исследователи ставят перед собой различные задачи в области интеллектуального анализа образовательных данных и разработки инструментов учебной аналитики. Каждая постановка задачи учебной аналитики требует сбора данных и формирования датасета (набора данных), его обработки и выбора оптимального метода машинного обучения для решения поставленной задачи. В последнее время значительно увеличились объёмы образовательных данных из-за накапливания данных о работе студентов в виртуальных средах обучения. Анализ таких данных даёт представление о том, как студенты используют учебные ресурсы, как они взаимодействуют в виртуальных средах, какие трудности испытывают при освоении учебного материала и т. п. Датасеты, расположенные в открытом доступе, имеют важное значение для сравнения эффективности различных алгоритмов анализа данных и машинного обучения и разработки инновационных инструментов учебной аналитики.
Для исследования доступных датасетов и решаемых на их основе задач учебной аналитики использовалась платформа для организации конкурсов по обработке и анализу данных Kaggle и репозиторий иС1. Результаты анализа датасетов представлены в таблице1.
2 Система Kaggle организации конкурсов по исследованию данных, а также социальная сеть специалистов по обработке данных и машинному обучению. URL: https://www.kaggle.com/ (дата обращения: 11.03.2024).
3 Репозиторий UCI реальных и модельных задач машинного обучения. URL: https://archive.ics.uci.edu/ (дата обращения: 11.03.2024).
Таблица 1
Датасеты и соответствующие им задачи учебной аналитики
Table 1
The datasets and corresponding objectives oflearning analytic
Название датасета Задача учебной аналитики Описание
Успеваемость студентов[6] Прогнозирование успеваемости Датасет содержит 32 характеристики: возраст и пол студента, тип стипендии, участие в спортивной и творческой деятельности, тип транспорта, который используют студенты, чтобы добираться до университета, образование и статус родителей, посещение семинаров и конференций, связанных с кафедрой, ведение конспектов и подготовка к промежуточной аттестации и т. п., а также целевую характеристику - итоговая оценка
Отсев студентов и академическая успешность [7] Прогнозирование отчисления обучающихся Датасет содержит 36 характеристик: материальный статус, курс, предыдущая квалификация студента, квалификация родителей, возраст при зачислении, стоимость обучения, число учебных разделов в течение семестра, уровень безработицы и т. п., а также целевую характеристику - категория студента (зачисленный на обучение, отчисленный, выпускник)
Уровень адаптивности студентов в онлайн-образо-вании [8] Прогнозирование уровня адаптивности обучающихся к онлайн-образо-ванию Датасет содержит 13 характеристик; пол и возраст студента, уровень образования, является ли студентом /Г-специальности, тип интернета и сети, устройство, продолжительность занятий, тип LMS (платформа для онлайн-обучения) и т. п., а также целевую характеристику - уровень адаптивности
Психическое здоровье студентов[9] Прогнозирование состояния ментального здоровья Датасет содержит 10 характеристик: пол, возраст, год обучения, наличие симптомов депрессии, тревожности, паники, обращался ли студент за медицинской помощью, материальное положение и т. п., а также целевую характеристику - болен обучающийся или нет
Предпринимательская компетентность студентов вузов [10] Прогнозирование предпринимательской компетентности Датасет содержит 16 характеристик: наличие инженерного образования, участие в индивидуальных проектах, находится ли студент под чьим-либо влиянием, рейтинг усидчивости, рейтинг желания проявлять инициативу, рейтинг самостоятельности и конкурентоспособности и т. п., а также целевую характеристику - сможет ли студент стать предпринимателем
OULAD [11] Оценивание влияния виртуальной образовательной среды на результаты обучения Датасет содержит 32815 характеристик, включая демографические данные о студентах (возраст, уровень образования, регион проживания, наличие ОВЗ и т. п.) из Открытого университета и данные взаимодействия обучающихся с виртуальной образовательной средой (количество модулей, их продолжительность, предметная область, тип оценивания, время, затраченное на попытки пройти тест и т. п.), а также целевую характеристику - итоговая оценка.
Датасет факторах, влияющих на выгорание учителей[12] Оценивание влияния факторов на «выгорание» преподавателей Датасет содержит 25 характеристик, включая пол, стаж преподавания, оценку самоопределения, оценку эмоционального истощения, оценку деперсонализации, оценку снижения личных достижений и т. п.
Датасет для оценки 4 преподавателя Классификация преподавателей по уровню успешности педагогической деятельности Датасет содержит 5 характеристик, включая идентификатор преподавателя курса, название курса, семестр, количество студентов, является ли преподаватель носителем английского языка, а также целевую характеристику - оценка успешности педагогической деятельности (низкая, средняя, высокая)
Датасет «Что ты знаешь?»5 Прогнозирование вероятности правильного ответа обучающимся на поставленный вопрос Датасет содержит 16 характеристик, включая индикатор правильности ответа на вопрос, тип вопроса, время поступления вопроса и время ответа на вопрос и т. п., а также целевую характеристику - тип ответа (правильный , неправильный, пропущенный, превышен лимит времени при ответе)
4 Wei-Yin L. Teaching assistant evaluation (UCI Machine Learning Repository). URL: https://archive.ics.uci. edu/dataset/100/teaching+assistant+evaluation (дата обращения: 11.03.2024).
5 Hamner B, Lotze T. What Do You Know? (Kaggle). URL: https://kaggle.com/competitions/WhatDoYou Know (дата обращения: 11.03.2024).
На основании таблицы 1 были выделены датасеты в открытом доступе и приведены типы задач учебной аналитики, решаемых на основе этих данных. В частности, на уровне аналитики поведения обучающихся были выделены такие задачи, как: задача прогнозирования успеваемости и отсева обучающихся; задача прогнозирования уровня адаптивности студентов к онлайн-образова-нию; задача прогнозирования вероятности правильного ответа на поставленный обучающемуся вопрос, которая, в частности, может применяться для оценки уровня подготовки студента к экзамену; задача анализа состояния ментального здоровья обучающихся; задача анализа влияния виртуальной среды на результаты обучения; задача прогнозирования предпринимательской компетентности обучающихся; задача прогнозирования уровня адаптивности обучающихся к онлайн-образованию, а на уровне аналитики преподавателей - задача оценивания факторов, влияющих на профессиональное «выгорание» преподавателей и задача классификации преподавателей по уровню успешности педагогической деятельности. Следует отметить, что в открытом доступе в указанных выше репозиториях отсутствуют датасеты, связанные с аналитикой на уровне вуза и, в частности, датасеты, направленные на решение задач формирования обоснованной стратегии и политики вуза, оценивания качества образовательных услуг вуза, его конкурентоспособности и т. п. Несмотря на наличие открытых репозиториев научных и образовательных организаций Российской Федерации6 и открытых данных репозито-рия RusPsyDATA7, в котором, в частности, размещены датасеты об отношении преподавателей и студентов к цифровой образовательной среде, не удалось обнаружить удобные для обработки русскоязычные датасеты
в открытом доступе, предназначенные для решения разнообразных задач учебной аналитики на разных уровнях её реализации с возможностью рассмотрения существующих подходов к анализу датасетов на основе методов машинного обучения. Однако в репозиториях Kaggle, MendeleyData8 и RusPsyDATA размещено небольшое число русскоязычных образовательных данных по сравнению с англоязычными датасетами, что свидетельствует о постепенном формировании эмпирической русскоязычной базы в сфере образования. Создание отдельных ре-позиториев образовательных данных с возможностью тестирования готовых моделей и разработки новых подходов способствовало бы расширению эмпирической базы для исследования в сфере образования и развитию учебной аналитики в российских вузах.
В целом разбиение задач на различных уровнях учебной аналитики на основе проведённого выше анализа датасетов может быть представлено в виде схемы (рис. 1).
Для получения всеобъемлющего представления о причинах поведения обучающихся и преподавателей необходимо обрабатывать большие объёмы данных, поступающих из разнородных источников и включающих не только данные из лог-файлов, но и из открытых источников сети Интернет, поскольку на поведение обучающихся и преподавателей могут оказывать влияние различные факторы от академической и социальной интеграции до институциональной приверженности (престиж вуза, материальная и технологическая поддержка и т. п.) и внеинституциональных факторов (состояние здоровья, материальное положение, образ жизни и т. п.) [13].
Одна из концептуальных основ для описания больших данных в высшем образовании включает четыре компоненты:
6 Открытые репозитории научных и образовательных организаций. URL: http://lib.urlu.ru/mod/ resource/view.php?id=3424 (дата обращения: 11.03.2024)
7 Репозиторий психологических исследований и инструментов. URL: https://ruspsydata.mgppu.ru/ (дата обращения: 11.03.2024)
8 Облачный репозиторий Mendeley Data. URL: https://data.mendeley.com/ (дата обращения: 11.03.2024).
институциональная аналитика, аналитика информационных технологий, академическая аналитика и учебная аналитика. Институциональная аналитика направлена на извлечение из больших образовательных данных закономерностей, которые могут быть использованы при принятии решений администрацией вузов во всех отделах и подразделениях и способствующих улучшению работы вуза на институциональном уровне. Аналитика информационных технологий направлена на извлечение закономерностей из данных, поступающих из различных источников и систем, в том числе вне систем вуза, а также на разработку стандартов данных и обеспечение их безопасности и конфиденциальности, включая мониторинг необходимых технологий для сбора, моделирования и анализа данных. Академическая или программная аналитика тесно связана с институциональной аналитикой, но подразумевает использование статистических методов и методов прогнозирования для извлечения из больших объёмов данных закономерностей, направленных на совершенствование процессов принятия решений и реализацию стратегического планирования в среде обучения. Учебная аналитика направлена на оптимизацию среды обучения и процесса обучения, в том числе на улучшение академической успеваемости обучающихся и ориентирована на извлечение закономерностей, связанных с поведением обучающихся. Такая концептуальная основа была предложена и внедрена в университете Отаго (Новая Зеландия) в рамках проекта иО-ТЕА (Улучшенная технология аналитики). Результаты внедрения такой концептуальной основы в вузе свидетельствуют о комплексном подходе к сбору и анализу больших образовательных данных, возможности разработки планов стратегического развития вуза, оптимизации среды и процессов обучения за счёт стандартизации процессов обработки больших данных и извлечения закономерностей для приня-
тия решений в режиме реального времени [14].
Эффективная учебная аналитика должна быть основана на разработке и применении методов машинного обучения, позволяющих всесторонне анализировать разнородные данные в сфере образования. Наибольшее значение для дальнейшего развития учебной аналитики играют многоуровневые гибридные аналитические модели, сочетающие такие слои, как:
слой доступа к данным, интегрирующий все данные о студентах, накопленные в университетской системе и полученные из внешних источников, включая их активность на различных учебных платформах;
слой хранения данных, включающий наличие ресурсов для эффективного и безопасного хранения данных;
слой обработки и анализа данных, включающий инструменты предобработки данных (удаление шумовых данных, заполнение пропусков в данных, фильтрация данных с целью удаления незначимых для дальнейшего анализа данных и т. п.) и методы машинного обучения для анализа данных;
слой интерпретации полученных закономерностей, извлечённых из данных [15].
По мере развития инструменты учебной аналитики и их архитектура усложняются для достижения результатов анализа, которые будут легко интерпретироваться как администраторами вузов и преподавателями, так и обучающимися. Для этого разрабатываются адаптивные аналитические инструменты, основанные на методах бизнес-аналитики, дата-майнинга, статистики, визуализации закономерностей, анализа социальных сетей, машинного обучения [16; 17]. В частности, на основе методов машинного обучения, как показано ниже, эффективно решаются задачи выявления поведенческих паттернов на уровне взаимодействия «преподаватель-студент». Такого рода поведенческие паттерны используются в инструментах учебной аналитики для улучшения качества учебных материалов и методик преподавания.
Аналитика на уровне ВУЗа (на уровне административно-управленческого аппарата)
Задача формирования
стратегии и политики ВУЗа
Задача оценивания качества образовательных услуг
Аналитика на уровне профессорско-преподавательского состава
Задача оценивания эмоционального
состояния преподавателей
Задача оценивания уровня профессиональной компетентности
Задача оценивания профессионального «выгорания»
Аналитика на уровне обучающихся
Задача оценивания эмоционального состояния обучающихся
Задача анализа поведенческих
паттернов обучающихся
Задачи анализа отсева, академической успешности, вовлеченности обучающихся
Рис. 1. Примеры задач на различных уровнях реализации учебной аналитики Fig. 1. The examples of objectives on the different levels oflearning analytics
Методы машинного обучения, применяемые для разработки инструментов учебной аналитики
Интеллектуальный анализ образовательных данных и учебная аналитика являются междисциплинарными направлениями, связанными с внедрением методов машинного обучения для извлечения закономерностей из данных в сфере образования. В последние годы эти направления активно развиваются и предлагают автоматизированные решения для лучшего понимания шаблонов поведения обучающихся и преподавателей и механизмов взаимодействия между ними, а также могут применяться для оценивания эффективности педагогических подходов.
Деревья решений представляют собой классификаторы с иерархической структурой, предназначенные для построения легко интерпретируемых экспертом закономерностей в виде правил «если-то». В частности,
деревья решений были применены для извлечения последовательных шаблонов поведения, отличающих кластеры более эффективных онлайн-тьюторов от менее эффективных и включающих различия в постановке целей занятия, рассматриваемых вводных и тематических вопросов, организации само-коррекционного поведения обучающихся и проактивного планирования занятий, а также в подаче своевременных подсказок, приводящих к правильному решению в процессе обучения [18]. Применение такого рода подходов способствует разработке автоматизированных систем учебной аналитики, направленных на мониторинг качества процесса обучения. Важным направлением учебной аналитики является прогнозирование вакансии или выбора профессии для обучающихся на основе их текущей успеваемости, интересов и предпочтений. Применение решающих деревьев и гибридной модели -решающего леса позволяет прогнозировать
карьеру, которую выберет обучающийся с точностью до 93% [19].
Методы глубокого обучения активно используются для выявления шаблонов поведения обучающихся и их взаимодействия в аудитории, в том числе шаблоны взаимодействия «преподаватель-студент» на основе анализа изображений из видеопотока. Распознавание выражений лиц обучающихся на основе модифицированной архитектуры нейронной сети VGG-16 позволило достигнуть точности 79,4% при решении задачи, направленной на понимание того, как выражение эмоций на лицах обучающихся может быть использовано для определения доступности для понимания изложенного учебного материала [20]. Инструменты учебной аналитики, разрабатываемые на основе применения методов глубокого обучения, позволят решать сложные задачи, связанные с выявлением шаблонов поведения, лежащих в основе тех или иных действий студентов и преподавателей. В частности, разрабатываются системы, направленные на улучшение навыков социального взаимодействия преподавателей с обучающимися в процессе проведения учебных занятий на основе анализа эмоциональных состояний преподавателей и обучающихся в процессе такого взаимодействия [21].
Методы автоматической обработки естественного языка такие, как анализ тональности текстов, выявление ключевых слов, частей речи и т. п. из сообщений и построение графов взаимодействий обучающихся на форумах и в социальных сетях широко используются для извлечения мнений обучающихся с целью понимания их отношения к вузу, преподавателю, учебному курсу и т. п. Например, мониторинг сообщений, которые обучающиеся Открытого университета Греции оставляют на форумах, позволил выявить настроения обучающихся и их отношение как к самому учебному курсу, так и к его отдельным особенностям и разработать систему прогнозирования общей успеваемости студентов с учётом их эмоционального
состояния и тенденций его изменения в процессе изучения курса, а также предложить направления для улучшения содержания учебных курсов с учётом анализа негативного отношения к отдельным его составляющим [22].
Наиболее изученной областью учебной аналитики и интеллектуального анализа данных в сфере образования является прогнозирование академической успеваемости и отсева студентов. В частности, высокую точность (до 99%) для прогнозирования отсева обучающихся продемонстрировали такие модели, как случайный лес и нейронные сети [23].
Ниже представлен частотный анализ аннотаций статей из баз Scopus, WoS, РИНЦ, посвящённых аналитике академической успешности и отсева обучающихся. Из статей [6; 7; 24-35], которые отбирались на основе ключевых слов «академическая успешность (успеваемость) студентов», «отток (отчисление) студентов» извлекались аннотации, затем из них вручную отбирались предложения, в которых авторы описывали полученные результаты с выделением значимых факторов. Далее выполнялась предобработка полученных 29 предложений, включающая токенизацию (разбиение на слова), удаление стоп-слов, лемматизацию (приведение слов к нормальной форме). После предобработки было построено облако наиболее частотных слов с помощью pyython-библиотеки word cloud.
Результаты частотного анализа демонстрируют (рис. 2), что наиболее эффективными моделями машинного обучения для решения задач прогнозирования успешности и отсева обучающихся являются случайный лес, метод опорных векторов и нейронные сети. Огромное влияние на академическую успешность и отсев обучающихся оказывают личные, семейные, социально-экономические, демографические факторы и посещаемость.
Анализ статей по ключевым словам «учебная аналитика», «образовательная
Рис. 2. Частотный анализ аннотаций статей по тематике, связанной с академической успешностью
и отчислением обучающихся Fig. 2. The frequency analysis of articles' abstracts on academic performance and dropout of students
|с«««тр демографический модель !фа кт op М 6 Т 0 Д'1 1 | с§мейный •'•гя,"С0ци£льн0 экономический посещаемость
аналитика» на платформе суЬеНептка продемонстрировал наличие русскоязычных исследований, направленных на развитие аналитики на уровне обучающихся, например, аналитика успеваемости обучающихся в период локдауна [33] и аналитика академической успеваемости обучающихся на ранних стадиях образовательного процесса [34].
Разработка инструментов учебной аналитики направлена на автоматическое выявление факторов, оказывающих существенное влияние на поведение обучающихся и преподавателей и способствующих повышению академической успешности обучающихся, а также пониманию нужд и потребностей всех участников образовательного процесса.
Инструменты учебной аналитики
В сфере высшего образования Европы учебная аналитика используется для решения следующих задач: улучшение академической успешности, удовлетворённости и мотивации обучающихся, повышение качества преподавания, снижение оттока обучающихся, обеспечение индивидуальной поддержки в процессе обучения, совершенствование программ обучения, поощрение саморегулируемого обучения, улучшение взаимопонимания между преподавателями и студентами, увеличение количества поступающих в вузы [36]. Лидерами в применении инструментов учебной аналитики являются университеты США и Европы, которые ис-
пользуют как встроенные в системы управления обучением средства учебной аналитики, так и собственные разработки, а также программное обеспечение от сторонних разработчиков и уже переходят от отдельных технологических решений к национальным системам учебной аналитики [4; 37; 38].
Инструменты учебной аналитики для мониторинга поведения обучающихся направлены на выявление обучающихся из групп риска, подлежащих отчислению, изучение мнений и настроений обучающихся и их состояния ментального здоровья, отслеживание и анализ цифрового следа обучающихся в социальных медиа и построение цифровых профилей, прогнозирование академической успешности обучающихся, построение персонализированных траекторий обучения, и т. п.
Для анализа академической успешности некоторые вузы используют систему интерактивной бизнес аналитики Tableau©, плагин Woolclap© для оценки понимания обучающими учебного материала в режиме реального времени, инструмент визуализации данных Many Eyes©. Учебная аналитика профилей обучающихся с выделением наиболее частотных ключевых слов, используемых в профилях реализована в системе Many Eyes©, а время, затраченное на выполнение заданий и полученные обучающимися баллы проанализированы в системе Tableau.©. Полученные результаты могут быть использо-
ваны для разработки и совершенствования учебных программ [5]. Ряд университетов США используют собственные инструменты учебной аналитики для поддержки обучающихся и предотвращения их отчисления. Например, в Университете Северной Аризоны и в Университете Пердью используются приложения Grade Performance System и Course Signals для раннего оповещения обучающихся об отставании от учебной программы и предложения учебных ресурсов для устранения пробелов в знаниях [39]. Применение таких программных приложений направлено на предотвращение оттока обучающихся за счёт средств раннего реагирования на проблемы, которые возникают у обучающихся в среде обучения.
Анализ данных, собираемых в системах управления обучением, может быть реализован на основе платформы RapidMiner. Платформа RapidMiner предоставляет удобный графический интерфейс для применения готовых алгоритмов машинного обучения для анализа образовательных данных и прогнозной аналитики. В частности, платформа RapidMiner была использована для прогнозирования академической успешности обучающихся на основе дерева решений и помощи руководителям факультетов в формировании учебных ресурсов, необходимых для роста академической успеваемости обучающихся [40], а также для прогнозирования проблем с психическим здоровьем у студентов и прогнозирования обращений за медицинской помощью на основе данных о наличии стрессовых и тревожных состояний в процессе обучения [9].
Облачная платформа Moso Teach, разработанная на основе технологии искусственного интеллекта, позволяет организовывать взаимодействие между преподавателем и обучающимися, назначать задания и использовать механизмы для отслеживания качества обучения и стимулирования вовлечённости обучающихся в учебный процесс на основе аналитики их поведения в процессе обучения [41].
Дашборды учебной аналитики в системах управления обучением широко используются в высшем образовании. Они предоставляют информационные панели для решения задач описательной, прогнозной аналитики и предписывающей аналитики на основе данных. Инструмент учебной аналитики содержит дашборд для представления информации о курсах, упражнениях, задачах, допущенных ошибках, количествах попыток для выполнения упражнений, классификации типичных решений. Такая аналитика позволяет выявить наиболее сложные для понимания обучающимися темы или задачи и дать представление преподавателю о затруднениях, которые испытывают обучающиеся в процессе освоения тем [42; 43]. Инструмент учебной аналитики CADA для системы управления обучением Canvas представляет собой дашборд, отражающий аналитику дискуссионной активности обучающихся в процессе изучения курса, включая построение сети взаимодействий между обучающимися, анализ тональности сообщений и ключевых слов, отображающих темы обсуждения [44]. Ещё одним инструментом визуализации результатов анализа онлайн-дискуссий обучающихся при прохождения онлайн-курсов в Blackboard является плагин SNAPP. Такой плагин позволяет построить диаграммы, указывающие на снижение или наоборот на активизацию взаимодействия между обучающимися в ходе дискуссии, оценить, структурировано ли обсуждение проблемы и т. п. Следует отметить, что, несмотря на наличие визуализации результатов анализа данных преподаватели предпочитают убедиться в эффективности инструментов аналитики прежде, чем внедрять их в повседневной деятельности, и отмечают важность их участия в разработке инструментов учебной аналитики и определения фокуса при анализе данных [46].
Аналитический инструмент SUFAT направлен на анализ отзывов обучающихся о преподавателях, методиках преподавания учебных курсов и их качестве. Преимуще-
ством этого инструмента является лёгкая установка, интеграция и возможность получения быстрой обратной связи от обучающихся для оперативной корректировки преподавателями содержания курса [46]. Для разработки инструментов учебной аналитики с целью анализа отзывов обучающихся в университетах часто используется тематическое моделирование и анализ тональности отзывов для понимания, какие именно характеристики учебных курсов или методик преподавания вызывают позитивные и негативные эмоции у обучающихся [47].
В настоящее время продолжают разрабатываться инструменты учебной аналитики для выявления поведенческих особенностей при взаимодействии между преподавателями и обучающимися. Анализ фреймов из видеозаписей, демонстрирующих поведение обучающихся на занятии с применением алгоритма определения объектов YOLO позволяет выделять пики активности обучающихся и их вовлечённости в учебный процесс [48].
При использовании систем управления образовательными электронными ресурсами и платформ для онлайн-обучения преподаватели теряют контроль над процессом обучения и понимание того, как взаимодействуют между собой обучающиеся для достижения цели обучения [49; 50]. Инструменты учебной аналитики способны предоставить преподавателям отчётность о паттернах поведения и дать представление о процессе обучения в виде результатов анализа просмотров, кликов, ускоренной промотки видео-материалов и иных взаимодействий с учебным контентом в процессе обучения. Применение инструментов учебной аналитики позволяет анализировать, как обучающиеся университетов воспринимают смешанный формат обучения и используют систему записи лекций Lectopia. Результаты анализа позволяют построить поведенческие модели обучающихся, которые в дальнейшем используются для исследования их влияния на академическую успеваемость [51].
Инструменты учебной аналитики используются для мониторинга проблем с ментальным здоровьем у обучающихся с целью оказания им своевременной помощи. Исследование данных с сенсорных устройств позволяет установить, решение каких задач или выполнение каких упражнений приводит к изменению характеристик сердечного ритма и проявлению стресса или тревожности. Преимуществом таких инструментов является выявление наиболее уязвимых групп обучающихся с неустойчивой психикой, для которых необходимо разрабатывать своевременные стратегии поддержки на основе выделенных закономерностей [52].
Результаты учебной аналитики обучающихся активно используются для разработки систем рекомендаций учебного контента и индивидуальных траекторий обучения. Последние позволяют раскрыть потенциал каждого обучающегося с корректировкой темпа и методов обучения [53]. Инструменты учебной аналитики на основе анализа образовательных данных в Moodle с учётом предпочитаемых обучающимися стилей обучения, в частности, стилей Фелдера-Силь-вермана, позволяют предлагать обучающимся наиболее оптимальную траекторию обучения, принимающую во внимание их потребности, поставленные цели, текущий уровень знаний и способы восприятия информации [54].
Фреймворк SHEILA предназначен для формирования стратегии и политики вуза на основе результатов анализа данных и основан на модели ROMA, направленной на поддержку стратегического планирования и изменение политики, в том числе вуза, посредством активного взаимодействия со всеми заинтересованными сторонами. Модель основана на циклическом переопределении целей политики через реализацию следующих этапов: отображение контекста политики; определение ключевых заинтересованных сторон, определение желаемого изменения поведения; развитие стратегии взаимодействия; анализ внутренней способности к из-
Аналитика на уровне ВУЗа (на уровне административно-управленческого аппарата)
Фреймворк SHEILA для формирования политики и стратегии ВУЗа [55]
Аналитика на уровне профессорско-преподавательского состава
Инструмент SUFAT для анализа методик преподавания [46]
Аналитика на уровне обучающихся
Система Many Eyes для анализа профилей обучающихся [39]
Платформа Rapid Miner для анализа академической успешности [40]
Плагин SNAPP для анализа дискуссионной активности обучающихся [45]
Рис. 3. Некоторые примеры применения инструментов на разных уровнях реализации
учебной аналитики
Pic. 3. Some examples of tools usage on the different levels oflearning analytic realization
менениям; разработка системы мониторинга и обучения [55-57]. Фреймворк, направленный на реализацию «экологического» образования с учётом угроз, которые может нести технология искусственного интеллекта (ИИ), включает три измерения: педагогическое, управленческое и операционное. Педагогическое измерение должно быть направлено на улучшение результатов обучения и преподавания; управленческое измерение связано с обеспечением конфиденциальности и безопасности данных; операционное -с организацией инфраструктуры и процесса обучения. Целью разработки такого рода фреймворков является необходимость осознания всеми заинтересованными сторонами своих обязанностей и ответственности в связи с внедрением технологии искусственного интеллекта в учебный процесс вузов, в частности, инструментов генеративного ИИ типа ааСРТ [58].
Инструменты учебной аналитики для оценивания эмоционального интеллекта преподавателей представляют существенный интерес, поскольку эмоциональное состояние преподавателей оказывает влияние не только на восприятие их как личностей, но и на успешность обучающихся, а также тесно связано с вовлечённостью в учебный процесс [59].
Таким образом, можно привести примеры инструментов на разных уровнях учебной аналитики, представленные на рисунке 3.
Результаты частотного анализа аннотаций статей [39-59] по тематике, связанной с инструментами на разных уровнях реализации учебной аналитики, представлены на рисунке 4. Из аннотаций вручную отбирались предложения, в которых авторы описывали полученные результаты. Эти предложения были разбиты по уровням реализации аналитики (на уровне вуза - 13 предложений,
Аналитика на уровне ВУЗа (на уровне административно-управленческого аппарата)
| ^эффективность 6е3оПЭСНОСТЬ
•Ы устойчивость организация ш Р трансформация конкуренция
' адацхэция
SHEILA
взаимодеиствие
институциональные лидеры
улучшен«* J к it Ьиденциальность г срвдл--г модель
проие« стратегия вуз
данные планирование рдразвя1И.
g-i >. о с
Аналитика на уровне профессорско-преподавательского состава
етда^ание эффективность
^пособЖ'^ЖШ
¡компетенции
по^ачество j
(;Дашб№ I
цифровая
Аналитика на уровне обучающихся
■ взаимодействие оцмп
факторы
I группа риск.....I......,,.„„..,
- . ресурсы данные ®
дашборды потрй1»«т. улучшение I
м. ...ЭМ?ЦИИ — I
поведение I I ■ ■ —
. "Р°4ВДЛИ,,,„„.„ I У I • I поддержка | |у| ^ академическая успеваемость
вовлеченность
иелл
Рис. 4. Облака наиболее частотных слов на разных уровнях учебной аналитики на основе
анализа аннотаций к статьям Fig. 4. The clouds offrequency words on different levels oflearning analytics based on analysis
of articles' abstracts
на уровне профессорско-преподавательского состава - 24 предложения, на уровне обучающихся - 37 предложений). Далее выполнялась предобработка полученных предложений, включающая токенизацию, удаление стоп-слов, лемматизацию. После предобработки были построены облака наиболее частотных слов с помощью python-библиотеки word cloud.
Анализ статей и описанных в них инструментов учебной аналитики демонстрируют
явное преобладание зарубежного программного обеспечения и зарубежных статей по этой тематике. Следует отметить, что помимо роста научных публикаций по тематике учебной аналитики, особенно, на уровне учебной аналитики обучающихся, как было показано выше, в российских вузах наблюдается рост интереса к внедрению учебной аналитики, о чём свидетельствуют кейсы, новые учебные программы и лаборатории в вузах Российской Федерации, а также раз-
работка отечественных дашбордов, например, для изучения трендов в образовании9.
Появление новых учебных программ, лабораторий и кейсов учебной аналитики в российских вузах
В НИУ Высшая школа экономики -Нижний Новгород разработан кейс, связанный с выявлением академически неуспешных студентов [62], а в Томском государственном университете внедрён кейс для анализа применения инструментов и опыта управления качеством образования в электронной информационно-образовательной среде вуза [63].
В Национальном исследовательском университете «Высшая школа экономики» представлен курс по выбору «Учебная аналитика» для обучающихся по магистерской программе «Доказательное развитие образования» направления подготовки 38.04.04 Государственное и муниципальное управление. В рамках курса обучающиеся рассматривают кейсы на основе реальных данных, предоставленные компанией Skyeиg10. Ещё один курс «Интеллектуальный анализ образовательных данных и учебная аналитика» для обучающихся по магистерской программе «Цифровая трансформация образования» направления подготовки 38.04.04 Государственное и муниципальное управление ориентирован на изучение общих подходов к анализу данных, включая методы описа тельной статистики, корреляционного, фак-
торного и регрессионного анализа, технологию искусственного интеллекта, а также рассмотрение различных задач, моделей и методов машинного обучения применительно к анализу образовательных данных11.
В Санкт-Петербургском национальном исследовательском университете информационных технологий, механики и оптики внедряют проект по разработке сервисов учебной аналитики для студенческого офиса. Кроме традиционных задач учебной аналитики, связанных с прогнозированием успеваемости и попадания в группы риска на отчисление, предлагаются сервисы автоматического подбора научного руководителя с учётом его научной активности и погружения в тематику, которой интересуется студент, а также автоматического построения персональных траекторий обучения12.
В Казанском федеральном университете внедрена магистерская программа «Текстовая аналитика в образовании и науке», направленная на внедрение методов лингвистической аналитики, в частности, для анализа образовательных данных13. Ещё одним примером признания важности учебной аналитики для улучшения учебного процесса вуза является создание новой лаборатории «Доказательное образование и учебная аналитика» в Южном федеральном универси-
14
тете14 и внедрения магистерской программы «Педагогический дизайн и анализ образовательных данных» по направлению подготовки 44.04.01 Педагогическое образование,
9 НИУ ВШЭ разработал дашборд для изучения трендов в образовании. URL: https://www.hse.ru/news/ edu/880718819.html (дата обращения: 11.03.2024).
10 Вышка и Skyeng начинают вместе исследовать онлайн-образование. URL: https://www.hse.ru/ news/437441290.html (дата обращения: 12.03.2024).
11 Интеллектуальный анализ образовательных данных и учебная аналитика. URL: https://www.hse.ru/ edu/courses/375294964 (дата обращения: 12.03.2024).
12 Учебная аналитика: как в ИТМО создают индивидуальную траекторию обучения для каждого студента. URL: https://news.itmo.ru/ru/news/9910/ (дата обращения: 12.03.2024).
13 В КФУ появилась новая магистерская программа «Текстовая аналитика в образовании и науке». URL: https://kplu.ru/philology-culture/v-klu-poyavilas-novaya-magisterskaya-programma.html (дата обращения: 12.03.2024).
14 Новые магистерские программы, лаборатория и дорожные карты: что поддержал управляющий комитет в июне. URL: https://sledu.ru/press-center/news/72468 (дата обращения: 12.03.2024).
ПРИШЕНЕНИЕ УЧЕБНОЙ АНАЛИТИКИ В ВЫСШЕМ ОБРАЗОВАНИИ: ДАТАСЕТЫ, МЕТОДЫ И ИНСТРУМЕНТЫ
в которой рассматриваются вопросы дата-инжиниринга и педагогического дизайна в сфере образования15.
Внедрение новых образовательных программ, кейсов и лабораторий, связанных с учебной аналитикой, в вузах России направлено на формирование базовых компетенций цифровой экономики, создание и развитие моделей цифрового университета на основе принципов управления данными.
Проблемы и ограничения использования учебной аналитики в вузах
Ограничения внедрения и применения инструментов учебной аналитики в университетах разных стран мира связаны с недостаточностью навыков, отсутствием единых стандартов и компетенций, несовместимостью институциональной политики в вопросах, связанных с методиками сбора, обработки и хранения данных, а также их конфиденциальностью [64], нехваткой вычислительных ресурсов, отсутствием единой методологии и инфраструктуры для сбора, хранения, обработки и анализа образовательных данных, а также методологий, направленных на корректировку взаимодействия с обучающимися на основе полученных результатов анализа данных [65]. Целый ряд исследователей отмечают отсутствие достаточного опыта у преподавателей вузов для применения инструментов учебной аналитики и интерпретации полученных результатов аналитики в повседневной деятельности [66]. Несмотря на широкое распространение дашбордов, преподаватели отмечают недостаточность опыта в использовании даже простой аналитики на основе статистики в информационных панелях, реализованных в системах управления обучением [67].
Для эффективного применения инструментов учебной аналитики в вузах необходима специальная подготовка в области анализа данных и интерпретации полученных
закономерностей как для управленческого аппарата вузов, так и для профессорско-преподавательского состава, так как неправильная интерпретация результатов может привести к принятию неверных решений и даже к нанесению эмоциональных травм обучающимся. Между тем, профессорско-преподавательский состав университетов осознаёт важность инструментов учебной аналитики и проявляет интерес не только в качестве пользователя таких инструментов, но готов принимать активное участие в разработке инструментов учебной аналитики и приобретении необходимых навыков при условии поддержки со стороны административно-управленческого аппарата университетов [68]. В целом в вузах Европы, в которых инструменты учебной аналитики используются более широко и продолжительно по сравнению с вузами России, отмечается интерес к инструментам учебной аналитики не как к инструментам для решения проблем вуза, а как к инструментам для исследования результатов внедрения новых возможностей и инноваций для улучшения существующих педагогических методик; для создания новых интерактивных обучающих сред и мониторинга учебных ресурсов в LMS, а также для мониторинга и понимания причин снижения академической успеваемости и своевременного принятия мер для предотвращения отчисления обучающихся [52].
Заключение
Внедрение существующих и разработка новых инструментов учебной аналитики является одной из первоочередных задач, которые стоят перед вузами для обеспечения их конкурентоспособности за счёт применения обоснованных стратегий, направленных на оптимизацию различных процессов внутри вузов и повышение качества образовательных услуг. Преимуществом внедрения учебной аналитики в вузах является возможность
15 Педагогический дизайн и анализ образовательных данных. URL: https://sfedu.ru/op/261#feedback (дата обращения: 12.03.2024).
принятия обоснованных решений в процессах управления, обучения и преподавания на основе мониторинга поведения обучающихся и профессорско-преподавательского состава с целью улучшения образовательной среды. Однако, несмотря на огромный потенциал инструментов учебной аналитики, их внедрение тесно связано с вопросами поддержки существующей политики вуза в отношении преподавания и обучения, а также с этическими и юридическими вопросами сбора, обработки и хранения персональных данных, в том числе с вопросами стандартизации в сфере защиты персональных данных.
Как видно из результатов данного исследования, большая часть инструментов учебной аналитики направлена на поддержку обучающихся, применение различных стратегий для стимулирования их мотивации и вовлечённости в учебный процесс, прогнозирования академической успеваемости и выявление факторов, оказывающих существенное влияние на показатели успеваемости обучающихся. Гораздо меньше изучена сфера разработки инструментов учебной аналитики, ориентированных на поддержку преподавателей с целью понимания их нужд и потребностей, эмоционального состояния и т. п., от которых непосредственно зависит качество учебного процесса. Данное исследование выявило отсутствие русскоязычных датасетов в открытом доступе для реализации учебной аналитики на различных уровнях, что обосновывает необходимость создания репозиториев с датасетами в сфере образования. Создание русскоязычной эмпирической базы датасетов в сфере образования будет способствовать росту исследований и разработке инструментов в области интеллектуального анализа образовательных данных в русскоязычном сегменте.
Полный потенциал инструментов учебной аналитики может быть раскрыт только при разработке комплексных подходов, ориентированных одновременно на нужды и потребности обучающихся, преподавателей и администрации вуза. В вузах России
наблюдается всплеск интереса к учебной аналитике. Они предлагают новые магистерские программы, посвящённые учебной аналитике и представляющие разные подходы к применению учебной аналитики в вузах от составления дорожных карт для студентов, формирования принципов оптимизации учебного контента до понимания особенностей образовательных данных, разработки адаптивных образовательных технологий, методологий анализа образовательных данных, что способствует формированию важных компетенций для цифровой трансформации образования.
Литература
1. Doneva R, Gaftandzhieva S, Bandeva S. Best practices for using data analytics tools in Universities: State-of-play // CEUR Workshop Proc.: Education and Research in the Information Society. 2021. Vol. 3061. P. 100-108. URL: https://www.researchgate.net/ publication/357690041_Best_Practices_for_ Using_Data_Analytics_Tools_in_Universities_ State-of-play (дата обращения: 11.03.2024).
2. Scheffel M, Drachsler H, Stoyanov S, Specht M. Quality indicators for learning analytics // Educational Technology & Society. 2014. Vol. 17. No. 4. P. 117-132. URL: https://www.jstor.org/ stable/jeductechsoci.17.4.117 (дата обращения: 11.03.2024).
3. Stofor O. Learning analytics in the current University context // Journal of Public Administration, Finance and Law. 2021. Vol. 21. P. 89-98. DOI: 10.47743/jopafl-2021-21-10
4. Вилкова К.А, Захарова У.С. Учебная аналитика в традиционном образовании: её роль и результаты // Университетское управление: практика и анализ. 2020. Т. 24. № 3. C. 59-76. DOI: 10.15826/umpa.2020.03.026
5. Susnjak T., Ramaswami G., Mathrani A. Learning analytics dashboard: a tool for providing actionable insights to learners // International Journal of Educational Technology in Higher Education. 2022. Vol. 19. Article no. 12. DOI: 10.1186/s41239-021-00313-7
6. Yilmaz N, Sekeroglu B. Student performance classification using artificial intelligence techniques // 10th International Conference on Theory and Application of Soft Computing, Computing with
Words and Perceptions. Advances in Intelligent Systems and Computing. 2020. Vol. 1095. DOI: 10.1007/978-3-030-35249-3_76
7. Martins M.V, Tolledo D, Machado J., Bap-tista L.M.T, Realinho V. Early prediction of student's performance in Higher Education: a case study // Trends and Applications in Information Systems and Technologies. WorldCIST 2021. Advances in Intelligent Systems and Computing. 2021. Vol. 1365. Springer, Cham. DOI: 10.1007/978-3-030-72657-7_16
8. SuzanM.H, SamrinN.A, Biswas A.A,. Pra-manik A. Students' adaptability level prediction in online education using machine learning approaches // 12th International Conference on Computing Communication and Networking Technologies (ICCCNT). 2021. P. 1-7. DOI: 10.1109/ICCCNT51525.2021.9579741
9. Geasela Y.M, Bernanda D.Y, Andry J.F, JusufC.K, Winata S, Everlin L.Sh. Analysis of student mental health dataset using mining techniques // Journal of Computer Science. 2024. Vol. 20. No. 1. P. 121-128. DOI: 10.3844/ jcssp.2024.121.128
10. Sharma U, Manchanda N. Predicting and improving entrepreneurial competency in University students using machine learning algorithms // 2020 10th International Conference on Cloud Computing, Data Science & Engineering (Confluence). 2020. P. 305-309. DOI: 10.1109/Confluence47617.2020.9058292
11. Kuzilek J., Hlosta M, Zdrahal Z. Data Descriptor: Open University Learning Analytics Dataset // Scientific Data. 2017. Vol. 4. Article no. 170171. DOI: 10.1038/sdata.2017.171
12. Prasojo L.D, Habibi A., Yaakob M.F.M, Pratama R, Yusof M.R, Suyanto A.M., Hanum F. Dataset relating to the relationship between teacher sel-concept and teacher efficacy as the predictors of burnout: A Survey in Indonesian education // Data in Brief. 2020. Vol. 30. DOI: 10.1016/j.dib.2020.105448
13. Alblawi A.S, Alhamed A.A. Big data and learning analytics in higher education: Demystifying, acquisition, storage, NLP and analytics // 2017 IEEE Conference on Big Data and Analytics. 2017. P. 124-129. DOI: 10.1109/ ICBDAA.2017.8284118
14. Daniel B.K, Butson R. Technology enhanced analytics (TEA) in Higher Education // International Conference on Educational Technologies (ICEduTech). Kuala Lumpur,
Malaysia, Nov 29-Dec 1, 2013. P. 89-96. URL: https://www.learntechlib.org/p/l58207/ (дата обращения: 11.03.2024).
15. Pei Z.-J, Han L, Gu J.-Q. Application of big data in higher education for learning analytics // 2017 3rd Conference on Education and Teaching in Colleges and Universities. Advances in Social Science, Education and Humanities Research (ASSEHR). 2017. Vol. 93. P. 100-103. DOI: 10.2991/cetcu-17.2017.25
16. Salma J.E.L, Maach A., Ghanami D.E. Learning analytics framework for adaptive E-learning system to monitor the learner's activities // International Journal of Advanced and Applications. 2019. Vol. 10, No. 8. P. 275-284. DOI: 10.14569/IJACSA.2019.0100835
17. Joshi A., Desai P., Tewari P. Learning analytics framework for measuring students' performance and teachers' involvement through problem based learning in engineering education // Procedia Computer Science. 2020. Vol. 172. P. 954-959. DOI: 10.1016/j.procs.2020.05.138
18. Cukurova M, Khan-Galaria M, Millan E, Luckin R. A Learning analytics approach to monitoring the quality of online one-to-one tutoring // Journal of Learning Analytics. 2022. Vol. 9. No. 2. P. 105-120. DOI: 10.18608/ jla.2022.7411
19. Shreeram N.V, Muthukumaravel Dr.A. Student career prediction using decision tree and random forest machine learning classifiers // Proc. of the First International Conference on Computing, Communication and Control System, I3CAC 2021, 7-8 June 2021, Bharath University, Chennai, India. 2021. DOI: 10.4108/ eai.7-6-2021.2308621
20. Abdallah T.B, Elleuch I., GuermaziR. Student behavior recognition in classroom using deep transfer learning with VGG-16 // Procedia Computer Science. 2021. Vol. 192. P. 951-960. DOI: 10.1016/j.procs.2021.08.098
21. Dann C, O'Neill S, Getenet S, Aboufarw K, Verma N, Chakraborty S, et al. Machine learning system to guide teacher reflection on behavior management skills // Proc. of Innovate Learning Summit. United States: Association for the Advancement of Computing in Education (AACE). Retrieved May 10, 2024. P. 302-314. URL: https://www.learntechlib.org/p/220299/ (дата обращения: 11.03.2024).
22. Kagklis V., Karatrantou A., TantoulaM, Pana-giotakopoulos C.T. A Learning analytics meth-
odology for detecting sentiment in student Fora: A Case study in distance education // European Journal of Open, Distance and e-Learning. 2015. Vol. 18. No. 2. P. 74-94. DOI: 10.1515/eu-rodl-2015-0014
23. Andrade-Giryn D, Sandivar-Rosas J., Marin-Rodriguez W, Susanibar-Ramirez E, Toro-Dextre E., Ausejo-Sanchez J., et al. Predicting student dropout based on machine learning and deep Learning: A Systematic Review // EAI Endorsed Transactions on Scalable Information Systems. 2023. Vol. 10. No. 5. DOI: 10.4108/eet-sis.3586
24. Кустицкая Т.А, Носков М.В, Вайшнтейн Ю.В. Прогнозирование успешности обучения: проблемы и задачи // Наука и школа. 2023. № 4. C. 71-83. DOI: 10.31862/ 1819-463X-2023-4-71-83
25. Monte J.A.C, Rodriguez M.C.B, Chamorro M.A. Drop-Out Prediction in Higher Education using Imbalanced multiclass dataset // Journal for Re Attach Therapy and Development Diversities. 2023. Vol. 10s. No. 2. P. 1583-1591. DOI: 10.53555/jrtdd.v6i10s(2).1255
26. Granados D.O, Ugalde J., Salas R, Torres R, Loipez-Gonzales J.L. Visual-predictive data analysis approach for the academic performance of students from a Peruvian University // Applied Sciences. 2022. Vol. 12. Article no. 11251. DOI: 10.3390/app122111251
27. Alsariera Y.A., Baashar Y., Alkawsi G, Mustafa A., Alkahtani A.A., Nor'ashikin A. Assessment and evaluation of different machine learning algorithms for predicting student performance // Computational Intelligence and Neuroscience. 2022. Vol. 2022. Article ID 4151487. 11 p. DOI: 10.1155/2022/4151487
28. Alhazmi E, Sheneamer A. Early predicting of students performance in Higher Education // IEEE Access. 2016. Vol. 4. DOI: 10.1109/AC-CESS.2023.3250702
29. Realinho V., Machado J., Baptista L, Martins M.V. Predicting student dropout and academic success // Data. 2022. Vol. 7. No. 11. P. 146. DOI: 10.3390/data7110146
30. Koshal R, Koshal M., Gupta A. Students' academic performance: an interaction of inputs from the students, schools, and voters // Perspectives on Global Development and Technology. 2004. Vol. 3. No. 3. P. 375-394. DOI: 10.1163/1569150042442520
31. Orji F.A, Vassileva J. Machine learning approach for predicting students' academic performance and study strategies based on their motivation // arXiv: 2210.08186. 2022. DOI: 10.48550/arXiv.2210.08186
32. Ojajuni O, Ayeni F, Akodu O, Ekanoye F, Adewole S., Ayo T., Misra S., Mbarika V. Predicting student academic performance using machine learning // Lecture Notes in Computer Science. 2021. Vol. 12957. DOI: 10.1007/978-3-030-87013-3_36
33. Шухман А.Е., ПарфеновД.И., ЛегашевЛ.В., Гришина Л.С. Анализ и прогнозирование успеваемости обучающихся при использовании цифровой образовательной среды // Высшее образование в России. 2021. Т. 30. № 8-9. С. 125-133. DOI: 10.31992/0869-3617-2021-308-9-125-133
34. Носков М.В, Вайнштейн Ю.В, Сомова М.В, Федотова И.М. Прогностическая модель оценки успешности предметного обучения в условиях цифровизации образования // Вестник Российского университета дружбы народов. Серия: Информатизация образования. 2023. Т. 20. № 1. С. 7-19. DOI: 10.22363/2312- 8631-2023-20-1-7-19
35. Gafarov F.M., Rudneva Ya.B, Sharifov U.Yu, Trofimova A.V, BormotovP.M. Analysis of students' academic performance by using machine learning tools // International Scientific Conference "Digitalization of Education: History, Trends and Prospects" (DETP 2020), Advances in Social Science, Education and Humanities Research. 2020. Vol. 437. P. 570-575. DOI: 10.2991/ assehr.k.200509.104
36. Tsai Y.-S, Poquet O, Gasevic D, Dawson Sh, Pardo A. Complexity leadership in learning analytics: drivers, challenges and opportunities // British Journal of Educational Technology. 2019. Vol. 50. No. 6. P. 2839-2854. DOI: 10.1111/bjet.12846
37. Picciano A.G. The evolution of big data and learning analytics in American Higher Education // Journal of Asynchronous Learning Networks. 2012. Vol. 16. No. 3. P. 9-20. DOI: 10.24059/olj.v16i3.267
38. Tsai Y.-S., Rates D, Moreno-Marcos P.M., Muñoz-Merino P.J., Scheffel J.I., Drachsler M, Kloos H.C.D, Gasevic D. Learning analytics in European higher education-trends and barriers // Computers & Education. 2020. Vol. 155. Article no. 103933. DOI: 10.1016/j.com-pedu.2020.10393
39. Wong B.T.M. Learning analytics in higher education: an Analysis of case studies // Asian Association of Open Universities Journal. 2017. Vol. 12. No. 1. P. 21-40. DOI: 10.1108/ AAOUJ-01-2017-0009
40. Krstevski J., Mihajlov D, Chorbev I. Student data analysis with RapidMiner // ICT Innovations 2011 Web Proceedings. 2011. P. 19-28. URL: https://proceedings.ictinnova-tions.org/attachment/paper/217/student-data-analysis-with-rapidminer.pdf (дата обращения: 11.03.2024).
41. Martin F, Ndoye A. Using learning analytics to assess student learning in online courses // Journal of University Teaching & Learning Practice. 2016. Vol. 13. No. 3. DOI: 10.53761/1.13.3.7
42. Gao F. Teaching research on learning motivation of database course based on cloud teaching platform // Advances in Social Science, Education and Humanities Research. 2019. Vol. 322. P. 350-353. DOI: 10.2991/iserss-19.2019.287
43. Susnjak T, Ramaswami G, Mathrani A. Learning analytics dashboard: a Tool for providing actionable insights to learners // International Journal of Educational Technology in Higher Education. 2022. Vol. 19. No. 12. 23 p. DOI: 10.1186/s41239-021-00313-7
44. Kaliisa R, Dolonen J.A. CADA: a Teacher-facing learning analytics dashboard to foster teachers' awareness of students' participation and discourse patterns in online discussions // Technology, Knowledge and Learning. 2023. Vol. 28. P. 937-958. DOI: 10.1007/s10758-022-09598-7
45. McCormick J., Tillberg-Webb H. Analyzing online asynchronous discussions with a visual data analytic tool (SNAPP) // Staff Scholarship. 2012. Vol. 2. URL: https://digi-talcommons.lesley.edu/cgi/viewcontent. cgi?article=1002&context=staff_scholarship (дата обращения: 11.03.2024).
46. Pyasi S, Gottipati S, Shankararaman V. SU-FAT - an analytics tool for gaining insights from student feedback comments // 2018 IEEE Frontiers in Education Conference (FIE). P. 1-9. DOI: 10.1109/FIE.2018.8658457
47. Gronberg N, Knutas A., Hynninen T, Hujala M. An Online tool for analyzing written student feedback // Koli Calling '20: Proc. of the 20th Koli Calling International Conference on Computing Education ResearchNovember. 2020. No. 40. P. 1-2. DOI: 10.1145/3428029.3428565
48. Fan Y, Tao W. SCB-dataset: A dataset for detecting student classroom behavior // arXiv: 2304.02488v1. 2023. 4 p. DOI: 10.48550/arX-iv.2304.02488
49. Harindranathan P., Folkestad J. Learning analytics to inform the learning design: supporting instructor's inquiry into student learning in un-supervised technology- enhanced platforms // Online Learning. 2019. Vol. 23. No. 3. P. 34-55. DOI: 10.24059/olj.v23i3.2057
50. Phillips R, Preston G, Roberts P., Cumming-Potvin W, Herrington J., Maor D, Gosper M. Using academic analytic tools to investigate studying behaviours in technology-supported learning environments // Proc. of the 27th Annual Conference of the Australasian Society for Computers in Learning in Tertiary Education, ASCILITE 2010. Sydney, NSW, Australia. 5 Dec 2010 - 8 Dec 2010. P. 761-771. URL: https:// core.ac.uk/download/pdf/11235658.pdf (дата обращения: 11.03.2024).
51. Razavi M, McDonald A., Mehta R., Sasan-gohar F. Evaluating Mental stress among college students using heart rate and hand acceleration data collected from wearable sensors // arXiv:2309.11097v1. 2023. DOI: 10.48550/arX-iv.2309.11097
52. Maseleno A., Sabani N, Huda M, Ahmad R, Jasmi K.A., Basiron B. Demystifying learning analytics in personalised learning // International Journal of Engineering & Technology. 2018. Vol. 7. No. 3. P. 1124-1129. DOI: 10.14419/ijet. v7i3.9789
53. JosephL, AbrahamS, ManiB.P, RajeshN. Exploring the effectiveness of learning path recommendation based on Felder-Silverman learning style model: A Learning Analytics Intervention Approach // Journal of Educational Computing Research. 2022. Vol. 60. No. 6. P. 1464-1489. DOI: 10.1177/07356331211057816
54. Macfadyen L, Dawson S, Pardo A., Gasevic D. Embracing big data in complex educational systems: The learning analytics imperative and the policy challenge // Research & Practice in Assessment. 2014. Vol. 9. P. 17-28. URL: http://www.rpajournal.com/dev/wp-content/ uploads/2014/10/A2.pdf (дата обращения: 11.03.2024).
55. Tsai Y.-S, Moreno-Marcos P.M., Jivet I., Scheffel M, Tammets K, Kollom K, Gasevic D. The SHEILA framework: Informing institutional strategies and policy processes of learning analyt-
ics // Journal of Learning Analytics. 2018. Vol. 5. No. 3. P. 5-20. DOI: 10.18608/jla.2018.53.2
56. VigentiniL, Liu Y.T.D, Arthars N, Dollinger M. Evaluating the scaling of LA tool through the lens of te SHEILA framework: A comparison of two cases from tinkerers to institutional adoption // The Internet and Gigher Education. 2020. Vol. 45. Article no. 100728. DOI: 10.1016/j.ihe-duc.2020.100728
57. Carungay S.M., Lasian L., Lopez D.J., Malit R.M. A Proposed framework for sustainable and impactful higher education institutions // The Asian Conference on Education. 2020. DOI: 10.22492/issn.2186-5892.2023.22
58. Simanca F.A.H., Arteaga I.H, Puin M.E.U., Garrido F.B, Paez J.P, Míndez J.C, Alva-rez A. Model for the collection and analysis of data from teachers and students supported by academic analytics // Procedia Computer Science. 2020. Vol. 177. P. 284-291. DOI: 10.1016/j. procs.2020.10.039
59. López-Belmonte J., Pozo-Sánchez S, Fuentes-Cabrera A., Trujillo-Torres J.-M. Analytical Competences of teachers in big data in the era of digital-ized learning // Education Sciences. 2019. Vol. 9. No. 3. P. 177. DOI: 10.3390/educsci9030177
60. Hoyos A.A.C, Velásquez J.D. Teaching analytics: current challenges and future development // IEEE Revista Iberoamericana de Tecnologias del Aprendizaje. 2020. Vol. 15. P. 1-9. DOI: 10.1109/ RITA.2020.2979245
61. Ndukwe I.G, Daniel B.K. Teaching analytics, value and tools for teacher data literacy: a systematic and tripartite approach // International Journal of Educational Technology in Higher Education. 2020. Vol. 17. Article No. 22. DOI: 10.1186/s41239-020-00201-6
62. БулычеваП.А, ОшмаринаО.Е, ШадринаЕ.В. Выявление академически неуспешных студентов на первом году обучения в университете на примере НИУ ВШЭ - Нижний Новгород // Вестник Нижегородского университета им. Н.И. Лобачевского. Серия: Социальные
науки. 2016. Т. 2. № 42. C. 136-143. URL: http://www.unn.ru/pages/e-library/vestnik_ soc/18115942_2016_-_2(42)_unicode/17.pdf (дата обращения: 11.03.2024).
63. Горюнова Е.С, Иванова А.С, Степаненко А.А, Фещенко А.В. Опыт применения инструментов оценки и практик управления качеством электронного обучения (кейс Томского государственного университета) // Открытое образование. 2022. Т. 26. № 4. C. 4-18. DOI: 10.21686/1818-4243-2022-4-4-18
64. Bellini C, Santis A.D, Sannicandro K, Minerva T. Data management in learning analytics: terms and perspectives // Journal of e-Learning and Knowledge Society. 2019. Vol. 15. No. 3. P. 133-144. DOI: 10.20368/1971-8829/1135021
65. Osakwe J., UjakpaM, Ankome T. Learning analytics tools for enhancing students' performance: A Global perspective. In: IST-Africa 2022 Conference Proceedings. 2022. 12 p. DOI: 10.23919/ IST-Africa56635.2022.9845553
66. Zandvliet D. Towards effecive learning analytics for Higher Education: Returning Meaningful Dashboards to Teachers. Master's thesis, Vrije Universiteit, Amsterdam. 39 p. URL: https:// ictinstitute.nl/wp-content/uploads/2020/09/5.-Zandvliet-Learning-Analytics-Dash-boards_2585387_FINAL.pdf (дата обращения: 11.03.2024).
67. Adejo O., Connolly T. Learning analytics in Higher Education Development: A Roadmap // Journal of Education and Practice. 2017. Vol. 8. No. 15. P. 156-163. URL: https://www.iiste.org/Jour-nals/index.php/JEP/article/view/37046/38086 (дата обращения: 11.03.2024).
68. McCoy C., Shin P.C. Teachers as producers of data analytics: A Case Study of a Teacher-Focused Educational Data Science Program // Journal of Learning Analytics. 2016. Vol. 3. No. 3. P. 193-214. DOI: 10.18608/jla.2016.33.10
Статья поступила в редакцию 11.04.2024 Принята к публикации 13.05.2024
References
1. Doneva, R., Gaftandzhieva, S., Bandeva, S. (2021). Best practices for using data analytics tools in Universities: State-of-play. In: Education and Research in the Information Society. CEUR Workshop Proceedings: Education and Research in the Information Society. Vol. 3061, pp. 100-108. Available at: https://www.researchgate.net/publication/357690041_Best_Practices_ for_Using_Data_Analytics_Tools_in_Universities_State-of-play (accesed: 11.03.2024).
2. Scheffel, M., Drachsler, H., Stoyanov, S., Specht, M. (2014). Quality indicators for learning analytics. Educational Technology & Society. Vol. 17, no. 4, pp. 117-132. Available at: https:// www.jstor.org/stable/jeductechsoci.17.4.117 (accesed: 11.03.2024).
3. Stofor, O. (2021). Learning analytics in the current University context. Journal of Public Administration, Finance and Law. Vol. 21, pp. 89-98, doi: 10.47743/jopafl-2021-21-10
4. Vilkova, K.A., Zaharova, U.S. (2020). Learning analytics in traditional education: its role and results. Universitetskoe upravlenie: praktika i analiz = University Management: Practice and Analysis. Vol. 24, no. 3, pp. 59-76, doi: 10.15826/umpa.2020.03.026 (In Russ.).
5. Susnjak, T., Ramaswami, G., Mathrani, A. (2022). Learning analytics dashboard: a tool for providing actionable insights to learners. International Journal of Educational Technology in Higher Education. Vol. 19, no. 12, 23 p., doi: 10.1186/s41239-021-00313-7
6. Yilmaz, N., Sekeroglu, B. (2020). Student performance classification using artificial intelligence techniques. 10th International Conference on Theory and Application of Soft Computing, Computing with Words and Perceptions. Advances in Intelligent Systems and Computing. Vol. 1095, doi:10.1007/978-3-030-35249-3_76
7. Martins, M.V., Tolledo, D., Machado, J., Baptista, L.M.T., Realinho, V. (2021). Early prediction of student's performance in Higher Education: a case study. In: Trends and Applications in Information Systems and Technologies. WorldCIST 2021. Advances in Intelligent Systems and Computing. Vol. 1365, doi: 10.1007/978-3-030-72657-7_16
8. Suzan, M.H., Samrin, N. A., Biswas, A. A,. Pramanik, A. (2021) Students' adaptability level prediction in online education using machine learning approaches. In: 12th International Conference on Computing Communication and Networking Technologies (ICCCNT), pp. 1-7, doi: 10.1109/ICCCNT51525.2021.9579741
9. Geasela, Y.M., Bernanda, D.Y., Andry, J.F., Jusuf, C.K., Winata, S., Everlin, L.Sh. (2024) Analysis of student mental health dataset using mining techniques. Journal of Computer Science. Vol. 20, no. 1, pp. 121-128, doi: 10.3844/jcssp.2024.121.128
10. Sharma, U., Manchanda, N. (2020). Predicting and improving entrepreneurial competency in University students using machine learning algorithms. In: 2020 10th International Conference on Cloud Computing, Data Science & Engineering (Confluence), pp. 305-309, doi: 10.1109/Confluence47617.2020.9058292
11. Kuzilek, J., Hlosta, M., Zdrahal, Z. (2017). Data Descriptor: Open University Learning Analytics Dataset. Scientific Data. Vol.4, article no. 170171, doi: 10.1038/sdata.2017.171
12. Prasojo, L.D., Habibi, A., Yaakob, M.F.M., Pratama, R., Yusof, M.R., Suyanto, A.M., Hanum, F. (2020). Dataset relating to the relationship between teacher sel-concept and teacher efficacy as the predictors of burnout: A Survey in Indonesian education. Data in Brief. Vol. 30, doi: 10.1016/j.dib.2020.105448
13. Alblawi, A.S., Alhamed, A.A. (2017). Big data and learning analytics in higher education: Demystifying, acquisition, storage, NLP and analytics. In: 2017 IEEE Conference on Big Data and Analytics, pp. 124-129, doi: 10.1109/ICBDAA.2017.8284118
14. Daniel, B.K., Butson, R. (2013). Technology enhanced analytics (TEA) in Higher Education. In: International Conference on Educational Technologies (ICEduTech). Kuala Lumpur, Malaysia, Nov 29-Dec 1, pp. 89-96. Available at: https://www.learntechlib.org/p/158207/ (accesed: 11.03.2024).
15. Pei, Z.-J., Han, L., Gu, J.-Q. (2017). Application of big data in higher education for learning analytics. In: 2017 3rd Conference on Education and Teaching in Colleges and Universities. Advances in Social Science, Education and Humanities Research (ASSEHR). Vol. 93, pp. 100-103, doi: 10.2991/cetcu-17.2017.25
16. Salma, J.E.L., Maach, A., Ghanami, D.E. (2019). Learning analytics framework for adaptive E-learning system to monitor the learner's activities. International Journal of Advanced and Applications. Vol. 10, no. 8, pp. 275-284, doi: 10.14569/IJACSA.2019.0100835
17. Joshi A., Desai P., Tewari P. (2020). Learning analytics framework for measuring students' performance and teachers' involvement through problem based learning in engineering education. Procedia Computer Science. Vol. 172, pp. 954-959, doi: 10.1016/j.procs.2020.05.138.
18. Cukurova, M., Khan-Galaria, M., Millan, E., Luckin, R. (2022). A Learning analytks approach to monitoring the quality of online one-to-one tutoring. Journal of Learning Analytics. Vol. 9, no. 2, pp. 105-120, doi: 10.18608/jla.2022.7411
19. Shreeram, N.V, Muthukumaravel, Dr. A. (2021). Student career prediction using decision tree and random forest machine learning classifiers. In: Proc. of the First International Conference on Computing, Communication and Control System, I3CAC 2021, 7-8 June 2021, Bharath University, Chennai, India, doi: 10.4108/eai.7-6-2021.2308621
20. Abdallah, T.B., Elleuch, I., Guermazi, R. (2021). Student behavior recognition in classroom using deep transfer learning with VGG-16. Procedia Computer Science. Vol. 192, pp. 951-960, doi: 10.1016/j.procs.2021.08.098
21. Dann, C., O'Neill, S., Getenet, S., Aboufarw, K., Verma, N., Chakraborty, S., et al. (2024). Machine learning system to guide teacher reflection on behavior management skills. In: Proc. of Innovate Learning Summit. United States: Association for the Advancement of Computing in Education (AACE). Retrieved May 10, 2024. pp. 302-314. Available at: https://www. learntechlib.org/p/220299/ (accesed: 11.03.2024).
22. Kagklis, V., Karatrantou, A., Tantoula, M., Panagiotakopoulos, C.T. (2015). A Learning analytics methodology for detecting sentiment in student Fora: A Case study in distance education. European Journal of Open, Distance and e-Learning. Vol. 18, no. 2, pp. 74-94, doi: 10.1515/ eurodl-2015-0014
23. Andrade-Gi^n, D., Sandivar-Rosas, J., Marín-Rodriguez, W., Susanibar-Ramirez, E., Toro-Dex-tre, E., Ausejo-Sanchez, J., et al. (2023). Predicting student dropout based on machine learning and deep Learning: A Systematic Review. EAI Endorsed Transactions on Scalable Information Systems. Vol. 10, no. 5, doi: 10.4108/eetsis.3586
24. Kustitskaya, Т.А., Noskov, M.V., Vainshtein, Yu.V. (2023). Predicting learning success: problems and challenges. Nauka i shkola = Science and School. No. 4, pp. 71-83, doi: 10.31862/1819-463X-2023-4-71-83 (In Russ., abstract in Eng.).
25. Monte, J.A.C., Rodríguez, M.C.B, Chamorro, M.A. (2023). Drop-Out Prediction in Higher Education using Imbalanced multiclass dataset. Journal for Re Attach Therapy and Development Diversities. Vol. 10s, no. 2, pp. 1583-1591, doi: 10.53555/jrtdd.v6i10s(2).1255
26. Granados, D.O., Ugalde, J., Salas, R., Torres, R., Loipez-Gonzales, J.L. (2022). Visual-predictive data analysis approach for the academic performance of students from a Peruvian University. Applied Sciences. Vol. 12, article no. 11251, doi: 10.3390/app122111251
27. Alsariera, Y.A., Baashar, Y., Alkawsi, G., Mustafa, A., Alkahtani, A.A., Nor'ashikin, A. (2022). Assessment and evaluation of different machine learning algorithms for predicting student performance. Computational Intelligence and Neuroscience. Vol. 2022, article ID 4151487,11 p., doi: 10.1155/2022/4151487
28. Alhazmi, E., Sheneamer, A. (2016). Early predicting of students performance in Higher Education. IEEE Access. Vol. 4, doi: 10.1109/ACCESS.2023.3250702
29. Realinho, V., Machado, J., Baptista, L., Martins, M.V. (2022). Predicting student dropout and academic success. Data. Vol. 7, no. 11, pp. 146, doi: 10.3390/ data7110146
30. Koshal, R., Koshal, M., Gupta, A. (2004). Students' academic performance: an interaction of inputs from the students, schools, and voters. Perspectives on Global Development and Technology. Vol. 3, no. 3, pp. 375-394, doi: 10.1163/1569150042442520
31. Orji, F.A., Vassileva, J. (2022). Machine learning approach for predicting students' academic performance and study strategies based on their motivation. arXiv:2210.08186, doi: 10.48550/ arXiv.2210.08186
32. Ojajuni, O., Ayeni, F., Akodu, O., Ekanoye, F., Adewole, S.., Ayo, T., Misra, S., Mbarika, V. (2021). Predicting student academic performance using machine learning. Lecture Notes in Computer Science. Vol. 12957, doi: 10.1007/978-3-030-87013-3_36
33. Shuhman, A.E., Parfenov, D.I., Legashev, L.V., Grishina, L.C. (2021). Analysis and forecasting of student performance when using the digital educational environment. Vysshee obrazovanie v Rossii = Higher Education in Russia. Vol. 30, no. 8-9, pp. 125-133, doi: 10.31992/0869-36172021-30-8-9-125-133
34. Noskov, M.V., Vainshtein, Yu.V., Somova, M.V., Fedotova, I.M. (2023). Predictive model for assessing the success of subject learning in the context of digitalization of education. Vestnik Rossiiskogo universiteta druzhby narodov. Seriya: Informatizaciya obrazovaniya = Bulletin of the Peoples' Friendship University ofRussia. Series: Informatization of education. Vol. 20, no 1, pp. 7-19, doi: 10.22363/2312- 8631-2023-20-1-7-19 (In Russ., abstract in Eng.).
35. Gafarov, F.M., Rudneva, Ya.B., Sharifov, U.Yu., Trofimova, A.V., Bormotov, P.M. (2020). Analysis of students' academic performance by using machine learning tools. In: International Scientific Conference "Digitalization of Education: History, Trends and Prospects" (DETP 2020), Advances in Social Science, Education and Humanities Research. Vol. 437, pp. 570-575, doi: 10.2991/assehr.k.200509.104
36. Tsai, Y.-S., Poquet, O., Gasevic, D, Dawson, Sh., Pardo, A. (2019). Complexity leadership in learning analytics: drivers, challenges and opportunities. British Journal of Educational Technology. Vol. 50, no. 6, pp. 2839-2854, doi: 10.1111/bjet.12846
37. Picciano, A.G. (2012). The evolution of big data and learning analytics in American Higher Education. Journal of Asynchronous Learning Networks. Vol. 16, no. 3, pp. 9-20, doi: 10.24059/olj.v16i3.267
38. Tsai, Y.-S., Rates, D., Moreno-Marcos, P.M., Muñoz-Merino, P.J., Scheffel, J.I., Drachsler, M., Kloos, H. C.D., Gasevic, D. (2020). Learning analytics in European higher education-trends and barriers. Computers & Education. Vol. 155, article no. 103933, doi: 10.1016/j.compedu.2020.10393
39. Wong, B.T.M. (2017). Learning analytics in higher education: an Analysis of case studies. Asian Association of Open Universities Journal. Vol. 12, no. 1, pp. 21-40, doi: 10.1108/ AAOUJ-01-2017-0009
40. Krstevski, J., Mihajlov, D., Chorbev, I. (2011). Student data analysis with RapidMiner. In: ICT Innovations 2011 Web Proceedings, pp. 19-28. Available at: https://proceedings.ictinnova-tions.org/2011/paper/217/student-data-analysis-with-rapidminer (accesed: 11.03.2024).
41. Martin, F., Ndoye, A. (2016). Using learning analytics to assess student learning in online courses. Journal of University Teaching & Learning Practice. Vol. 13, no. 3, doi: 10.53761/1.13.3.7
42. Gao F. (2019). Teaching research on learning motivation of database course based on cloud teaching platform. Advances in Social Science, Education and Humanities Research. Vol. 322, pp. 350-353, doi: 10.2991/iserss-19.2019.287
43. Susnjak, T., Ramaswami, G., Mathrani, A. (2022). Learning analytics dashboard: a Tool for providing actionable insights to learners. International Journal of Educational Technology in Higher Education. Vol.19, no.12. 23 p. doi: 10.1186/s41239-021-00313-7
44. Kaliisa, R., Dolonen, J.A. (2023). CADA: a Teacher-facing learning analytics dashboard to foster teachers' awareness of students' participation and discourse patterns in online discussions. Technology, Knowledge and Learning. Vol. 28, pp. 937-958, doi: 10.1007/s10758-022-09598-7
45. McCormick, J., Tillberg-Webb, H. (2012). Analyzing online asynchronous discussions with a visual data analytic tool (SNAPP). In: Staff Scholarship. Vol. 2. Available at: https://digitalcommons. lesley.edu/cgi/viewcontent.cgi?article=1002&context=staff_scholarship (accesed: 11.03.2024).
46. Pyasi, S., Gottipati, S., Shankararaman, V. (2018). SUFAT - an analytics tool for gaining insights from student feedback comments. In: 2018 IEEE Frontiers in Education Conference (FIE), pp. 1-9, doi: 10.1109/FIE.2018.8658457
47. Gronberg, N., Knutas, A., Hynninen, T., Hujala, M. (2020). An Online tool for analyzing written student feedback. In: Koli Calling '20: Proc. of the 20th Koli Calling International Conference on Computing Education Research November, no. 40, pp. 1-2, doi: 10.1145/3428029.3428565
48. Fan, Y., Tao, W. (2023) SCB-dataset: A dataset for detecting student classroom behavior. arXiv:2304.02488v1. 4 p., doi: 10.48550/arXiv.2304.02488
49. Harindranathan, P., Folkestad, J. (2019). Learning analytics to inform the learning design: supporting instructor's inquiry into student learning in unsupervised technology - enhanced platforms. Online Learning. Vol. 23, no. 3, pp. 34-55, doi: 10.24059/olj.v23i3.2057
50. Phillips, R., Preston, G., Roberts, P., Cumming-Potvin, W., Herrington, J., Maor, D., Gosper, M. (2016). Using academic analytic tools to investigate studying behaviours in technology-supported learning environments. In: Proceedings of the 27th Annual Conference of the Australasian Society for Computers in Learning in Tertiary Education, ASCILITE 2010. Sydney, NSW, Australia. 5 Dec 2010- 8 Dec 2010, pp. 761-771. Available at: https://core.ac.uk/download/ pdf/11235658.pdf (accesed: 11.03.2024).
51. Razavi, M., McDonald, A., Mehta, R., Sasangohar, F. (2023). Evaluating Mental stress among college students using heart rate and hand acceleration data collected from wearable sensors. arXiv. 2309.11097v1, doi: 10.48550/arXiv.2309.11097
52. Maseleno, A., Sabani, N., Huda, M., Ahmad, R., Jasmi, K.A., Basiron, B. (2018) Demystifying learning analytics in personalised learning. International Journal of Engineering & Technology. Vol.7, no. 3, pp.1124-1129. doi: 10.14419/ijet.v7i3.9789
53. Joseph, L., Abraham, S., Mani, B.P., Rajesh, N. (2022) Exploring the effectiveness of learning path recommendation based on Felder-Silverman learning style model: A Learning Analytics Intervention Approach. Journal of Educational Computing Research. Vol. 60, no. 6, pp. 14641489, doi: 10.1177/07356331211057816.
54. Macfadyen L., Dawson S., Pardo A., Gasevic, D. (2014). Embracing big data in complex educational systems: The learning analytics imperative and the policy challenge. Research & Practice in Assessment. Vol. 9, pp. 17-28. Available at: http://www.rpajournal.com/dev/wp-content/ uploads/2014/10/A2.pdf (accesed: 11.03.2024).
55. Tsai, Y.-S., Moreno-Marcos, P.M., Jivet, I., Scheffel, M., Tammets, K., Kollom, K., Gasevic, D. (2018). The SHEILA framework: Informing institutional strategies and policy processes of learning analytics. Journal ofLearning Analytics. Vol. 5, no. 3, pp. 5-20, doi: 10.18608/jla.2018.53.2
56. Vigentini, L., Liu, Y.T.D., Arthars, N., Dollinger, M. (2020). Evaluating the scaling of LA tool through the lens of te SHEILA framework: A comparison of two cases from tinkerers to institutional adoption. The Internet and Gigher Education. Vol. 45, article no. 100728, doi: 10.1016/j. iheduc.2020.100728
57. Carungay, S.M., Lasian, L., Lopez, D.J., Malit, R.M. (2020). A Proposed framework for sustainable and impactful higher education institutions. In: The Asian Conference on Education, doi: 10.22492/issn.2186-5892.2023.22
58. Simanca, F.A.H., Arteaga, I.H., Puin, M.E.U., Garrido, F.B., Paez, J.P., Méndez, J.C., Alvarez, A. (2020). Model for the collection and analysis of data from teachers and students supported by academic analytics. Procedia Computer Science. Vol. 177, pp. 284-291, doi: 10.1016/j. procs.2020.10.039
59. López-Belmonte, J., Pozo-Sánchez, S., Fuentes-Cabrera, A., Trujillo-Torres, J.-M. (2019). Analytical Competences of teachers in big data in the era of digitalized learning. Education Sciences. Vol. 9, no. 3, pp. 177, doi: 10.3390/educsci9030177
60. Hoyos, A.A.C., Velásquez, J.D. (2020). Teaching analytics: current challenges and future development. IEEE Revista Iberoamericana de Tecnologias del Aprendizaje. 2020. Vol. 15, pp. 1-9, doi: 10.1109/RITA.2020.2979245
61. Ndukwe, I.G., Daniel, B.K. (2020). Teaching analytics, value and tools for teacher data literacy: a systematic and tripartite approach. International Journal of Educational Technology in Higher Education. Vol. 17, article no. 22, doi: 10.1186/s41239-020-00201-6
62. Bulicheva, P.A., Oshmarina, O.E., Shadrina, E.V. (2016). Identification of academically unsuccessful students in the first year of study at the university using the example of the National Research University Higher School of Economics - Nizhny Novgorod. Vestnik Nizhegorodskogo universiteta im. N.I. Lobachevskogo. Seriya: Social'nye nauki = Bulletin of Nizhny Novgorod University named after. N.I. Lobachevsky. Series: Social Sciences. Vol. 2, no. 42, pp. 136-143. Available at: http://www.unn.ru/pages/e-library/vestnik_soc/18115942_2016_-_2(42)_uni-code/17.pdf (accesed: 11.03.2024). (In Russ., abstract in Eng.).
63. Gorunova, E.S., Ivanova A.S., Stepanenko A.A., Feschenko A.V. (2022). Experience in using assessment tools and e-learning quality management practices (case of Tomsk State University). Otkrytoe obrazovanie = Op>en Education. Vol. 26, no. 4, pp. 4-18, doi: 10.21686/1818-42432022-4-4-18 (In Russ., abstract in Eng.).
64. Bellini, C., Santis, A.D., Sannicandro, K., Minerva, T. (2019). Data management in learning analytics: terms and perspectives. Journal of e-Learning and Knowledge Society. Vol. 15, no. 3, pp. 133-144, doi: 10.20368/1971-8829/1135021
65. Osakwe, J., Ujakpa, M., Ankome, T. (2022). Learning analytics tools for enhancing students' performance: A Global perspective. In: IST-Africa 2022 Conference Proceedings. 12 p., doi: 10.23919/IST-Africa56635.2022.9845553
66. Zandvliet, D. (2020). Towards effecive learning analytics for Higher Education: Returning Meaningful Dashboards to Teachers. Master's thesis, Vrije Universiteit, Amsterdam. 39 p. Available at: https://ictinstitute.nl/wp-content/uploads/2020/09/5.-Zandvliet-Learning-Analytics-Dashboards_2585387_FINAL.pdf(accessed: 11.03.2024).
67. Adejo, O., Connolly, T. (2017). Learning analytics in Higher Education Development: A Road-map. Journal of Education and Practice. Vol. 8, no. 15, pp. 156-163. Available at: https://www. iiste.org/Journals/index.php/JEP/article/view/37046/38086 (accesed: 11.03.2024).
68. McCoy, C., Shin, P.C. (2016). Teachers as producers of data analytics: A Case Study of a Teacher-Focused Educational Data Science Program. Journal of Learning Analytics. Vol. 3, no. 3, pp. 193-214, doi: 10.18608/jla.2016.33.10
The paper was submitted 11.04.2024 Accepted for publication 13.05.2024
