CC BY
90
Высшее образование в России Vysshee obrazovanie v Rossii = Higher Education in Russia
ISSN 0869-3617 (Print), ISSN 2072-0459 (Online) http://vovr.elpub.ru
Анализ и прогнозирование успеваемости обучающихся при использовании цифровой образовательной среды
Научная статья
DOI: 10.31992/0869-3617-2021-30-8-9-125-133
Шухман Александр Евгеньевич - канд. пед. наук, зав. кафедрой геометрии и компьютерных наук, [email protected]
Парфенов Денис Игоревич - канд. техн. наук, начальник отдела цифровых образовательных платформ, [email protected]
Легашев Леонид Вячеславович - канд. техн. наук, начальник отдела сопровождения дистанционных образовательных технологий, [email protected].
Гришина Любовь Сергеевна - преподаватель кафедры прикладной математики, [email protected]
Оренбургский государственный университет, г. Оренбург, Россия Адрес: 460018, г. Оренбург, проспект Победы, 13
Аннотация. В статье рассмотрены технические решения, использованные в ОГУ для организации цифровой образовательной среды. Также проведено исследование успеваемости обучающихся технических и гуманитарных специальностей и направлений в период обычного обучения и в период локдауна. Анализ успеваемости показывает отсутствие значимых отклонений в ту или иную сторону, при этом выделяются ключевые внутренние и внешние факторы, оказывающие влияние на успеваемость обучающихся. Можно сделать вывод, что использование как внутренних, так и внешних факторов даёт высокую точность прогнозирования итоговой успеваемости обучающихся.
Ключевые слова: цифровая образовательная среда, дистанционные образовательные технологии, система управления обучением
Для цитирования: Шухман А.Е, Парфенов Д.И, Легашев Л.В., Гришина Л.С. Анализ и прогнозирование успеваемости обучающихся при использовании цифровой образовательной среды // Высшее образование в России. 2021. Т. 30. № 8-9. С. 125-133. DOI: 10.31992/08693617-2021-30-8-9-125-133
Analysis and Forecasting Students' Academic Performance Using a Digital Educational Environment
Original article
DOI: 10.31992/0869-3617-2021-30-8-9-125-133
Alexander E. Shukhman - Cand. Sci. (Education) Head of the Department of Geometry and Computer Science, [email protected]
Контент доступен под лицензией Creative Commons Attribution 4.0 License. This work is licensed under a Creative Commons Attribution 4.0 License. © Шухман А.Е., Парфенов Д.И., Легашев Л.В., Гришина Л.С., 2021.
И]
Denis I. Parfenov - Cand. Sci. (Engineering), Head of the Department of digital educational platforms, [email protected]
Leonid L. Legashev - Cand. Sci. (Engineering), Head of the Department for Distant Learning Technologies, [email protected]
Lyubov S. Grishina - Lecturer at the Applied Mathematics Department, [email protected]
Orenburg State University, Orenburg, Russia
Address: 13, Prospekt Pobedy, Orenburg, 460018, Russian Federation
Abstract. The article discusses technical solutions used at Orenburg State University to organize a digital educational environment. Also, the authors have studied the academic performance of technical and humanities students during the period of face-to-face education and during the lock-down period. The analysis of academic performance shows the absence of significant deviations in one direction or another. The key internal and external factors that influence the students' academic performance are highlighted. It can be concluded that the use of both internal and external factors gives a high accuracy in predicting the final progress of students.
Keywords: distant educational technology, digital educational environment, learning management system
Cite as: Shukhman, A.E., Parfenov, D.I., Legashev, L.V., Grishina L.S. (2021). Analysis and Forecasting Students' Academic Performance Using a Digital Educational Environment. Vysshee obrzovanie v Rossii = Higher Education in Russia. Vol. 30, no. 8-9, pp. 125-133, doi: 10.31992/08693617-2021-30-8-9-125-133 (In Russ., abstract in Eng.).
В настоящее время происходят глобальные изменения в сфере высшего образования, которые предоставляют обучающимся возможность активно участвовать в образовательном процессе с использованием современных цифровых технологий. В современной цифровой образовательной среде практически отсутствуют ограничения на доступ к информации, необходимой в процессе обучения и развития.
Первоочередные задачи развития системы образования отмечены в Указе Президента Российской Федерации от 7 мая 2018 г. N 204 "О национальных целях и стратегических задачах развития Российской Федерации на период до 2024 года". В этот период планируется «модернизация профессионального образования, в том числе посредством внедрения адаптивных, практико-ори-ентированных и гибких образовательных программ», а также «создание современной и безопасной цифровой образовательной среды, обеспечивающей высокое качество и доступность образования всех видов и уровней». В рамках реализации программы
Правительства РФ «Цифровая экономика» разрабатывается отраслевая платформа для цифрового образования, предусматривающего максимальное использование в образовательном процессе информационных и коммуникационных технологий, в том числе новейших технологий обработки больших данных, машинного обучения и искусственного интеллекта.
Упомянутые задачи тесно связаны друг с другом, поскольку эффективно обеспечить адаптивность и гибкость профессионального обучения, сделать его максимально персонализированным и доступным обучающемуся возможно только в рамках адаптивной цифровой образовательной среды, использующей в том числе дистанционные образовательные технологии. Тем не менее визуальный контакт преподавателя и обучающегося является неотъемлемой частью образовательного процесса, поэтому для реализации полного цикла обучения необходимо использовать современные онлайн-сервисы для организации онлайн-встреч и совместной работы в режиме реального времени через сеть Интернет.
Для реализации поставленных задач в Оренбургском государственном университете (ОГУ) проведён обзор современных LMS. В основном используются гибридные системы со специфическими для предметной области деталями. Интеллектуальные рекомендательные системы LMS предлагают обучающемуся курсы, модули дисциплин, дополнительные учебные материалы на основании информации о нём и истории взаимодействия с ним. Наиболее востребованной и распространённой является LMS Moodle. Она позволяет на базе открытого исходного кода создавать специализированные расширения и дополнения, направленные на интеграцию образовательных организаций с существующими информационными системами. LMS на базе ATutor используется для управления и размещения преимущественно онлайн-курсов, а также для создания и распространения совместимого электронного контента. Система управления обучения на базе ILIAS позволяет реализовать функциональные возможности электронного обучения через сеть Интернет. LMS Sakai предназначена для поддержки обучения, исследований и сотрудничества. Платформа Open edX LMS используется ведущими провайдерами онлайн-курсов (такими, как Coursera) для организации непрерывного образования значительного количества обучающихся в режиме реального времени.
С развитием методов машинного обучения особый интерес приобретает область исследования, связанная с анализом образовательных данных (Educational Data Mining), EDM. Существующие системы управления обучением постоянно собирают всевозможные данные об активности и деятельности как обучающихся, так и преподавателей. Применение методов интеллектуального анализа данных позволит выявить неявные взаимосвязи между элементами образовательного процесса и решить множество задач, связанных с анализом и прогнозированием успеваемости обучающихся, построением индивидуальных образовательных траекторий и др.
В исследовании [1] представлен обновлённый обзор, затрагивающий две смежные темы - интеллектуальный анализ образовательных данных и аналитику обучения. Авторы предлагают следующие многообещающие тенденции: учёт персональных данных обучающихся для улучшения и персонализации процесса обучения, интеграция интеллектуального анализа образовательных данных и аналитики обучения в будущую технологическую образовательную среду, применение достижений в области нейробиологии человека для получения, сбора, обмена и использования любой информации, полученной из человеческого мозга. Детальное обзорное исследование на тематику EDM и аналитики обучения также проведено в работе [2]. Авторы указывают предметные области, требующие улучшения, а именно: получение больших наборов данных, включая адаптируемые данные, гибридизация используемых методов, повышение достоверности EDM и выполнение сравнений между различными методами. В публикации [3] проводится сравнительное исследование между аналитикой обучения и EDM с четырёх точек зрения: исследуемые темы; развитие сообщества; разнообразие сообществ и влияние исследовательских работ. Исследователи в статье [4] применяют систематический подход к выбору ансамблевой модели в EDM для задачи прогнозировании успеваемости обучающихся, комбинируя индекс Джини и показатель статистической значимости. Задача прогнозирования успеваемости обучающихся также успешно решается в работе [5]. Авторы исследуют эффективность автоматизированного машинного обучения (autoML) для систем управления обучением на основе участия обучающихся на онлайн-курсах. Исследователи в публикации [6] представили алгоритм на основе наивного байесовского классификатора для прогнозирования выпуска обучающихся.
В рамках электронной информационно-образовательной среды (ЭИОС) Оренбург-
Рис. 1. Схема электронной информационно-образовательной среды ОГУ Fig. 1. Scheme of the OSU's electronic information and educational environment
ского государственного университета для фиксации хода образовательного процесса, результатов промежуточной и итоговой аттестации отделом сопровождения дистанционных образовательных технологий развёрнуты специализированные сервисы, позволяющие организовать взаимодействие всех субъектов образовательного процесса. Для размещения онлайн-курсов используется платформа на базе LMS Moodle (https://moodle.osu.ru/). На основании данных информационно-аналитической системы (ИАС) ОГУ осуществляется автоматическая генерация курсов и контента. Каждый преподаватель ОГУ получил площадку в LMS Moodle, которая обеспечивает поддержку учебной и самостоятельной работы, формирование электронного журнала результатов учебной деятельности, индивидуальное и групповое взаимодействие обучающихся и преподавателей. Для организации образовательного процесса в электронной информационной-образовательной среде создано более 5000 новых площадок в системе Moodle на основе данных ИАС ОГУ о закреплении преподавателей за учебными дисциплинами.
Для сопровождения процедуры проведения государственного экзамена и защиты выпускных квалификационных работ с использова-
нием дистанционных образовательных технологий разработана платформа «Государственная итоговая аттестация» (https://exam. osu.ru). На данный момент в ней насчитывается 334 курса, используемых в качестве онлайн-площадок для удалённого взаимодействия председателя и членов ГЭК, руководителей и сотрудников кафедр, руководителей ВКР, обучающихся по направлениям бакалавриата, магистратуры, специалитета и аспирантуры.
Для организации онлайн-взаимодействия субъектов образовательного процесса проведена интеграция площадок на базе LMS Moodle с сервисом Microsoft Teams. Особенность использования сервиса Microsoft Teams заключается в бесшовной интеграции облачной платформы Microsoft Office 365 и базы пользователей ИАС ОГУ.
На рисунке 1 представлена общая схема организации цифровой образовательной среды в Оренбургском государственном университете.
В рамках электронной информационно-образовательной среды ОГУ накапливаются большие объёмы образовательных данных, которые могут использоваться для оптимальной организации процесса обучения, повышения качества подготовки обучающихся, поддержки принятия решений в системе управления образовательной организацией. Так, на основе анализа образовательных данных возможно осуществлять объективную оценку качества подготовки обучающихся и прогнозирование их успеваемости.
Один из важнейших критериев качества образования - успеваемость обучающихся можно измерять на основе итоговых оценок по изученным дисциплинам, при этом можно использовать интегральные показатели, такие как средний балл обучающегося по всем изученным дисциплинам, а также средний балл студентов в целом по образовательной программе. Успеваемость, кроме оценки качества обучения, также вносит большой вклад в мотивацию обучающихся и преподавателей. В научной литературе рассмотрено множество показателей, позволяющих прогнозировать успеваемость студентов. В первую очередь -
Таблица 1
Корреляционная зависимость успеваемости обучающихся от внешних факторов
Table 1
Dependence of students' academic performance on external factors
^^^^^^ Коэффициент Технические Технические Гуманитарные Гуманитарные
^^^^^^ корреляции Внешние факторы специальности, 2019/2020 г. специальности, 2020/2021 г. пециальности, 2019/2020 г. специальности, 2020/2021 г.
Пол 0,307 0,297 0,147 0,164
Гражданство 0,023 0,040 0,001 0,009
Иностранный язык 0,053 0,045 0,097 0,089
Проживание в общежитии 0,023 0,033 -0,084 -0,072
ЕГЭ, первый предмет 0,187 0,207 0,378 0,386
ЕГЭ, второй предмет 0,245 0,245 0,323 0,329
ЕГЭ, третий предмет 0,153 0,162 0,488 0,488
это внутренние факторы, связанные с учебным процессом: текущий средний балл обучающегося, оценки за контрольные мероприятия в рамках дисциплин, посещаемость студентов.
Не менее часто прогноз успеваемости обучающихся опирается на внешние факторы, не связанные напрямую с учебным процессом. В качестве таковых используются возраст, пол, состояние здоровья, результаты вступительных экзаменов [7; 8]. В некоторых исследованиях рассматривается влияние на успеваемость внеучебной деятельности студентов, в том числе временной или постоянной работы, участия в спортивных и общественно-культурных мероприятиях [9]. Как фактор прогноза успеваемости может рассматриваться активность обучающихся в социальных сетях, однако далеко не все студенты регистрируются под реальными именами, многие используют скрытые профили. В прогнозе успеваемости могут быть задействованы данные психологического мониторинга [14], например, оценки тревожности обучающихся, их мотивации, особенностей коммуникации с коллегами и преподавателями.
Для решения задачи прогнозирования успеваемости применяются различные методы анализа данных, обычно это методы классификации или регрессии. Наиболее популярны линейные методы (линейная или логистическая регрессия, метод опорных векторов), методы, основанные на деревьях решений (случайный лес, градиентный бустинг), нейросе-
тевые методы. Подробное сравнение методов машинного обучения выходит за рамки данной статьи, тем более что современные системы автоматизированного машинного обучения (AutoML) сами выбирают оптимальный, обеспечивающий максимальную точность прогноза метод или ансамбль методов для решения задачи на основе исходных данных.
Вынужденное введение дистанционного обучения в 2020 г. в связи с пандемией поставило перед вузами множество проблем. Важнейшая из них - сохранение качества обучения в условиях новых форм учебного взаимодействия преподавателей и обучающихся. Многие эксперты сомневались, что это возможно. Однако накопленные данные позволяют провести объективное сравнение результатов обучения по идентичным образовательным программам на конец 2019/2020 и 2020/2021 учеб. гг.
Для анализа использовались данные об успеваемости студентов некоторых направлений и специальностей ОГУ. Проведённый корреляционный анализ показывает следующую зависимость среднего балла от внешних факторов (табл. 1). Можно сделать вывод, что для технических направлений и специальностей среди внешних факторов наиболее значимыми оказались пол обучающегося и результаты вступительных испытаний (самый высокий коэффициент корреляции - у предмета «Физика»), для гуманитарных направлений и специальностей - пол обучающегося,
Рис. 2. Доля обучающихся технических специальностей, успешно сдавших сессию Fig. 2. The share of students oftechnical specialties who successfully passed the exams
Рис. 3. Средний балл по сессии обучающихся технических специальностей Fig. 3. The average score for the examination session of students of technical specialties
изучаемым иностранным язык и результаты вступительных испытаний, при этом самый высокий коэффициент корреляции - у предметов «Русский язык» и «Обществознание», в зависимости от специальности.
В качестве показателей для сравнительного исследования успеваемости обучающихся при традиционном обучении (2019/2020 гг.) и при переходе на дистанционный формат (2020/2021 гг.) использовался средний балл за экзаменационную сессию и доля обучающихся, успешно сдавших сессию. Результаты для технических направлений и специальностей в разрезе групп обучающихся представлены на рисунках 2 и 3. Результаты для гуманитарных направлений и специальностей в разрезе групп обучающихся представлены на рисунках 4 и 5.
Общий вывод: средний балл обучающихся по итогам сессии не претерпел значимых
изменений в связи со сменой формата обучения. В то же время доля обучающихся, вовремя сдавших сессию, в некоторых группах сократилась. Среди технических специальностей следует отметить ухудшение показателей на направлении подготовки «Строительство», среди гуманитарных - на направлениях «Филология», «Лингвистика» и «Юриспруденция».
Для того чтобы вовремя отслеживать накопившиеся проблемы обучающихся, выполнялось прогнозирование среднего балла по итогам сессии. В рамках нашего исследования для прогнозирования среднего балла обучающихся 2-4-х курсов по итогам сессии использовались следующие внутренние показатели:
• накопленный средний балл за предыдущий период обучения;
• средний балл по итогам первого рубежного контроля (8 недель с начала семестра);
Рис. 4. Доля обучающихся гуманитарных специальностей, успешно сдавших сессию Fig. 4. The proportion of students majoring in humanities who successfully passed the exams
Рис. 5. Средний балл по сессии обучающихся гуманитарных специальностей Fig. 5. The proportion of students majoring in humanities who successfully passed the exams
• средний балл по итогам второго рубежного контроля (12 недель с начала семестра);
• процент пропусков.
Внешние факторы были выбраны с учётом возможности их получения из информационно-аналитической системы ОГУ, включающей следующие данные:
- год рождения;
- пол;
- место проживания (город/село);
- уровень предыдущего образования;
- семейное положение;
- результаты вступительных испытаний;
- является ли обучающийся сиротой;
- является ли обучающийся инвалидом;
- проживает ли обучающийся в общежитии.
При прогнозировании учитывался как полный набор факторов, так и отдельно внешние и внутренние факторы, в том числе данные после первого рубежного контроля на 8-й не-
деле обучения в семестре. В качестве метрики качества обучения использовалось среднее абсолютное отклонение предсказываемой величины. Все данные, кроме целевого значения, были нормализованы стандартным методом.
Наилучшие результаты на тестовой выборке показал алгоритм градиентного бу-стинга LightGBM. Результаты представлены в таблице 2.
Отметим, что использование только внешних факторов не даёт возможности точного прогнозирования успеваемости студентов -отклонение в среднем составляет 0,39 балла. Использование как внутренних, так и внешних факторов даёт значительно более высокую точность - отклонение не превышает 0,2 балла. Важно, что уже в середине семестра после первого рубежного контроля можно получить высокую точность прогнозирования итоговой успеваемости. Это позволяет
Таблица 2 Прогнозирование среднего балла студента за сессию
Table 2
Forecasting the student's average score for the examination
вовремя начать коррекционную работу и обеспечить необходимую консультационную поддержку студентам, испытывающим проблемы с освоением учебных дисциплин.
Заключение
Несмотря на различные технические и психологические аспекты, связанные с переходом на дистанционный формат обучения всего контингента обучающихся образовательной организации, предлагаемые организационно-технические решения показали свою эффективность и позволили в целом сохранить качество обучения.
Благодаря анализу данных установлено, что переход на дистанционный формат не привёл к значимым изменения среднего балла обучающихся, но стал причиной сокращения доли обучающихся, сдавших сессию вовремя и успешно. Для выявления проблемных студентов можно использовать интеллектуальные методы прогнозирования успеваемости. Анализ всех показателей, влияющих на успеваемость, позволяет предсказывать средний балл по итогам сессии со средним отклонением около 0,2 балла.
Применение интеллектуальных методов для прогнозирования успеваемости обучающихся, несомненно, даст положительный эффект как для преподавателей, так и для студентов: педагоги получат возможность
оценить, какие методы обучения наиболее эффективны, студенты будут вовремя предупреждены о проблемах в процессе обучения.
Литература
1. Romero C, Ventura S. Educational data mining and learning analytics: An updated survey // Wiley Interdisciplinary Reviews: Data Mining and Knowledge Discovery. 2020. Vol. 10. No. 3. P. 1-21. DOI: https://doi.org/l0.1002/widm.1355
2. Salloum S.A. Alshurideh M, ElnagarA, Shaa-lan K. Mining in educational data: review and future directions // Joint European-US Workshop on Applications of Invariance in Computer Vision. Springer, Cham, 2020. P. 92-102. DOI: https://doi.org/10.1007/978-3-030-44289-7_9
3. Chen G., Rolim V, Ferreira Mello R, Gasevic D. Let's shine together! A comparative study between learning analytics and educational data mining // Proceedings of the Tenth International Conference on Learning Analytics & Knowledge. 2020. P. 544-553. DOI: https://doi. org/10.1145/3375462.3375500
4. Injadat M.N, Moubayed A., Nassif A.B, Shami A. Systematic ensemble model selection approach for educational data mining // Knowledge-Based Systems. 2020. Vol. 200. P. 1-16. DOI: https://doi.org/10.1016/j.knosys.2020.105992
5. Tsiakmaki M, Kostopoulos G, Kotsiantis S, Ragos O. Implementing AutoML in educational data mining for prediction tasks // Applied Sciences. 2020. Vol. 10. No. 1. P. 90. DOI: https:// doi.org/10.3390/app10010090
6. Sutoyo E, Almaarif A. Educational Data Mining for Predicting Student Graduation Using the Naïve Bayes Classifier Algorithm // Jurnal RES-TI (Rekayasa Sistem Dan Teknologi Informasi). 2020. Vol. 4. No. 1. P. 95-101. DOI: https://doi. org/10.29207/resti.v4i1.1502
7. bin Mat U. An overview of using academic analytics to predict and improve students' achievement: A proposed proactive intelligent intervention // IEEE 5th Conference on Engineering Education (ICEED). 2013. P. 126-130. DOI: 10.1109/ICEED.2013.6908316
8. Simsek A., Balaban J. Learning strategies of successful and unsuccessful university students // Contemporary Educational Technology. 2010. Vol. 1. No. 1. P. 36-45. DOI: https://doi. org/10.30935/cedtech/5960
Среднее отклонение
№ Факторы предсказанного среднего балла от реального
1 Все факторы 0,18
2 Только внешние факторы 0,39
3 Внутренние факторы 0,20
Внутренние факторы
4 после двух месяцев обучения (после первого рубежного контроля) 0,21
9. Oladokun V, Adebanjo, A., Charles-Owaba, O. Predicting students' academic performance using artificial neural network: A case study of an engineering course // The Pacific Journal of Science and Technology. 2008. Vol. 9. No. 1. P. 72-79. URL: http://www.akamaiuniversity.us/ PJST9_1_72.pdf (дата обращения: 24.07.2021).
10. Salal Y. K., Abdullaev S.M. Using of data mining techniques to predict student's performance in Industrial institute of Al-Diwaniyah, Iraq // Вестник Южно-Уральского государственного университета. Серия: Компьютерные техно-
логии, управление, радиоэлектроника. 2019. Т. 19. № 1. С. 121-130. DOI: 10.14529/йсг190111
Благодарность. Работа выполнена при финансовой поддержке гранта Президента Российской Федерации для государственной поддержки ведущих научных школ Российской Федерации (НШ-2502.2020.9).
Статья поступила в редакцию 15.06.21 Принята к публикации 24.07.21
References
1. Romero, C., Ventura, S. (2020). Educational Data Mining and Learning Analytics: An Updated Survey. Wiley Interdisciplinary Reviews: Data Mining and Knowledge Discovery. Vol. 10, no. 3, pp. 1-21, doi: https://doi.org/l0.1002/widm.1355
2. Salloum, S.A. Alshurideh, M., Elnagar, A., Shaalan, K. (2020). Mining in Educational Data: Review and Future Directions. Joint European-US Workshop on Applications of Invariance in Computer Vision, pp. 92-102, doi: https://doi.org/10.1007/978-3-030-44289-7_9
3. Chen, G., Rolim, V., Ferreira Mello, R., Gasevic, D. (2020). Let's Shine Together! A Comparative Study between Learning Analytics and Educational Data Mining. Proceedings of the Tenth International Conference on Learning Analytics & Knowledge, pp. 544-553, doi: https://doi.org/10.1145/3375462.3375500
4. Injadat, M.N., Moubayed, A., Nassif, A.B., Shami, A. (2020). Systematic Ensemble Model Selection Approach for Educational Data Mining. Knowledge-Based Systems. Vol. 200, pp. 1-16, doi: https://doi. org/10.1016/j.knosys.2020.105992
5. Tsiakmaki, M., Kostopoulos, G., Kotsiantis, S., Ragos, O. (2020). Implementing AutoML in Educational Data Mining for Prediction Tasks. Applied Sciences. Vol. 10, no. 1, pp. 90, doi: https://doi.org/10.3390/ app10010090
6. Sutoyo, E., Almaarif, A. (2020). Educational Data Mining for Predicting Student Graduation Using the Naïve Bayes Classifier Algorithm. Jurnal RESTI (Rekayasa Sistem Dan Teknologi Informasi). Vol. 4, no. 1, pp. 95-101, doi: https://doi.org/10.29207/resti.v4i1.1502
7. bin Mat, U. (2013). An Overview of Using Academic Analytics to Predict and Improve Students' Achievement: A Proposed Proactive Intelligent Intervention. IEEE 5th Conference on Engineering Education (ICEED). Pp. 126-130, doi: 10.1109/ICEED.2013.6908316
8. Simsek, A., Balaban, J. (2010). Learning Strategies of Successful and Unsuccessful University Students. Contemporary Educational Technology. Vol. 1, no. 1, pp. 36-45, doi: https://doi.org/10.30935/cedtech/5960
9. Oladokun, V., Adebanjo, A., Charles-Owaba, O. (2008). Predicting Students Academic Performance Using Artificial Neural Network: A Case Study of an Engineering Course. The Pacific Journal of Science and Technology. Vol. 9, no. 1, pp. 72-79. Available at: http://www.akamaiuniversity.us/PJST9_1_72.pdf (accessed 24.07.2021).
10. Salal, Y.K., Abdullaev, S.M. (2019). Using of Data Mining Techniques to Predict of Student's Performance in Industrial Institute of Al-Diwaniyah, Iraq. Vestnik Yuzhno-Ural'skogo gosudarstvennogo universiteta.. Seriya: Kompyuternye tekhnologii, upravlenie, radioelektronika = Bulletin of the South Ural State University. Series «Computer Technologies, Automatic Control & Radioelectronics». Vol. 19, no. 1, pp. 121130, doi: 10.14529/ctcr190111
Acknowledgement. The research work was funded by the Russian Federation Presidential grant
for the state support of leading scientific schools (NSh-2502.2020.9).
The paper was submitted 15.06.21 Accepted for publication 24.07.21
