CC BY-NC
91Программные системы и вычислительные методы
Правильная ссылка на статью:
Булдаев А.А., Найханова Л.В., Евдокимова И.С. — Модель системы поддержки принятия решений в учебном процессе университета, основанной на аналитике обучения // Программные системы и вычислительные методы. - 2020. - № 4. - С. 42 - 52. ЕЮ1: 10.7256/2454-0714.2020.4.34286 URL: htфs://nbpublishxomlbrary_read_artide.php?id=34286
Модель системы поддержки принятия решений в учебном процессе университета, основанной на аналитике обучения
Булдаев Александр Александрович
Заместитель руководителя центра новых информационных и телекоммуникационных технологий Восточно-Сибирского государственного университета технологий и управления
670013, Россия, республика Бурятия, г. Улан-Удэ, ул. Ключевская, Д.40В, строение 1
Найханова Лариса Владимировна
доктор технических наук
профессор, кафедра Системы информатики, Восточно-Сибирский государственный университет
технологий и управления
670013, Россия, республика Бурятия, г. Улан-Удэ, ул. Ключевская, Д.40В, строение 1
Евдокимова 1/Ьнга Сергеевна
кандидат технических наук
доцент, кафедра Системы информатики, Восточно-Сибирский государственный университет технологий и
управления
670013, Россия, республика Бурятия, г. Улан-Удэ, ул. Ключевская, Д.40В, строение 1
Статья из рубрики "Системный анализ, поиск, анализ и фильтрация информации"
DOI:
10.7256/2454-0714.2020.4.34286
Дата направления статьи в редакцию:
10-11-2020
Дата публикации:
31-12-2020
Аннотация.
В течение последних десятилетий потенциал аналитики и интеллектуального анализа
данных — методологий, извлекающих полезную информацию из больших наборов данных — трансформировал одну область научных исследований за другой. Аналитика стала тенденцией в последние несколько лет. Применительно к образованию эти методологии называют аналитикой обучения (LA) и интеллектуальным анализом данных в образовании (EDM). Использование аналитики обучения (учебной аналитики) выросло в последние годы по четырем основным причинам: значительное увеличение количества данных, улучшение форматов данных, достижения в области вычислительной техники и повышение сложности инструментов, доступных для аналитики. Статья посвящена описанию построения модели системы поддержки принятия решений (СППР) вуза на основе образовательных данных, полученных из электронной информационно-образовательной среды (ЭИОС) ВСГУТУ. Предметом исследования является построение СППР с использованием методов учебной аналитики. В статье представлена концептуальная модель системы принятия решений в учебном процессе и концептуальная модель компонента СППР — подсистемы прогнозирования. Особенность модели подсистемы прогнозирования заключается в применении методов аналитики обучения к наборам данных высшего учебного заведения, содержащие результаты работы ЭИОС, и включающие в себя характеристики активности студента. Основным результатом работы являются исследованные и выбранные методы кластеризации и классификации (KNN), апробация которых показала вполне приемлемые результаты. Надо отметить, что было исследованы различные методы кластеризации и метод k-prototypes показал лучшие результаты. Полученные результаты позволяют делать выводы о хорошем потенциале в применении методов учебной аналитики в вузах РФ.
Ключевые слова: поддержка принятия решений, кластеризация, классификация, учебная аналитика, электронная информационно-образовательная среда,
прогнозирование успеваемости, методы прогнозирования, группа риска, успеваемость учащихся, искусственный интеллект
Введение
В настоящее время у высших учебных заведений появились хорошие возможности использовать аналитику обучения, что обусловлено, прежде всего, развитием информационных технологий и технологий, основанных на искусственном интеллекте. Учебная аналитика — это новая быстрорастущая область в образовании, которая поддерживает измерение, анализ и отчетность по данным об учащихся и контекстах обучения с целью понимания и оптимизации обучения и среды, в которой оно происходит. Сама область использует преимущества внедрения электронного обучения в сфере образования, а также результаты исследований и разработок в таких областях,
как интеллектуальный анализ образовательных данных, веб-аналитика и статистика [1х ^^ Использование учебной аналитики имеет высокий интерес и внедряется во многих высших учебных заведениях по всему миру, в настоящее время существует большой спрос на дополнительную информацию об учебной аналитике, ее методах и правовых рамках, а также о том, как на самом деле применять учебную аналитику в этой области Г1. с. 18—22. 21
Одним из важнейших направлений, где вузы могут использовать учебную аналитику для прогнозирования, является определение студентов, которые подвергаются большему риску отсева или неуспеваемости, и использовать это для формирования особенного подхода к студентам в данной группе риска. При традиционном подходе в обучении, на сегодняшний день, успешность прохождения учебных дисциплин оценивается
преподавателем при помощи фиксации в журнале успеваемости текущих оценок, а также посещаемости занятий студентами. Соответственно, если предоставлять преподавателям, а также администрации вуза информацию о возможных проблемах на более ранних стадиях, то это будет помогать решать проблемы гораздо эффективнее.
Данная статья посвящена модели системы поддержки принятия решений на основе обработки образовательных данных, сформированных в электронной информационно-образовательной среде Восточно-Сибирского государственного университета технологий и управления (ВСГУТУ) с использованием методов учебной аналитики.
Прежде чем перейти к модели СППР, рассмотрим наиболее распространенные методы аналитики обучения, чтобы определить какие именно необходимы для создания модели системы поддержки принятия решений в учебном процессе.
1. Классификация методов учебной аналитики
Аналитика обучения (Learning Analytics, LA) в совокупности с интеллектуальным анализом образовательных данных (Educational Data Mining, EDM) — это важный процесс, в котором применяются интеллектуальные методы для извлечения шаблонов данных из баз данных учащихся, чтобы выявить ключевые характеристики и скрытые знания. Применение LA/EDM в основном сосредоточено на улучшении процесса обучения путем разработки точных моделей, которые прогнозируют характеристики и успеваемость учащихся. Важность LA/EDM основана на том факте, что она позволяет преподавателям и исследователям делать полезные выводы из сложных вопросов, таких как: найти студентов, которые покажут плохие результаты, для решения которых нельзя применять традиционные запросы к базе данных.
К основным группам методов учебной аналитики относятся: методы прогнозирования, методы обнаружения структуры, анализ отношений, обработка и представление данных для лиц, принимающих решения.
Методы прогнозирования
Классификаторы. В классификаторах прогнозируемая переменная может быть либо числовой (например, 0 или 1), либо категориальной переменной. Некоторые популярные методы классификации в образовательных областях включают деревья решений, случайный лес, правила принятия решений, ступенчатую регрессию и логистическую регрессию.
Регрессоры. В регрессорах прогнозируемая переменная является непрерывной переменной. Самый популярный регрессор в EDM — это линейная регрессия (надо заметить, что линейная регрессия не используется в EDM/LA, так же как в традиционной статистике, несмотря на то же название).
Оценка скрытых знаний. Третий тип модели прогнозирования, который важен в EDM/LA и на самом деле является просто специальным типом классификатора, — это оценка
скрытых знаний 4]. В оценке скрытых знаний учащихся и их конкретных навыков оценивается по шаблонам правильности этих навыков (а иногда и другой информации).
Алгоритм анализа факторов производительности. Метод также применяется для оценки скрытых знаний — это анализ факторов производительности, которые, как было установлено, имеют сопоставимые характеристики в ряде анализов.
Вектор эффективности обучения (LPV). Это подход к прогнозированию успеваемости
учащихся, который базируется на теории пространства знаний, основанной на компетенциях (Competence-based Knowledge Space Theory, CbKST) и может предложить интересную нисходящую технику в области прогнозирования успеваемости.
Методы обнаружения структуры
Кластеризация. При кластеризации цель состоит в том, чтобы найти точки данных, которые естественным образом группируются вместе, разделяя полный набор данных на
набор кластеров. Кластеры использовались для группирования студентов Г51 и действий
студентов J61.
Факторный анализ. В факторном анализе цель состоит в том, чтобы найти переменные, которые естественным образом группируются вместе, разбивая набор переменных (в отличие от точек данных) на набор скрытых (не наблюдаемых напрямую) факторов. В EDM/LA факторный анализ используется для уменьшения размерности (например, уменьшения количества переменных) для самых разных приложений.
Анализ социальных сетей. В анализе социальных сетей (СНС) разрабатываются модели взаимоотношений и взаимодействий между отдельными участниками, а также закономерностей, возникающих в результате этих отношений и взаимодействий.
Обнаружение доменной структуры. Обнаружение структуры предметной области заключается в нахождении структуры знаний в образовательной области (например, того, как конкретный контент соотносится с конкретными компонентами знаний или
навыками учащихся)
Формальный концептуальный анализ (FCA). Формальный концептуальный анализ (FCA), направлен на математическое описание понятий и иерархий понятий. FCA применяется для идентифицированных уникальных шаблонов в наборах данных, но, кроме того, он также может раскрыть иерархическую структуру между шаблонами.
Подходы к структурному моделированию на основе KST/CbKST. Теория пространства знаний, основанная на компетенциях, предоставляет теоретическую основу для моделирования знаний и компетенций. В исходной формализации область знаний характеризуется набором задач или тестовых заданий. Связывая навыки с проблемами и объектами обучения предметной области, создаются знания и структуры обучения по проблемам и, соответственно, объектам обучения.
Анализ отношений
Майнинг правил ассоциации. При интеллектуальном анализе ассоциативных правил цель состоит в том, чтобы найти правила «если-то» в форме, согласно которой при обнаружении некоторого набора значений переменных другая переменная обычно будет иметь определенное значение.
Корреляционный анализ. В корреляционном интеллектуальном анализе цель состоит в том, чтобы найти положительные или отрицательные линейные корреляции между переменными (с использованием апостериорных поправок или методов уменьшения размерности, когда это необходимо, чтобы избежать обнаружения ложных взаимосвязей).
Последовательный анализ паттернов. При последовательном изучении паттернов цель состоит в том, чтобы найти временные ассоциации между событиями J81.
Причинно-следственный анализ данных. При анализе причинно-следственных связей цель состоит в том, чтобы определить, было ли одно событие (или наблюдаемая конструкция) причиной другого события (или наблюдаемой конструкции), например, чтобы предсказать, какие факторы приведут к плохой успеваемости учащегося в классе.
Обработка и представление данных для лиц , принимающих решения
Визуализированные модели. Чтобы данные были полезны преподавателям, они должны быть своевременными. Когда преподаватели имеют немедленный доступ к визуализациям взаимодействия учащихся или неправильных представлений, которые отражаются в письмах и взаимодействии учащихся, они могут быстро включить эти данные в педагогическую деятельность. Некоторые из методов визуализации, которые использовались в образовании, включают: тепловые карты, кривые обучения, показывающие производительность во времени, обучающие диаграммы (learnograms), показывающие чередование занятий учащимися с течением времени.
Открытые модели учащегося (OLM). Модели обучающихся содержат и динамически обновляют информацию об обучении пользователя: текущие знания, компетенции, неверные представления, цели, аффективные состояния и т. д. Основное требование состоит в том, что такие визуализации должны быть понятны пользователю. OLM обычно больше фокусируются на концепциях или компетенциях, чтобы направлять учащихся к рассмотрению концептуальных вопросов, а не конкретных видов деятельности и результатов деятельности.
Диаграммы Хассе. Диаграммы Хассе представляют собой структурные графы, содержащие значительный объем информации, т. е. структуру и взаимосвязь компетенций в предметной области, индивидуальные траектории обучения, индивидуальные состояния обучения, состояния обучения, связанные с группой, следующие логические шаги и т. д.
Согласно приведенному обзору, можно сделать вывод о том, что для подготовки и анализа данных методы анализа отношений между исходными данными, например корреляционный анализ. Далее необходимы методы обнаружения структуры в сформированном наборе данных и можно использовать методы кластеризации. Для анализа полученных кластеров можно снова использовать методы анализа отношений для выявления моделей поведения студентов, например формального анализа понятий (ФАП). Для построения прогноза следует использовать методы классификации. Для обработки и представление данных для лиц, принимающих решения, необходимо использовать методы визуализации.
2. Концептуальная модель системы поддержки принятия решений в учебном процессе
В последнее десятилетие в мире появились работы, в которых создание систем поддержки принятия решений (СППР) (англ. Decision Support System, DSS) основано на прогнозировании с использованием машинного обучения и методов интеллектуального анализа данных, являющиеся важным инструментом, и предлагающие помощь преподавателям в раннем распознавании тех учащихся, которые, вероятно, будут демонстрировать низкую успеваемость
С аналитической точки зрения, академическая DSS — это информационная система, основанная на знаниях, для сбора, обработки и анализа информации, которая влияет или предназначена для воздействия на принятие решений, выполняемых людьми в
рамках профессиональной задачи, назначенной пользователем
Коренное отличие учебной аналитики от педагогической диагностики и других способов сбора данных заключается в следующем:
1) при обычной диагностике данные собираются на основе ответов обучающихся через анкетирование, опросы, в то время как в учебной аналитике они фиксируются в информационных системах, передаются через компьютер;
2) в педагогической диагностике анализируется работа преподавателя, а в учебной аналитике — прежде всего, обучающихся, для того чтобы спрогнозировать успех или неудачу обучения.
Но главное отличие — сбор данных в первом случае происходит в соответствии со специальной процедурой в определенный момент времени (обычно в конце обучения), в том время как в учебной аналитике он проводится постоянно, непрерывно.
В процессе обучения немалая часть студентов отчисляются, что является негативным критерием эффективности работы вуза. В связи с этим в настоящей работе целью применения аналитики обучения является предсказание студентов, попадающих в группу риска, то есть студентов, которые могут быть отчислены и студентов с низкой успеваемостью. В соответствие с этим построена модель системы поддержки принятия решений в учебном процессе (УП), концепция которой представлена на рис. 1.
Рисунок 1 — Концептуальная схема СППР в учебном процессе Рассмотрим краткое описание компонентов СППР УП. Подсистема автоматического сбора и анализа данных
Основными функциями данного компонента являются сбор, подготовка и анализ данных, фильтрация и трансформация исходных данных в представления, пригодные для
дальнейшего применения в системе. В работе для анализа данных применяется корреляционный анализ.
Источником данных для данной подсистемы в ЭИОС вуза может быть информация, полученная из модулей:
1. Штатное расписание и кадры.
2. Планирование и контроль деятельности подразделений.
3. Абитуриент.
4. Контингент учащихся.
5. Учебные планы.
6. Реестр дисциплин.
7. Научная деятельность.
8. Личный кабинет.
Особое значение занимает модуль «Личный кабинет», так как его целью является объединение всех модулей в единую систему с пользовательской стороны. Также в этом модуле происходит фиксация всех видов активностей работы пользователей в ЭИОС, что является одним из самых важных источников для формирования цифрового следа.
Функционал данного компонента состоит из следующих функций верхнего уровня: поиск и выбор данных (включая корреляционный анализ), сохранение данных в виде представлений, преобразование данных в форматы методов, заданных в пользовательском интерфейсе методов и создание и заполнение временной базы данных СППР, создание базы знаний. Каждой задаче соответствуют определенные методы. Поиск данных может осуществляться как в базах данных ЭИОС, так и в наборах данных (структурированных и полуструктурированных), например в логах, в журналах успеваемости и др. База знаний создается для компонента «Аналитическая подсистема» в виде множества правил.
Подсистема прогнозирования
В данном компоненте на предварительном этапе посредством кластерного анализа производится поиск структур данных и построение моделей поведения студентов на основе применения последовательного анализа паттернов.
Для построения прогноза используются методы классификации. На предварительном этапе осуществляется обработка исторических данных, а прогнозирование осуществляется на реальных данных.
Аналитическая подсистема
Разбиение набора данных на группы студентов с близкими характеристиками посредством кластеризации позволяет выполнить различного вида анализ в рамках сформированных групп (кластеров): по среднему баллу, по количеству входов в ЭИОС в период изучения дисциплины, количеству сообщений по дисциплине, индексу равномерности активности в ЭИОС по дисциплине, индексу вовлеченности в ЭИОС по дисциплине, по статусу окончания вуза (окончил обучение, отчислен, в академическом отпуске), по полу и др. Анализ данных обеспечивает возможность формирования
рекомендации, направленных на предупреждение о студентах, попавших в группу риска и необходимости предпринимать определенные действия, и сохранении контингента.
Для анализа полученных данных используются системы правил (setrules). Визуализация результатов осуществляется в виде понятном и удобном для пользователя на основе 2D-графики.
3. Апробация подсистемы прогнозирования
На рисунке 2 представлена концептуальная модель подсистемы прогнозирования, которая включает в себя процедуры кластеризации студентов (метод k- prototypes), классификации студентов из тестовой выборки (алгоритм KNN), выявление студентов из группы риска (формирование прогнозов).
Для апробации модели был сформирован датасет «Исторические данные» сформирован на основе выборки студентов с нескольких факультетов ВСГУТУ. В датасет выбраны только дисциплины с курсовыми работами (проектами), как одни из значимых в учебном плане, количество записей в датасете — 1468.
Рисунок 2 — Концептуальная модель подсистемы прогнозирования
Далее, на полученных результатах кластеризации было проведено обучение при помощи метода классификации К-ближайших соседей. Для проведения исследований с использованием классификации был сформирован отдельный датасет «Тестовая выборка» на основе выборки студентов 2020 года выпуска по тем же принципам и структурой, что и датасет «Исторические данные», количество записей в датасете — 246.
Было проведено три эксперимента, первый на полной структуре датасета, указанных в табл. 1. Второй эксперимент был произведен на датасете без учета данных об
активностях в ЭИОС. Третий эксперимент был произведен на датасете без учета данных об оценке за дисциплину.
Для поиска студентов из группы риска нужно использовать данные, полученные по кластерам №1 и №2, так как они показывают самые низкие средние оценки. Методика классификации студентов, основанного на третьем эксперименте, может быть использована в период самого прохождения дисциплины студентами, так как она не использует оценку по дисциплине. Также очевидно, что результаты кластеризации и классификации, описанные в данной статье, можно уточнять, при помощи выделения подкластеров, а также при помощи применения различного рода сегментации данных, например, по дисциплинам.
Таблица 1 — Результаты классификации методом К-ближайших соседей (Кпп)
Кластер Среднее Среднее Среднее Среднее
значение значение значение значение
оценки на оценки на оценки на оценки на
основной тестовой тестовой тестовой
выборке выборке с выборке с выборке с
после классификацией классификацией классификацией
кластеризации Кпп, Кпп, Кпп,
эксперимент 1 эксперимент 2 эксперимент 3
0 4.65 4.64 4.7 4.73
1 3.78 3.61 3.62 3.58
2 3.43 3.54 3.56 3.26
3 4.22 4.25 4.18 4.46
В целом из результатов, представленных в таблице 1 видно, что полученные значения достаточно близкие. Это говорит о том, что примененные методы по кластеризации и классификации данных показали приемлемые результаты и данная методика может быть использована для систем поддержки принятия решений вузов.
Заключение
Развитие академического DSS имеет большое образовательных организаций, и результате успеваемости учащихся, принятия ими решений.
значение для студентов, преподавателей и знания, полученные в образования в процессе
будет более ценно, если будут доступны менеджерам
В работе приведен анализ по возможному использованию образовательных данных, которые могут быть получены из баз данных ЭИОС вузов РФ, оценена возможность применения методов кластеризации и классификации для поиска студентов из групп риска. Анализ моделей поведения обучающихся студентов позволит преподавателям и руководству вовремя принимать решения о помощи таким студентам, что обеспечит более высокий уровень сохраняемости контингента студентов.
Библиография
1. Ferguson, R., Brasher, A., Clow, D., Cooper, A., Hillaire, G., Mittelmeier, J., Rienties, B., Ullmann, T., Vuorikari, R. (2016). Research Evidence on the Use of Learning Analytics — Implications for Education Policy. R. Vuorikari, J. Castaño Muñoz (Eds.). Joint Research Centre Science for Policy Report; EUR 28294 EN; doi:10.2791/955210, 822.
2- Белоножко П.П., Карпенко А.П., Храмов Д.А. Анализ образовательных данных: направления и перспективы применения [Электронный ресурс] // Интернет-журнал «Науковедение». — 2017. — Т. 9. — № 4. — URL:
http://naukovedenie.ru/PDF/15TVN417.pdf (дата обращения: 09.11.2020), 21 с.
3. Corbett, A. T. and Anderson, J. R. 1995. Knowledge tracing: Modeling the acquisition of procedural knowledge. User Modeling and User-Adapted Interaction 4, 4, 253—278.
4. Pavlik, P. I., Cen, H. & Koedinger, K. (2009) Performance Factors Analysis — A New A Pavlik, P. I., Cen, H. & Koedinger, K. (2009) Performance Factors Analysis — A New Alternative to Knowledge. Proceedings of the 14th International Conference on Artificial Intelligence in Education, Brighton, UK, 531 — 538.
5. C.R. Beal, L. Qu and H. Lee (2006). Classifying learner engagement through integration of multiple data sources. Proceedings of AAAI'06, Boston, MA.
6. Amershi, S. & Conati, Cristina. (2009). Combining unsupervised and supervised classification to build user models for exploratory learning environments. Journal of Educational Data Mining (JEDM). 1. 18—71.
7. Cen, Hao & Koedinger, Kenneth & Junker, Brian. (2006). Learning Factors Analysis — A General Method for Cognitive Model Evaluation and Improvement. 4053. 164—175. 10.1007/11774303_17.
8. Perera, D., Kay, J., Korpinska, I., Yacef, K. and Zaiane, O. 2009. Clustering and Sequential Pattern Mining of Online Collaborative Learning Data. IEEE Tran. on Knowledge and Data Engineering 21, 759—772.
9. Chau, V.T.N., Phung, N.H.: A knowledge driven education decision sup-port system. In: 2012 IEEE RIVF International Conference on Computing Communication Technologies, Research, Innovation, and Vision for the Future, 1—6 (2012).
10. Deniz, D.Z., Ersan, I.: An academic decision support system based on academic performance evaluation for student and program assessment. Int. J. Eng. Educ. 18(2), 236—244 (2002).
11. Grivokostopoulou, F., Perikos, I., Hatzilygeroudis, I.: Utilizing semantic web technologies and data mining techniques to analyze students learning and predict final performance. In: 2014 International Conference on Teaching, Assessment and Learning (TALE), 488—494. IEEE (2014).
12. Bresfelean, V.P., Ghisoiu, N.: Higher education decision making and decision support systems. WSEAS Trans. Adv. Eng. Educ. 7, 43 — 52 (2010)
Результаты процедуры рецензирования статьи
В связи с политикой двойного слепого рецензирования личность рецензента не раскрывается.
Со списком рецензентов издательства можно ознакомиться здесь.
Рецензируемая статья посвящена проблеме повышения успеваемости студентов вуза посредством внедрения системы поддержки принятия решений, построенной на обработке и анализе данных учебного процесса. Авторы анализируют и классифицируют существующие методы учебной аналитики, отмечают роль причинно-следственного анализа, подчеркивают необходимость своевременного предоставления результатов анализа преподавателям, что позволяет скорректировать учебный процесс. Выполнен анализ данных для выборки по дисциплинам с курсовыми проектами, отличающихся большей трудоемкостью, что способствует повышению объективности результата. Актуальность работы заключается в повышении эффективности обучения за счет
выявления снижения успеваемости на начальной стадии. Научную новизну работы составляет применение метода кластеризации и разработка критериев для системы принятия решений. Стиль изложения соответствует требованиям к научной публикации; авторы владеют профессиональной терминологией, все сформулированные положения имеют обоснование. Структура статьи соответствует научной статье, представлены все основные разделы, приводятся поставка проблемы, основные теоретические положения, описание исследования и анализ полученных результатов. Содержание статьи соответствует названию. Подробно рассмотрены методы анализа, приведено обоснование выбора методики исследования, проводится блок-схема предлагаемой системы. Достоинством работы является приведенная модель подсистемы прогнозирования, которая дает представление о критериях формирования набора и выделенных классах. Имеется подробное описание экспериментальных данных. Библиография достаточна, содержит 12 позиций преимущественно в зарубежных источниках, однако только из них 1 за последние 5 лет. Ссылки на все источники присутствуют в тексте. Замечания. Для систем поддержки принятия решений введено две аббревиатуры (русскоязычная и англоязычная), необходимо использовать один термин, например, указав его англоязычный аналог. В описании подсистемы сбора данных приводится список модулей, используемых для прогнозирования. Не вполне понятно как штатное расписание и перечень абитуриентов позволяют прогнозировать успеваемость студентов. Модуль «реестр дисциплин» повторяет данные из модуля «учебные планы», являясь его частью. Модуль «планирование и контроль деятельности подразделений» скорее относится не к источникам данных, но видимо его содержимое корректируется в зависимости от количества дополнительных консультаций для студентов с задолженностями. Необходимо пояснить эти моменты или внести коррективы в перечень. В описании исходных данных желательно указать успеваемость какого количества студентов анализировалась, по какому количеству дисциплин, каких курсов (старших, или указать диапазон), за какой период времени (если несколько лет, то 1 студент входит в выборку с несколькими курсовыми работами/проектами? что позволяет оценить динамику успеваемости конкретного студента). Авторы упоминают выборку за 2020 год, т.е. весенний семестр (учитывая дату рецензирования), но не ясно как соотносится по времени сформированный набор данных с основным. Авторы упоминают о выполненном корреляционном анализе, однако его количественные результаты в работе не приводятся. Желательно привести рассчитанные коэффициенты корреляции для заданной вероятности. Авторы не упоминают полученные результаты прогнозирования для вуза; желательно привести долю студентов, отнесенных системой в группу риска. В раздел «Заключение» желательно добавить основной результат исследования Авторов. Библиографию необходимо оформить в соответствии с требованиями. Поднятая проблема представляет интерес для педагогических работников не только системы высшего образования. После доработки статья может быть опубликована в журнале «Программные системы и вычислительные методы».
