CC BY
1Экономика. Право. Инновации. 2024. № 2. С. 61-71 Economics. Law. Innovation. 2024. No. 2. P. 61-71
Управление в организационных системах Management in organizational systems
Научная статья УДК 004.82
аог 10.17586/2713-1874-2024-2-61-71
МЕТОД ВЕКТОРНОГО ПРЕДСТАВЛЕНИЯ И АВТОМАТИЗИРОВАННОЙ ОЦЕНКИ УЧЕБНОГО ПЛАНА В СИСТЕМЕ ИНТЕЛЛЕКТУАЛЬНОЙ ПОДДЕРЖКИ ПРОЕКТИРОВАНИЯ ОБРАЗОВАТЕЛЬНЫХ ПРОГРАММ
Анастасия Вадимовна Чернышева1 ^, Максим Валерьевич Хлопотов2
1,2Университет ИТМО, Санкт-Петербург, Россия 1аусЬегпу8Ьеуа@11то.гцн, http://orcid.org/0000-0002-9956-6607 2кЫоройу@^о.т, http://orcid.org/0009-0002-9053-027X Язык статьи - русский
Аннотация: В статье предлагается метод векторного представления дисциплины и учебного плана, построенного при помощи графа ключевых навыков, осваивающихся студентами в процессе обучения. Также вводятся метрики для оценки учебного плана, которые можно рассчитать по такому векторному представлению: связность, новизна и разнообразие. Для каждой метрики приводится диапазон изменения значений, полученный экспериментально, а также предлагаются способы воздействия на эти значения. Три метрики в совокупности позволяют оценить текущее качество образовательной программы.
Ключевые слова: анализ образовательных данных, анализ учебных планов, векторное представление дисциплины, метрики оценки учебного плана, проектирование образовательной программы, учебная аналитика
Ссылка для цитирования: Чернышева А. В., Хлопотов М. В. Метод векторного представления и автоматизированной оценки учебного плана в системе интеллектуальной поддержки проектирования образовательных программ // Экономика. Право. Инновации. 2024. № 2. С. 61-71. http://dx.doi.org/10.17586/2713-1874-2024-2-61-71.
AUTOMATED EVALUATION OF CURRICULA USING VECTOR REPRESENTATION METHOD IN AN INTELLIGENT SUPPORT SYSTEM FOR EDUCATIONAL PROGRAM DESIGN
Anastasiia V. ChernyshevaMaksim V. Khlopotov2
1,2ITMO University, Saint Petersburg, Russia 1avchernysheva@itmo.ruH, http://orcid.org/0000-0002-9956-6607 2khlopotov@itmo.ru, http://orcid.org/0009-0002-9053-027X Article in Russian
Abstract: The article introduces a method of vector representation for a discipline and curriculum, constructed through a graph of key skills acquired by students during the learning process. Additionally, metrics are introduced for assessing the curriculum, which can be computed based on such vector representation: connectivity, novelty, and diversity. For each metric, a range of values is provided along with proposed techniques for influencing these values. The combined application of these three metrics enables the evaluation of the current quality of the educational program.
Keywords: course embedding, educational data analysis, educational plan evaluation, educational program development, learning analytics, metrics for curriculum evaluation
For citation: Chernysheva A. V., Khlopotov M. V. Automated Evaluation of Curricula Using Vector Representation Method in an Intelligent Support System for Educational Program Design. Ekonomika. Pravo. Innovacii. 2024. No. 2. pp. 61-71. (In Russ.). http://dx.doi.org/10.17586/2713-1874-2024-2-61-71.
Введение. Вопросы, связанные с принятием решений при проектировании образовательных программ (ОП), в учебной аналитике традиционно освещаются с точки зрения улучшения опыта обучающихся. Тема
поддержки преподавательского состава высших учебных заведений при разработке документов, сопровождающих ОП, раскрывается достаточно редко. Это доказывают исследования, проводившиеся в последние пять
лет [1-3]. Как правило, в сфере оценки образовательного процесса прибегают к аналитике результатов обучения или описанию методов преподавания, что не связано напрямую с разработкой ОП [3].
В [3] было собрано 375 научных публикаций с высоким индексом цитирования в области учебной аналитики за период с 2008 по 2021 год из крупных баз данных. Исследованию и оптимизации образовательных программ было посвящено 48 из них. В 28% статей предлагались подходы к оценке материалов курсов с точки зрения их согласованности. В 24% - модели распределения студентов по курсам и прогнозирования их успехов. Инструменты для оценки учебных планов были представлены в 20% статей, в 17% публикаций были предложены инструменты для визуального анализа с целью выявления сильных и слабых сторон рабочих программ дисциплин и учебных планов. В 9% поднимались вопросы значимости курсов в рамках образовательной программы. Методы исследования дисциплин и учебных планов (УП) обычно основываются на текстовом анализе и направлены чаще на понимание процесса, чем на его оптимизацию.
В данном исследовании предлагается метод векторного представления дисциплины и учебного плана, построенного при помощи графа ключевых навыков, осваиваемые студентами в процессе обучения. А также вводятся метрики для оценки учебного плана, которые можно рассчитать по такому векторному представлению.
Исследовательская проблема. Оценка учебного плана - это основанная на некоторых стандартах оценка структуры образовательного процесса с использованием специальных методов и приемов для оценки самого плана, процесса его освоения и результатов студентов. Также оценка включает поиск путей улучшения УП. При оценке учебных планов отдельно рассматривается предмет и объект оценки. Предметом оценки могут являться обучающиеся и преподаватели [4, 5], объектом - содержание учебного плана [6, 7].
Основной целью создания учебного плана является упорядочение учебных дисциплин в соответствии с логикой процесса обучения, определяемой взаимосвязями между
учебными сущностями дисциплин. Под учебной сущностью понимается термин, которым описывается навык-пререквизит, который обучающийся обязан приобрести до изучения дисциплины, или навык-результат, который обучающийся приобретает в ходе изучения дисциплины. Вместе пререквизиты и результаты образуют множество учебных сущностей. Нарушение логики связей между дисциплинами становится очевидным только в процессе реализации учебного плана. Выходом из сложившейся ситуации является контроль логики учебного плана на этапе его формирования. С этой точки зрения необходимы количественные метрики оценки УП [8].
Литературный обзор. Дисциплины обычно описываются рабочими программами - текстовыми документами с шаблонной структурой. Лишь немногие методы исследования образовательных программ опираются на формальные критерии, и чаще всего в этом вопросе речь идет об экспертной оценке содержания документов. То же касается и представления дисциплин. Самым распространенным способом формализации содержания дисциплины является извлечение ее ключевых концепций из доступных материалов. Далее с полученными данными работают специалисты в области проектирования образовательных программ [9].
Более формальным способом описания дисциплин являются онтологии. Курсы представляются в формате онтологий - ориентированным графом, основанным на связи вида «пререквизит/результат» между вершинами. Вершинами являются термины, используемые преподавателем во всех его курсах. Каждое понятие связывается со всеми дидактическими материалами, которые используются в дисциплине для изучения этого понятия. Так для каждого преподавателя складывается семантическая сеть, демонстрирующая весь его педагогический опыт, что ускоряет процесс создания новых дисциплин [10]. Через онтологии предпринимаются попытки формализовать не только содержание дисциплин, но и стиль преподавания [11].
С развитием области учебной аналитики, связанной с рекомендациями по включению дисциплин в индивидуальные образовательные траектории студентов, стало появляться
больше математических методов представления дисциплин. Интеллектуальный анализ данных о выборе студентов и описании курсов стал применяться все чаще и внедряться в высших учебных заведениях в исследовательских целях. Количество разработок в этой области стало расти значительно быстрее. Такие исследования часто фокусируются на одной задаче прогнозирования и предлагают частное решение на основе одного источника данных. В качестве источников данных выбираются сведения об успеваемости студентов, материалы курсов и сведения об учебных планах. Появляются модели, в которых по этим данным строятся эмбеддинги дисциплин. Здесь можно выделить четыре распространенные парадигмы моделирования при построении векторных представлений дисциплин.
1) bag-of-words и его аналоги - простейший вариант построения вектора дисциплины на основе текста ее содержания.
2) Course2Vec и его вариации - эм-беддинги, построенные на основе истории освоения курса студентами по принципу Skip-Gram. Эмбеддинг может быть дополнен информацией о преподавателе и структурном подразделении в виде one-hot encoding [11]. Существует также дополненный эмбеддинг multi-Course2Vec, который лучше справляется с задачей поиска похожих дисциплин, так как учитывает больше контекстно значимой информации.
3) Модели эмбеддингов на основе LSTM.
4) Эмбеддинги на основе графов - подход проецирования вершин графа в векторное пространство невысокой размерности. В графе содержится два вида вершин: дисциплины и студенты. Вес ребер, связывающих студентов с курсами зависит от оценок, которые студенты получили по окончании курса [12].
Для оценки последовательности дисциплин в учебном плане часто применяются методы сетевого анализа, в частности, построение графа дисциплин, в котором определяются связи вида «пререквизит/результат». Далее происходит оценка противоречивости учебного плана посредством выявления петель и/или циклов на графе. В некоторых исследованиях (например, [8, 13-15]) опускаются на уровень ниже и рассматривают
циклы и петли между результатами изучения дисциплины. В [14] приводится формула для оценки показателя непротиворечивости учебного плана (1) и дается трактовка понятия несогласованности: показатель несогласованности характеризует наличие разнонаправленных и/или циклических связей на графе. Значение показателя находится в интервале [0, 1] и рассчитывается с учетом отношения числа явно и неявно противоречивых связей ЫЩ к числу всех связей на графе.
W
_ "R +
NR
(1)
где - количество явно противоречивых связей, - количество неявно противоречивых связей, - общее количество связей.
В [16] предлагается ряд простых метрик для оценки учебных планов с точки зрения того, каких успехов достигали студенты в процессе ее освоения.
1) Расположение дисциплины в учебном плане - рассчитывается относительно того, в какой момент обучения студенты изучают курс и успешно проходят аттестацию. Применимо к выборным дисциплинам, у которых возможен выбор семестра изучения.
2) Расстояние между дисциплинами -временной промежуток, через который студенты изучают две дисциплины.
3) Длительность дисциплины - сколько времени требуется студентам для успешного прохождения аттестации по дисциплине.
4) Сложность курса - метрика, учитывающая количество студентов, которые успешно прошли аттестацию по дисциплине, а также средние баллы студентов с разным уровнем подготовленности [17].
Как показывает обзор, метрики оценки учебных планов чаще основываются на результатах реализации дисциплин, что затрудняет их эффективное использование в процессе проектирования образовательной программы. Далее предлагаются метрики, которые можно применять не только после реализации дисциплин и учебных планов, но и в процессе их разработки.
Метод построения векторного представления дисциплины. Так как метрики оценки учебных планов будут рассчитывать-
ся на основе вектора УП, прежде всего в данной работе предлагается подход к построению векторных представлений дисциплин через граф учебных сущностей. Построение векторного представления происходит следующим образом.
1) Формируется граф предметных областей в а(Е,У) путем кластеризации графа учебных сущностей. Вес ребра рассчитывается, исходя из частоты встречаемости пары сущностей в описаниях РПД и косинусного сходства текстовых эмбеддингов сущностей в паре. Для построения текстового эмбеддинга используется модель ,^М2уес.
2) Подсчитывается количество сообществ п на графе предметных областей (Е, V). Формируется вектор размером п.
3) Вычисляется количество учебных сущ ностей из предметной области Б^,] = 0, ...,п
для каждой дисциплины С^ / = 0,..., т.
Сформировав векторные представления дисциплин, можно построить векторное представление учебного плана - сложением эмбеддингов всех к его дисциплин (2). Полученный эмбеддинг нормализуется (3).
сигтси1ит2рес
= 1
1=0
соигзе2уес1,
сигг1си1ит2уес' =
сиггЬси1ит2уес — тт (сиггЬси1ит2уес) тах(сигг ¿си1ит2рес) — тт (сигтси1ит2рес) '
(2)
(3)
Метрики оценки учебных планов. Часто реализуемой метрикой для оценки качества УП является согласованность с точки зрения последовательности изложения материала учебного плана, заключающаяся в поиске петель и циклов на орграфе дисциплин, которые свидетельствуют о наличии непоследовательности расположения материала в рабочих программах. С использованием векторных представлений учебных планов, построенных на основе информации о предметных областях, которые затрагиваются в процессе
Для удобства интерпретации значений связности энтропия сначала нормируется на количество предметных областей, чтобы величина изменялась в диапазоне от 0 до 1. Вторым упрощением является взятие величины, обратной энтропии. Таким образом, чем ближе значение метрики к 1, тем выше связность. На рисунке 1 показано распределение связности для учебных планов за 2018-2022 гг. Основная часть (по интерквартильному размаху) значений связности учебных планов бакалавриата распределяется от 0.3 до 0.4, магистратуры - от 0.34 до 0.54. Максимальные значения связности наблюдаются в планах магистратуры и достигают практически 0.9.
освоения дисциплины, можно оценить согласованность с позиции трех других метрик: связности, разнообразия и новизны.
Связность учебного плана определяется как нормированная энтропия его векторного представления (4). Чем выше значение энтропии, тем больше предметных областей в приблизительно равных пропорциях изучается в учебном плане. Низкие значения энтропии показывают, что в учебном плане наблюдается высокая связность, а предметных областей детально охвачено мало.
(4)
Самые низкие значения связности - у учебных планов бакалавриата. При расчете не использовались общеуниверситетские дисциплины и факультативы.
На значение связности учебного плана можно влиять, рассчитывая дополнительную метрику - плотность. Плотность является отношением длины среднего пути между двумя вершинами подграфа учебных сущностей к максимальной длине кратчайшего пути между парой сущностей в этом подграфе (5). Плотность может быть посчитана как для отдельной дисциплины, так и для всего плана. Как и связность, плотность меняется в диапазоне от 0 до 1.
СоппесИрйу = 1 — Н(сигг1си1ит2уес'),
Рисунок 1 - Распределение связности УП 2018-2022 гг.
Источник: составлено авторами
Благодаря тому, что при расчете плотности используется граф учебных сущностей, можно с точностью до сущности определить, из-за чего понижается плотность дисциплины и связность учебного плана и рекомендовать исключить сущность из описания
дисциплины с целью повысить общую связность учебного плана. Это можно сделать, определив пару вершин, путь между которыми включает наибольшее число сущностей, не входящих в описание дисциплины.
БепзНу = /тах (6(и,р)),
где ё(п,у) - кратчайший путь на графе между двумя вершинами, п - количество кратчайших путей между всеми парами вершин.
Эксперименты с плотностью показали, что повысить связность примерно на 0.020.05 можно за счет исключения из УП дисциплин, плотность которых находится левее 0.05-квантиля и правее 0.95-квантиля.
1) В 79% случаев связность повысится, если убрать дисциплины, плотность которых находится левее 0.05-квантиля и правее 0.95-квантиля.
2) В 74% случаев связность повысится, если убрать дисциплины, плотность которых находится левее 0.05-квантиля.
3) В 58% случаев связность повысится, если убрать дисциплины, плотность которых находится правее 0.95-квантиля.
Эту информацию можно использовать, если принято решение о необходимости
(5)
повысить связность. Размер квантиля может настраиваться и меняться экспертно.
Новизна определяется как расстояние между векторами версий одного учебного плана разных годов набора (6). Оценивается косинусное расстояние между векторными представлениями учебных планов. Если расстояние стремится к 0, это значит, что предметные области, в которые попадают учебные сущности, описывающие дисциплины учебного плана, совпадают. Тем не менее, это не обязательно означает, что дисциплины не изменились. Сущности могут быть распределены по разным дисциплинам, сохраняя при этом пропорциональное попадание в одни и те же предметные области. Если расстояние 1, значит, две версии учебного плана максимально не похожи друг на друга. Также 1 может означать, что образовательная программа существует первый год, соответственно, ее новизна для этого года максимальна.
Novelty
_ dist(curriculum2vec'i,curricu.lum2vec'i+1 )
(6)
где к - количество лет, когда УП реали-зовывался с одним и тем же названием.
На рисунке 2 показано распределение значений косинусного расстояния для учебных планов 2018-2022 гг. По графику видно, что существуют как учебные планы, которые
не меняются от года к году, так и те, в которых каждый год меняется треть или практически половина содержания. Примерно половина учебных планов обладает уникальным названием, поэтому большая часть значений новизны сгруппирована на отметке 1.
Рисунок 2 - Распределение значения новизны для УП 2018-2022 гг.
Источник: составлено авторами
к
Разнообразие определяется как косинусное расстояние между кластерами векторных
где О0,О-1, ...,Бт - кластеры векторных представлений дисциплин внутри учебного плана. Значение разнообразия изменятся в диапазоне от 0 до 1. Чем выше значение среднего межкластерного расстояния, тем выше разнообразие. 0 означает, что в учебном плане недостаточно дисциплин для проведения кластеризации.
На рисунке 3 показано изменение среднего разнообразия учебных планов университета за 2018-2022 гг. в разрезе по квалификациям. По графику видно, что в среднем разнообразие в учебных планах магистратуры немного выше, чем в УП бакалавриата, а за наблюдаемый в данных период заметен медленный рост значений метрики. Для бакалавриата рост за 5 лет составил практически
представлений дисциплин, входящих в учебный план (7).
(7)
0.1, что при общем диапазоне в 0.3 является значительным изменением.
В процессе кластеризации векторные представления, которые оказываются изолированными от остальных кластеров, по возможности распределяются в максимально контекстно близкий кластер. Если это сделать невозможно, то все изолированные вершины объединяются в отдельный кластер. Если дисциплины, образующие такой дополнительный кластер, исключить из учебного плана, то уменьшится как среднее разнообразие учебных планов (рисунок 4), так и границы интерквартильного размаха значений разнообразия - левая граница сдвинется еще левее, правая останется без значительных изменений.
Diversity = ,
J т
1.0 0.9
к
§ 0.8 СО
0 7
0 0 6
1 0.5 о.
Ф 0.4
и 0.3
I 0.2
со
0.1 0.0
Среднее разнообразие УП по годам
Квалификация м Бакалавриат
Магистратура
■
2018
2019
2020 Год набора УП
2021
2022
Рисунок 3 - Среднее разнообразие УП в 2018-2022 гг.
Источник: составлено авторами
На рисунке 4 сверху показаны распределения и значения медианы для случаев, когда изолированные дисциплины образуют новый кластер, снизу - когда этого не происходит. Можно заметить, что для учебных планов
магистратуры изменения более значительные, чем для бакалавриата. Это свойство алгоритма кластеризации можно использовать если есть необходимость понизить разнообразие учебного плана.
Рисунок 4 - Среднее разнообразие УП с распределением по кластерам изолированных вершин графа и без
Источник: составлено авторами
На значение разнообразия можно также влиять при помощи внутрикластерного расстояния на графе векторных представлений учебных планов. Если исключить из плана дисциплины, входящие в кластеры с максимальным и минимальным внутрикластерным расстоянием, то разнообразие понижается. Исключение наименее связного кластера влияет на значение метрики меньше, чем исключение самого связного. Такое вмешательство влияет одинаково как на учебные планы
бакалавриата, так и на планы магистратуры, и понижает разнообразие примерно до 0.050.1.
Повысить разнообразие можно путем добавления в учебный план дисциплин, которые описываются сущностями, не представленными на графе сущностей учебного плана. Косинусное расстояние между векторным представлением таких дисциплин и векторным представлением кластеров учебного плана должно стремиться к 1.
Результаты исследования достоверности метрик. Векторные представления дисциплин и векторные представления учебных планов построены на данных о дисциплинах учебных планов 2018-2022 гг. бакалавриата и 2020-2022 гг. магистратуры. Данные за 2023 год также используются в некоторых расчетах, но в меньшей степени. Всего таких планов около 500, распределение их количества по годам набора и квалификациям показано на рисунке 5. Для исследования метрик оценки учебных планов проводится
сопоставление значений метрик, рассчитанных для реальных учебных планов, с метриками по УП, составленными из случайных данных, или составленных случайным образом из существующих дисциплин. Такая оценка позволяет оценить правдоподобность полученных диапазонов изменения значений связности и разнообразия. Для новизны такой эксперимент не проводится, т. к. метрика лишь показывает, насколько близки векторные представления одного учебного плана разных годов набора.
2019 2020 2021
Год набора образовательном программы
Рисунок 5 - Распределение количества образовательных программ бакалавриата и магистратуры 2018-2023 гг.
Источник: составлено авторами
Генерация искусственных учебных планов проводится следующим образом: для каждой дисциплины генерируется новый набор случайных учебных сущностей. На них накладываются следующие ограничения: во-первых, сущности должны быть из числа тех, что уже находятся в базе данных, во-вторых, для каждой дисциплины генерируется ровно столько же искусственных сущностей, сколько было настоящих. Для магистратуры и бакалавриата диапазоны изменения разнообразия на реальных и искусственных данных не совпадают (рисунок 6).
Небольшие пересечения есть, но их можно считать неизбежными выбросами. На искусственных данных разнообразие всегда ниже, чем на реальных. Пересечения распределений на пограничных значениях отсутствуют, что позволяет признать диапазоны,
показанные на графиках, достоверными. Для бакалавриата это - 0.7-0.85, для магистратуры - 0.65-0.85.
Для связности проводится эксперимент, аналогичный эксперименту для разнообразия - производится сравнение диапазонов изменения значения связности настоящих учебных планов с метриками, посчитанными для искусственно сгенерированных УП. Для чистоты эксперимента берутся те же сгенерированные данные, что и для оценки разнообразия. Искусственные учебные планы образуют очень плотно сгруппированное распределение, значительно меньшее по разбросу значений, чем настоящие. Пересечений в значениях не наблюдается. Диапазоны, показанные на графиках на рисунке 7, можно признать достоверными. Для бакалавриата это - 0.220.36, для магистратуры - 0.37-0.6.
Рисунок 6 - Распределение разнообразия на реальных и искусственных данных: а) для бакалавриата, б) для магистратуры
Источник: составлено авторами
Связность в УП бакалавриата
Данные
Искусственные
Реальные
70
50
40
Й 30
§
20
10
Связность в УП магистратуры
Данные Искусственные
Реальные
г
/
Ьаг _1_
0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 0 Значение связности а)
0.0 0.1 02 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0 Значение связности 6)
Рисунок 7 - Распределение связности на реальных и искусственных данных: а) для бакалавриата, б) для магистратуры
Источник: составлено авторами
Выводы. В работе изложен метод векторного представления дисциплин через граф предметных областей учебных сущностей, благодаря чему исследование содержания некоторых аспектов дисциплин и учебных планов может быть проведено без использования классических методов обработки естественного языка. Также предложены несколько метрик для оценки учебного плана, основанных на трех критериях: связность, новизна, разнообразие. Для каждой метрики приводится диапазон изменения значений,
полученный экспериментально, а также предлагаются способы воздействия на эти значения. Три метрики в совокупности позволяют оценить текущее качество образовательной программы.
Дальнейшая работа будет связана с проведением экспериментальных исследований, направленных на более глубокую оценку предложенных методов, метрик и алгоритмов с целью давать подробные рекомендации по принятию управленческих решений при проектировании образовательных программ.
Список источников
1. Feng S., Law N. Mapping Artificial Intelligence in Education Research: A Network-Based Keyword Analysis // International Journal of Artificial Intelligence in Education. 2021. Т. 31. С. 277-303. (In Eng.).
2. McConvey K., Guha S., Kuzminykh A. A Human-Centered Review of Algorithms in Decision-Making in Higher Education // Proceedings of the 2023 CHI Conference on Human Factors in Computing Systems. 2023. С. 1-15. (In Eng.).
DOI: 10.1145/3544548.3580658.
3. Chounta I.-A. at al. An Overview of Analytics for Curriculum Understanding and Optimization in Higher Education // Companion Proceedings 11th International Conference on Learning Analytics & Knowledge (LAK21). 2021 [Электронный ресурс]. - Режим доступа: https://www.researchgate.net/ publication/350922901_An_overview_of_analyt-ics_for_curriculum_understanding_and_optimiza-tion_in_Higher_Education (In Eng.).
4. Jiang W., Pardos Z. A. Evaluating Sources of Course Information and Models of Representation on a Variety of Institutional Prediction Tasks // International Educational Data Mining Society. 2020 [Электронный ресурс]. - Режим доступа: https://educa-tionaldatamining.org/files/conferences/EDM2020/ papers/paper_65.pdf (In Eng.).
5. Priyambada S. A., Mahendrawathi E. R., Yahya B. N. Curriculum Assessment of Higher Educational Institution Using Aggregate Profile Clustering // Procedia Computer Science. 2017. Т. 124. С. 264-273. (In Eng.).
6. Priyambada S. A., Mahendrawathi E. R., Yahya B. N. Curriculum Assessment of Higher Educational Institution Using Trace-segmented Clustering // Jurnal Teknik Industri. 2018. Т. 20. №. 1. С. 33-48. (In Eng.).
7. Shen P. P., Liu Z. B., Jiang Y. Key Facts Exploration on Curriculum Evaluation of Computer Department in College // 2013 the International Conference on Education Technology and Information System (ICETIS 2013). - Atlantis Press, 2013. - С. 448451. (In Eng.).
8. Qaffas A. A. An Operational Ontology for the Selection of Advanced Courses in Management Information Systems // Journal of Information Technology Management. 2020. Т. 12. №. 3. С. 101. (In Eng.).
9. Dai Y., Yoshikawa M., Sugiyama K. Prerequisite-aware course ordering towards getting relevant job opportunities // Expert Systems with Applications. 2021. Т. 183. С. 115-233. (In Eng.).
10. Duarte R. et al. Broader Terms Curriculum Mapping: Using Natural Language Processing and Visual-Supported Communication to Create Representa-
References
1. Feng S., Law N. Mapping Artificial Intelligence in Education Research: A Network-Based Keyword Analysis. International Journal of Artificial Intelligence in Education. 2021. Vol. 31. pp. 277-303.
2. McConvey K., Guha S., Kuzminykh A. A Human-Centered Review of Algorithms in Decision-Making in Higher Education. Proceedings of the 2023 CHI Conference on Human Factors in Computing Systems. 2023.pp.1-15.
DOI: 10.1145/3544548.3580658.
3. Chounta I.-A. at al. An Overview of Analytics for Curriculum Understanding and Optimization in Higher Education. Companion Proceedings 11th International Conference on Learning Analytics & Knowledge (LAK21). 2021. Available at: https://www.researchgate.net/publication/35092290 1_An_overview_of_analytics_for_curriculum_un-derstanding_and_optimization_in_Higher_Educa-tion
4. Jiang W., Pardos Z. A. Evaluating Sources of Course Information and Models of Representation on a Variety of Institutional Prediction Tasks. International Educational Data Mining Society. 2020. Available at: https://educationaldatamining.org/files/con-ferences/EDM2020/ papers/paper_65 .pdf
5. Priyambada S. A., Mahendrawathi E. R., Yahya B. N. Curriculum Assessment of Higher Educational Institution Using Aggregate Profile Clustering. Procedia Computer Science. 2017. Vol. 124. pp. 264-273.
6. Priyambada S. A., Mahendrawathi E. R., Yahya B. N. Curriculum Assessment of Higher Educational Institution Using Trace-segmented Clustering. Jurnal TeknikIndustri. 2018. Vol. 20. No. 1. pp. 33-48.
7. Shen P. P., Liu Z. B., Jiang Y. Key Facts Exploration on Curriculum Evaluation of Computer Department in College. 2013 the International Conference on Education Technology and Information System (ICETIS2013). Atlantis Press. 2013. pp. 448-451.
8. Qaffas A. A. An Operational Ontology for the Selection of Advanced Courses in Management Information Systems. Journal of Information Technology Management. 2020. Vol. 12. No. 3. p. 101.
9. Dai Y., Yoshikawa M., Sugiyama K. Prerequisite-aware course ordering towards getting relevant job opportunities. Expert Systems with Applications. 2021. Vol. 183. pp. 115-233.
10. Duarte R. et al. Broader Terms Curriculum Mapping: Using Natural Language Processing and Visual-Supported Communication to Create Representa-
tive Program Planning Experiences [Электронный ресурс]. - Режим доступа: https://doi.org/10. 48550/arXiv.2102.04811 (In Eng.).
11. Limongelli C. et al. A Teacher Model to Speed up the Process of Building Courses // Human-Computer Interaction. Applications and Services: 15th International Conference, HCI International 2013, Las Vegas, NV, USA, July 21-26, 2013, Proceedings, Part II 15. - Springer Berlin Heidelberg, 2013. - С. 434-443. (In Eng.).
12. Grasha A. Teaching with Style: A Practical Guide to Enhancing Learning by Understanding Teaching and Learning Styles. - Alliance Publishers, 1996. (In Eng.).
13. Агеев Ю. Д. и др. Оценка противоречивости логической структуры учебного плана // Статистика и экономика. 2018. №. 5. С. 73-80.
14. Martínez-Zarzuelo A., Roanes-Lozano E., Fernández-Díaz M. J. A Computer Approach to Mathematics Curriculum Developments Debugging // Eurasia Journal of Mathematics, Science and Technology Education. 2016. Т. 12. №. 12. С. 2961-2974. (In Eng.).
15. Wengle E., Knorn S., Varagnolo D. COnCUR-COherence in CURricula: A Tool to Assess, Analyze and Visualize Coherence in Higher Education Curricula // IFAC-PapersOnLine. 2020. Т. 53. №. 2. С. 17598-17603. (In Eng.).
DOI: 10.1016/j.ifacol.2020.12.2675.
16. Varagnolo D. et al. Graph-theoretic Approaches and Tools for Quantitatively Assessing Curricula Coherence // European Journal of Engineering Education. 2021. Т. 46. №. 3. С. 344-363. (In Eng.). DOI: 10.1080/03043797.2019.1710465.
17. Ochoa X. Simple Metrics for Curricular Analytics // Proceedings of the 1st Learning Analytics for Curriculum and Program Quality Improvement Workshop, CEUR Workshop Proceedings. 2016. Т. 1590. С. 20-26. (In Eng.).
tive Program Planning Experiences. Available at: https://doi.org/10.48550/arXiv.2102.04811
11. Limongelli C. et al. A Teacher Model to Speed up the Process of Building Courses. Human-Computer Interaction. Applications and Services: 15th International Conference, HCI International 2013, Las Vegas, NV, USA, July 21-26, 2013, Proceedings, Part II 15. Springer Berlin Heidelberg. 2013. pp. 434-443.
12. Grasha A. Teaching with Style: A Practical Guide to Enhancing Learning by Understanding Teaching and Learning Styles. Alliance Publishers. 1996.
13. Ageev Yu. D. at all. Assessing the Inconsistency of the Logical Structure of the Curriculum. Statistika i ekonomika. 2018. No. 5. pp. 73-80. (In Russ.).
14. Martínez-Zarzuelo A., Roanes-Lozano E., Fernández-Díaz M. J. A Computer Approach to Mathematics Curriculum Developments Debugging. Eurasia Journal of Mathematics, Science and Technology Education. 2016. Vol. 12. No. 12. pp. 2961-2974.
15. Wengle E., Knorn S., Varagnolo D. COnCUR-COherence in CURricula: A Tool to Assess, Analyze and Visualize Coherence in Higher Education Curricula. IFAC-PapersOnLine. 2020. Vol. 53. No. 2. pp. 17598-17603.
DOI: 10.1016/j.ifacol.2020.12.2675.
16. Varagnolo D. et al. Graph-theoretic Approaches and Tools for Quantitatively Assessing Curricula Coherence. European Journal of Engineering Education. 2021. Vol. 46. No. 3. pp. 344-363.
DOI: 10.1080/03043797.2019.1710465.
17. Ochoa X. Simple Metrics for Curricular Analytics. Proceedings of the 1st Learning Analytics for Curriculum and Program Quality Improvement Workshop, CEUR Workshop Proceedings. 2016. Vol. 1590. pp. 20-26.
Статья поступила в редакцию 12.04.2024; одобрена после рецензирования 06.05.2024; принята к публикации 19.05.2024. The article was submitted 12.04.2024; approved after reviewing 06.05.2024; accepted for publication 19.05.2024.
