ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ ДЛЯ УЧЕБНОЙ АНАЛИТИКИ И ЭТАПЫ ПЕДАГОГИЧЕСКОГО ПРОЕКТИРОВАНИЯ: ОБЗОР РЕШЕНИЙ Текст научной статьи по специальности «Науки об образовании»

Искусственный интеллект для учебной аналитики и этапы педагогического проектирования: обзор решений

Елена Другова, Ирина Журавлева, Ульяна Захарова, Валерия Сотникова, Кристина Яковлева

Другова Елена Анатольевна — кандидат философских наук, научный сотрудник Центра социологии высшего образования Института образования, Национальный исследовательский университет «Высшая школа экономики». Адрес: 101000, Москва, Потаповский пер., 16, стр. 10. E-mail: edrugova@hse.ru, ORCID: https://orcid.org/0000-0002-4373-4341 (контактное лицо для переписки) Журавлева Ирина Игоревна — Master of Education, аналитик Центра социологии высшего образования Института образования, Национальный исследовательский университет «Высшая школа экономики». E-mail: izhuravleva@ hse.ru, ORCID: https://orcid.org/0000-0002-0364-4819

Захарова Ульяна Сергеевна — кандидат филологических наук, научный сотрудник Центра социологии высшего образования Института образования, Национальный исследовательский университет «Высшая школа экономики». E-mail: uzakharova@hse.ru, ORCID: https://orcid.org/0000-0003-4262-3057 Сотникова Валерия Евгеньевна — магистрант Института образования, Национальный исследовательский университет «Высшая школа экономики». E-mail: vesotnikova@edu.hse.ru, ORCID: https://orcid.org/0000-0002-6082-8083 Яковлева Кристина Игоревна — аспирант Томского государственного педагогического университета, профконсультант Института дистанционного образования, Национальный исследовательский Томский государственный университет. E-mail: kristan93@yandex.ru, ORCID: https://orcid.org/0000-0001-5695-5808

Аннотация Методы искусственного интеллекта (ИИ) все чаще используются в исследованиях и разработках в области учебной аналитики (УА), призванной анализировать данные, накопленные в процессе обучения, с целью повышения его результативности. С этой же целью создаются модели педагогического проектирования. Наиболее широко распространена сегодня модель ADDIE, раскладывающая создание учебного курса на этапы. Пользователи и исследователи критикуют методы ИИ и УА за слабую связь с практикой преподавания, а педагогическое проектирование — за недостаток доказательности и измеримости. Проведен обзор литературы с целью продемонстрировать перспективы объединения этих трех областей знания и практики посредством анализа технологических решений для высшего образования, описанных в научных публикациях. В теоретической части рассмотрены понятие ИИ, технологии и методы ИИ, области применения ИИ в образовании, понятие УА, ее границы, виды и сферы применения УА, понятие и суть педагогического проектирования, а также модель ADDIE, на которую опирается практическая часть исследования. Итоговую выборку публикаций составили 43 статьи. Решения, описанные в них, соотнесены с задачами этапов пе-

Статья поступила в редакцию в августе 2022 г.

дагогического проектирования учебных курсов и на этом основании систематизированы. Обнаружено, что наименьшее количество описанных в литературе решений относится к этапам анализа, дизайна и оценивания, больше статей соответствует этапу разработки, и наибольшее количество публикаций отражает решения, предназначенные для этапа применения курса. Такое распределение публикаций может объясняться разницей в доступности данных на разных этапах создания курса, а также слабой методической рефлексией преподавателей на этапе оценивания. Перспективы применения ИИ и УА в педагогическом проектировании связаны с дальнейшим развитием моделей, с переходом от экспериментов к массовой практике, а также с наращиванием компетенций преподавателей. Выводы и вопросы, прозвучавшие в статье, могут задать новую, педагогически ориентированную рамку обсуждения применения ИИ и анализа учебных данных в образовании.

Ключевые слова искусственный интеллект, учебная аналитика, педагогическое проектирование, ADDIE, рекомендательные системы, высшее образование.

Для цитирования Другова Е.А., Журавлева И.И., Захарова У.С., Сотникова В.Е., Яковлева К.И.

(2022) Искусственный интеллект для учебной аналитики и этапы педагогического проектирования: обзор решений. Вопросы образования /Educational Studies Moscow, № 4, сс. 107-153. https://doi.org/10.17323/1814-9545-2022-4-107-153

Artificial Intelligence for Learning Analytics and Instructional Design Steps: An Overview of Solutions

Elena Drugova, Irina Zhuravleva, Ulyana Zakharova, Valeriya Sotnikova, Kristina Yakovleva

Elena A. Drugova — Candidate of Sciences in Philosophy, Research Fellow at the Centre of Sociology of Higher Education, Institute of Education, National Research University Higher School of Economics. Address: Building 10, 16 Potapovsky Lane, 101000 Moscow, Russian Federation. E-mail: edrugova@hse.ru, ORCID: https://or-cid.org/0000-0002-4373-4341 Corresponding author)

Irina I. Zhuravleva — Master of Education, Analyst at the Centre of Sociology of Higher Education, Institute of Education, National Research University Higher School of Economics. E-mail: izhuravleva@hse.ru, ORCID: https://orcid.org/0000-0002-0364-4819

Ulyana S. Zakharova — Candidate of Sciences in Philology, Research Fellow at the Centre of Sociology of Higher Education, Institute of Education, National Research University Higher School of Economics. E-mail: uzakharova@hse.ru, ORCID: https://orcid.org/0000-0003-4262-3057

Valeriya E. Sotnikova — Master Student, Institute of Education, National Research University Higher School of Economics. E-mail: vesotnikova@edu.hse.ru, ORCID: https://orcid.org/0000-0002-6082-8083

Kristina I. Yakovleva — Postgraduate Student, Tomsk State Pedagogical University, Career Advisor of Institute of Distance Education, National Research Tomsk State University. E-mail: kristan93@yandex.ru, ORCID: https://orcid.org/0000-0001-5695-5808

Abstract Artificial intelligence methods are getting frequently used in research and development in learning analytics, which is aimed at analyzing data collected during learning to enhance its results. The same aim is relevant for instructional design

models, the most widely applied is ADDIE model, which cuts course design into steps. The first two research fields are criticized for a weak connection to teaching practice, while the third lacks evidence-based and measurable nature. This literature review aims to show the prospects of bringing the three fields together. The theoretical analysis of the paper covers AI definition, its techniques and methods, areas of application in educational setting, the definition of learning analytics, its borders with other fields, spheres of application, definition and the essence of instructional design, as well as the concept of ADDIE model which frames the practical analysis of the review. Forty-three articles were included in the final sample. The solutions described there correlate with the tasks of the instructional design steps and are systematized according to them. It was found that the least number of solutions described in the literature were assigned to the analysis, design and evaluation steps, more articles were assigned to the development step, and the largest number of papers considered the application step. It can be due to the difference in the availability of data at different ADDIE steps. The weak focus of teachers on methodological reflection at the assessment step also may play a role. These deficiencies open up the opportunities for future research and developments. To push these solutions forward it is crucial to elaborate on the models, to move from anecdotal experiments to a wide-scale practice, and to enhance required competencies among the faculty. The questions and conclusions presented in the article help to set a new pedagogically-oriented framework for discussions of AI and learning data analytics.

Keywords artificial intelligence, learning analytics, instructional design, learning design, ADDIE, recommender systems, higher education.

For citing Drugova E.A., Zhuravleva I.I., Zakharova U.S., Sotnikova V.E., Yakovleva K.I. (2022) Iskusstvenny intellect dlya uchebnoy analitiki i etapy pedagogicheskogo proektiro-vaniya: obzor resheniy [Artificial Intelligence for Learning Analytics and Instructional Design Steps: An Overview of Solutions]. Voprosy obrazovaniya /Educational Studies Moscow, no 4, pp. 107-153. https://doi.org/10.17323/1814-9545-2022-4-107-153

Искусственный интеллект (ИИ) значительно расширяет возможности образования и продолжает непрерывно совершенствоваться. Методы ИИ, позволяющие анализировать большие массивы данных, которые накоплены в ходе реализации учебного процесса, в последнее время активно применяются специалистами в области учебной аналитики (УА). Традиционно преподаватели и администраторы образовательных учреждений обращаются к анализу данных на этапе подведения итогов определенного отрезка учебного процесса: модуля, семестра, года, с тем чтобы оценить прогресс студентов и посещаемость занятий. Данная статья призвана обратить внимание академического сообщества на другое направление УА — на ее применение не только для подведения академических итогов учебного процесса, но и для его педагогического проектирования. С этой целью в статье представлен обзор описанных в исследовательской литературе образовательно-технологических решений (а также их моделей и прототипов), систематизирующий перспективы использования ИИ для совершенствования педагогического проектирования учебного курса.

Теоретическое основание данной работы составляют три области знания и практики — искусственный интеллект, учебная аналитика и педагогическое проектирование — в их взаимодействии. В первой части обзора рассматривается понятие ИИ, описаны технологии и методы ИИ, дана характеристика сфер применения ИИ в образовании. Вторая часть посвящена УА, которая, с одной стороны, применяет технологии ИИ, а с другой — призвана предоставить информационную поддержку для принятия решений относительно педагогического проектирования; обсуждаются ее границы относительно ИИ, а также других схожих областей, таких как коллаборативное обучение с помощью компьютеров и интеллектуальный анализ образовательных данных; описаны ее виды и сферы применения. Наконец, в третьей части обсуждаются понятие и суть педагогического проектирования, а также представлена модель педагогического проектирования ADDIE, на которую опирается раздел статьи, посвященный анализу результатов и дискуссии. Согласно представленной в статье методике проведен отбор в индексируемых изданиях и анализ научных публикаций, которые посвящены проблематике ИИ, УА и педагогического проектирования. Попавшие в выборку 43 статьи распределены по этапам модели ADDIE и систематизированы в соответствии с задачами педагогического проектирования, на решение которых направлено применение ИИ. Обсуждаются проблемы педагогического проектирования на данных этапах, возможности и перспективы, которые дают технологии ИИ для их решения.

1. Теоретические основания

1.1. Применение технологий ИИ в сфере высшего образования

Термин «искусственный интеллект» впервые был использован в 1956 г. для описания «науки и техники создания интеллектуальных машин, особенно интеллектуальных компьютерных программ» [McCarthy et al., 2006. P. 13]. До сих пор общепризнанного определения ИИ не существует. Согласно Национальной стратегии развития ИИ на период до 2030 года в Российской Федерации под ИИ понимается «комплекс технологических решений, который позволяет имитировать когнитивные функции человека (включая самообучение и поиск решений без заранее заданного алгоритма) и получать при выполнении конкретных задач результаты, сопоставимые с интеллектуальными достижениями людей»1.

Термином «искусственный интеллект» описывают целый ряд технологий (мультиагентные технологии, технологии глубокого обучения, технологии data mining и др.), методов (ней-

1 Национальная стратегия развития искусственного интеллекта на период до 2030 года: https://base.garant.ru/72838946/#block_1000

ронные сети, генетические алгоритмы, нечеткая логика и др.) и инструментов (вывод скрытых закономерностей в данных, классификация, кластеризация, прогнозирование, принятие решений и др.), которые пересекаются и накладываются друг на друга [Leaton Gray, 2020].

Предиктивная аналитика используется для прогнозирования будущего события на основании анализа временных рядов и поиска скрытых закономерностей в событиях предыстории. В образовании предиктивная аналитика может применяться для оценки вероятности успешного прохождения академических программ учащимися с разным опытом, а также для выявления учащихся, которые находятся в зоне академического риска [Ong, 2016].

Одной из ключевых областей ИИ является машинное обучение (МО), технологии и инструменты которого основаны на механизме обучения/самообучения, что позволяет создавать «программное обеспечение, способное распознавать закономерности, делать прогнозы и применять обнаруженные закономерности в ситуациях, которые не были включены в первоначальный план» [Popenici, Kerr, 2017. P. 2]. МО может использоваться, например, для классификации и создания профилей учащихся, для предсказания учебных результатов [Zawacki-Richter et al., 2019], для моделирования поведения учащихся в учебной среде [Baker, Inventado, 2014]. Благодаря МО приложения ИИ могут собирать данные и генерировать собственные модели, а также учиться и улучшать эти модели с течением времени.

В последние годы отмечается бурное развитие глубокого обучения как одного из направлений МО [Deng, Yu, 2014]. Методы глубокого обучения дают возможность работать с неструктурированными данными, такими как видео-, аудио- и текстовая информация (в отличие от структурированных данных, например таблиц). Они самостоятельно извлекают и составляют набор базовых низкоуровневых признаков, постепенно усложняя их вплоть до высокоуровневых признаков, формирующих устойчивые образы, в дальнейшем распознаваемые системой. Глубокое обучение может использоваться для прогнозирования эффективности массовых открытых онлайн-курсов (МООК) на основе данных о поведении студентов при просмотре видео [Doleck et al., 2019].

Один из ключевых методов глубокого обучения — глубокие нейронные сети. Они состоят из слоев связанных между собой искусственных нейронов, которые обучаются выдавать правильные решения на выходе при подаче соответствующих входных сигналов. В образовании нейросети могут использо-

ваться, например, для построения «шкалы вовлеченности» с целью снижения отсева учащихся [Turhan, Erol, Ekici, 2016].

Методы ИИ также применяются при разработке социальных роботов [Lutz, Schöttler, Hofmann, 2019], которые могут выражать и воспринимать человеческие эмоции, общаться с человеком, используя диалог высокого уровня и естественные сигналы, такие как взгляды и жесты [Fosch-Villaronga, Lutz, Tam ô-Larrieux. 2020. P. 441].

На базе методов ИИ могут быть реализованы экспертные системы — программы, которые, в частности, способны имитировать процессы принятия решений человеком, используя базы данных [Leaton Gray, 2020]. В учебных средах экспертные системы могут применяться для интеллектуальной поддержки обучения, например интеллектуальные системы обучения, рекомендательные системы, адаптивные системы обучения [Kabudi, Pappas, Olsen, 2021]. Интеллектуальная система обучения может использовать методы ИИ «для моделирования действий человека, чтобы улучшить обучение за счет большей поддержки учащегося» [Hasanov, Laine, Chung, 2019. P. 404]. Рекомендательная система — это программный инструмент, который может быть основан «на методах МО и поиска информации, и предлагать потенциально полезные элементы в соответствии с чьими-либо интересами» [Syed et al., 2017. P. 1]. Такие системы развиты в МООК [Asli et al., 2020]. Адаптивные системы обучения представляют собой «персонализированные учебные платформы, которые адаптируются к стратегиям обучения учащихся, последовательности и сложности задач, времени обратной связи и предпочтениям учащихся» [Kabudi, Pappas, Olsen, 2021. P. 2]. Системы включают несколько измерений: 1) персонализацию обучения студента согласно целям и инструкциям от преподавателя; 2) развитие саморегулируемого обучения студента, информирование его о низкой эффективности выбранной им стратегии и предложение более продуктивных траекторий; 3) распознавание и адаптация процесса обучения под уровень студенческой вовлеченности, чувств и эмоции; 4) повышение мотивации к обучению [Baker, 2021].

В обзорах применения ИИ в высшем образовании выделяются, помимо упомянутых, и другие важные направления, такие как персонализация обучения [Goksel, Bozkurt, 2019], создание профилей учащихся, оценка учебных результатов [Zawacki-Richter et al., 2019]. Ключевыми технологиями и практиками, которые окажут значительное влияние на будущее высшего образования, эксперты называют ИИ для инструментов обучения (взаимодействие учащихся с инструментами и технологиями на основе ИИ) и ИИ для УА (применение УА образовательными учреждениями для принятия решений и поддержки успехов учащихся) [Pelletier et al., 2021].

1.2. Учебная В концепции данной статьи УА выступает связующим звеном аналитика между ИИ и педагогическим проектированием. Некоторые авторы употребляют понятия «учебная аналитика», «интеллектуальный анализ образовательных данных», МО и «искусственный интеллект» как взаимозаменяемые или очень близкие [Aldowah, Al-Samarraie, Fauzy, 2019; Hooda et al., 2022], поэтому важно изучить их границы.

Термин «учебная аналитика» применяется для обозначения измерения, сбора, анализа и представления данных об учащихся и окружающем их контексте. В отличие от академической аналитики, осуществляемой на уровне организаций или регионов с множественными и разными пользователями, УА действует на уровне курса, а ее бенефициарами выступают учащиеся и преподаватели [Siemens, Long, 2011]. В определении сотрудников аналитического центра Gartner, которое стало классическим, выделяется аналитика четырех степеней сложности и ценности: дескриптивная (описывающая, что уже произошло), диагностическая (подводящая к выводам о причинах произошедшего), предиктивная (прогнозирующая, что произойдет в будущем), прескриптивная (подсказывающая, как можно достичь ожидаемых результатов)2.

Модели УА чаще всего реализуются в системах усиления интеллекта (человека) и системах персонализированного обучения. Системы усиления интеллекта, также называемые системами поддержки решений, сообщают преподавателям или администраторам образовательных учреждений, часто в виде информационных панелей (dashboards), сырые данные об учебном процессе или, в случае привлечения более сложных методов, например МО, прогнозы и рекомендации. Системы персонализированного обучения включают несколько измерений: 1) персонализацию обучения студента, реализуемую автоматическими системами согласно целям и инструкциям, сформулированным преподавателем; 2) развитие саморегулируемого обучения студента, информирование его о низкой эффективности выбранной им стратегии и предложение более продуктивных траекторий; 3) распознавание и адаптация процесса обучения под уровень студенческой вовлеченности, чувств и эмоции; 4) повышение мотивации к обучению [Baker, 2021].

Исследователи выделяют следующие области УА [Siemens, Long, 2011]:

• на уровне курса: анализ попыток выполнения заданий, социальных сетей, дискурс-анализ;

2 4 levels of data maturity every manager should know: www.computd.nl/de-mystification/4-levels-of-data-maturity

• интеллектуальный анализ образовательных данных (включает предиктивное моделирование, кластеризацию, анализ паттернов);

• интеллектуальный учебный план (представление области знания, преподающейся в курсе, в таком формате, который доступен для понимания и обработки вычислительной системой [Fiallos, Ochoa, 2019]);

• адаптивное содержание, рекомендательные системы;

• адаптивный учебный процесс (социальные связи, учебная активность, поддержка обучающегося).

Для достижения этих целей применяются: моделирование, анализ связей, персонализация и адаптация, прогнозы,исследование структуры и анализ, традиционное оценивание и мониторинг [Zotou, Tambouris, Tarabanis, 2020].

Учебной аналитике посвящено множество обзоров литературы, в которых обсуждаются как теоретические вопросы определения границ этой области [Clow, 2013], так и результаты практического применения УА в образовании. Методы УА, преимущества и проблемы ее использования в высшем образовании рассматриваются в системном обзоре [Nunn et al., 2016]. На материале исследований, проведенных в течение пяти лет, проанализированы направления применения УА в высшем образовании, представлены методы, используемые в исследованиях, выявлены тенденции развития проектов с применением УА в высшем образовании, рассмотрены ограничения этих исследований и наиболее многообещающие направления [Leitner, Khalil, Ebner, 2017]. Анализ вызовов, которые встают перед теми, кто внедряет УА, и восьми доминирующих политик в этой сфере практики привел исследователей к выводу о критической важности установления коммуникации между заинтересованными сторонами, о необходимости разработки подходов к УА, основанных на педагогических знаниях, о нехватке руководств по развитию грамотности в отношении данных среди конечных пользователей [Tsai, Gasevic, 2017]. На материале 11 статей показана успешность образовательных интервенций, реализованных с помощью УА [Larrabee S0derlund, Hughes, Smith, 2019].

УА появилась вслед за интеллектуальным анализом образовательных данных (ИАОД). К. Ромеро и С. Вентура рассмотрели вышедшие в 1995-2005 гг. статьи, в которых описано применение интеллектуального анализа образовательных данных в разных образовательных средах, таких как онлайн-курсы, системы управления учебным контентом, адаптивные системы обучения и интеллектуальные обучающие системы. Авторы показывают, какие источники данных имеются в этих средах,

какие цели могут быть реализованы в них с помощью ИАОД, какие методы интеллектуального анализа образовательных данных применяются [Romero, Ventura, 2007]. В 2010 г. авторы опубликовали еще один обзор, где отслеживается изменение в повестке данных исследований [Romero, Ventura, 2010].

Как видно из упомянутых обзоров, УА и ИАОД преследуют одну цель — улучшение образования через совершенствование оценивания, понимание проблем, планирование интервенций. Тем не менее между ними существуют ключевые различия, в частности по цели: для УА это улучшение суждений человека, для ИАОД — автоматический анализ; по фокусу: в УА это информирование и расширение возможностей преподавателей и обучающихся для персонализации, в ИАОД — автоматическая (компьютерная) адаптация; по подходу: в УА — понимание системы как целого, в ИАОД — анализ отдельных компонентов системы и связей между ними [Siemens, Baker, 2012].

УА ставит перед исследователями и практиками все более сложные задачи: от описания к прогнозированию, от отчетов к выстраиванию наиболее результативного обучения, что требует привлечения разных методов, применяемых в ИИ как зонтичной области [Zawacki-Richter et al., 2019]. Так в научный обиход вошло выражение «искусственный интеллект для учебной аналитики». Разработчики ИИ-решений3 разъясняют, в чем состоят ключевые отличия ИИ-аналитики от традиционной. Во-первых, это масштаб: ИИ анализирует все имеющиеся данные, обучаясь на них определять, что есть норма, и идентифицируя любые отклонения. Этот подход более объективный и ресурсоэффективный. Во-вторых, скорость: ИИ анализирует данные постоянно и уведомляет интересантов о появлении аномалии в режиме реального времени, в то время как традиционные аналитики изучают данные периодически. В-третьих, точность и отсутствие эффекта предубежденности: традиционно аналитики формулируют гипотезу о причине некоего явления, а затем собирают и исследуют данные, чтобы проверить свою гипотезу. ИИ, а именно алгоритмы МО, не нуждаются в предварительной постановке гипотез.

Сторонники ИИ убеждены в возможности воспроизвести учебный процесс в виде симуляции, но с 1990-х годов развивается альтернативная исследовательская область, исходящая из представлений о сложности и социальной обусловленности процесса обучения — коллаборативное компьютерное обучение, или социальная УА. Предметом изучения в ней стали не индивидуальные достижения, а те образовательные результа-

3 AI analytics: https://www.anodot.com/learning-center/ai-analytics/

ты, которые формируются через сотрудничество, особенно в неакадемическом контексте (дома, в соцсетях, на рабочем месте) с применением бесплатных онлайн-инструментов и без спроектированного учебного плана [Shum, Ferguson, 2012]. Анализ сетей социального взаимодействия, обучения в группе, распределения возможностей, ресурсов и результатов между ее участниками, совместного создания артефактов в качестве учебных заданий можно отнести к коллаборативному компьютерному обучению. Различия четырех исследовательских областей представлены в табл. 1.

Таблица 1. Обзор четырех исследовательских областей образования и технологий

ИИ в образовании Коллаборативное компьютерное обучение ИАОД УА

Основная цель Симулировать и предсказывать учебный процесс Понять учебный процесс внутри и вне учебной аудитории Анализировать данные из образовательных систем Улучшить учебный процесс

Образовательные, теоретические и философские основания Любая форма обучения может быть описана, и компьютеры способны симулировать эти процессы. Учащиеся рациональны. Образовательно / педагогически нейтрально Сфокусировано на сотрудничестве и взаимодействии двух и более человек. Теории коммуникации, социальный конструктивизм, социокультурная и социальная психология Нейтрально Ряд педагогических теорий, включая связанное обучение (посредством интернета), саморегулируемое обучение, социо-конструктивизм

Техники и подходы МО, исследования вмешательства оператора Дискурс-анализ, контент-анализ, опросы, анализ социальных сетей Компьютерное моделирование (взаимодействие «человек — компьютер», МО, ИИ), анализ данных, психометрическая статистика, визуализация Дискурс-анализ, анализ естественного языка, МО, прогностическое моделирование, качественные исследовательские методы, анализ социальных сетей, визуализация

Источник: [Rienties, K0hler Simonsen, Herodotou, 2020], перевод авторов.

Таким образом, УА — это сфера исследований и разработок, в которых накопленные в ходе образовательного процесса данные обрабатываются для улучшения обучения. Область ИИ пересекается с областью УА в части применимых в обеих областях методов. УА открывает преподавателям и студентам большие возможности в повышении эффективности обучения, но при этом предъявляет ряд требований к организации учебного процесса. Практика использования УА выдвинула на повестку дня проблемы, которые предстоит решить:

• применение различных платформ и цифровых устройств для обучения и коммуникации по курсу, а также отсутствие цифровых следов по очным активностям и даже чтение текстов, распечатанных с цифрового носителя, усложняют сбор данных и ставят под сомнение надежность выводов. В то же время применение УА актуализирует острую проблему защиты персональных данных;

• УА не имеет связи с теориями обучения и развивается скорее в логике технологических, чем педагогических решений. Поэтому преподаватели не расценивают УА как способ получения глубоких и практических выводов применительно к своему курсу [Yan, Lin, 2021] и как средство удовлетворения актуального запроса на методическую поддержку.

1.3. Педагогическое проектирование в сфере высшего образования

Термин «педагогическое проектирование» в широком смысле, как он используется в данной статье, призван охватить то, что в англоязычной литературе обозначается терминами «педагогический дизайн» (instructional design) и «учебный дизайн» (learning design). Педагогический дизайн определяется как «систематический процесс, используемый для последовательной и достоверной разработки учебных программ» [Reiser, Demp-sey, 2007. Р. 11]. Под учебным дизайном имеется в виду «методология, позволяющая учителям/дизайнерам принимать более обоснованные решения о том, как проектировать учебные мероприятия и интервенции педагогически обоснованно, эффективно используя соответствующие ресурсы и технологии» [Conole, 2012. Р. 121]. Педагогический дизайн фокусируется на применении педагогических подходов для достижения целей обучения, а учебный дизайн ориентирован на учащегося и сосредоточен на оптимизации его деятельности [Seel et al., 2017].

Одна из основных сложностей для преподавателя при проектировании обучения состоит в том, что учебный дизайн не может содержать информацию о том, как именно учащиеся будут участвовать в учебной деятельности и достигать результатов обучения [Corrin et al., 2016]. Исследователи различают спроектированное (designed) и действительное (actioned) обучение, подчеркивая неправомерность предположения, что учащиеся будут воспринимать обучение именно так, как оно задумано [Ellis, Goodyear, 2010]. УА фиксирует поведение учащихся в цифровой среде, поэтому интеграция проектирования и УА — это возможность для преподавателей оценить, реализуются ли их педагогические намерения на практике.

В фокусе нашей работы находится преподаватель, его педагогические намерения и возможности влиять на проектирование обучения, поэтому поисковый запрос включал именно

instructional design как подход, ориентированный на деятельность преподавателя, однако из выборки не исключались статьи, использовавшие подход learning design, так как различия этих подходов к проектированию не являются существенными для поставленных задач. В русскоязычной литературе еще не устоялся перевод понятий instructional design и learning design — оба термина могут переводиться как «педагогический дизайн», «учебный дизайн», «образовательное проектирование», «педагогическое проектирование» или «образовательный дизайн» и часто заменяют друг друга или используются синонимично.

Обзорных публикаций, которые бы систематизировали применение технологий ИИ и УА к разным аспектам проектирования, немного. Компьютеризированный контент-анализ 425 научных статей, опубликованных в период с 2000 по 2019 г. и посвященных применению методов ИИ и глубокого обучения в преподавании и обучении, показал, что в 2000-2009 гг. превалировали исследования проектирования и реализации он-лайн-обучения, в этот же период как смежная тема появляются исследования виртуальной реальности. Далее, в 2010-2019 гг., с развитием больших данных доминирующими становятся исследования в области УА, предсказания образовательной успешности и моделей студенческого профайлинга, в то время как традиционные исследования в области технологически опосредованного педагогического дизайна идут на спад [Guan, Mou, Jiang, 2020]. На основании этих данных авторы делают вывод об актуальности состыковки УА и традиционных исследований педагогического проектирования. Связь между УА и педагогическим проектированием проанализирована на основании 43 опубликованных в 2007-2017 гг. исследований: контексты применения, виды используемых для анализа данных, перспективы развития области [Mangaroska, Giannakos, 2018]. По результатам еще одного обзора работ в области педагогического проектирования и УА предложен фреймворк аналитики для преподавания и обучения, помогающий соединить эти две области. Однако в большинстве публикаций констатируется дефицит концептуальных работ и моделей для совмещения результатов применения методов ИИ и инструментов УА для совершенствования проектирования обучения и учебного опыта.

1.4. Модель ADDIE Для систематизации описаний образовательных решений в системе высшего образования, реализованных с использованием ИИ и направленных на совершенствование проектирования учебного курса и/или каких-то его элементов, предлагаем воспользоваться моделью педагогического дизайна ADDIE. Она разработана в 1975 г. Центром образовательных техноло-

гий при Университете штата Флорида. Модель состоит из пяти этапов образовательного проектирования: 1) анализ; 2) дизайн; 3) разработка; 4) применение; 5) оценивание [Branch, 2009]. Эти этапы представляют собой алгоритм образовательного проектирования, повторяющийся в других моделях, производных от ADDIE.

На этапе анализа определяются ожидаемые результаты обучения, проектируемые с учетом анализа особенностей целевой аудитории, пререквизитов курса, запросов работодателя и других факторов. Результаты обучения в совокупности формируют каркас проектирования курса, отдельных занятий и учебных мероприятий. Результаты обучения декомпозируются на результаты конкретных модулей, частей курса. Также на этапе анализа проектируется суммирующее оценивание.

На этапе дизайна происходит пошаговое планирование учебных занятий: выстраивается последовательность учебных активностей в соответствии с запланированными результатами. Определяется стратегия подачи контента, планируются формирующие оценочные мероприятия.

На этапе разработки создаются или подбираются учебные ресурсы, обеспечивающие сначала формирование и затем оценивание достижения результатов обучения. Происходит наполнение электронного курса, разрабатываются руководства для студентов и преподавателя, подбираются примеры, упражнения, мультимедиа-ресурсы и т.д.

На этапе применения осуществляется реализация спроектированного курса, апробация продукта в реальном учебном процессе, где особое внимание уделяется оценке функциональности курса, вовлеченности студентов, качеству их взаимодействия между собой, с преподавателем, с учебными ресурсами.

Завершается цикл ADDIE-проектирования этапом оценивания: анализом эффективности спроектированного курса, самооценкой его усвоения, оценкой результатов студентов, а также оценкой студентами прошедшего курса, получением от них обратной связи. По результатам такой комплексной оценки принимаются решения по доработке продукта в новом цикле проектирования [Branch, 2009].

Таким образом, применительно к исследованиям ИИ в образовании опубликованы литературные обзоры, систематизирующие накопленный исследовательский опыт по таким направлениям, как ИИ в образовании в целом [Zawacki-Richter et al., 2019; Guan, Mou, Jiang, 2020], интеллектуальный анализ образовательных данных [Romero, Ventura, 2007; 2010; Baker, Yacef, 2009; Mohamad, Tasir, 2013], УA в целом [Clow, 2013; Nunn et al., 2016; Leitner, Khalil, Ebner, 2017; Tsai, Gasevic, 2017; Larrabee Snder-lund, Hughes, Smith, 2019], УA для поддержки учебного дизайна

[Mangaroska, Giannakos, 2019; Sergis, Sampson, 2017], рекомендательные системы в образовании [George, Lal, 2019; Guruge, Ka-del, Halder, 2021]. Чаще всего обзоры посвящены каким-то конкретным технологиям ИИ или узким задачам, реализуемым с помощью этих технологий в образовании; обнаруживается недостаток систематических описаний исследований и практик применения ИИ для педагогического проектирования. Попытки систематизировать такие публикации в соответствии с популярными моделями педагогического проектирования, такими, например, как модель ADDIE, до сих пор не предпринимались.

2. Методология Цель исследования состоит в том, чтобы охарактеризовать опии методы санные в научной периодической литературе образовательные решения в системе высшего образования, решающие задачи УА и реализованные с использованием методов ИИ, с позиции их вклада в разные этапы педагогического проектирования.

В соответствии с этой целью перед исследованием поставлены следующие задачи:

1) соотнести эти решения с задачами этапов педагогического проектирования учебных курсов и на этом основании систематизировать их;

2) охарактеризовать лакуны в таких решениях, обнаруживаемые при их соотнесении с ключевыми этапами педагогического проектирования учебных курсов, и обозначить перспективы развития таких разработок.

2.1. Материалы Для решения поставленных задач выполнен обзор научной лии методы тературы. Работа проводилась в марте — июне 2022 г. Публикации отбирались в двух крупнейших библиографических базах — Web of Science и Scopus.

Этап 1. Поисковый запрос включал перечисление на английском языке всех интересующих нас областей: высшее образование, педагогическое проектирование, учебная аналитика, рекомендательные системы и искусственный интеллект. Каждое словосочетание было заключено в кавычки для поиска точного совпадения.

Ни в Web of Science, ни в Scopus не найдено ни одной статьи, в которой бы пересекались все пять ключевых словосочетаний. Исключение по одному словосочетанию из запроса (обозначены в таблице крестиком) также не привело к существенному увеличению результатов: суммарное число после удаления дублей составило 13 статей (табл. 2).

Таблица 2. Итоги поискового запроса на этапе 1

Artificial intelligence Instructional design Higher education Recommender system Learning analytics Итого найдено статей

Web of Science 0

х 0

х 1

х 1

х 3

х 5

Scopus 0

х 0

х 3

х 0

х 1

х 0

По нашему мнению, полученный на первом этапе результат может являться свидетельством, во-первых, малой разработанности данной междисциплинарной области; во-вторых, слабой научной рефлексии данной проблематики; в-третьих, новизны данной работы.

Этап 2. Второй запрос был сформулирован шире: artificial intelligence AND higher education AND teaching AND OR learning, поскольку авторы могли обсуждать педагогическое проектирование, не используя термин instructional design, и описывать применение методов ИИ для проектирования без упоминания термина learning analytics. Суммарно две базы выдали 328 источников по данному запросу.

Этап 3. Увидев по аннотациям статей, собранных на предыдущих этапах, что наиболее близкие по проблематике к педагогическому проектированию работы посвящены рекомендательным системам, мы сформировали новый запрос: recommender system AND higher education, давший в итоге 195 источников.

Суммарная выборка после удаления дублей составила 517 источников. Дальнейшая процедура отбора статей для анализа представлена на рис. 1. Аннотации и полные тексты статей были разделены между соавторами данного обзора, решения каждого человека о включении статьи в выборку впоследствии обсуждались со всеми остальными соавторами. В итоговую выборку вошли 43 статьи.

Рис. 1. Схема отбора источников для литературного обзора

ПОИСК

ОБЗОР АННОТАЦИЙ

«artificial intelligence» AND «instructional design» AND «higher education» AND «recommender system» AND «learning analytics» (13 статей)

«artificial intelligence» AND «higher education» AND teaching AND OR learning (328 статей)

«recommender system AND higher education» (195 статей)

517 статей — отсмотрены аннотации

Исключены 19 статей, имеющих дубли

ЧТЕНИЕ ПОЛНЫХ ТЕКСТОВ 93 статьи — прочтены полные тексты

1 Г

ИТОГОВАЯ ВЫБОРКА 43 статьи — включены в анализ

Исключены 434 статьи:

• не соответствующие фокусу исследования;

• без полного текста в открытом доступе;

• выполненные на иностранном языке, недоступном авторам обзора;

• не посвящены высшему образованию

Исключены 50 статей, не соотносящиеся с этапами модели ADDIE

Распределение публикаций в итоговой выборке по времени выхода в свет представлено на рис. 2. Поскольку отбор статей осуществлялся в марте 2022 г., число публикаций в текущем году не следует считать окончательным. Очевидно, что внимание к данной теме стремительно растет.

Рис. 2. Распределение статей в итоговой выборке по году публикации

Программная поддержка обзора осуществлялась библиографическими менеджерами Mendeley и Rayyan, куда загружалась база статей с аннотациями и полными текстами, проставлялись отметки о включении источника в выборку для следующего этапа.

В результате анализа отобранных 43 статей сформирована обобщающая таблица, содержащая следующие поля:

• этап образовательного проектирования по ADDIE;

• область применения решения на основе ИИ;

• авторы статьи и год публикации;

• название статьи;

• краткое описание назначения образовательного решения (см. Приложение 1).

3. Результаты Отобранные 43 статьи распределены в соответствии с этапа-и дискуссия ми педагогического проектирования по модели ADDIE в зависимости от назначения описанного в них решения, что является реализацией первой задачи исследования. Внутри каждого этапа выделены тематические подгруппы, в которые собраны решения схожей направленности. Такой подход к описанию статей, попавших в выборку, позволяет по-новому рассмотреть образовательно-технологические решения на основе ИИ, описанные в литературе, сфокусировавшись на их вкладе в тот или иной этап и в решение задачи педагогического проектирования, а также зафиксировать имеющиеся лакуны и перспективы для разработки и применения таких решений в ближайшем будущем, т.е. решить вторую исследовательскую задачу. Более ранних систематизаций такого рода нам найти не удалось, кроме единственной попытки: это проведенный в 2018 г. обзор трендов ИИ в высшем образовании по направлениям «контент», «методы преподавания», «оценивание», «коммуникация», которые можно представить как элементы, вписывающиеся в задачи педагогического проектирования [Chassignol et а1., 2018]. Однако эта попытка единична, и, как было показано выше, обычно обзоры фокусируются на отдельных узких технологиях ИИ. Таким образом, данный обзор привносит новизну в описание областей применения ИИ в высшем образовании.

3.1. Анализ Этап анализа предполагает определение ожидаемых результатов обучения, которые формируют каркас проектирования курса. Также на этапе анализа проектируется суммирующее оценивание. Сложности этого этапа могут быть связаны с определением адекватных данной аудитории целей обучения, с подбором релевантных этим целям способов оценивания, с анализом контекста и потребностей пользователей.

3.1.1. Предсказание В выборке обнаружено описание всего одной системы, которая выбора курса помогает проектировать курс на этапе анализа. Предиктивная студентами модель выбора курса студентами на основе пререквизитов курса, особенностей целевой аудитории, ее запроса [Ognjanoviс,

Gasevic, Dawson, 2016] может способствовать прояснению этих параметров для разработчика курса и помочь ему сформулировать ожидаемые результаты обучения.

Важной составляющей этапа анализа является определение суммирующего оценивания. В выборке не оказалось статей, в которых рассматривались бы возможности ИИ для решения этой задачи, однако дополнительный поиск показал, что ИИ в области формирующего и суммирующего оценивания активно развивается, например разрабатываются и применяются автоматизированные системы оценки эссе и компьютеризированные адаптивные тесты, в основе которых лежат анализ больших данных и МО [Gardner, O'Leary, Yuan, 2021].

Профайлинг студентов с помощью ИИ уже достаточно развит [Guan, Mou, Jiang, 2020], поэтому вполне можно ожидать его применения не только для предсказания академической успешности и рисков, но и для информирования разработчиков курсов об особенностях их студенческой аудитории.

В целом же этап анализа как формирования каркаса будущего курса, его главных характеристик, уникален для каждого курса, и этим можно объяснить небольшое количество разработок в области ИИ, которые бы помогали на этом этапе. Основываясь на соотношении целей обучения и суммирующего оценивания, на различных таксономиях целей обучения, на примерах разработанных и успешно реализованных курсов, с помощью ИИ возможно сформировать рекомендательные системы, помогающие разработчикам курсов с определением целей обучения и суммирующего оценивания.

3.2. Дизайн Этап дизайна в модели ADDIE подразумевает планирование последовательности учебных занятий, формирующих оценочных мероприятий, стратегий преподавания, критериев оценивания. Каркас курса становится более четким. Сложности данного этапа проектирования могут быть обусловлены недостаточно точно и полно определенными на предыдущем этапе результатами обучения: плохо сформулированные целевые результаты с трудом поддаются переводу в учебные активности и стратегии преподавания, требуют пересмотра, уточнения, декомпозиции.

3.2.1. Педагогические паттерны проектирования курсов

В выборке обнаружены всего два примера систем, которые можно отнести к данному этапу, и оба они касаются рекомендаций в области проектирования курса на основании педагогических паттернов. В первой публикации описана система полуавтоматической сборки курса в среде учебной деятельности LAMS, помогающая преподавателю выстроить последователь-

ность занятий, а также подобрать к ним учебные ресурсы [Verbert et al., 2012], во второй — рекомендательная система педагогических паттернов, позволяющая преподавателю определить наиболее эффективные учебные стратегии для конкретной аудитории студентов [Cobos et al., 2013]. В обоих случаях рекомендации выдаются на основании анализа паттернов, обнаруживаемых в данных большого массива готовых курсов, контекст при этом определяется спецификой преподаваемого предмета, особенностями целей обучения, характеристиками студентов и самого преподавателя.

Небольшому количеству обнаруженных в выборке статей для данного этапа проектирования можно предложить несколько объяснений. Во-первых, данный этап также уникален для каждого конкретного курса. Во-вторых, вероятно, данных, систематически накопленных разными курсами на данном этапе, недостаточно. Этот же аргумент относится к этапу анализа. На этих этапах данные не производятся массово, поскольку еще не начат учебный процесс, не подключены учебные ресурсы, а курс пока представляет собой лишь «каркас». Поскольку уже есть прецеденты разработки на основе ИИ систем, помогающих при применении критериального оценивания [Cabrera, Villalon, 2013], можно предположить, что они могут быть использованы и на этапе дизайна критериального оценивания.

3.3. Разработка В задачи этапа разработки входят создание или подбор учебных ресурсов, обеспечивающих достижение запланированных результатов обучения, разработка всех элементов курса, наполнение курса — как содержательное, так и организационное. Поскольку уже накоплено большое количество цифровых образовательных ресурсов и организованы их репозитарии, имеются хорошие условия для создания рекомендательных систем в этой области. Трудностями данного этапа могут выступать дефицит контента, его устаревание, необходимость его адаптации под разные аудитории.

В выборку попали четыре статьи, описывающие решения, которые помогают преподавателям подбирать образовательные ресурсы. Система DELPHOS рекомендует цифровые образовательные ресурсы при проектировании курса [Zapata et al., 2013; 2015]. DELPHOS позволяет реализовать такой подбор сразу во многих репозиториях, систематично и качественно, с применением разных фильтров, например с учетом потребностей и запросов обучающихся. Существует система, анализирующая паттерны большого массива курсов и позволяющая препода-

3.3.1. Подбор и создание образовательных ресурсов

вателю подобрать подходящие учебные ресурсы к своему курсу, заполнив небольшой опросник [Verbert et al., 2012]. Система учебной аналитики MoodleRec является плагином, расширяющим LMS Moodle и дающим преподавателю возможность получить ранжированный список учебных ресурсов из разных библиотек, интегрированных в модуль [De Medio et al., 2020]. Плагин позволяет увидеть, как учебный ресурс использовался в других курсах в LMS. На основе МО и ИИ разработана система для подбора мультимедийных образовательных средств [Abdelhakim, Shirmohammadi, 2008].

Описанные системы позволяют пользователям управлять получаемыми в результате поисковых запросов рекомендациями и рассматриваются как позитивное дополнение в организации учебного процесса. Авторы считают, что данные системы, безусловно, снижают нагрузку на преподавателей [Verbert et al., 2012], но при этом подчеркивают, что подтвердить эффективность представленных рекомендательных систем еще предстоит в дальнейших исследованиях [Zapata et al., 2013]. Преподаватели относятся к предложенной образовательной инновации чаще положительно, однако их могут беспокоить ограничения, которые несут такие рекомендательные системы [Verbert et al., 2012]. А. Африди инициировал дискуссию о необходимости пользовательского контроля над рекомендательными системами на основании проведенного им опроса студентов, преподавателей и библиотекарей относительно потребностей в пользовательском контроле над рекомендательными системами учебного материала [Afridi, 2018].

Две статьи из выборки описывают решения по автоматическому созданию образовательных ресурсов. Платформа на основе технологий обработки естественного языка (natural language processing) автоматически собирает информацию из разных источников и формирует актуальные новости в интересующей пользователя области [Herranz, Palomo, del Carmen de la Orden de la Cruz, 2018]. Платформа протестирована в рамках курса «Финансы», методом кластеризации она агрегировала новости об изменении экономической ситуации, являющиеся важными учебными материалами. Зафиксирован положительный эффект от ее применения в отношении образовательного процесса и мотивации студентов. Разработана программа, которая позволяет создавать списки терминов по дисциплине (глоссарий) [Variawa, McCahan, 2014]. Алгоритм, представленный в этом исследовании, способен извлекать текст из учебного материала и иерархически отображать терминологию, относящуюся к конкретному курсу. Расчеты авторов исследования показывают, что алгоритм хорошо справляется с задачей определения слов, которые характерны для той или иной дисципли-

ны, но при его использовании возникают трудности в точном определении терминов, относящихся к предмету. Таким образом, описанные системы выступают альтернативами предметному экспертному человеческому знанию, хотя их применение пока ограничено рамками проведенных экспериментов. Авторы также отмечают, что алгоритм, предназначенный для создания глоссария, можно применять в целях выработки четкой формулировки образовательных результатов, что также является задачей педагогического проектирования [Variawa, McCahan, 2014].

3.3.2. Создание образовательных ресурсов с учетом потребностей студентов с ограниченными возможностями здоровья

На этапе разработки важно принимать во внимание особенности аудитории, в том числе возможное наличие студентов с ограниченными возможностями здоровья. Их интересы обычно учитываются при подборе и создании учебных материалов. Одна статья в выборке [|с^еПапо et а1., 2020] описывает возможность применения чат-ботов на основе ИИ в системе Moodle для помощи учащимся с ограничениями по слуху. Авторы проанализировали запросы студентов с нарушениями слуха к организации учебного процесса в вузах при дистанционном обучении. Выполненный авторами обзор исследований показал, что диалоговые помощники в виртуальных средах, созданные на основе технологий ИИ, делают дистанционное обучение более доступным для слабослышащих людей.

Технологии ИИ активно используются в образовании для помощи людям с ограниченными возможностями здоровья. Они позволяют ставить диагноз, например определять дислексию; игровые технологии помогают детям с расстройствами аути-стического спектра осваивать социальные навыки; «умные переводчики» облегчают слабослышащим учащимся восприятие учебного материала и взаимодействие; виртуальная и дополненная реальности помогают достигать высоких результатов; специальные программы дают возможность слабовидящим работать с учебным материалом Sharma, 2020]. Большинство таких разработок созданы для детей школьного возраста, и в сфере высшего образования разработка учебных материалов или помощников на основе ИИ для людей с ограниченными возможностями здоровья имеет большие перспективы.

3.3.3. Создание Две статьи в выборке оказались посвящены технологиям виртуальной реальности (VR) в образовании, основанным, в том числе, на применении ИИ, и касаются создания учебных ресурсов и обучающих сред. В одной из них [Kizilkaya, Vince, Holmes, 2019] предлагаются рамки, которые необходимо учитывать при проектировании VR-сред и обучающих приложений на осно-

новых видов учебного контента с использованием ИИ

ве виртуальной реальности для образования: это иммерсив-ность, интерактивность, точность, экспериментальность, автономность, оцениваемость. Эти рамки позволили авторам качественно спроектировать два обучающих приложения: одно помогает изучать иностранный язык, а другое — флебэктомию, при этом оба позволяют отрабатывать необходимые навыки с помощью симуляции. Во второй статье [Jiang, 2021] описаны вовлекающие интерактивные VR-решения как учебные ресурсы, применяемые в образовании. Процесс обучения с использованием VR-технологий может включать 3D-моделирование, использование графических и текстовых панелей, иммерсив-ных видеоматериалов, виртуальных 3й-туров, опираться на данные об учениках и УА, формируя более персонализированный учебный опыт. VR-технологии могут быть относительно малозатратными и предполагают достаточно большой охват студентов, а также позволяют решить ряд проблем, возникающих на этапе разработки учебного контента: нехватки учебных ресурсов, устаревания учебного оборудования и контента.

С точки зрения дизайна образовательного процесса применение VR-сред может дать уникальный учебный опыт: помочь имитировать опасные или сложно достижимые условия, например симулировать химические эксперименты [Chan et al., 2021] или хирургические операции [Mirchi et al., 2020]. Дискуссия относительно применения VR-решений в образовательном процессе в основном сконцентрирована на сложности масштабирования и тиражирования таких решений [Jiang, 2021], на условиях пребывания в VR, таких как когнитивная нагрузка на обучающегося [Chen, Chang, Chuang, 2022], отвлечения, стресс, вовлеченность, а также на подтверждении образовательных эффектов от применения VR-приложений [Kwon, 2018]. Решение этих вопросов позволит применять VR в образовании еще более масштабно.

3.4. Применение Этап применения предполагает переход от проектирования к практическому воплощению плана. На этом этапе проводится тест прохождения всего курса, поэтому можно условно выделить две его фазы: это тестовая реализация и окончательная реализация [Drljaca et al., 2017]. Качественная подготовка учебной среды поможет избежать трудностей при реализации курса [Branch, 2009].

Сложности на этапе применения связаны с необходимостью отслеживать учебный прогресс учащихся, удерживать вовлеченность, обеспечивать соответствие учебной среды индивидуальным запросам учащихся, сопровождать их в решении учебных проблем. Частично эти задачи могут решать интеллек-

туальные системы обучения. Исследования их применения преподавателями и студентами заметно активизировались: какие стратегии поддержки учащихся на основе полученных рекомендаций используют преподаватели, насколько эти стратегии результативны. Также важно гарантировать конфиденциальность данных учащихся, прозрачность и точность рекомендаций для формирования доверия к использованию интеллектуальных систем обучения преподавателями и студентами.

3.4.1. Обеспечение Использование чат-ботов, построенных с помощью алгоритмов поддержки ИИ, обсуждается в трех статьях из выборки. Обзор научных ра-студента бот, посвященных использованию чат-ботов в преподавании (чат-боты) и обучении в высших учебных заведениях, свидетельствует о том, что их внедрение в учебный процесс может способствовать улучшению преподавания и обучения, усилению вовлеченности студентов, а также предоставлять индивидуальный опыт, что особенно актуально для больших классов [Hamam, 2021].

Чат-бот EconBot, применяемый студентами с 2017 г. в рамках курса по экономике в программе бакалавриата, поддерживает диалог со студентом, что особенно важно в период ежегодной подготовки к тестам, когда у студентов нет доступа к преподавателям [Tamayo et al., 2020]. Авторы отмечают, что такой вид коммуникации оказался предпочтительнее для студентов в сравнении с чатами и форумами в LMS. EconBot проводит небольшую приветственную беседу, предлагает подписку на полезные уведомления, касающиеся курса, отправляет мотивирующие сообщения, предоставляет ссылки на учебные ресурсы, предлагает разнообразный учебный контент, например упражнения, короткие видео, изображения для объяснения важных концептов.

Чат-бот Bilge представляет собой инструмент, включенный в систему обратной связи для студентов [Fidan, Gencel, 2022]. Он оказывает поддержку в обучении, основанном на видео: интерактивные видео сопровождаются возможностью мгновенной обратной связи, реализуемой чат-ботом по запросу учащихся в отношении курса, его программы, задач, контента. Cравнение образовательных результатов трех подгрупп, включая контрольную, показало, что достижения студентов, чье прохождение курса сопровождалось чат-ботом, были существенно выше, чем у членов двух других подгрупп. Внутренняя мотивация учащихся, имевших возможность получать обратную связь, также оказалась выше, чем у контрольной группы. Чат-бот на основе ИИ может применяться не только для сопровождения обучения и обратной связи, но и для формирования определенных навыков, овладение которыми требует комму-

никативно насыщенной среды, например для изучения языков. Возможность практиковать речевые навыки с реальным партнером не всегда доступна в учебном процессе или доступна в ограниченном объеме — в этом случае учащимся может быть предложена коммуникация с чат-ботом [Ruan et al., 2021].

Исследования применения чат-ботов выявили ряд сложностей и проблем в их использовании, снижающих их эффективность. В частности, возможны трудности в распознавании голоса и изображений, в понимании некоторых вопросов, студенты не всегда бывают удовлетворены уровнем предоставляемых ответов [Fidan, Gencel, 2022]. Некоторые ограничения связаны с технической и функциональной стороной применения чат-ботов, конфиденциальностью и безопасностью [Hamam, 2021].

3.4.2. Реализация персонализированного и адаптивного обучения

Шесть статей из выборки посвящены инструментам поддержки персонализированного и адаптивного обучения. Применение инструментов на основе ИИ может способствовать студен-тоцентрированности и обеспечению качества обучения как при синхронном взаимодействии преподавателя и студентов, так и при самостоятельной работе студентов. Число систем УА, предназначенных для обеспечения индивидуальной обратной связи учащимся, растет, но специалисты отмечают недостаток исследований, в которых оценивается их влияние на обучение [Lim, 2021]. Анализ влияния системы обратной связи, основанной на УА, на саморегулируемое обучение и успеваемость студентов на первом курсе бакалавриата подтвердил улучшение итоговых оценок в экспериментальной группе [Ibid.].

Анализ данных 2 тыс. студентов, накопившихся в системе электронного обучения за шесть лет, использован для апробации алгоритма предварительной оценки знаний студентов. Цель модели — создать профиль социального обучения студента на основе того, что он делает на платформе. Рекомендации, основанные на использовании этого алгоритма, будут направлять персональную учебную траекторию студента [Mihalescu, Nita, Pau, 2016].

Созданная на основе ИИ-технологий платформа позволяет проводить тесты самооценки, адаптированные под разные уровни знаний студентов [París-Requeiro, Cabrero-Canosa, 2010]. Платформа, используя данные профиля студента, показатели взаимодействия студента с инструментом, генерирует тесты, подбирая вопросы и уровень сложности. Студенты получают возможность оперативно проводить самооценку знаний, определяя свои слабые места. Результаты такой самооценки могут стать для них источником мотивации к дальнейшему обучению, а также служить опорой для преподавателя при мониторинге прогресса учащихся.

Персонализированная рекомендательная система на основе МО подсказывает студенту, какой области знаний ему необходимо уделить больше внимания для улучшения своих результатов ^идапуа et а1., 2020]. Предлагаемая система также рекомендует список онлайн-курсов и материалов, которые студент мог бы использовать для саморазвития. Ценность модели, по мнению авторов, состоит в том, что персонализированные онлайн-рекомендации помогают учащемуся улучшить свою успеваемость без необходимости обращаться к наставнику. Работа системы проверена на группе из 60 учащихся, в качестве атрибутов модели выбраны предметы, которые студенты изучали в течение семестра. Результаты исследования показали, что рекомендательная система достаточно успешно определяет области, требующие улучшения. Модель является прототипом и, следовательно, может быть расширена для включения любого типа данных, модели и типа рекомендации (текст, аудио- или видеоматериал) для пользователя.

Адаптивная интеллектуальная обучающая система ALEKS помогает студентам, которые не вполне готовы к предлагаемому уровню сложности обучения, «выровнять» свои знания в рамках курса математики [Сипд et а1., 2019]. Авторы на основании результатов проведенного квазиэксперимента утверждают, что, при несомненной пользе от обучения с помощью такой системы, оно все-таки уступает в эффективности смешанному обучению: сочетанию применения интеллектуальной обучающей системы с офлайн-занятиями. Однако с экономической точки зрения выравнивающее обучение, реализуемое исключительно онлайн, безусловно, оправданно.

Применение интеллектуальной обучающей системы АЬЕ^ описывается в еще одной публикации из выборки [Raju et а1., 2018]. Ее использование в смешанном обучении стимулирует учащихся занять позицию рефлексивных практиков. Авторы подчеркивают, что перенос части обучения в онлайн-среду стимулирует самостоятельное, самонаправляемое обучение. При этом авторы обеих работ, посвященных АЬЕ^, согласны, что смешанное обучение с применением интеллектуальной обучающей системы на этапах отработки навыков и самостоятельной работы продуктивнее полного онлайна и полного офлайна.

3.4.3. Повышение Усиление и удержание вовлеченности студентов важно на эта-

вовлеченности студентов в образовательный процесс

пе реализации курса. В выборке обнаружились четыре статьи, посвященные решениям в этой области. Эмпирически доказано, что геймификация помогает удержанию интереса и вовлеченности учащихся. Подтверждена эффективность применения для повышения мотивации студентов к посещению занятий

виртуальных наград, которые основаны на МО и которые студенты получают за выполнение заданий [Duggal, Gupta, Singh, 2021].

Для удержания вовлеченности важна также организация учебной среды. На основе анализа качества взаимодействия студентов с LMS предложены модели, которые позволяют определить отношение пользователей LMS к качеству взаимодействия с платформой [Dias et al., 2015].

Для онлайн-курсов с большой численностью учащихся характерен высокий уровень отсева, и разработки в области вовлеченности здесь крайне актуальны. В модели, которая создана по результатам анализа разных рекомендательных систем, предназначенных для повышения вовлеченности в открытых курсах с большим числом учащихся, предлагается учитывать для оценки системы ряд критериев: цель рекомендации, методы рекомендации, используемые данные учащихся, временная информация, подход к моделированию [Harrathi, Braham, 2021]. Эта модель еще нуждается в апробации.

Вовлеченность в обучение проявляется поведенчески, например в посещении занятий. Экспериментально доказана эффективность алгоритма распознавания лиц на основе усовершенствованной глубокой сверточной нейронной сети: он может помочь университетам обеспечить управление посещаемостью занятий и мониторинг состояния знаний с помощью технологий распознавания лиц, поз и отслеживания состояний знаний [Zhang, Cao, 2021].

3.4.4. Рекомендации образовательных ресурсов

Семь публикаций в выборке описывают решения, оптимизирующие рекомендации студентам относительно образовательных ресурсов. Например, испанские исследователи классифицировали более 50 тыс. образовательных видео, содержащихся на платформе МООК Политехнического университета Валенсии, чтобы усовершенствовать механизмы поиска и рекомендаций студентам и адаптировать поиск видео к их потребностям и предпочтениям [Stoica et al., 2021]. Это стало возможным благодаря автоматически сгенерированным субтитрам и ключевым словам к видео.

Итальянские исследователи продвигают подход peer-to-peer («от студента студенту») для распространения образовательных ресурсов среди учащихся и предлагают модель, повышающую доверие к рекомендуемому контенту [Carchiolo, Longheu, Malge-ri, 2010]. Описан алгоритм поиска персонализированных путей обучения, сформированных на основе данных других обучающихся, обладающих опытом в конкретном контексте.

Создаются системы для своевременного предоставления студентам необходимых образовательных ресурсов, например актуальных новостей по курсу «Финансы» [Montavlo, Polamo, de la Orden, 2018]. Однако количество и качество рекомендуемых ресурсов необходимо контролировать — их, в частности, не должно быть слишком много. С этой целью предложена модель, позволяющая подобрать правильный объем мультимедиа (тексты, изображения и видео) в нужное время [Chen et al., 2021]. Авторы отмечают необходимость вмешательства преподавателя для контроля процесса, объяснения сложного материала, а также недопустимость размещения слишком большого количества мультимедиа, так как это снижает эффективность обучения.

Оценивание рекомендаций ресурсов с точки зрения студентов позволило установить, что рекомендации, регулируемые с помощью пользовательского контроля, помогают учащимся открыть для себя новые полезные учебные ресурсы и аспекты обучения [Afridi, 2018]. Автор разработал программное обеспечение для управления ссылками с открытым исходным кодом, рекомендующее исследовательские статьи и книги пользователю [Afridi, 2019]. Чем прозрачнее рекомендательная система, тем более сильное положительное влияние она оказывает на пользовательский опыт, тем успешнее помогает в установлении контактов и повышает доверие учащихся. Автор отмечает, однако, что такие системы не могут полностью заменить человека, который подбирает материалы, и правильность и своевременность подобранных ресурсов может быть не абсолютной.

3.4.5. Прогнозирование академической успеваемости студентов

Студенческий успех — одна из приоритетных тем в исследованиях высшего образования, и УА часто используется для предсказания риска учебной неуспешности (risk prediction). В выборку попали пять таких статей. В одной из них на основе интеллектуального анализа рефлексивных эссе студентов, находящихся в зоне риска отчисления, определяют такие факторы академической неуспеваемости, как навыки обучения, академические результаты, организация времени, учебный предмет, семейные обстоятельства [Nkhoma et al., 2019]. Остальные исследователи описывают решения, направленные на подбор для студентов упражнений с нужным уровнем сложности на основе их взаимодействия с системой, прошлых успехов и неудач [Thai-Nghe et al., 2010], на прогнозирование успеха студентов очных программ на основе академических и социально-экономических данных за семь лет обучения [Martinho, Nunes, Minus-si, 2013], на прогнозирование выполнения заданий студентами на основе демографических и поведенческих данных, включая

взаимодействия учащихся с виртуальной образовательной средой и ресурсами [Herodotou et al., 2019], на прогнозирование успеваемости на онлайн-курсе, в котором используются данные учащихся в LMS Moodle [Jokhan et al., 2022].

Дискуссия о прогнозировании успеваемости учащихся, находящихся в зоне риска, включает обсуждение следующих вопросов: на какой неделе обучения образовательное решение способно построить прогноз успеваемости учащихся с достаточно высокой точностью; как преподаватели применяют разработанные системы [Jokhan et al., 2022]; какая стратегия поддержки учащихся является самой эффективной и помогает студентам завершить обучение [Leeuwen van et al., 2014].

Прогнозированию учебной успешности студентов посвящены три статьи в выборке. В двух статьях представлены результаты прогнозирования баллов отдельных студентов. В первом случае это прогнозы итогового экзаменационного и взвешенного баллов студентов по очным и онлайн-курсам за шесть лет, которые продемонстрировали высокую точность и скорость [Deo et al., 2020]. Во втором случае прогнозировались баллы студентов по дисциплинам направления «Компьютерные науки», в результате анализа данных автор вывел ряд правил в формате «если... то...». В третьей статье описан прогноз успешности для целой группы студентов инженерных специальностей, разработанный с помощью алгоритмов МО [Rincón-Flores et al., 2020]. Наиболее точными оказались прогнозы, основанные только на данных об академической успеваемости студента. В целом результаты исследований свидетельствуют, что точно спрогнозировать успеваемость отдельных студентов весьма сложно и не всегда удается, а вот прогноз успеваемости для всей студенческой группы достаточен для того, чтобы вносить необходимые улучшения в учебный процесс.

Коллаборативное обучение основано на сотрудничестве и подразумевает совместную работу учащихся для достижения общей цели [Laal, Ghodsi, 2012], оно достоверно улучшает учебный опыт студентов [Qureshi et al., 2021]. В итоговую выборку попало описание одной системы, которая генерирует рекомендации по улучшению взаимодействия студентов в процессе коллаборативного обучения. Система состоит из модуля интеллектуального анализа образовательных данных, который визуализирует сотрудничество студентов, рассчитывает показатели сотрудничества, предупреждает преподавателя о студентах, которым нужна рекомендация [Anaya, Luque, Peinado, 2016]. Исследователи выделяют четыре перспективные области применения ИИ в коллаборативном обучении [Luckin et al.,

3.4.6. Рекомендации при коллаборативном обучении

2016]: 1) для формирования групп при решении конкретных задач; 2) для интерактивной поддержки студентов; 3) для разработки интеллектуальных агентов, поддерживающих диалог; 4) для анализа и обобщения обсуждений, которые генерируют студенты в группах.

3.5. Оценивание Цель последнего этапа ADDIE — оценивание качества педагогических продуктов и процессов. По завершении этого этапа должны быть очевидны успехи курса и изменения, которые необходимо внести в этот курс или следующие за ним подобные курсы [Branch, 2009].

Очевидно, что в силу наличия данных, уже собранных за период обучения, именно на этом этапе ADDIE можно ожидать обилия разработок по применению УА. Однако в выборке оказалось лишь две статьи, относящиеся к данному этапу. Выводы о возможных причинах такого положения дел можно сделать на основании интервью с малайзийскими преподавателями, работающими с МООК: они сообщили, что пользуются учебной аналитикой в основном для мониторинга прогресса и взаимодействия студентов. Именно эти показатели входят в состав ключевых критериев эффективности образовательной деятельности, используемых вузом, в то время как метрики, отражающие качество спроектированного образовательного курса, к их числу не относятся [Asli et al., 2020].

3.5.1. Валидизация субъективных оценок преподавания

Один из часто используемых приемов оценки качества курса — это студенческая оценка преподавания, которая, однако, встречает активную критику, в первую очередь в силу сомнений в ее объективности. Предложена модель с применением метода машинного обучения, наивного байесовского классификатора, который определяет валидность студенческих оценок преподавания с учетом таких факторов, как посещаемость, достижение целей обучения, наличие пререквизитов курса, положительное отношение к предоставлению обратной связи по курсу [МаИга et а1., 2018].

3.5.2. Рекомен- Наиболее релевантное нашему запросу решение призвано пре-дации доставить преподавателям автоматизированную помощь по методических совершенствованию курсов. Э. Гарсия с коллегами [García et al., правок в курс 2011] осуществили обзор 40 инструментов интеллектуального анализа образовательных данных с описанием задач, которые они решают, а затем представили свой инструмент, который, применяя поиск ассоциативных правил, выявляет интересные

закономерности (аномалии) в студенческих данных (клиентское приложение) и с помощью коллаборативной рекомендательной системы обеспечивает обмен выявленными правилами между преподавателями похожих курсов и рейтингование этих правил преподавателями и экспертами интеллектуального анализа образовательных данных голосованием или внесением рекомендуемых правок в курс, что способствует дальнейшему обучению системы. Пример правила: «Если полученный балл за задание 11 в 5-м модуле низкий, то оценка за итоговое задание 5-го модуля высокая». Пример рекомендации: переформулировать задание, поскольку итоговая оценка за модуль и оценка за один из элементов его составляющих не могут находиться в обратном отношении друг к другу.

Представленные решения можно охарактеризовать как попытки оптимального совмещения когнитивных возможностей человека и компьютера в оценивании учебных курсов. Разработанные решения не внедряются в деятельность преподавателя, но лишь предоставляют выводы о качестве разработки на основе анализа данных и оставляют за преподавателем право окончательного решения.

4. Выводы Результаты проведенного анализа и дискуссии систематизированы в табл. 3. Она включает этапы педагогического проектирования (колонка 1) и обнаруженные области применения решений на основе ИИ, соответствующие задачам этих этапов (колонка 2). Колонка 2 сформирована на основе анализа как статей из выборки, так и дополнительных работ, представленных в дискуссии.

Не все решения, попавшие в выборку, полностью соответствуют характеристикам ИИ4. Во-первых, ИИ — это повторяющееся, постоянное МО и получение исследовательских результатов через данные. Многие представленные в статьях прецеденты основаны на эпизодическом или даже единичном применении ИИ.

Во-вторых, использование ИИ подразумевает постановку правильных вопросов для анализа данных и корректную интерпретацию результатов. Преподаватели, не имеющие опыта работы с УА, а также не привыкшие к методической рефлексии в силу отсутствия ее в ключевых показателях эффективности, испытывают трудности как с постановкой вопросов к УА, так и с интерпретацией результатов [Asli et al., 2020].

4 Artificial Intelligence (AI): What it is and why it matters: https://www.sas.com/ en_us/insights/analytics/what-is-artificial-intelligence.html

Таблица 3. Области применения решений на основе ИИ для педагогического проектирования

Этап образовательного проектирования по модели ADDIE

Области применения решений на основе ИИ

АНАЛИЗ

Предсказание выбора курса студентами Автоматизация оценивания

Профайлинг студентов для информирования разработчиков курсов об особенностях аудитории курса

Рекомендательные системы, помогающие разработчикам курсов с определением целей обучения и суммирующего оценивания

ДИЗАИН

Рекомендации педагогических паттернов проектирования курсов Разработка рубрик критериального оценивания

РАЗРАБОТКА

Подбор и создание образовательных ресурсов

Учет запросов студентов с ограниченными возможностями при создании образовательных ресурсов

Создание новых видов учебного контента с использованием виртуальной реальности

Создание образовательных ресурсов с учетом потребностей студентов с ограниченными возможностями здоровья

Визуализация, прототипирование, экспериментирование, обучение навыкам с помощью технологий виртуальной реальности

ПРИМЕНЕНИЕ

Обеспечение поддержки студента (чат-боты):

для административной поддержки;

для рекомендации учебных ресурсов;

для реализации обратной связи по учебным активностям;

для поддержки учащихся с ограничениями по слуху;

для практики устной коммуникации в изучении языков

Реализация персонализированного и адаптивного обучения:

для рекомендации учащимся областей развития;

для поддержки саморегулируемого обучения;

для организации самооценки учащихся;

для адаптации уровня сложности учебных материалов;

для «выравнивания» уровня знаний учащихся

Прогнозирование академической успеваемости студентов:

предсказание риска учебной неуспешности;

предсказание академической успешности

Повышение вовлеченности

Рекомендации образовательных ресурсов студентам Рекомендации при коллаборативном обучении

ОЦЕНКА

Валидизация субъективных оценок преподавания Рекомендации методических правок в курс: определение аномалий в данных об обучении;

формирование рекомендаций по изменению элементов педагогического проектирования курса и приведению к норме;

система пользовательского рейтингования предложенных рекомендаций

В-третьих, ИИ анализирует большие и глубокие данные, от их качества зависит надежность результатов анализа. Анализ данных об обучающихся одной учебной группы по одному предмету за отдельно взятый семестр или год не соответствует опре-

делению больших данных, а информация, собранная вручную, в том числе из аналоговых источников, не удовлетворяет критериям качества. Проблема качества и достаточности данных обостряется, когда обучение ведется не онлайн, а в смешанном формате, при этом данные об обучении в очном взаимодействии могут отсутствовать вовсе. Применение тех же технологий ИИ, что и в большой технологической компании, на малых массивах данных плохого качества не дает надежного результата. Более того, большинство систем УА полезны только для определенного контекста и не могут быть адаптированы для других курсов и вузов [Sohail, Alvi, Khanum, 2022].

Чтобы объективно судить о перспективах появления и развития решений в области ИИ для педагогического проектирования, необходимо учитывать несколько существенных ограничений. Многие авторы отмечают ограниченность созданных ими моделей и их применимость только в конкретных контекстах, курсах, цифровых системах. Далее, существуют трудности с операцио-нализацией таких переменных, как вовлеченность, риск отчисления и др. Существующие модели пока не способны в полной мере охватить реальность во всей ее сложности, хотя продолжают совершенствоваться, и можно ожидать все более зрелых решений. Большинство рассмотренных в данном исследовании решений являются прототипами, находятся в стадии эксперимента. Наконец, для данных решений очень важна роль преподавателя — как в плане достаточности его компетенций для применения данных систем, так и в плане возможности замены преподавателя системами на основе ИИ [Edwards, Cheok, 2018].

5. Ограничения Проведенные в данном исследовании обзор, систематизация исследования и характеристика образовательных решений в системе высшего образования, выполняющих задачи УА и реализованных с использованием ИИ, с позиции их вклада в разные этапы педагогического проектирования имеют несколько ограничений. Во-первых, ограничения накладывает список ключевых слов, использованный для формирования выборки публикаций: возможно, что не все релевантные публикации попали в выборку. В дальнейших исследованиях при поиске литературы в список ключевых слов стоит включить такие термины, как machine learning, data mining, deep learning. Во-вторых, скорее всего, не все интересующие нас образовательные решения были описаны в виде научных публикаций, проиндексированных в библиографических базах. Подобные разработки могут быть описаны в аналитических докладах, презентациях на конференциях или хакатонах для программистов, которые на данном этапе мы не рассматривали. На практике их набор может быть шире и разнообразнее. В-тре-

тьих, поисковый запрос для данного исследования был сформулирован на английском языке, что исключает возможность включения в анализ материалов, опубликованных полностью на других национальных языках, в том числе на русском. Эти ограничения могут быть сняты в последующих работах.

6. Заключение В настоящем исследовании преодолевается дефицит систематизации и описания существующих образовательных решений в системе высшего образования, выполняющих задачи УА и реализованных с использованием ИИ, с позиции их вклада в разные этапы педагогического проектирования с применением модели ADDIE.

Наименьшее количество описанных в литературе решений приходится на этап анализа, так же мало статей, соответствующих этапу дизайна и оценивания, публикаций, относящихся к этапу разработки, немного больше, и наибольшее количество статей соответствует этапу применения. Такие различия могут объясняться разницей в доступности данных на разных этапах. Так, на этапах анализа и дизайна данные об обучении студентов на курсе еще не получены, поскольку еще не начат учебный процесс, в то время как на этапе применения их много, ведь учебный процесс уже идет и данные об обучении собираются. Решений по этапу разработки также достаточно много, так как на нем происходят подбор и рекомендация учебных ресурсов с опорой на накопленные библиотеки цифровых учебных ресурсов. Решений, относящихся к этапу оценивания, обнаружено мало, вероятно, в силу того, что преподаватели мало внимания уделяют методической рефлексии.

Все публикации из предварительной выборки размером более 500 статей, опубликованных с 1986 г. по текущий год, которые удалось вписать в предлагаемую авторами концепцию, приходятся на 15-летний период — с 2008 по 2022 г., а в последний завершенный год, в 2021 г., вышла в свет четверть всех релевантных нашей дискуссии материалов. Таким образом, можно предположить, что предлагаемая тема только начинает привлекать к себе внимание исследователей и в ближайшем будущем станет более заметной. Прецеденты, выводы и вопросы, прозвучавшие в данной статье, могут задать новую, педагогически ориентированную рамку обсуждения применения ИИ и анализа учебных данных в образовании.

Публикация подготовлена за счет средств гранта на поддержку исследовательских центров в сфере искусственного интеллекта, в том числе в области «сильного» искусственного интеллекта, систем доверенного искусственного интеллекта и этических

Благодарности и финансирование

аспектов применения искусственного интеллекта, предоставленного АНО «Аналитический центр при Правительстве Российской Федерации» в соответствии с соглашением о предоставлении субсидии (идентификатор соглашения о предоставлении субсидии 000000D730321P5Q0002) и договором с ФГАОУ ВО «Национальный исследовательский университет "Высшая школа экономики"» от 2 ноября 2021 г. № 70-2021-00139.

Приложение. Статьи из выборки и описанные в них решения

Область применения решения на основе ИИ Авторы, год Название статьи Назначение решения

Этап образовательного проектирования по ADDIE

АНАЛИЗ

Предсказание выбора курса студентами Ognjanovk, Gasevic, Dawson (2016) Using institutional data to predict student course selections in higher education Предиктивная модель выбора курса студентами на основе данных

ДИЗАЙН

Педагогические паттерны проектирования курсов Verbert, Ochoa, Derntl, Wolpers, Pardo, Duval (2012) Semi-automatic assembly of learning resources Система полуавтоматической сборки курса в среде учебной деятельности LAMS, помогающая преподавателю выстроить последовательность занятий, а также подобрать к ним учебные ресурсы

Cobos, Rodríguez, Rivera, Betancourt, Mendoza, Leon, Herre-ra-Viedma (2013) A hybrid system of pedagogical pattern recommendations based on singular value decomposition and variable data attributes Рекомендательная система педагогических паттернов, позволяющая преподавателю определить наиболее эффективные учебные стратегии для конкретной аудитории студентов

РАЗРАБОТКА

Подбор и создание образовательных ресурсов Verbert, Ochoa, Derntl, Wolpers, Pardo, Duval (2012) Semi-automatic assembly of learning resources Система полуавтоматической сборки курса в среде учебной деятельности LAMS, выдающая рекомендации преподавателю. Алгоритм анализирует паттерны уже прошедших курсов и их структуры, а также особенности запроса, и на этом основании выдает рекомендации

Zapata, Menéndez, Prieto, Romero (2013) A framework for recommendation in learning object repositories: An example of application in civil engineering Система DELPHOS, рекомендующая объекты изучения (learning objects), или цифровой контент, при проектировании курса на основе анализа репозитариев учебного контента. Рекомендательная система позволяет реализовать такой подбор сразу во многих репозито-риях с применением разных фильтров

Zapata, Menéndez, Prieto, Romero (2015) Evaluation and selection of group recommendation strategies for collaborative searching oflearn-ing objects Предлагается методология поиска, выбора, оценки и рекомендации учебных объектов. В работе также предложена функциональная модель, которая реализована в рамках гибридной рекомендательной системы DELPHOS

Область применения решения на основе ИИ Авторы, год Название статьи Назначение решения

De Medio, Limongel-li, Sciarrone, Temperini (2020) MoodleREC: A recommendation system for creating courses using the moodle e-learning platform Система МоосНеИес, позволяющая преподавателю получить ранжированный список учебных обьектов из разных библиотек, интегрированных в модуль, оценить информацию и выбрать из списка необходимый для курса объект

Abdelhakim, Shirmo-hammadi (2008) Improving educational multimedia selection process using group decision support systems Использование групповой системы поддержки принятия решений для подбора мультимедийных образовательных средств преподавателями

Herranz, Palomo, del Carmen de la Orden de la Cruz (2018) Building an educational platform using NLP: A case study in teaching finance Платформа с использованием NLP автоматически собирает информацию из разных источников и представляет только актуальные новости в интересующей области (финансы). Методом кластеризации отбираются новости, которые связаны с темами, изучаемыми на курсе

Variawa, McCahan (2014) Engineering vocabulary development using an automated software tool Программа позволяет создавать индивидуальные списки слов по дисциплине (глоссарий). Алгоритм извлекает текст из учебного материала и отображает иерархически терминологию, относящуюся к конкретному курсу

Создание образовательных ресурсов с учетом потребностей студентов с ограниченными возможностями здоровья Joveliano, Galli, Dos Santos Júnior, Silva, Benites, Ribeiro (2020) Working with a hearing disability: A proposal for distance teaching with chatbot Чат-боты на основе ИИ в системе MOODLE для помощи учащимся с ограничениями по слуху

Создание новых видов учебного контента с Jiang (2021) Virtual reality action interactive teaching artificial intelligence education system VR-решения, применяемые в образовании и позволяющие создавать вовлекающие интерактивные учебные ресурсы

использованием ИИ Kizilkaya, Vince, Holmes (2019) Design prompts for virtual reality in education Рамки дизайна проектирования VR-сред для образования, которые необходимо учитывать: иммерсивность, интерактивность, точность, экспериментальность, автономность, оцениваемость. Эти рамки позволили качественно спроектировать два обучающих приложения

ПРИМЕНЕНИЕ

Обеспечение поддержки студента (чат-боты) Hamam (2021) The new teacher assistant: A review of chatbots' use in higher education Внедрение чат-ботов в учебный процесс может способствовать улучшению преподавания и обучения, повышению вовлеченности студентов, а также предоставлять индивидуальный опыт, особенно актуальный для больших классов

Область применения решения на основе ИИ Авторы, год Название статьи Назначение решения

Tamayo, Herrero, Martín, Navarro, Trán-chez (2020) Design of a chatbot as a distance learning assistant Чат-бот EconBot с помощью алгоритмов ИИ поддерживает диалог со студентом, включает возможности: поддерживать небольшие приветственные беседы; предложить подписку на полезные уведомления по курсу; предоставить ссылки на полезные учебные ресурсы; предложить разнообразный учебный контент

Fidan, Gencel (2022) Supporting the instructional videos with chatbot and peer feedback mechanisms in online learning: The effects on learning performance and intrinsic motivation Чат-бот Bilge с использованием ИИ применяется в обучении, основанном на видео для реализации поддержки студентов: отвечает на вопросы, касающиеся курса, его программы, задач, контента

Реализация персонализированного и адаптивного обучения Mihailescu, Nita, Pau (2016) New big data model based on social learning environment using artificial intelligence Апробация алгоритма предварительной оценки знаний для создания профиля социального обучения студента и направления персональной учебной траектории

Lim, Gentili, Pardo, Kovanovic, Whitelock-Wain-wright, Gasevic, Daw-son(2021) What changes, and for whom? A study of the impact of learning analytics-based process feedback in a large course ^стема обратной связи для поддержки саморегулируемого обучения и успеваемости студентов на первом курсе бакалавриата

Suganya, Premalatha, Dubey, Drolia, Srihari (2020) Subjective areas of improvement: A personalized recommendation Модель персонализированной рекомендательной системы, которая может указать студентам области, которым им необходимо уделить больше внимания для улучшения своих результатов

Parls-Requeiro, Cabre-ro-Canosa(2010) Personalized construction of self-evaluation tests Платформа на основе intelligent agents позволяет проводить тесты самооценки, адаптированные под разные уровни знаний студентов — на основе данных профиля студента, результатов теста самооценки, данных взаимодействия студента с инструментом платформа генерирует адаптированные тесты, подбирает вопросы и соответствующий уровень сложности

Raju, Nair, Nair, Seeni-vasan (2018) Hybrid learning environment: Learning mathematics using ALEKS software Применение интеллектуальной обучающей системы ALEKS, разработанной совместно университетами Нью-Йорка и Калифорнии и доступной для преподавателей из разных образовательных учреждений, стимулирует самостоятельное самонаправляемое обучение

Cung, Xu, Eichhorn, Warschauer (2019) Getting academically un-derprepared students ready through college developmental education: Does the course delivery format matter? Адаптивная интеллектуальная обучающая система ALEKS помогает студентам, которые не вполне готовы к предлагаемому уровню сложности обучения, «выровнять» свои знания в рамках курса математики

Область применения решения на основе ИИ Авторы, год Название статьи Назначение решения

Прогнозирование академической успеваемости студентов. Предсказание риска учебной неуспешности Nkhoma, Dang-Pham, Hoang, Nkhoma, Le-Hoai, Thomas (2019) Learning analytics techniques and visualisation with textual data for determining causes of academic failure Представлены факторы академической неуспеваемости учащихся на основе интеллектуального анализа рефлексивных эссе студентов, находящихся в зоне риска: недостаточные навыки обучения, академические результаты, организация времени, учебные предметы и семейные факторы

Thai-Nghe, Drumond, Krohn-Grimberghe, Schmidt-Thieme (2010) Recommender system for predicting student performance Рекомендательная система на основе образовательных данных (взаимодействие студента с системой обучения, прошлые успехи и неудачи) прогнозирует успеваемость обучающихся и подбирает подходящие упражнения, соответствующий уровень сложности

Martinho, Nunes, Mi-nussi (2013) An intelligent system for prediction of school dropout risk group in higher education classroom based on artificial neural networks Решение с использованием технологии ИИ (нейронной сети Fuzzy-ARTMAP) предназначено для прогнозирования успешности студентов очных программ в системе высшего образования. Предложенная система создана на основе академических и социально-экономических показателей. Исследование продемонстрировало достаточно высокий уровень точности работы системы

Herodotou, Rienties, Boroowa, Zdrahal, Hlosta (2019) A large-scale implementation of predictive learning analytics in higher education: The teachers' role and perspective Система для прогнозирования академической успешности учащихся из групп риска на основе двух типов данных: демографических и поведенческих, включая взаимодействия учащихся с виртуальной образовательной средой при деятельности на форумах, с контентом, ресурсами, глоссарием и вики. Эти источники данных оказались значимыми факторами прогнозирования сдачи заданий студентами

Jokhan, Chand, Singh, Mamun (2022) Increased digital resource consumption in higher educational institutions and the artificial intelligence role in informing decisions related to student performance Аналитический инструмент для прогнозирования успеваемости на онлайн-курсе на основе данных учащихся в LMS Moodle о входе в курс, взаимодействии с учебным материалом, другими участниками и завершении курса. Процент завершения зависел от количества действий на курсе, которые выполнялись учащимися каждую неделю

Прогнозирование академической успеваемости студентов. Предсказание академической успешности Deo, Yaseen, Al-Ansari, Nguyen-Huy, Mcpher-son Langlands, Galli-gan (2020) Modern artificial intelligence model development for undergraduate student performance prediction: An investigation on engineering mathematics courses Прогнозирование балла отдельных студентов, обучающихся очно и онлайн. Исследователи включили в анализ типичные переменные: внутреннее оценивание (тесты и задания), итоговый балл на экзамене и взвешенные баллы (средняя оценка из 100%, необходимых для получения зачета по дисциплине). Применяемая модель ИИ превзошла другие применяемые модели в точности

Область применения решения на основе ИИ Авторы, год Название статьи Назначение решения

и скорости предсказания итогового экзаменационного балла и взвешенного балла при анализе как очного, так и онлайн-обучения

Abu-Dalbouh (2021) Application of decision tree algorithm for predicting students' performance via online learning during coro-navirus pandemic Прогноз успеваемости студентов по трем профильным дисциплинам с применением машинных алгоритмов к учебным данным о студенте, курсе, преподавателе, инфраструктуре. В результате анализа автор вывел ряд правил в формате «если... то...», являющихся средством прогнозирования балла студента по соответствующей дисциплине

Rincón-Flores, Lopez-Camacho, Mena, Lopez (2020) Predicting academic performance with Artificial Intelligence (AI), a new tool for teachers and students Описание прогностической модели успешности для группы студентов на основе только фотографии участников, фотографии и оценок участников за предыдущий период обучения и с использованием только оценок. Предложенная прогностическая модель может быть полезна для улучшения преподавания в вузах, и точность прогнозов будет повышаться по мере обучения модели на большем количестве данных

Повышение вовлеченности Duggal, Gupta, Singh (2021) Gamification and machine learning inspired approach for classroom engagement and learning Решение проблемы самомотивации и вовлеченности обучающихся в образовательный процесс благодаря машинному обучению и геймификации, а конкретно получение наград за достижения на курсе

Harrathi, Braham (2021) Recommenders in improving students' engagement in large scale open learning Представлен анализ и сравнение рекомендательных систем для повышения вовлеченности в обучение на открытых курсах для разных целей согласно предложенному авторами набору критериев: цель рекомендации, временная информация, методы рекомендации, используемые данные учащихся, подход к моделированию. Предложен свой подход

Zhang, Cao (2021) Framework of an intelligent education system for higher education based on deep learning Разработан алгоритм распознавания лиц на основе усовершенствованной глубокой свер-точной нейронной сети. Алгоритм может помочь университетам управлять образованием, а именно обеспечить посещаемость занятий, мониторинг организации занятий и мониторинг состояния знаний

Dias, Hadjileontiadou, Hadjileontiadis, Diniz (2015) Fuzzy cognitive mapping of LMS users' quality of interaction within higher education blended-learning environment Анализ качества взаимодействия студентов с образовательной средой LMS. На основании пилотного исследования сделан вывод о ее принятии ключевыми интересантами

Область применения решения на основе ИИ Авторы, год Название статьи Назначение решения

Рекомендации образовательных ресурсов студентам Carchiolo, Longheu, Malgeri (2010) Reliable peers and useful resources: Searching for the best personalised learning path in a trust- and recommendation-aware environment Обсуждается подход peer-to-peer (P2P) для распространения информации. Его совершенствование включает разработку механизма обратной связи, поскольку системы реального мира очень динамичны: контент меняется по мере того, как добавляется новый, а старый устаревает; люди меняются, улучшая свои навыки; суждения о ресурсах меняются в соответствии с новым опытом

Stoica, Heras, Palanca, Julián, Mihaescu (2021) Classification of educational videos by using a semi-supervised learning method on transcripts and keywords МООК-платформа Политехнического университета Валенсии содержит около 50 тыс. образовательных видеороликов. Исследователи решают задачу классификации этих видео, чтобы улучшить механизмы поиска и рекомендаций студентам и адаптировать платформу к их потребностям и предпочтениям благодаря автоматически сгенерированным субтитрам к видео и ключевым словам

Afridi (2018) User control and serendipitous recommendations in learning environments Исследование отношения пользователей к рекомендациям, необходимым для того, чтобы открыть для себя новые полезные учебные ресурсы и возможности обучения

Chen, Xu, Hu, Zhang, Juxiao, Jiang, Juma-ni (2021) Multimedia educational system and its improvement using AI model for a higher education platform Интеллектуальный автоматизированный искусственный интеллект (ICA-AI) призван заинтересовать студентов включением в обучение мультимедиа-ресурсов. В исследовании оценивается точность модели. Авторы приходят к выводу, что система позволяет выбрать правильный объем мультимедиа (тексты, изображения и видео) в нужное время

Montavlo, Polamo, de la Orden (2018) Building an educational platform using NLP: A case study in teaching finance Платформа с использованием NLP (Natural Language Processing), которая автоматически собирает информацию из разных источников и представляет только актуальные новости в интересующей области. Эта функция особенно актуальна для курса «Финансы», который был протестирован рамках исследования, так как постоянное информирование о последних экономических и финансовых новостях — важная часть учебного процесса

Afridi (2019) Transparency for be-yond-accuracy experiences: A novel user interface for recommender systems Обсуждаются определения рекомендательной системы, ее характеристики — прозрачность и интуитивность, а также параметры доверия к ней пользователей. Установлено, что прозрачность рекомендательной системы оказывает положительное влияние на пользовательский опыт, помогает в установлении контактов и повышает доверие учащихся

Область применения решения на основе ИИ Авторы, год Название статьи Назначение решения

Рекомендации при коллабора-тивном обучении Anaya, Luque, Peinado (2016) visual recommender tool a collaborative learning xperience Система направлена на генерацию рекомендаций по улучшению взаимодействия студентов в процессе коллаборативного обучения. Она позволяет рассчитывать показатели сотрудничества студентов, предупреждать преподавателя о студентах, которым могут потребоваться рекомендации

ОЦЕНИВАНИЕ

Валидизация субъективных оценок преподавания Maitra, Madan, Kand-wal, Mahajan (2018) ining authentic student eedback for faculty using aïve Bayes classifier Студенческие оценки преподавания классифицируются на основании показателей качества работы самого студента (посещаемость, балл по курсу, достижение целей обучения, наличие пререквизитов к курсу, позитивное отношение к предоставлению обратной связи)

Рекомендательная методическая система García, Romero, Ventura, De Castro (2011) collaborative educational ssociation rule mining tool Система автоматического анализа аномалий в данных курса и выработки рекомендаций относительно правок в курс для исправления этих аномалий. Рекомендации проходят процедуру рейтингования силами преподавателей курса и экспертами в области интеллектуального анализа образовательных данных простым голосованием «за или против» или внесением рекомендуемых системой правок

References Abdelhakim M.N.A., Shirmohammadi S. (2008) Improving Educational Multimedia Selection Process Using Group Decision Support Systems. International Journal of Advanced Media and Communication, vol. 2, no 2, pp. 174-190. https:// doi.org/10.1504/IJAMC.2008.018507 Abu-Dalbouh H.M. (2021) Application of Decision Tree Algorithm for Predicting Students' Performance via Online Learning during Coronavirus Pandemic. Journal of Theoretical and Applied Information Technology, vol. 99, no 19, pp. 4546-4556.

Afridi A.H. (2019) Transparency for Beyond-Accuracy Experiences: A Novel User Interface for Recommender Systems. Procedia — Computer Science, no 151, pp. 335-344. https://doi.org/10.1016/j.procs.2019.04.047 Afridi A.H. (2018) Stakeholders Analysis for Serendipitous Recommenders System in Learning Environments. Procedia — Computer Science, no 130, pp. 222-230. https://doi.org/10.1016Zj.procs.2018.04.033 Aldowah H., Al-Samarraie H., Fauzy W.M. (2019) Educational Data Mining and Learning Analytics for 21st Century Higher Education: A Review and Synthesis. Telematics and Informatics, vol. 37, April, pp. 13-49. https://doi.org/10.1016/j. tele.2019.01.007

Anaya A.R., Luque M., Peinado M. (2016) A Visual Recommender Tool in a Collaborative Learning Experience. Expert Systems with Applications, vol. 45, October, pp. 248-259. https://doi.org/10.1016/j.eswa.2015.01.071 Asli M.F., Hamzah M., Ibrahim A.A.A., Ayub E. (2020) Problem Characterization for Visual Analytics in MOOC Learner's Support Monitoring: A Case of Malaysian

MOOC. Heliyon, vol. 6, no 12, Article no e05733. https://doi.org/10.1016/j.he-liyon.2020.e05733

Baker R.S. (2021) Artificial Intelligence in Education: Bringing It All Together. OECD Digital Education Outlook 2021: Pushing the Frontiers with Artificial Intelligence, Blockchain and Robots. Paris: OECD, pp. 43-56. https://doi. org/10.1787/589b283f-en Baker R.S., Inventado P.S. (2014) Educational Data Mining and Learning Analytics. Learning Analytics (eds J. Larusson, B. White), New York, NY: Springer, pp. 6175. https://doi.org/10.1007/978-1-4614-3305-7_4 Baker R.S.J.D., Yacef K. (2009) The State of Educational Data Mining in 2009: A Review and Future Visions. Journal of Educational Data Mining, vol. 1, no 1, pp. 3-17. https://doi.org/10.5281/zenodo.3554657 Branch R.M. (2009) Instructional Design: The ADDIEApproach. New York, NY: Springer Science & Business Media. https://doi.org/10.1007/978-0-387-09506-6 Cabrera I., Villalon J. (2013) An Adaptive Interface for Computer-Assisted Rubrics in an E-Marking Tool Using Nearest Neighbor. Paper presented at International Conference on Advanced Learning Technologies (Beijing, China, 2013, 1518 July). https://doi.org/10.1109/ICALT.2013.27 Carchiolo V., Longheu A., Malgeri M. (2010) Reliable Peers and Useful Resources: Searching for the Best Personalised Learning Path in a Trust- and Recommendation-Aware Environment. Information Sciences, vol. 180, no 10, pp. 18931907. https://doi.org/10.1016/j.ins.2009.12.023 Chan P., van Gerven T., Dubois J.-L., Bernaerts K. (2021) Virtual Chemical Laboratories: A Systematic Literature Review of Research, Technologies and Instructional Design. Computers and Education Open, vol. 2, December, Article no 100053. https://doi.org/10.1016/j.caeo.2021.100053 Chassignol M., Khoroshavin A., Klimova A., Bilyatdinova A. (2018) Artificial Intelligence Trends in Education: A Narrative Overview. Procedia — Computer Science, vol. 136, January, pp. 16-24. https://doi.org/10.1016/j.procs.2018.08.233 Chen Y.-C., Chang Y.-S., Chuang M.-J. (2022) Virtual Reality Application Influences Cognitive Load-Mediated Creativity Components and Creative Performance in Engineering Design. Journal of Computer Assisted Learning, vol. 38, no 1, pp. 6-18. https://doi.org/10.1111/jcal.12588 Chen Z., Xu M., Hu Z., Zhang S., Zhang J., Jiang X., Jumani A.K. (2021) Multimedia Educational System and Its Improvement Using AI Model for a Higher Education Platform. Journal of Multiple-Valued Logic and Soft Computing, vol. 36, no 1, pp. 25-41.

Clow D. (2013) An Overview of Learning Analytics. Teaching in Higher Education,

vol. 18, no 6, pp. 683-695. https://doi.org/10.1080/13562517.2013.827653 Cobos C., Rodriguez O., Rivera J., Betancourt J., Mendoza M., Leon E., Herre-ra-Viedma E. (2013) A Hybrid System of Pedagogical Pattern Recommendations Based on Singular Value Decomposition and Variable Data Attributes. Information Processing & Management, vol. 49, no 3, pp. 607-625. https://doi. org/10.1016/j.ipm.2012.12.002 Conole G. (2012) Designing for Learning in an Open World. New York, NY: Springer

Science & Business Media. https://doi.org/10.1007/978-1-4419-8517-0 Corrin L., Kennedy G., de Barba P.G., Lockyer L. et al. (2016) Completing the Loop: Returning Meaningful Learning Analytic Data to Teachers. A Handbook for Educators and Learning Analytics Specialists. Sydney, NSW, Australia: Government of Australia Office for Learning and Teaching. Cung B., Xu D., Eichhorn S., Warschauer M. (2019) Getting Academically Underpre-pared Students Ready through College Developmental Education: Does the Course Delivery Format Matter? American Journal of Distance Education, vol. 33, no 4, pp. 178-194. https://doi.org/10.1080/08923647.2019.1582404 De Medio C., Limongelli C., Sciarrone F., Temperini M. (2020) MoodleREC: A Recommendation System for Creating Courses Using the Moodle e-Learning

Platform. Computers in Human Behavior, vol. 104, Article no 106168. https:// doi.org/10.1016/j.chb.2019.106168 Deng L., Yu D. (2014) Deep Learning: Methods and Applications. Foundations and Trends in Signal Processing, vol. 7, no 3-4, pp. 197-387. https://doi. org/10.1561/2000000039 Deo R.C., Yaseen Z.M., Al-Ansari N., Nguyen-Huy T., Mcpherson Langlands T.A, Gal-ligan L. (2020) Modern Artificial Intelligence Model Development for Undergraduate Student Performance Prediction: An Investigation on Engineering Mathematics Courses. IEEE Access, vol. 8, July, pp. 136697-136724. https://doi. org/10.1109/ACCESS.2020.3010938 Dias S.B., Hadjileontiadou S.J., Hadjileontiadis L.J., Diniz J.A. (2015) Fuzzy Cognitive Mapping of LMS Users' Quality of Interaction within Higher Education Blend-ed-Learning Environment. Expert Systems with Applications, vol. 42, iss. 21, pp. 7399-7423. https://doi.org/10.1016/j.eswa.2015.05.048 Drljaca D., Latinovic B., Stankovic Z., Cvetkovic D. (2017) ADDIE Model for Development of E-Courses. Proceedings of the Sinteza 2017 — International Scientific Conference on Information Technology and Data Related Research (Belgrade, 2017, 21 April), pp. 242-247. https://doi.org/10.15308/Sinteza-2017-242-247 Doleck T., Lemay D.J., Basnet R.B., Bazelais P. (2019) Predictive Analytics in Education: A Comparison of Deep Learning Frameworks. Education and Information Technologies, vol. 25, no 3. https://doi.org/10.1007/s10639-019-10068-4 Duggal K., Gupta L.R., Singh P. (2021) Gamification and Machine Learning Inspired Approach for Classroom Engagement and Learning. Mathematical Problems in Engineering, vol. 2021, Article ID 9922775. https://doi.org/10.1155/2021/9922775 Edwards B.I., Cheok A.D. (2018) Why Not Robot Teachers: Artificial Intelligence for Addressing Teacher Shortage. Applied Artificial Intelligence, vol. 32, no 4, pp. 345-360. https://doi.org/10.1080/08839514.2018.1464286 Ellis R.A., Goodyear P. (2010) Students' Experiences of e-Learning in Higher Education:

The Ecology of Sustainable Innovation. New York, NY: Routledge. Fiallos A., Ochoa X. (2019) Semi-Automatic Generation of Intelligent Curricula to Facilitate Learning Analytics. Proceedings of the 9th International Conference on Learning Analytics & Knowledge (Tempe, Arizona, 2019, 04-08 March), pp. 4650. https://doi.org/10.1145/3303772.3303834 Fidan M., Gencel N. (2022) Supporting the Instructional Videos with Chatbot and Peer Feedback Mechanisms in Online Learning: The Effects on Learning Performance and Intrinsic Motivation. Journal of Educational Computing Research, vol. 60, no 6, Article no 073563312210779. https://doi. org/10.1177/07356331221077901 Fosch-Villaronga E., Lutz C., Tamo-Larrieux A. (2020) Gathering Expert Opinions for Social Robots' Ethical, Legal, and Societal Concerns. International Journal of Social Robotics, vol. 12, no 2, pp. 441-458. https://doi.org/10.1007/s12369-019-00605-z

García E., Romero C., Ventura S., De Castro C. (2011) A Collaborative Educational Association Rule Mining Tool. The Internet and Higher Education, vol. 14, no 2, pp. 77-88. https://doi.org/10.1016/j.iheduc.2010.07.006 Gardner J., O'Leary M., Yuan L. (2021) Artificial Intelligence in Educational Assessment: 'Breakthrough? Or Buncombe and Ballyhoo? Journal of Computer Assisted Learning, vol. 37, no 5, pp. 1207-1216. https://doi.org/10.1111/ jcal.12577

Garg S., Sharma S. (2020) Impact of Artificial Intelligence in Special Need Education to Promote Inclusive Pedagogy. International Journal of Information and Education Technology, vol. 10, no 7, pp. 523-527. https://doi.org/10.18178/ ijiet.2020.10.7.1418

George G., Lal A.M. (2019) Review of Ontology-Based Recommender Systems in e-Learning. Computers & Education, vol. 142, December, Article no 103642. https://doi.org/10.1016/j.compedu.2019.103642

Goksel N., Bozkurt A. (2019) Artificial Intelligence in Education: Current Insights and Future Perspectives. Handbook of Research on Learning in the Age of Transhumanism (eds S. Sisman-Ugur, G. Kurubacak), Hershey, PA: IGI Global, pp. 224-236. https://doi.org/10.4018/978-1-5225-8431-5.ch014 Guan C., Mou J., Jiang Z. (2020) Artificial Intelligence Innovation in Education: A Twenty-Year Data-Driven Historical Analysis. International Journal of Innovation Studies, vol. 4, no 4, pp. 134-147. https://doi.org/10.1016/j.ijis.2020.09.001 Guruge D.B., Kadel R., Halder S.J. (2021) The State of the Art in Methodologies of Course Recommender Systems — A Review of Recent Research. Data, no 6, Article no 18. https://doi.org/10.3390/data6020018 Hamam D. (2021) The New Teacher Assistant: A Review of Chatbots' Use in Higher Education. Proceedings of the 23rd HCI International Conference, HCII 2021 (VirtualEvent, 2021, 24-29July), part III, pp. 59-63. https://doi.org/10.1007/978-3-030-78645-8_8

Harrathi M., Braham R. (2021) Recommenders in Improving Students' Engagement in Large Scale Open Learning. Procedia — Computer Science, vol. 192, no 1, pp. 1121-1131. https://doi.org/10.1016/j.procs.2021.08.115 Hasanov A., Laine T.H., Chung T.-S. (2019) A Survey of Adaptive Context-Aware Learning Environments. Journal of Ambient Intelligence and Smart Environments, vol. 11, no 5, pp. 403-428. https://doi.org/10.3233/AIS-190534 Herodotou C., Rienties B., Boroowa A., Zdrahal Z., Hlosta M. (2019) A Large-Scale Implementation of Predictive Learning Analytics in Higher Education: The Teachers' Role and Perspective. Educational Technology Research and Development, vol. 67, no 2, pp. 1273-1306. https://doi.org/10.1007/s11423-019-09685-0 Herranz S.M., Palomo J., del Carmen de la Orden de la Cruz M. (2018) Building an Educational Platform Using NLP: A Case Study in Teaching Finance. Journal of Universal Computer Science, vol. 24, no 10, pp. 1403-1423. Hooda M., Rana C., Dahiya O., Rizwan A., Hossain M.S. (2022) Artificial Intelligence for Assessment and Feedback to Enhance Student Success in Higher Education. Mathematical Problems in Engineering, vol. 2022, Article ID 5215722. https://doi.org/10.1155/2022/5215722 Jiang L. (2021) Virtual Reality Action Interactive Teaching Artificial Intelligence Education System. Complexity, vol. 2021, Article ID 5553211. https://doi. org/10.1155/2021/5553211 Jokhan A., Chand A.A., Singh V., Mamun K.A. (2022) Increased Digital Resource Consumption in Higher Educational Institutions and the Artificial Intelligence Role in Informing Decisions Related to Student Performance. Sustainability no 14, pp. 4-13.

Joveliano D.A., Galli I.M., Dos Santos Júnior G.N., da Silva M.R.A., Benites C.D.S., Ribeiro F.C. (2020) Working with a Hearing Disability: A Proposal for Distance Teaching with Chabot. RISTI — Revista Iberica de Sistemas e Tecnologías de In-formacao / Iberian Journal of Information Systems and Technologies, no E29, pp. 135-147.

Kabudi T., Pappas I., Olsen D.H. (2021) AI-Enabled Adaptive Learning Systems: A Systematic Mapping of the Literature. Computers & Education: Artificial Intelligence (CAEAI), vol. 2, Article no 100017. https://doi.org/10.1016/j. caeai.2021.100017

Kizilkaya L., Vince D., Holmes W. (2019) Design Prompts for Virtual Reality in Education. Artificial Intelligence in Education. AIED 2019. Lecture Notes in Computer Science (eds S. Isotan, E. Millán, A. Ogan, P. Hastings, B. McLaren, R. Luckin), vol. 11626. Cham: Springe. https://doi.org/10.1007/978-3-030-23207-8_25

Kwon C. (2018) A Study on the Relationship of Distraction Factors, Presence, Flow, and Learning Effects in HMD-based Immersed VR Learning. Journal of Korea Multimedia Society, vol. 21, no 8, pp. 1002-1020. https://doi.org/10.9717/ KMMS.2018.21.8.1002

Laal M., Ghodsi S.M. (2012) Benefits of Collaborative Learning. Procedia — Social and Behavioral Sciences, no 31, pp. 486-490. https://doi.org/10.1016/j. sbspro.2011.12.091

Larrabee S0nderlund A., Hughes E., Smith J. (2019) The Efficacy of Learning Analytics Interventions in Higher Education: A Systematic Review. British Journal of Educational Technology, vol. 50, no 5, pp. 2594-2618. https://doi. org/10.1111/bjet.12720 Leaton Gray S. (2020) Artificial Intelligence in Schools: Towards a Democratic Future. London Review of Education, vol. 18, no 2, pp. 163-177. https://doi. org/10.14324/LRE.18.2.02 Leeuwen van A., Janssen J., Erkens G., Brekelmans M. (2014) Supporting Teachers in Guiding Collaborating Students: Effects of Learning Analytics in CSCL. Computers & Education, vol. 79, October, pp. 28-39. https://doi.org/10.1016/j. compedu.2014.07.007 Leitner P., Khalil M., Ebner M. (2017) Learning Analytics in Higher Education — A Literature Review. Learning Analytics: Fundaments, Applications, and Trends (ed. A. Pena-Ayala), Cham, Switzerland: Springer, pp. 1-23. https://doi. org/10.1007/978-3-319-52977-6_1 Lim L.-A., Gentili S., Pardo A., Kovanovic V., Whitelock-Wainwright A., Gase-vic D., Dawson S. (2021) What Changes, and for Whom? A Study of the Impact of Learning Analytics-Based Process Feedback in a Large Course. Learning and Instruction, vol. 72, Article no 101202. https://doi.org/10.1016/j. learninstruc.2019.04.003 Luckin R., Holmes W., Griffiths M., Forcier L.B. (2016) Intelligence Unleashed: An Argument for AI in Education. London: Pearson. Lutz C., Schöttler M., Hofmann C. (2019) The Privacy Implications of Social Robots. Mobile Media & Communication, vol. 7, no 3, pp. 412-434. https://doi. org/10.1177/2050157919843961 Maitra S., Madan S., Kandwal R., Mahajan P. (2018) Mining Authentic Student Feedback for Faculty Using Naïve Bayes Classifier. Procedia — Computer Science, vol. 132, pp. 1171-1183. https://doi.org/10.1016Zj.procs.2018.05.032 Mangaroska K., Giannakos M. (2019) Learning Analytics for Learning Design: A Systematic Literature Review of Analytics-Driven Design to Enhance Learning. IEEE Transactions on Learning Technologies, vol. 12, no 4, pp. 516534. https://doi.org/10.1109/TLT.2018.2868673 Martinho V.R.C., Nunes C., Minussi C.R. (2013) An Intelligent System for Prediction of School Dropout Risk Group in Higher Education Classroom Based on Artificial Neural Networks. Proceedings of the 25th IEEE International Conference on Tools with Artificial Intelligence. ICTAI2013 (Herndon, VA, 2013, 04-06 November), pp. 159-166. https://doi.org/10.1109/ICTAI.2013.33 McCarthy J., Minsky M.L., Rochester N., Shannon C.E. (2006) A Proposal for the Dartmouth Summer Research Project on Artificial Intelligence, August 31, 1955. AI Magazine, vol. 27, no 4, pp. 12-14. https://doi.org/10.1609/aimag.v27i4.1904 Mihailescu M.I., Nita S.L., Pau V.C. (2016) New Big Data Model Based on Social Learning Environment Using Artificial Intelligence. E-learning Vision 2020! Conference Proceedings of "eLearning and Software for Education" (eLSE), vol. 1, no 12, pp. 428-435.

Mirchi N., Bissonnette V., Yilmaz R., Ledwos N., Winkler-Schwartz A., Del Maestro R. (2020) The Virtual Operative Assistant: An Explainable Artificial Intelligence Tool for Simulation-Based Training in Surgery and Medicine. Plos One, vol. 15, no 2, Article no e0229596. https://doi.org/10.1371/journal.pone.0229596 Mohamad S.K., Tasir Z. (2013) Educational Data Mining: A Review. Procedia — Social and Behavioral Sciences, vol. 97, pp. 320-324. https://doi.org/10.1016/j. sbspro.2013.10.240

Montalvo S., Palomo J., de la Orden C. (2018) Building an Educational Platform Using NLP: A Case Study in Teaching Finance. Journal of Universal Computer Science, vol. 24, no 10, pp. 1403-1423.

Nkhoma C., Dang-Pham D., Hoang A.P., Nkhoma M., Le-Hoai T., Thomas S. (2019) Learning Analytics Techniques and Visualisation with Textual Data for Determining Causes of Academic Failure. Behaviour & Information Technology, vol. 39, no 9, pp. 808-823. https://doi.org/10.1080/0144929X.2019.1617349 Nunn S., Avella J., Kanai T., Kebritchi M. (2016) Learning Analytics Methods, Benefits, and Challenges in Higher Education: A Systematic Literature Review. Online Learning Journal, vol. 20, no 2, pp. 1-17. https://doi.org/10.24059/olj.v20i2.790 Ognjanovic I., Gasevic D., Dawson S. (2016) Using Institutional Data to Predict Student Course Selections in Higher Education. The Internet and Higher Education, vol. 29, no 2, pp. 49-62. https://doi.org/10.1016Zj.iheduc.2015.12.002 Ong V.K. (2016) Business Intelligence and Big Data Analytics for Higher Education: Cases from UK Higher Education Institutions. Information Engineering Express, vol. 2, no 1, pp. 65-75. https://doi.org/10.52731/iee.v2.i1.63 París-Requeiro M.T., Cabrero-Canosa M.J. (2010) Personalized Construction of Self-Evaluation Tests. Proceedings of the 2010 IEEE Education Engineering Conference, EDUCON 2010 (Madrid, Spain, 2010, 14-16 April), pp. 863-868. https://doi.org/10.1109/EDUCON.2010.5492486 Pelletier K., McCormack M., Reeves J., Robert J., Arbino N., Grajek S. (2021) 2021 ED-UCAUSE Horizon Report. Teaching and Learning Edition. Boulder, CO: EDUCAUSE. Popenici S.A.D., Kerr S. (2017) Exploring the Impact of Artificial Intelligence on Teaching and Learning in Higher Education. Research and Practice in Technology Enhanced Learning, vol. 12, Article no 22. https://doi.org/10.1186/s41039-017-0062-8

Qureshi M.A., Khaskheli A., Qureshi J.A., Raza S.A., Yousufi S.Q. (2021) Factors Affecting Students' Learning Performance through Collaborative Learning and Engagement. Interactive Learning Environments. https://doi.org/10.1080/ 10494820.2021.1884886 Raju A., Nair M., Nair A., Seenivasan R. (2018) Hybrid Learning Environment: Learning Mathematics Using ALEKS Software. International Conference on e-Learn-ing, pp. 336-343.

Reiser R.A., Dempsey J.V. (eds) (2007) Trends and Issues in Instructional Design and

Technology. Upper Saddle River, NJ: Pearson. Rienties B., K0hler Simonsen H., Herodotou C. (2020) Defining the Boundaries between Artificial Intelligence in Education, Computer-Supported Collaborative Learning, Educational Data Mining, and Learning Analytics: A Need for Coherence. Frontiers in Education, vol. 5, July, Article no 128. https://doi.org/10.3389/feduc.2020.00128 Rincón-Flores E.G., Lopez-Camacho E., Mena J., Lopez O.O. (2020) Predicting Academic Performance with Artificial Intelligence (AI), a New Tool for Teachers and Students. Proceedings of the 11th IEEE Global Engineering Education Conference, EDUCON 2020 (Porto, Portugal, 2020, 27-30 April), pp. 10491054. https://doi.org/10.1109/EDUCON45650.2020.9125141 Romero C., Ventura S. (2010) Educational Data Mining: A Review of the State of the Art. IEEE Transactions on Systems, Man, and Cybernetics, Part C (Applications and Reviews), vol. 40, no 6, pp. 601-618. https://doi.org/10.1109/ TSMCC.2010.2053532 Romero C., Ventura S. (2007) Educational Data Mining: A Survey from 1995 to 2005. Expert Systems with Applications, vol. 33, no 1, pp. 135-146. https://doi. org/10.1016/j.eswa.2006.04.005 Ruan S., Jiang L., Xu Q., Liu Zh., Davis G.M., Brunskil E.l., Landay J.A. (2021) EnglishBot: An AI-Powered Conversational System for Second Language Learning. Proceedings of the 26th International Conference on Intelligent User Interfaces (IUI '21) (Virtually hosted by Texas A&M University, 2021, 13-17 April), pp. 434-444. https://doi.org/10.1145/3397481.3450648 Seel N. M., Lehmann T., Blumschein P., Podolskiy O. A. (2017) Instructional Design for Learning: Theoretical Foundations. Rotterdam, NL: Sense. https://doi. org/10.1007/978-94-6300-941-6

Sergis S., Sampson D.G. (2017) Teaching and Learning Analytics to Support Teacher Inquiry: A Systematic Literature Review. Learning Analytics: Fundaments, Applications, and Trends. Studies in Systems, Decision and Control (ed. A. Peña-Ayala), Cham, Switzerland: Springer, pp. 25-63. https://doi.org/10.1007/978-3-319-52977-6_2

Shum S.B., Ferguson R. (2012) Social Learning Analytics. Journal of Educational

Technology & Society, vol. 15, no 3, pp. 3-26. Siemens G., Baker R.S.D. (2012) Learning Analytics and Educational Data Mining: Towards Communication and Collaboration. Proceedings of the 2nd international Conference on Learning Analytics and Knowledge (Vancouver, BC, 2012, 29 April — 2 May), pp. 252-254. https://doi.org/10.1145/2330601.2330661 Siemens G., Long P. (2011) Penetrating the Fog: Analytics in Learning and

Education. EDUCAUSE Review, vol. 46, no 5, P. 31-40. Sohail S., Alvi A., Khanum A. (2022) Interpretable and Adaptable Early Warning Learning Analytics Model. CMC — Computers Materials & Continua, vol. 71, no 2, pp. 3211-3225. https://doi.org/10.32604/cmc.2022.023560 Stoica A.S., Heras S., Palanca J., Julián V., Mihaescu M.C. (2021) Classification of Educational Videos by Using a Semi-Supervised Learning Method on Transcripts and Keywords. Neurocomputing, vol. 456, October, pp. 637-647. https://doi.org/10.1016/j.neucom.2020.11.075 Suganya G., Premalatha M., Dubey P., Drolia A.R., Srihari S.N. (2020) Subjective Areas of Improvement: A Personalized Recommendation. Procedia — Computer Science, vol. 172, pp. 235-239. https://doi.org/10.1016/j.procs.2020.05.037 Syed T.A., Palade V., Iqbal R., Nair S.S. (2017) A Personalized Learning Recommendation System Architecture for Learning Management System. Proceedings of the 9th International Joint Conference on Knowledge Discovery, Knowledge Engineering and Knowledge Management (KDIR 2017) (Funchal, Madeira, Portugal, 2017, 01-03 November), pp. 275-282. https://doi. org/10.5220/0006513202750282 Tamayo P., Herrero A., Martín J.S., Navarro C., Tránchez J.M. (2020) Design of a Chatbot as a Distance Learning Assistant. Open Praxis, vol. 12, no 1, pp. 145153. https://doi.org/10.5944/openpraxis.12.1.1063 Thai-Nghe N., Drumond L., Krohn-Grimberghe A., Schmidt-Thieme L. (2010) Recommender System for Predicting Student Performance. Procedia — Computer Science, vol. 1, pp. 2811-2819. https://doi.org/10.1016/j.procs.2010.08.006 Tsai Y.S., Gasevic D. (2017) Learning Analytics in Higher Education — Challenges and Policies: A Review of Eight Learning Analytics Policies. Proceedings of the Seventh International Learning Analytics & Knowledge Conference (Vancouver, BC, 2017, 13-17 March), pp. 233-242. https://doi.org/10.1145/3027385.3027400 Turhan M., Erol Y.C., Ekici S. (2016) Predicting Students' School Engagement Using Artificial Neural Networks. International Journal of Advances in Science, Engineering and Technology, vol. 4, iss. 2, pp. 159-62. Variawa C., McCahan S. (2014) Engineering Vocabulary Development Using an Automated Software Tool. 121st ASEE Annual Conference (Indianapolis, IN, 2014, 15-18June), Paper ID #8663. Verbert K., Ochoa X., Derntl M., Wolpers M., Pardo A., Duval E. (2012) SemiAutomatic Assembly of Learning Resources. Computers & Education, vol. 59, no 4, pp. 1257-1272. https://doi.org/10.1016/j.compedu.2012.06.005 Yan H., Lin F. (2021) Including Learning Analytics in the Loop of Self-Paced Online Course Learning Design. International Journal of Artificial Intelligence in Education, vol. 31, no 4, pp. 878-895. https://doi.org/10.1007/s40593-020-00225-z Zapata A., Domínguez V., Prieto M., Romero C. (2013) A Framework for Recommendation in Learning Object Repositories: An Example of Application in Civil Engineering. Advances in Engineering Software, vol. 56, February, pp. 1-14. https://doi.org/10.1016/j.advengsoft.2012.10.005

Zapata A., Menedoz V., Prieto M., Romero C. (2015) Evaluation and Selection of Group Recommendation Strategies for Collaborative Searching of Learning Objects. International Journal of Human-Computer Studies, vol. 76, April, pp. 22-39. https://doi.org/10.10167j.ijhcs.2014.12.002 Zawacki-Richter O., Marin V. I., Bond M., Gouverneur F. (2019) Systematic Review of Research on Artificial Intelligence Applications in Higher Education — Where Are the Educators? International Journal of Educational Technology in Higher Education, vol. 16, no 1, pp. 27. https://doi.org/10.1186/s41239-019-0171-0

Zhang X., Cao Z. (2021) A Framework of an Intelligent Education System for Higher Education Based on Deep Learning. International Journal of Emerging Technologies in Learning, vol. 16, no 7, pp. 233-248. https://doi.org/10.3991/ ijet.v16i07.22123

Zotou M., Tambouris E., Tarabanis K. (2020) Data-Driven Problem Based Learning: Enhancing Problem Based Learning with Learning Analytics. Educational Technology Research and Development, vol. 68, no 6, pp. 3393-3424. https://doi. org/10.1007/s11423-020-09828-8