Прогнозирование успешности обучения в интегрированной образовательной среде с применением инструментов онлайн аналитики Текст научной статьи по специальности «Компьютерные и информационные науки»

Компьютерные инструменты в образовании, 2019 № 4: 55-80

УДК: (371.263/371.267):004.4 http://cte.eltech.ru

doi:10.32603/2071-2340-2019-4-55-80

ПРОГНОЗИРОВАНИЕ УСПЕШНОСТИ ОБУЧЕНИЯ В ИНТЕГРИРОВАННОЙ ОБРАЗОВАТЕЛЬНОЙ СРЕДЕ С ПРИМЕНЕНИЕМ ИНСТРУМЕНТОВ ОНЛАЙН АНАЛИТИКИ

Котова Е. Е.1, кандидат технических наук, И eekotova@gmail.com

1 Санкт-Петербургский государственный электротехнический университет «ЛЭТИ» им. В. И. Ульянова (Ленина), ул. Профессора Попова, д. 5, корп. 2,197376, Санкт-Петербург, Россия

Аннотация

Потребность формирования квалификаций и подготовки студентов к цифровому будущему меняет стратегии преподавания и подходы к процессу обучения в университетах в направлении цифрового проектирования учебного процесса. Расширяемое пространство доступных данных позволяет применять новые методы интеллектуального анализа образовательных данных (Educational data mining, EDM) с целью изучения уникальных типов данных, понимания действий учащихся, прогнозирования академических результатов, улучшения производительности учебного процесса, принятия управленческих решений и адаптации среды обучения.

Целью настоящей работы является создание персональной образовательной среды индивидуального сопровождения учащихся на основе модели когнитивного потенциала. Задача сопровождения процесса обучения состоит в том, чтобы на основе данных, получаемых в ходе процесса обучения, получить информацию о динамике когнитивного роста («роста» уровня знаний) каждого обучающегося.

Подход к прогнозированию успешности обучения на основе когнитивно-познавательной модели важен для понимания продуктивности освоения учебных материалов студентами в информационно-насыщенной среде.

Рассматривается задача классификации учащихся, прогнозирования успешности обучения для улучшения адаптации и настройки процесса обучения. Организация обратной связи в структуре процесса обучения на основе диагностирования индивидуальных различий учащихся позволяет управлять и настраивать сценарии обучения для улучшения индивидуального процесса. Интегрированная среда обучения реализована в веб-среде и объединяет традиционные средства обучения с инновационными цифровыми онлайн-средствами.

Ключевые слова: процесс обучения, методы анализа данных, учебная деятельность, индивидуальные различия, когнитивный потенциал, модель обучающегося, методы прогнозирования.

Цитирование: Котова Е. Е. Прогнозирование успешности обучения в интегрированной образовательной среде с применением инструментов онлайн аналитики // Компьютерные инструменты в образовании. 2019. № 4. С. 55-80. doi: 10.32603/20712340-2019-4-55-80

информационные

СИСТЕМЫ

ВВЕДЕНИЕ

Цифровые технологии меняют образ жизни человека, его социальное пространство с такой интенсивностью, с какой человечество еще не сталкивалось в своей истории. В политической и научной дискуссии становится все более очевидным, что ответы на эти изменения должны лежать в сфере образования [1]. Продвижение цифрового капитала авторы аналитического отчета EDUCAUSE называют «злым вызовом» («wicked challenge»), который трудно даже определить [2]. Возрастающая оцифровка преподавания и обучения и связанные с этим изменения требуют новых подходов в организации процессов обучения.

Модели достижений учащихся все больше формируются для так называемых цифровых компетенций [3]. Многие компетенции, формируемые в процессе обучения, нацелены на продвижение «цифровых навыков» и имеют квалификационный подход. По мнению аналитиков, уровень профессиональной квалификации должен выходить за рамки приобретения навыков изолированных технологий на уровень глубокого понимания цифровой среды, обеспечивающий интуитивную адаптацию к новым контекстам и совместному созданию контента [3].

В условиях развития технологий предъявляются самые высокие требования к интеллектуальному и когнитивно-познавательному потенциалу будущих профессиональных кадров [4, 5]. К ним относятся: умение генерировать и обрабатывать сложную информацию, мыслить критически, быстро принимать решения, использовать различные формы доказательств, ставить необходимые вопросы, быть адаптируемыми и гибкими в отношении новой информации, идентифицировать и решать реальные проблемы [4]. Необходимы навыки критического мышления, рассуждения, оперирования категориями, понимания сложных концепций, связей и контекстных пространств. Большее число перечисленных навыков относится к когнитивным процессам высокого порядка, необходимо уделять им особое внимание в учебном процессе. Появляется задача получения данных, которые накапливаются в процессе обучения и позволяют делать выводы не только об академической успеваемости студентов, но и о развитии когнитивной сферы.

Изменяются не только цели обучения, но и стратегии проектирования процесса обучения с применением разных методов и форм [6-9]: групповых, индивидуальных, командных, самостоятельных — с применением смешанных технологий, где цифровые и физические объекты могут сосуществовать вместе.

Поставщики платформ обучения и бизнес-аналитики внедряют аналитические панели, объединяющие данные в сводные представления, которые становятся источником инноваций. Пространство доступных данных сегодня предлагает учреждениям новые возможности оценивания, измерения и документирования обучения [2]. Объемы данных генерируются все большими темпами, и источники данных становятся все более разнообразными. Благодаря развитию технологий ранее разрозненные данные теперь могут быть собраны в наборы образовательных данных (Dataset) и представляют новое направление исследований в области аналитики образовательных данных, Learning Analytics [10-12]. Проектирование образовательного процесса требует привлечения специалистов из области когнитивной нейронауки, психологии развития, психолингвистики, компьютерной лингвистики, эргономики, технологий искусственного интеллекта, инженерии знаний. Два исследовательских сообщества — Educational Data Mining (EDM) и Learning Analytics and Knowledge (LAK) — проводят ежегодные семинары и конференции с 2008 года и в настоящее время объединяют большую группу исследователей, занимающихся вопросами развития методов и инструментов анализа данных в междисци-

плинарной области EDM [13]. В частности, методы Learning Analytics относятся к измерению, сбору, анализу и представлению данных о прогрессе обучающихся и активности в учебной среде, выявлению причин успеха/неудачи, способов помощи в обучении студентам группы риска по неуспеваемости [14]. Примеры исследований применения методов аналитики демонстрируют выявление проблем в обучении студентов уже на второй неделе семестра, что невозможно было раньше, или аналитика данных используется для предсказания прогресса студентов в следующем учебном году [5], для выбора стратегий при сложности в обучении [15], для улучшения понимания ключевых концепций [16], поиска и организации информации в индивидуальном обучении и др. [17].

Одна из задач заключается в предварительном диагностировании контингента обучающихся с акцентом на значимость индивидуальных различий когнитивно-познавательной сферы, доминирующих в учебной деятельности.

В разделе 1 рассматриваются уровни аналитики образовательных данных и решаемые задачи, относящиеся к направлению интеллектуальных систем обучения.

В разделе 2 представлена концептуальная структура системы управления процессом обучения, организованная по принципу обратной связи, отличием которой является наличие подсистемы диагностики когнитивно-стилевого потенциала обучающихся и подсистемы адаптации дидактических ресурсов.

В разделе 3 представлено описание параметров модели когнитивно-стилевого потенциала, методы диагностики параметров, структура модели. Приводятся типовые профили и средства экспресс-диагностики когнитивно-стилевого потенциала (КСП) обучающихся, реализованные в диагностической подсистеме. В разделе 4 представлена архитектура системы интеллектуальных агентов. В разделе 5 приводится описание концептуальной схемы набора данных StudCSP-DataSet, разработанной в среде аналитических исследований процесса обучения, отличием которого помимо получения, накопления и хранения данных, характеризующих учебный процесс, являются данные, полученные в процессе применения методов интеллектуального анализа когнитивно-стилевого потенциала обучающихся на основе выбора наилучших методов анализа по заданным пользователем критериям.

В разделах 6 и 7 приводятся примеры сценариев анализа данных и экспериментальных исследований.

1. УРОВНИ АНАЛИТИКИ ОБРАЗОВАТЕЛЬНЫХ ДАННЫХ

Учебные процессы все больше поддерживаются информационными технологиями, благодаря которым создаются потоки разнородных данных. Агрегирование данных из различных источников (онлайн-источники, данные успеваемости, результаты опросов, портфолио учащихся, административные данные и др.), их анализ и осмысленная оценка могут оказать влияние на процесс обучения отдельного студента.

Результаты аналитики данных могут быть использованы для определения факторов успеха/неудачи в ходе обучения или для соответствующей адаптации учебных программ и оптимизации процесса преподавания/обучения.

Cбор и агрегация данных, накапливаемых в процессе обучения, к которым могут быть применены методы машинной обработки и анализа данных, является целью подхода «Learning Analytics» [18]. Одна из основных задач — распознавание потребностей отдельных учащихся с целью оказания поддержки и управления индивидуальным процессом обучения с помощью основанной на фактических данных адаптации. Learning

Analytics охватывает широкий спектр анализа, представленный тремя уровнями: макро-, мезо- и микроуровнями [19].

Макроуровень включает доступ к данным на общегосударственном, региональном, национальном уровнях. На макроуровне возможно изменить академические модели и педагогические подходы.

На мезоуровне актуальна информация на уровне отдельных образовательных учреждений, секторов, включая анализ неструктурированных данных, прогнозирование и оптимизацию рабочих процессов. На мезоуровне совершенствуется процесс принятия решений и распределения ресурсов на организационном уровне процесса.

На микроуровне поддерживается отслеживание и интерпретация отдельных процессов: данных об учащихся (или группах), активности и производительности пользователей, интересов учащихся, межличностных данных. Получение необходимой информации возможно через организацию обратной связи. Данные, полученные на микроуровне, могут обеспечить наивысший уровень детализации максимально быстро [19]. На микроуровне идентифицируются подверженные риску учащиеся, даются рекомендации по улучшению их учебно-познавательной деятельности.

В результате накопления данных создается банк ценных ресурсов для преподавателей, руководителей, методистов, администраторов, аналитиков данных. Существуют разные способы использования аналитики в образовании, такие как предиктивная аналитика, адаптивная аналитика, аналитика социальных сетей, дискурс-аналитика [19].

Предиктивная аналитика (Predictive Analytics) использует различные виды анализа: разработка сложных моделей прогнозирования на основе данных, выявление значимых «предикторов» успеха, выявление подверженных риску студентов.

Адаптивная аналитика (Adaptive Learning Analytics) направлена на адаптивное представление учебного контента и подготовку материала в зависимости от уровня знаний учащегося, учитывая персонификацию.

Аналитика социальных сетей (Social Network Analytics) исследует структуры и динамику межличностных сетей, развития и поддержки взаимодействий, групповых результатов, эффективности обучения, активности пользователей, влияния на активность других.

Дискурс-аналитика (Discourse Analytics) предполагает анализ действий учеников, таких как входы в систему, просмотры сообщений, диалоги, аргументы, использование языковых средств и др.

Направление «Learning Analytics» является быстрорастущей областью технологий усовершенствования обучения (Technology-Enhanced Learning, TEL) [20] и относится к направлению Интеллектуальных систем обучения (Intelligent Tutoring Systems, ITSs), развивающемуся в последние 40 лет. В настоящее время в интеллектуальные системы обучения (ITS) внедрены мощные интеллектуальные алгоритмы [21].

Для применения интеллектуальных алгоритмов и методов аналитики в первую очередь необходимо разработать систему сбора и хранения данных, доступных в процессе обучения. Далее рассматривается система управления процессом обучения, ориентированная на применение интеллектуальных методов поддержки процесса с встроенными методами анализа данных, получаемых в ходе учебного процесса.

2. КОНЦЕПТУАЛЬНАЯ СТРУКТУРА СИСТЕМЫ УПРАВЛЕНИЯ ПРОЦЕССОМ ОБУЧЕНИЯ

Представление концептуальной структуры системы управления учебным процессом организовано по принципу обратной связи, разделения дидактических ресурсов и адап-

тации к индивидуальным характеристикам обучаемого [22]. Концептуальная структура изображена на рис. 1. В ней представлены компоненты системы, выполняющие информационную (блоки 2,4), алгоритмическую (5, 6), интеллектуальную (3, 7) и исполнительную (1, 8, 9) функции, которые разделены между пользователями и программными агентами.

Рис. 1. Концептуальная структура системы управления процессом обучения

Студент (объект управления) интерпретируется как преобразователь управляющего воздействия (дидактического ресурса) в управляемую переменную, которая представляет текущий уровень усвоенного материала в процентах к заданному объему знаний. Целью системы управления является уменьшение отклонения фактического уровня знаний от заданной учебной программой траектории обучения.

Дидактические ресурсы обучения включают информационные, методические средства (планы, методики, инструкции, пособия и др.) и когнитивные инструменты обучения. Дидактические ресурсы представлены двумя составляющими: постоянной базовой и дополнительной, зависящей от времени и от внешних возмущений. Базовый ресурс может быть организован в виде групповой формы занятий (например в виде лекционного курса) и рассчитан заранее из условия 100 % освоения материала с удовлетворительной оценкой «средним» студентом. Дополнительный ресурс определяется исходя из индивидуальных потребностей обучающегося. На основе определения когнитивной модели студента и его уровня знаний адаптация дидактического ресурса регулируется в процессе обучения.

В соответствии с терминологией теории управления базовая часть курса обучения образует разомкнутую систему управления. Продуктивные в учебной деятельности («сильные», «успешные») учащиеся усваивают материал дисциплины в объеме базового дидактического ресурса выше среднего уровня, с более высокими результатами. Индивидуальные занятия с менее продуктивными учащимися, так называемой «группой риска» («слабыми», «отстающими»), организованы по принципу обратной связи и образуют замкнутую систему регулирования. Таким образом, концепция управления учебным процессом представляется в виде системы управления и регулирования.

Интеллектуальная поддержка функций управления заключается в распределении функций между автоматизированной системой и человеком, где основная роль принад-

лежит человеку, а компьютеру отводится вспомогательная роль «поддержки» принятия решений (построения сценариев анализа данных, распределения когнитивной нагрузки, адаптации дидактических ресурсов), которая реализована в интегрированной веб-среде средствами программных агентов. Распределение функций интеллектуальной поддержки возможно благодаря наличию интегрированной образовательной среды, в которой реализованы средства, позволяющие большую часть рутинной работы преподавателя осуществлять в электронной среде: представить в реальном времени прогресс обучающихся, провести анализ текущих результатов и предложить возможные сценарии обучения. Тем самым экономится рабочее время преподавателя.

Интегрированная среда обучения рассматривается во многих публикациях и определяется авторами с учетом контекстов преподавания или поставленных задач. Например, отмечается, что «Приоритетный проект «Современная цифровая образовательная среда в Российской Федерации» при всей его широкой направленности ориентирован, в первую очередь, на интеграцию новых образовательных технологий в систему высшего и среднего профессионального образования» [23]. Сегодня онлайн-обучение становится «отличным дополнением к основному, традиционному. Вариант, когда студенты осваивают программу и в аудиториях, и с помощью онлайн-курсов, называют смешанным обучением» [23]. Там же отмечаются возможности частичной замены теоретической части дисциплины онлайн-курсами (практическую же часть — лабораторные, практикумы, семинары — «сопровождает преподаватель вуза»). Со времени появления термина «blended learnig» в зарубежных источниках («смешанное обучение») в отечественных публикациях «смешанное обучение» определяется как «гибридное, интегрированное», рассматриваются вопросы организации смешанного обучения. Смешанное обучение представляется как модель обучения, «организованная в электронно-информационной образовательной среде (ЭИОС) на основе интеграции аудиторной и внеаудиторной работы студентов и преподавателей», позволяющей «дополнять, сочетать, комбинировать, распределять, интегрировать аудиторные занятия с учебным процессом» [24]. Авторы статьи [25] определяют основные функции интегрированной информационно-образовательной среды, к которым относятся: информационная поддержка образовательного процесса, развитие ресурсной базы, обеспечение возможности оперативного обмена информацией между всеми участниками образовательного процесса и др. В статье [26] используется понятие «интегрированного интеллектуального пространства», «интегрированной интеллектуальной виртуальной среды обучения», включающей мероприятия формального и неформального процесса обучения.

В аналитических материалах [27] говорится об основных тенденциях, которые заключаются «в интеграции новых ИКТ в систему образования в условиях развития обществ, основанных на знаниях, глобализации информационной среды и вызовов цифрового поколения, требующих альтернативных форм получения образования» [27].

Анализ понятий «образовательная среда», «среда обучения», «интегрированная среда» и их определений в публикациях [23-27] позволил определить среду обучения, в которой объединены традиционные дидактические технологии и методы преподавания с электронными средствами, как «интегрированную образовательную среду».

Возникают две противоречивые задачи: с одной стороны, стремление к отражению общих закономерностей учебного процесса в условиях массового обучения, а с другой — к максимальному учету индивидуальных характеристик конкретного студента. Противоречие разрешается путем комбинирования двух способов построения динамических

моделей: аналитического (дедуктивного, «от общего к частному») и экспериментального (индуктивного, «от частного к общему»). Аналитический способ моделирования позволяет получить общее описание образовательного процесса в виде структур моделей, инвариантных к характеристикам учащихся. Экспериментальный способ сводится к оценке параметров модели конкретного учащегося и связан с обработкой данных активных экспериментов (тестирования, диагностирования) или пассивного наблюдения, что относится к идентификации объектов управления.

Далее рассмотрены примеры экспериментального способа оценки параметров модели обучающегося (рис. 1, блок 2) для задачи классификации групп студентов на основе анализа данных диагностирования когнитивных параметров студента и построения модели когнитивно-стилевого потенциала (КСП) (рис. 1, блоки 2, 3).

Ввиду неоднородности контингента обучающихся по уровню подготовки и индивидуальным познавательным характеристикам, ставится задача предварительной классификации обучающихся на условные группы перед началом учебного процесса.

Для формализации задачи вводятся условные обозначения типовых профилей, групп обучающихся: High-profile (H), Average-profile (A), Special-profile (S), Exeptional-profile (E) (H/A/S/E), рис. 2. High-profile — группа так называемого «продвинутого» уровня, характеризующаяся высоким уровнем продуктивности учебной деятельности (выше среднего). Average-profile — группа среднего уровня риска, или группа достаточного (допустимого) уровня продуктивности учебной деятельности. Special-profile — группа студентов высокого уровня риска, или недостаточного (ниже среднего) уровня продуктивности учебной деятельности. Exeptional-profile — группа студентов низкого (недопустимого) уровня продуктивности. Для студентов S и E-групп характерны некоторые проявления, затрудняющие продуктивность учебной деятельности, которые заключаются в пропуске информации, частом возникновении ошибок, неточном понимании инструкций, сложности восприятия больших объемов информации, увеличении времени выполнения заданий, возникновении напряженности в работе, развитии утомления и др.

3. КОМПЛЕКС ДИАГНОСТИРОВАНИЯ КОГНИТИВНЫХ ПАРАМЕТРОВ МОДЕЛИ СТУДЕНТА

Группа высокой продуктивности

Группа средней продуктивности

Special profile Exeptional

Минимально допустимый (достаточный) уровень

Недопустимым (недостаточный) уровень

Рис. 2. Типовые профили групп обучающихся (H/A/S/E)

В определении тестового набора диагностической системы экспресс-диагностики когнитивно-стилевого потенциала обучающихся участвовали эксперты-психологи. В результате анализа методик, диагностирующих познавательно-мыслительную и когнитивную сферу, методом анализа иерархий были отобраны три методики, которые вошли в разработанный комплекс диагностирования ОнтоМАСТЕР (http://ontomaster.ru/).

Экспресс-диагностика КСП основана на понимании стиля человека, представленного в публикациях [28], где стиль человека определяется как «устойчивый целостный паттерн индивидуальных проявлений, выражающийся в предпочтении индивидуумом формы (способа) взаимодействия с физической и социальной средой», то есть представляет устойчивую систему способов или приемов осуществления человеком разных типов деятельности, в том числе интеллектуальной. Основные особенности стилевых различий изучались в рамках дифференциальной психологии (психологии индивидуальных различий) в системе «личность — познавательные процессы» [28]. Персональный познавательный стиль представляется как интеграция познавательных стилей разных уровней [29].

Методики, с помощью которых диагностируются параметры КСП, реализованы в компьютерной версии подсистемы диагностики комплекса ОнтоМАСТЕР. Представим краткое описание и назначение методик.

Методика 1 представляет собой модифицированный компьютерный вариант методики «Скрытые фигуры» Л. Терстоуна (Thurstone L. L., 1944) [30]. Методика является разновидностью перцептивных тестов. Диагностируемым параметром является значение показателя когнитивного стиля «поленезависимость—полезависимость» (ПЗ-ПНЗ), на основе которого определяются индивидуальные различия в познавательно-ориентировочной деятельности. Когнитивный стиль ПЗ-ПНЗ характеризует структурирующую способность в восприятии информации. ПЗ-ПНЗ относится к показателям обучаемости в условиях высокой информационной нагрузки учебного процесса, что подтверждено рядом исследований зарубежных и отечественных ученых [29].

Методика 2 представляет собой модифицированный компьютерный вариант теста MFFT-12 (Matching Familiar Figures Test) «Выбор парной фигуры», разработанного Дж. Каганом (Kagan J., 1966) [31]. Методика предназначена для диагностики когнитивного стиля «импульсивность—рефлексивность» (И-Р). Этот стиль отражает различия в сканировании информации субъектами. Методика позволяет диагностировать одновременно пространственную и временную характеристики решения задач, скорость и точность анализа информации. Значения когнитивного стиля И-Р характеризуют индивидуальные различия в интеллектуальной продуктивности: времени отбора информации, оценивания гипотез для принятия решений, точности перцептивного сканирования. Данный когнитивный стиль проявляется в условиях неопределенности как характеристика индивидуальных особенностей решения задач при выборе из нескольких альтернатив. Различия в стиле И-Р проявляются в использовании разных стратегий при выполнении когнитивных задач, например, при понимании сложных смысловых связей. Параметр И-Р характеризует соотношение темпа и качества мыслительных процессов.

Методика 3 представляет собой модифицированный вариант теста Струпа (J. Ridley Stroop, 1935) «Словесно-цифровая интерференция» [32]. При помощи теста Струпа измеряется величина интерференции, параметра, характеризующего когнитивный контроль. Всю проблематику когнитивных стилей разделяют на две группы: группу когнитивных стилей, в которую входят стили ПЗ-ПНЗ, И-Р, и группу когнитивных контролей [33]. Контроли характеризуют индивидуальные стратегии решения определенного класса интеллектуальных задач, понимания условий зада-

чи и требований инструкций [34]. При помощи данной методики диагностируется параметр «гибкий-узкий (ригидный) когнитивный контроль (КК)». В учебном процессе ввиду перенасыщенности информацией различной модальности зачастую создается ситуация когнитивного конфликта при восприятии информации обучающимися. При выполнении учебных заданий студентами возникает так называемый эффект интерференции, проявляющийся вследствие взаимодействия двух или более потоков информации в процессе их обработки, например вербальной и перцептивной информации, что является существенным фактором увеличения когнитивной нагрузки. В ситуации когнитивного конфликта наиболее важно получить параметры когнитивного контроля, характеризующие индивидуальные особенности учащихся. В реализованном компьютерном варианте методики получены дополнительные параметры, которые невозможно было получить при бланковом исполнении методики (на бумаге) [35, 36]. Например, в оригинальной версии методики (J. Ridley Stroop, 1935) не фиксировалось число ошибок при выполнении заданий. Фиксация ошибок возможна в компьютерной версии методики Струп-М. Кроме точности в компьютерной версии получены параметры скорости выполнения заданий, понимания инструкции, характеристики предпочтений модальности восприятия информации и другие параметры, позволяющие более точно диагностировать отличия испытуемых и получить информацию о разнородности групп. Иллюстрация разнородности групп изображена на рис. 3. Экспериментальную выборку составили студенты-первокурсники факультета компьютерных технологий и информатики СПбГЭТУ «ЛЭТИ».

High, % Average, % Special, % Exceptional, %

Группа 1 41,6 29,2 25,0 4,2

Группа 2 30,0 10,0 И55Ш 1 5,0

Группа 3 45,0 20,0 35,0 0,0

Группа 4 ШШо 6,2 37,5 1 6,3

Группа 5 5,9 41,2 шш 0,0

Группа 6 31,8 22,7 36,4 ■ 9,1

Рис. 3. Иллюстрация разнородности состава групп обучающихся по классификации (H/A/S/E)

Обучающиеся Б и E-групп требуют специального внимания в организации дидактических ресурсов и адаптации индивидуального процесса обучения.

Модель КСП структурирована иерархически. В основе структуры модели лежит идея об иерархической структуре стиля, которая представляет собой совокупность определенных типов связей между разными параметрами индивидуальности [28]. Верхний уровень представлен группой параметров когнитивного контроля, которые позволяют предварительно дифференцировать обучающихся на группы (обозначенные Н/А/Б/Е). Нижний уровень модели представлен параметрами когнитивных стилей ПЗ-ПНЗ и И-Р для более глубокого уточнения индивидуальных моделей учащихся, определения студентов так называемой «группы риска» для дальнейшей адаптации учебного контента [37].

Реализация метода классификации учащихся предполагает разработку сценариев анализа данных: сбор данных, выбор методов анализа и критериев, обработку данных, программную реализацию в веб-среде аналитических исследований процесса обучения и визуализацию результатов. Реализация программ основана на клиент-серверной архитектуре и агентном подходе.

4. АРХИТЕКТУРА СИСТЕМЫ АГЕНТОВ

Архитектура системы агентов в веб-среде аналитических исследований процесса обучения изображена на рис. 4. Система агентов позволяет реализовать информационный процесс, управляемый данными. Архитектура многоагентной системы включает группы агентов: агенты-посредники, агенты-роли, последовательность взаимодействия и поведения которых регулируется координирующим агентом.

Расшифровка обозначений агентов представлена в табл. 1.

Этап 1. Интеллектуальный анализ данных

ATUI

A Aril

ADS

AMod

АКБ

Инспектирование данных

Подготовка данных DataSet

Выбор модели интел. анализа данных

Оценка по критериям

ACIass

Aident

ASM

Классификация групп

Идентификация параметров модели

Модель студента

Этап 2. Разработка

сценариев

Aident

Aident

ACL

Прогнозирование результатов обучения

Ï ft

Анализ траекторий обучения

Распределение когнитивной нагрузки

ASUI

APLE

Построение персональной _среды обучения_

A CL_

Разработка сценариев обучения

Рис. 4. Архитектура системы агентов

Таблица 1

Обозначение Расшифровка Наименование

ATUI Agent Teacher User Interface Агент интерфейса преподавателя

AAnl Agent Analytic Агент аналитики процесса

ADS Agent DataSet Агент набора данных

AMod Agent Model Агент моделей анализа данных

AKB Agent Knowledge base Агент базы знаний

ASM Agent Student Model Агент модели студента

AIdent Agent Identification Агент идентификации

AClass Agent Qassifier Агент классификации

ACL Agent Агент когнитивной нагрузки

APLE Agent Personal Learning Environment Агент персональной среды обучения

ASUI Agent Student User Interface Агент интерфейса студента

AUI Agent User Interface Агент интерфейса студента

Проектировщик определяет номинальное поведение и взаимодействие агентов [38]. Для моделирования системы на уровне агентов используются UML-диаграммы, построенные в среде моделирования Rational Rhapsody (https://www.ibm.com). С целью моделирования временной упорядоченности потока управления строится необходимое число диаграмм (пакет диаграмм) для полноты представления всех процессов. Диаграмма последовательности взаимодействия агентов на примере процедуры предварительной классификации групп студентов изображена на рис. 5. В верхней части диаграммы расположены объекты, участвующие во взаимодействии в данной процедуре. Развитие потока управления во времени изображено горизонтальными стрелками в виде посылающих и принимающих сообщений. Вертикальные линии отражают существование объектов во времени. Каждому студенту назначается персональный агент интерфейса студента ASUI. Агентом интерфейса студента ASUI инициируется взаимодействие агентов. Последовательность начинается с отправки агентом ASUI запросов (Request(tl), Request(t2)) на веб-сервис о параметрах студента, полученных в системе диагностики, и получения результатов (Inform_Result(tn)). Затем обработанные результаты передаются агенту набора данных ADS. Запрос на анализ модели студента от веб-сервиса инициирует работу агента аналитика AAnl. Агент AAnl проверяет состояние очереди запросов на обработку результатов тестирования студентов (Request_db()). В запросе содержится персональный идентификатор студента (S_ID). Агент обращается в базу данных, запрашивает результаты диагностики и получает ответ на запрос (Inform_Result_db(S_ID)). Далее агент AAnl инициирует запрос агенту идентификации AIdent на идентификацию параметров модели КСП студента (Request_Model_ident). Результаты модели идентификации предаются в базу знаний Knowledge Base, где отрабатывается процедура классификации студентов на условные группы.

ASUI

Web Service

Request(tl)

_.j

nform_Result(t1)

Request(t2)

lnform_Result(t2)

t-.........

ADS Knowledge Base

AAnl

Aident

Request(db_t1)

Обработка результатов предварительной диагностики студента

Request(db_t2)

Request(db_t3)

Request_analysis(S_ID)

Request_db()

lnform_Results_db(S_ID)

Классификация по параметрам модели КСП

Идентификация параметров модели КСП

Requ est_M odel JdentQ

lnform_Results_ModelJdent(S_ID)

Requ est_model_da ss()

lnform_Results_model_classO Requ est_Store_model_cla ss(S_ID)

Рис. 5. Диаграмма последовательности взаимодействия агентов (процедура классификации групп студентов)

Процедура диагностирования осуществляется агентом АБШ на основе комплекса экспресс-диагностики КСП. Визуализация результатов процедуры классификации групп студентов изображена на рис. 6.

Рис. 6. Результаты процедуры классификации групп студентов

На рис. 6 в подклассы с1 и с3 попали обучающиеся S и E-групп, то есть студенты, которые допускают большое число ошибок при выполнении заданий (М на оси у — число ошибок), в подклассы с2 и с4 — студены H и A-групп соответственно. Реализация диагностирования параметров модели КСП в веб-среде позволяет проводить процедуру диагностирования большого контингента обучающихся дистанционно. Большой объем получаемых данных потребовал разработки структурированного набора данных DataSet. Данные моделей КСП используются при прогнозировании траекторий обучения [39]. С целью прогнозирования в набор данных внесены параметры более 50 методов интеллектуального анализа данных.

5. НАБОР ДАННЫХ STUDCSP-DATASET

Размер баз данных, накапливающихся по мере прохождения обучения студентами, можно отнести к типу больших объемов данны [40], обработка которых требует специальных интеллектуальных методов, позволяющих извлекать полезные знания из данных, особенно знания, которые ранее неизвестны лицам, принимающим решения [41].

Набор данных StudCSP-DataSet разработан в среде аналитических исследований процесса обучения AnalyticSYSTEMS (ontomaster.ru) для решения аналитических задач и включает параметры когнитивно-стилевого потенциала (CSP — cognitive-style potential) студентов, данные траекторий обучения, значения факторов моделей обучающихся и др. [42]. Схема ER-модели (entity-relationship model) фрагмента концептуальной схемы набора данных в стандарте графической нотации диаграммы «сущность — связь» П. Чена (1995) изображена на рис. 7.

Параметры CSP формируются на основе результатов экспресс-диагностирования с использованием методик по решению когнитивных задач в реальном масштабе времени в диагностической системе экспресс-диагностики когнитивно-стилевого потенциала. По данным диагностирования определены признаки внутренней дифференциации обучающихся на условные подгруппы типовых профилей — HASE-profile.

Таблицы набора данных включают различные типы данных:

— характеристики обучающихся, формально необходимые для учебного процесса (направление обучения, факультет, группа, баллы ЕГЭ, учебные достижения, данные промежуточных и итоговых аттестаций, средние баллы и др.);

— данные траекторий обучения представлены в нескольких измерениях: по времени в течение семестров и всего периода обучения по всем дисциплинам;

Рис. 7. Схема набора данных

— данные, полученные в результате диагностирования КСП и классификации групп;

— данные, полученные в процессе применения методов интеллектуального анализа данных.

Отличием набора данных является база метаданных, в которую внесены параметры более 50 методов интеллектуального анализа данных, параметры моделей динамики в виде детерминированных и стохастических дифференциальных уравнений. Оценка качества моделей осуществляется с помощью многокритериального подхода с использованием данных о значениях весовых коэффициентов для более десятка частных показателей качества моделей классификации и регрессии. Результаты прогнозирования академической успеваемости студентов сохраняются в наборе данных DataSet и служат основой для адаптивного управления траекториями обучения студентов с использованием персональных адаптивных дидактических ресурсов.

На основе получения индивидуальных моделей КСП обучающихся решаются следующие задачи: 1 — задача идентификации параметров моделей студентов различающихся групп по продуктивности процесса обучения, 2 — задача прогнозирования успешности обучения. Задачу идентификации и задачу прогнозирования успешности обучения имеет смысл решать на ранних стадиях обучения в вузе, на первом курсе. В публикациях подтверждается, что изучение стратегий студентов во время начального периода обу-

чения в вузе, характер обучения по отношению к требованиям конкретных дисциплин имеет важное значение [43]. Для решения задач применяются инструменты построения сценариев анализа данных с применение методов машинного обучения.

6. СЦЕНАРИИ АНАЛИЗА ДАННЫХ С ПРИМЕНЕНИЕМ АЛГОРИТМОВ МАШИННОГО ОБУЧЕНИЯ

Сценарии анализа данных предназначены для решения задач многоклассовой классификации и регрессионного анализа.

В сценариях реализуется принцип последовательного раскрытия неопределенности [44]. Первый уровень, уровень топологической неопределенности, заключается в поиске значимых входных факторов модели. Второй уровень, уровень структурной неопределенности, заключается в определения структуры модели машинного обучения. На третьем уровне параметрической неопределенности определяются параметры модели.

Предусмотрены два варианта сценариев анализа данных: автоматизированный и автоматический. В автоматизированном режиме выполнении сценария пользователю предоставляется возможность в веб-интерфейсе изменять значения метапараметров методов, заданных по умолчанию. В автоматическом режиме в среде построения сценариев подключается блок поиска оптимальных значений метапараметров методов.

Решается два типа задач: прямая и обратная, что позволяет сравнивать различные методы анализа данных. Прямая задача предсказания выходной переменной (класса) от входных переменных (признаков) представлена в виде отображения: f : X ^ Y, где f — модель анализа данных. Различается постановка задачи в зависимости от типа данных. В случае, если области определения D (X) и изменения D (Y) имеют типы данных «numeric», решается прямая задача регрессионного анализа. Если D(Y) имеет тип данных «symbolic», то решается задача классификации на основании признаков, содержащихся в данных. Проблема поиска наилучших моделей для классификации и регрессии формулируется как обратная задача.

Задачи включают выбор моделей и анализ результатов применения моделей по критериям. Примеры интерфейса построения сценария изображены на рис. 8, 9).

Рис. 8. Интерфейс построения сценария

Рис. 9. Интерфейс построения сценария с выбором моделей

Прогнозирование численных значений траекторий обучения студентов относится к постановке прямой задачи, которая формулируется следующим образом: требуется предсказать значение выходных переменных Y (например, средние баллы обучения студентов за семестр, учебный год или весь период обучения) от входных переменных X (например баллов ЕГЭ при поступлении в вуз, результатов текущей успеваемости или параметров когнитивной модели) на основе модели анализа данных f. Для решения прямой задачи необходимы структура и значения параметров модели анализа данных, входные переменные и факторы.

Поиск модели анализа данных f в виде множественной регрессии относится к постановке обратной задачи, которая формулируется следующим образом: найти отображение f * (структуру модели, значимые факторы и значения коэффициентов) при известных априорных значениях независимых переменных (признаков) X и зависимой переменной (класса) Y, которое обеспечивает экстремум (минимум или максимум) функционала в виде аддитивной свертки целевых функций Rj при выполнении ограничений Ri е С:

f * = arg(extrRiее{lаjRj(f (X,Z), Y)}).

В качестве целевых функций Rj используются количественные показатели производительности методов классификации и регрессии.

Определение независимых переменных, соответствующих конкретной предметной области и цели прогнозирования представляет отдельную задачу. В данной работе помимо балльных оценок успеваемости студентов в качестве независимых переменных модели предложены параметры КСП. Предлагается следующая гипотеза: включение в модель в качестве независимых переменных параметров КСП позволит повысить точность прогноза успеваемости обучающихся.

Для решения задачи автоматизированного прогнозирования результатов обучения студентов разработан метод интервального прогноза с учетом принципа последовательного раскрытия неопределенности [45].

Алгоритм последовательного уточнения прогноза результатов обучения изображен на рис. 10.

Рис. 10. Алгоритм последовательного уточнения прогноза результатов обучения

Результаты академической успеваемости студентов в конце каждого семестра фиксируются как средние баллы соответствующих сегментов траекторий обучения. В методе интервального прогноза используется процедура последовательного уточнения прогнозирования результатов обучения на основе баллов ЕГЭ при поступлении студентов в университет, параметров модели КСП и результатов успеваемости.

Прогнозирование результатов обучения для новых групп студентов на основе разработанных моделей (прямая задача) осуществляется с помощью процедур:

— сбора данных ЕГЭ и результатов обучения, полученных на определенном этапе прогнозирования;

— диагностики параметров модели КСП студентов;

— начального прогноза результатов обучения студентов 1-го курса к окончанию первого года обучения и к окончанию четвертого года (бакалавриата);

— последовательного уточнения результатов индивидуальных прогнозов обучения с учетом полученных оценок и параметров КСП.

7. РЕЗУЛЬТАТЫ ЭКСПЕРИМЕНТАЛЬНЫХ ИССЛЕДОВАНИИ

Задача автоматизированного прогнозирования результатов обучения

Ввиду того, что в системах академического обучения используются разные системы оценок (баллы по Болонской системе, балльная система от 2 до 5, от 0 до 5 и др.), для сравнения результатов, полученных в различных исследованиях, предлагается нормализация данных (баллов) в интервале [0 - 1].

Баллы ЕГЭ и средние баллы представлены в нормализованной шкале [0,1]:

Уе - Хе / Хшах> Уа = (Ха - 2) / 3,

где Хе — значение балла ЕГЭ; Ха — значение среднего балла по пятибалльной шкале [2,5]; Уе, Уа — нормализованные значения баллов по шкале [0,1].

Далее приведены примеры исследований: задача прогнозирования средних баллов за первый год обучения, задача прогнозирования средних баллов за весь период обучения, задача прогноза результатов обучения по некоторым дисциплинам.

Задача прогнозирования средних баллов за первый год обучения

Постановка задачи заключается в определении наиболее значимых факторов для прогнозирования среднего балла обучения студента.

В качестве экспериментальных данных использовались баллы ЕГЭ, индивидуальные параметры модели КСП и значения средних баллов студентов за первый год обучения. Экспериментальную выборку составили 152 студента, обучающиеся по направлениям подготовки «Информационные системы и технологии», «Управление в технических системах» в СПбГЭТУ «ЛЭТИ». На рис. 11 изображена гистограмма распределения средних баллов студентов, полученных за первый год обучения.

Рис. 11. Гистограмма распределения средних баллов за первый год обучения

Рис. 12. Гистограмма частот среднеквадрати-ческих ошибок (RMSE)

Среднее значение среднего балла ^ = 0,65, стандартное отклонение а = 0,14 по нормализованной шкале.

Сравнительный анализ прогноза средних баллов за первый год обучения проведен с помощью множественного регрессионного анализа с использованием 50 %-х обучающих и тестовых выборок данных.

Введено обозначение шг1 — средний балл за первый год обучения. Прогноз среднего балла (шг1) по наиболее значимому фактору ЕГЭ (nege — суммарный балл ЕГЭ) осуществляется с величиной среднеквадратической ошибки RMSE а = 0.15:

шг1 = 0.24nege + 0.47.

Далее прогноз среднего балла (шг1) осуществлялся с учетом дополнительных факторов — параметров модели КСП. С учетом дополнительных факторов КСП прогноз среднего балла осуществляется с меньшей величиной среднеквадратической ошибки RMSE о = 0,12. Использованы обозначения факторов, которые внесены в базу данных и получены при диагностировании ^-факторы, значение показателя когнитивного стиля «поленезависимость-полезависимость» (ПЗ-ПНЗ), errsum — сумма ошибок по методике Струпа, tsumm — время выполнения заданий по методике Струпа, T3minusT2 — разница во времени выполнения заданий по методике Струпа, и другие). Данные факторы из всей базы факторов автоматически определены как наиболее значимые для осуществления прогноза.

шг1 = 0.238nege + 0.0192pzmes + 0.0013errsum3 - 0.003tsum3 + 0.0034T3minusT2 + +0.2723T2delT1 + 0.009P1 + 0.0248P2 + 0.7916Ш - 1.0162Hsr - 0.1994Horb2 + 0.9052.

На рис. 12 изображена гистограмма частот среднеквадратических ошибок (RMSE).

Результаты подтверждают сформулированную гипотезу о повышении точности прогноза успеваемости обучающихся с включением в модель в качестве независимых переменных параметров КСП.

Задача прогнозирования средних баллов за весь период обучения

Постановка задачи заключается в определении групп обучающихся, для которых возможно построение наиболее точного прогноза.

В качестве экспериментальных данных использовались следующие баллы ЕГЭ: средний балл, баллы по русскому языку, математике, профильной дисциплине (физика, информатика), параметры модели КСП и значения средних баллов за весь период обучения студентов (4 года). Экспериментальную группу составили студенты СПбГЭТУ «ЛЭТИ», обучающиеся по направлениям подготовки «Информационные системы и технологии», «Управление в технических системах».

Сравнительный анализ баллов ЕГЭ и средних баллов за весь период обучения проведен с помощью множественного регрессионного анализа с использованием 50 %-х обучающих и тестовых выборок данных. Прогноз среднего балла (шг4) по наиболее значимому фактору (nmath — балл ЕГЭ по математике) осуществляется с величиной среднеквадратической ошибки RMSE о = 0.12:

ШГ4 = 0.56nmath + 0.3.

На рис. 13 изображен график прогноза средних баллов в нормализованной шкале за весь период обучения в вузе.

Из полученных результатов можно заключить, что лучший прогноз осуществляется в середине шкалы значений средних баллов для наибольшего числа студентов. Для некоторых учащихся более точный прогноз требует учета факторов модели КСП.

Задача прогнозирования результатов обучения на примерах учебных дисциплин

Постановка задачи заключается в интервальном прогнозе в разные периоды обучения и выявлении наиболее значимых признаков.

Проведен сравнительный анализ прогноза оценок, полученных по дисциплине «Математический анализ» во 2-м семестре с помощью множественного регрессионного анализа с использованием 50 %-х обучающих и тестовых выборок данных. Прогноз оценок по дисциплине во 2-м семестре (nmath2) по наиболее значимому фактору (nmath1 —

1.0

0.9

пЛ-'

0.4 0.5 0.6 0.7 0.8 0.9 1 Средний балл

Рис. 13. График прогноза средних баллов в нормализованной шкале за весь период обучения в вузе

0 0.2 0.4 0.6 0.8 1.0

Балл

Рис. 14. Результаты прогноза успеваемости студентов

оценка по дисциплине за 1-й семестр) осуществляется с величиной среднеквадратиче-ской ошибки RMSE о = 0.23.

nsr2 = 0.48nmath1 + 0.31.

Прогноз результатов обучения по дисциплине «Интеллектуальные технологии и представление знаний» осуществлялся с использованием баллов ЕГЭ, оценок по предыдущим дисциплинам и параметров модели КСП [46]. Выборку составили 160 студентов по направлениям подготовки «Информационные системы и технологии», «Управление в технических системах», обучающиеся в 2014-2017 гг. После предварительной классификации студентов на 3 условные группы, обозначенные: high (H), average (A) и special (S) в соответствии с моделью КСП, для каждой группы были построены регрессионные модели. Последовательное применение методов классификации и регрессии на 50 %-й тестовой выборке студентов позволяет прогнозировать продуктивность обучения по условным группам со среднеквадратической ошибкой RMSE: о = 0.08 (рис. 14). На рис. 14 светлыми точками обозначены результаты прогноза успеваемости студентов в баллах по нормализованной шкале условно «сильной» группы (H-группа). Для условно «слабых», менее продуктивных студентов (темные точки на рисунке), визуально заметно, что прогноз осуществляется практически с минимальной ошибкой, то есть для данной группы получена наивысшая точность прогнозирования. Это результат является наиболее значимым, так как в первую очередь необходимо определить обучающихся группы «риска» (S-группа и E-группа по модели КСП), нуждающихся в индивидуальной адаптации образовательной среды и дополнительном внимании со стороны педагогов.

Полученные результаты подтверждают гипотезу о том, что включение в модель студента в качестве независимых переменных параметров КСП позволяет повысить точность прогнозирования продуктивности учебной деятельности. Полученные результаты позволяют осуществлять более точный прогноз по сравнению, например, с результатами, полученными в исследовании [47], где к данным академической базы данных информационной системы университета применены методы регрессионного анализа (SVR, Random Forest, AdaBoost.R2 и др.) и оценки точности моделирования и прогнозирования результатов обучения характеризуются значениями среднеквадратических ошибок (Root Mean Squared Error, RMSE) в интервале от 0.23 до 0.27 в нормализованной шкале.

ЗАКЛЮЧИТЕЛЬНЫЕ ОБСУЖДЕНИЯ И ВЫВОДЫ

Использование анализа данных и методов машинного обучения представляет большой потенциал для решения многих актуальных вопросов в сфере образования.

В публикациях обсуждается огромный потенциал будущих работ, которые заменят альтернативные статистические модели обучения (например [48]). Отмечается необходимость оперативного получения данных, что важно для педагогов, чтобы успеть повлиять на обучение студентов [49], в то время как формальный сбор текущих результатов предоставляет данные слишком поздно для изменения учебного процесса [50].

Примеров образовательных данных в открытом доступе, которые возможно использовать для исследований, практически недостаточно. Доступный для исследователей пример бесплатного набора данных Educational process mining (EPM) приводится в Техническом университете Эйндховена Eindhoven University of Technology (Eindhoven University of Technology research portal, https://research.tue.nl/en/) [51]. В набор данных включены «временные ряды» действий студентов в течение шести сессий на лабораторных занятиях по курсу цифровой электроники. Отдельные примеры имеют определенную специфику обучения конкретного учебного заведения. Однако, несмотря на различные цели применения аналитики образовательных данных в каждом учебном заведении (это может быть повышение успеваемости учащихся, сокращение «отсева», улучшение навыков каких-либо видов деятельности или повышение возможностей трудоустройства и др. [52]), в большинстве исследований основной задачей является выявление трудностей обучения и улучшение понимания образовательных процессов [53].

Набор данных AnalyticSYSTEMS-hDS (StudCSP-DataSet), который разработан и представлен в настоящей статье, является открытым хранилищем данных и сопровождается соответствующими инструментами визуализации и анализа. Целью применения методов анализа данных в представленных примерах была проверка гипотезы, утверждающей, что включение в модель студента в качестве независимых переменных индивидуальных параметров когнитивно-стилевого потенциала позволяет повысить точность прогноза успеваемости обучающихся. Сценарии анализа данных были протестированы как на искусственных наборах данных, так и полученных в реальном процессе обучения.

Предложенная модель на основе показателей когнитивно-стилевого потенциала может являться основой для индивидуальных адаптивных инструкций, распределения дидактических ресурсов и управления процессом обучения студентов.

Метод автоматизированного прогнозирования реализован в программном комплексе ОнтоМАСТЕР (подсистема ОнтоМАСТЕРAutoML) [54], зарегистрированном в Государственном Реестре программ.

Некоторые важные вопросы требуют дальнейшего обсуждения, например, вопрос защиты данных, вопрос обсуждения данных со студентами, предоставление базовой аналитики студентам (рейтинг, показатели по группам, курсам, дисциплинам, активность участия)? Какие данные имеют значение для более точного прогнозирования? Как меняются прогностические данные с изменением контингента обучающихся и условий образовательной среды?

Как отмечается в обзоре материалов международных экспертов, полученных в аналитических исследованиях ИИТО ЮНЕСКО, «по сравнению со многими другими секторами образовательные учреждения в настоящее время «идут вслепую» в цифровую эру знаний». Необходимо развитие аналитических инфраструктур по двум причинам: 1 — для

оптимизации достижений студентов, и 2 — «позволить своим собственным исследователям задать основополагающие вопросы об обучении и преподавании в XXI веке» [27].

Благодарности. Автор выражает благодарность доценту кафедры АПУ СПбГЭТУ «ЛЭТИ» Писареву А. С. за помощь в реализации программных модулей комплекса и структуры набора данных DataSet, а также студентам СПбГЭТУ «ЛЭТИ» и СПбГПМУ, принимающим участие в сборе данных и тестировании программного комплекса экспресс-диагностики когнитивно-стилевого потенциала.

Список литературы

1. Was ist Hochschulbildung (im digitalen Zeitalter)? URL: https://www.e-teaching.org/community/ communityevents/ringvorlesung/was-ist-hochschulbildung-im-digitalen-zeitalter (дата обращения: 15.12.2019).

2. EDUCAUSE Horizon Report: 2019 Higher Education Edition. (Louisville, CO: EDUCAUSE, 2019). URL: https://library.educause.edu/resources/2019/4/2019-horizon-report (дата обращения: 15.12.2019).

3. 2018 European Skills Index Technical report. URL: https://skillspanorama.cedefop.europa.eu/en/ useful_resources/2018-european-skills-index-technical-report (дата обращения: 15.12.2019).

4. Dumont H., Istance D. Analysing and designing learning environments for the 21st century // The nature of learning: Using research to inspire practice. 2010. P. 19-34. doi: 10.1787/9789264086487-en

5. Organisation for Economic Cooperation and Development. Skills for a digital world. Background report 2016 Ministerial Meeting on the digital economy. 2016. № 250. 56 p. doi: 10.1787/5jlwz83z3 wnw-en

6. Carrico G. The EU and artificial intelligence: A human-centred perspective // European View. 2018. Vol. 17. № 1. P. 29-36. doi: 10.1177/1781685818764821

7. Graesser A. C. et al. Challenges of assessing collaborative problem solving // Assessment and teaching of 21st century skills. Springer, Cham, 2018. P. 75-91. doi: 10.1007/978-3-319-65368-6_5

8. De WeverB. et al. Content analysis schemes to analyze transcripts of online asynchronous discussion groups: A review // Computers & education. 2006. Vol. 46. № 1. P. 6-28.

9. Lou Y., Abrami P. C., d'Apollonia S. Small group and individual learning with technology: A metaanalysis // Review of educational research. 2001. Vol. 71. № 3. P. 449-521.

10. Learning Analytics Dream, Nightmare or Fairydust? URL: http://simon.buckinghamshum.net/2011/ 12/learning-analytics-ascilite2011-keynote-/ (дата обращения: 15.12.2019).

11. Shum S. B., Crick R. D. Learning dispositions and transferable competencies: pedagogy, modelling and learning analytics // Proceedings of the 2nd international conference on learning analytics and knowledge. ACM. 2012. P. 92-101. doi: 10.1145/2330601.2330629

12. De Liddo A. et al. Discourse-centric learning analytics // Proceedings of the 1st international conference on learning analytics and knowledge. ACM. 2011. P. 23-33. doi: 10.1145/2090116.2090120

13. Siemens G., d Baker R. S.J. Learning analytics and educational data mining: towards communication and collaboration // Proceedings of the 2nd international conference on learning analytics and knowledge. ACM. 2012. P. 252-254. doi: 10.1145/2330601.2330661

14. Sclater N., Peasgood A., Mullan J. Learning analytics in higher education // Jisc, London, 2017. URL: https://goo.gl/g0roCB (дата обращения: 15.12.2019).

15. Vargas J. M. Modern learning: Quizlet in the social studies classroom. Diss. Wichita State University. 2011.

16. Aleven V. Help seeking and intelligent tutoring systems: Theoretical perspectives and a step towards theoretical integration // International handbook of metacognition and learning technologies. NY: Springer, 2013. P. 311-335. doi: 10.1007/978-1-4419-5546-3_21

17. Aleven V. et al. Instruction based on adaptive learning technologies // Handbook of research on learning and instruction. 2016. P. 522-560.

18. Learning Analytics. URL: https://www.e-teaching.org/didaktik/qualitaet/learning_analytics (дата обращения: 15.12.2019).

19. Shum S. B. Learning analytics policy brief. UNESCO Institute for Information Technology in Education, 2012. 12 p.

20. Ferguson R. Learning analytics: drivers, developments and challenges // International Journal of Technology Enhanced Learning. 2012. Vol. 4. № 5/6. P. 304-317. doi: 10.1504/IJTEL.2012.051816

21. Graesser A. C. et al. ElectronixTutor: an intelligent tutoring system with multiple learning resources for electronics // International journal of STEM education. 2018. Vol. 5. № 1. P. 15.

22. Имаев Д. Х., Котова Е. Е. Моделирование и имитация процессов обучения с разделением дидактических ресурсов. Динамический подход. СПб.: СПбГЭТУ «ЛЭТИ». 2014. 111 с.

23. Спецпроект АИФ^и. Учиться в Интернете. Что нужно знать об онлайн-образовании. URL: http://education.aif.ru/ (дата обращения: 15.12.2019).

24. Лученкова Е. Б., ШершневаВ. А. Возможности организации смешанного обучения математике студентов инженерных направлений подготовки // Перспективы науки и образования. 2018. № 4. С. 66-71.

25. Лапчик М. и др. От корпоративной компьютерной сети к интегрированной информационно-образовательной среде // Высшее образование в России. 2008. № 6. С. 93-99.

26. Дмитриевская Н. А. Интегрированная интеллектуальная среда непрерывного развития компетенций // Открытое образование. 2011. № 3. С. 4-8.

27. Информационные и коммуникационные технологии в образовании / Под. ред. Б. Дендева. М.: ИИТО ЮНЕСКО. 2013. 320 с.

28. Стиль человека. Психологический анализ / Под ред. А. В. Либина. М.: Смысл. 1998. 310 с.

29. Холодная М. А. Когнитивные стили: О природе индивидуального ума. Учебное пособие. М.: ПЕР СЭ, 2002. 304 с.

30. Thurstone L. L. A factorial study of perception. Chicago: University of Chicago Press. 1944.148 p.

31. Kagan J. Reflection-impulsivity: The generality and dynamics of conceptual tempo // Journal of abnormal psychology. 1966. Vol. 71. № 1. P. 17-24. doi: 10.1037/h0022886

32. Stroop J. R. Studies of interference in serial verbal reactions // J. of Exper. Psychology. 1935. Vol. 18. P. 643-662. doi: 10.1037/h0054651

33. Когнитивные стили. Тезисы научно-практического семинара / Под ред. В. Колги. Таллин: Таллинский пед. институт им. Э. Вильде. 1986. 250 с.

34. Аверин В. А., Киреева Н. Н. Котова Е. Е. Интеллектуально-стилевая организация человека. Учебное пособие для преподавателей и студентов. СПб.: Изд-во СПбГПМУ, 2014. 36 с.

35. Котова Е. Е., Падерно П. И. Экспресс-диагностика когнитивно-стилевого потенциала обучающихся в интегрированной образовательной среде // Образовательные технологии и общество. 2015. Т. 18. № 1. С. 561-576.

36. Котова Е. Е. Модели и методы интеллектуальной поддержки адаптивного управления процессом обучения. СПб.: Изд-во Печатный Цех. 2019. 264 с.

37. Котова Е. Е., Писарев А. С. Задача классификации учащихся с использованием методов интеллектуального анализа данных // Известия СПбГЭТУ «ЛЭТИ». 2019. № 4. С. 32-43.

38. Benomrane S., Sellami Z., AyedM. B. An ontologist feedback driven ontology evolution with an adaptive multi-agent system. Advanced Engineering Infor-matics. 2016. Vol. 30. № 3. P. 337-353.

39. Котова Е. Е., Писарев А. С. Автоматизация прогнозирования результатов обучения студентов // Известия СПбГЭТУ «ЛЭТИ». 2019. № 5. С. 31-39.

40. Snijders C., Matzat U., Reips U. D. "Big Data": big gaps of knowledge in the field of internet science // International Journal of Internet Science. 2012. Vol. 7. № 1. P. 1-5.

41. Wong A. K. C., Wang Y. Pattern discovery: a data driven approach to deci-sion support // IEEE Transactions on Systems, Man, and Cybernetics, Part C (Applications and Reviews). 2003. Vol. 33. № 1. P. 114-124. doi: 10.1109/TSMCC.2003.809869

42. База данных когнитивно-стилевого потенциала студентов AnalyticSYSTEMS-hDS (StudCSP-DataSet). Свидетельство о государственной регистрации базы данных № 2019621974. Дата государственной регистрации в Реестре баз данных 30.10.2019.

43. Donche V. et al. Differential use of learning strategies in first-year higher ed-ucation: The impact of personality, academic motivation, and teaching strat-egies // British Journal of Educational Psychology. 2013. Vol. 83. P. 238-251. doi: 10.1111/bjep.12016

44. Вавилов А. А. Структурный и параметрический синтез сложных систем управления. Л.: ЛЭТИ, 1979. 94 с.

45. Vavilov A. A. et al. Modellierung Analyse und evolutionaere Synthese komplizierter Steuerungsysteme // Modellierung und Simulation von Produktionsprozessen. Berlin: VEB Verlag Technik, 1983. P. 14-87.

46. Котова Е. Е., Писарев А. С. Анализ данных в образовательной среде с применением интеллектуальных агентов // Труды VII всероссийской научной-практической конференции (НСМВИТ-2017). 2017. Т. 2. С. 108-117.

47. Strecht P., Cruz L. et al. A Comparative Study of Classification and Regression Algorithms for Modelling Students' Academic Performance // Proceedings for the 8th International Conference on Educational Data Mining. in Madrid, Spain, 2015. P. 392-395.

48. Koedinger K. R., McLaughlin E. A., Stamper J. C. Automated Student Model Improvement // International Educational Data Mining Society. Chania, Greece. 2012. P. 17-24.

49. Gobert J. D., Auer M., Azad A., Edwards A., de Jong T. L. Real-Time Scaffolding of Students' Online Data Interpretation During Inquiry with Inq-ITS Using Educational Data Mining. URL: https://link. springer.com/book/10.1007%2F978-3-319-76935-6 (дата обращения: 15.12.2019).

50. Pellegrino J. W., Chudowsky N., Glaser R. Knowing what students know: The science and design of educational assessment. Washington: National Academy Press. 2001. 379 p.

51. Vahdat M., Oneto L., Anguita D., Funk M., Rauterberg G. W. M. Educational process mining (EPM): a learning analytics data set, UCI Machine Learning Repository. Educational process mining (EPM): a learning analytics data set. URL: https://research.tue.nl/en/datasets/ educational-process-mining-epm-a-learning-analytics-data-set (дата обращения: 15.12.2019).

52. Learning Analytics: Avoiding Failure. URL: https://er.educause.edu/articles/2017/7/learning-analytics-avoiding-failure (дата обращения: 15.12.2019).

53. Bogarin A., Cerezo R., Romero C. A survey on educational process mining // Wiley Interdisciplinary Reviews: Data Mining and Knowledge Discovery. 2018. Vol. 8. № 1. P. 1-17.

54. Программный комплекс анализа информационных ресурсов ОнтоМАСТЕР-Ресурс. Свидетельство о государственной регистрации программы для ЭВМ № 2018611107 от 24 января 2018 г.

Поступила в редакцию 19.08.2019, окончательный вариант — 20.12.2019.

Котова Елена Евгеньевна, кандидат технических наук, доцент кафедры Автоматики и процессов управления СПбГЭТУ «ЛЭТИ», И eekotova@gmail.com

Computer tools in education, 2019

№ 4: 55-80

http://cte.eltech.ru

doi:10.32603/2071-2340-2019-4-55-80

Prediction of Learning Success in an Integrated Educational Environment Using Online Analytics Tools

E. E. Kotova1, PhD, associate professor, El eekotova@gmail.com

1 Saint Petersburg Electrotechnical University, 5, building 2, st. Professora Popova, 197376, Saint Petersburg, Russia

Abstract

The need to formulate qualifications and prepare students for the digital future is changing the teaching strategies and approaches to university education in the direction of digital design of the learning process. The expandable space of accessible data allows the use of new educational data mining (EDM) methods in order to explore unique data types, understand student actions activity, predict academic results, improve process performance, make management decisions and adapt the learning environment. The objective of this study is to create a personalized educational environment for individual accompaniment support of students on the basis of a model of cognitive potential. The task of supporting the learning process is to obtain information on the dynamics of

cognitive growth ("growth" of the knowledge level) of each student based on the data obtained during the learning process. The task of differentiating students, predicting the success of training to improve the adaptation and customization of the learning process is considered.

An approach to predicting the success of learning based on a cognitive model is important for understanding the productivity of learning materials by students in an information-rich environment.

The task of differentiating students, predicting the success of learning to improve adaptation and tuning the learning process is considered. Organization of feedback in the structure of the learning process based on student differentiation allows you to manage and customize learning scenarios to improve the adaptation of the individual process. An integrated educational environment is implemented in a web environment and combines traditional learning tools with innovative digital online tools.

Keywords: educational process, data analysis methods, educational activities, individual differences student mode, predictive analytics.

Citation: E. E. Kotova, "Prediction of Learning Success in an Integrated Educational Environment Using Online Analytics Tools," Computer tools in education, no. 4, pp. 55-80, 2019 (in Russian); doi:10.32603/2071-2340-2019-4-55-80

References

1. Was ist Hochschulbildung (im digitalen Zeitalter)? [Online]. Available: https://www.e-teaching.org/ community/communityevents/ringvorlesung/was-ist-hochschulbildung-im-digitalen-zeitalter (in German).

2. EDUCAUSE Horizon Report: 2019 Higher Education Edition. [Online]. Available: https://library. educause.edu/resources/2019/4/2019-horizon-report

3. 2018 European Skills Index Technical report. [Online]. Available: https://skillspanorama.cedefop. europa.eu/en/useful_resources/2018-european-skills-index-technical-report

4. H. Dumont and D. Istance, "Analysing and designing learning environments for the 21st century," in The nature of learning: Using research to inspire practice, H. Dumont, D. Istance, and F. Benavides, eds., 2010, pp. 19-34; doi: 10.1787/9789264086487-en

5. Organisation for Economic Cooperation and Development, "Skills for a digital world," Background report 2016 Ministerial Meeting on the digital economy, no. 250, 2016; doi: 10.1787/5jlwz83z3wnw-en

6. G. Carrico, "The EU and artificial intelligence: A human-centred perspective," European View, vol. 17, no. 1, pp. 29-36, 2018; doi: 10.1177/1781685818764821

7. A. C. Graesser et al, "Challenges of assessing collaborative problem solving," in Assessment and teaching of 21st century skills, E. Care, P. Griffin, and M. Wilson eds., Springer, Cham, 2018, pp. 75-91; doi: 10.1007/978-3-319-65368-6_5

8. B. De Wever et al. "Content analysis schemes to analyze transcripts of online asynchronous discussion groups: A review," Computers & education, vol. 46, no. 1, pp. 6-28, 2006; doi: 10.1016/ j.compedu.2005.04.005

9. Y. Lou, P. C. Abrami, and S. d'Apollonia, "Small group and individual learning with technology: A meta-analysis," Review of educational research, vol. 71, no. 3, pp. 449-521, 2001; doi: 10.3102/ 00346543071003449

10. Learning Analytics Dream, Nightmare or Fairydust? [Online]. Available: http://simon. buckinghamshum.net/2011/12/learning-analytics-ascilite2011-keynote-/

11. S. B. Shum and R. D. Crick, "Learning dispositions and transferable competencies: pedagogy, modelling and learning analytics," in Proc. of the 2nd int. conf. on learning analytics and knowledge, 2012, pp. 92-101; doi: 10.1145/2330601.2330629

12. A. De Liddo et al., "Discourse-centric learning analytics," in Proc. of the 1st int. conf. on learning analytics and knowledge, 2011, pp. 23-33; doi: 10.1145/2090116.2090120

13. G. Siemens and R. S. J. d Baker, "Learning analytics and educational data mining: towards communication and collaboration," in Proc. of the 2nd int. conf. on learning analytics and knowledge, 2012, pp. 252-254; doi: 10.1145/2330601.2330661

14. N. Sclater, A. Peasgood, and J. Mullan, "Learning analytics in higher education," A review of UK and international practice, Jisc, London, 2017. [Online]. Available: https://goo.gl/g0roCB

15. J. M. Vargas, Modern learning: Quizlet in the social studies classroom, Diss., Wichita State University, KS, 2011.

16. V. Aleven, "Help seeking and intelligent tutoring systems: Theoretical perspectives and a step towards theoretical integration," in International handbook of metacognition and learning technologies, R. Azevedo and V. Aleven Eds, New York: Springer, 2013, pp. 311-335; doi: 10.1007/978-1-4419-5546-3_21

17. V. Aleven et al., "Instruction based on adaptive learning technologies," Handbook of research on learning and instruction, pp. 522-560, 2016.

18. Learning Analytics. [Online]. Available: https://www.e-teaching.org/didaktik/qualitaet/learning_ analytics

19. S. B. Shum, Learning analytics policy brief, UNESCO Institute for Information Technology in Education, 2012.

20. R. Ferguson, "Learning analytics: drivers, developments and challenges," International Journal of Technology Enhanced Learning, vol. 4, no. 5/6, pp. 304-317, 2012; doi: 10.1504/IJTEL.2012.051816

21. A. C. Graesser et al. "ElectronixTutor: an intelligent tutoring system with multiple learning resources for electronics," International journal of STEM education, vol. 5, no. 1, pp. 15, 2018; doi: 10.1186/s40594-018-0110-y

22. D. H. Imaev and E. E. Kotova, Modelirovanie i imitatsiya protsessov obucheniya s razdeleniem didak-ticheskikh resursov. Dinamicheskii podkhod [Modeling and simulation of learning processes with separation didactic resources. Dynamic approach], St. Petersburg, Russia: ETU LETI, 2014 (in Russian).

23. Spetsproekt AIF.RU. Uchit'sya v Internete. Chto nuzhno znat' onlain-obrazovanii. [Online]. Available: http://education.aif.ru/

24. E. B. Luchenkova and V. A. Shershneva, "Vozmozhnosti organizatsii smeshannogo obucheniya ma-tematike studentov inzhenernykh napravlenii podgotovki" [Blended Learning Opportunities math students engineering training], Perspektivy nauki i obrazovaniya, no. 4, pp. 66-71, 2018.

25. M. Lapchik et al., "Ot korporativnoi komp'yuternoi seti k integrirovannoi informatsionno-obrazo-vatel'noi srede" [From a corporate computer network to an integrated educational environment], Vysshee obrazovanie v Rossii, no. 6, pp. 93-99, 2008.

26. N. A. Dmitrievskaya, "Integrirovannaya intellektual'naya sreda nepreryvnogo razvitiya kompeten-tsii" [Integrated Intelligent Continuous Development Environment competencies], Otkrytoe obrazo-vanie, no. 3, pp. 4-8, 2011.

27. Informatsionnye i kommunikatsionnye tekhnologii v obrazovanii [Information and communication technologies in education], B. Dendeva ed., Moscow: IITO YuNESKO, 2013.

28. Stil' cheloveka. Psikhologicheskii analiz [Man style. Psychological analysis], A. V. Libina ed., Moscow: Smysl, 1998.

29. M. A. Kholodnaya, Kognitivnye stili: O prirode individual'nogo uma. Uchebnoe posobie [Cognitive styles: On the nature of the individual mind. Tutorial], Moscow: PER SE, 2002.

30. L. L. Thurstone, A factorial study of perception, Chicago, IL: University of Chicago Press, 1944.

31. J. Kagan, "Reflection-impulsivity: The generality and dynamics of conceptual tempo," Journal of abnormal psychology, vol. 71, no. 1, pp. 17-24, 1966; doi: 10.1037/h0022886

32. J. R. Stroop, "Studies of interference in serial verbal reactions," J. of Exper. Psychology, vol. 18, pp. 643-662,1935; doi: 10.1037/h0054651

33. Kognitivnye stili. Tezisy nauchno-prakticheskogo seminara [Cognitive styles. Theses of the scientific and practical seminar], V. Kolgi ed., Tallinn, Estonia: Tallinskii ped. Institut im. E. Vil'de, 1986.

34. V. A. Averin, N. N. Kireeva, and E. E. Kotova, Intellektual'no-stilevaya organizatsiya cheloveka [Intellectual-style organization of man], Saint Petersburg, Russia: Publishing center SPbSPMU, 2014 (in Russian).

35. E. E. Kotova and P. I. Paderno, "Ekspress-diagnostika kognitivno-stilevogo potentsiala obuchayushchi-khsya v integrirovannoi obrazovatel'noi srede," Educational Technologies and Society, vol. 18, no. 1, pp. 561-576, 2015 (in Russian).

36. E. E. Kotova, Modeli i metody intellektual'noi podderzhki adaptivnogo upravleniya protsessom obucheniya, Saint Petersburg, Russia: Pechatnyi tsekh, 2019 (in Russian).

37. E. E. Kotova and A. S. Pisarev, "The problem of classification of use of students intellectual data analysis methods," Proceedings of Saint Petersburg Electrotechnical University, no. 4, pp. 32-42, 2019 (in Russian).

38. S. Benomrane, Z. Sellami, and M. B. Ayed, "An ontologist feedback driven ontology evolution with an adaptive multi-agent system," Advanced Engineering Informatics, vol. 30, no. 3, pp. 337-353, 2016; doi: 10.1016/j.aei.2016.05.002

39. E. E. Kotova and A. S. Pisarev, "Automated prediction of student learning outcomes," in Proceedings of Saint Petersburg Electrotechnical University, no. 5, 2019, pp. 31-39 (in Russian).

40. C. Snijders, U. Matzat, and U. D. Reips, "'Big Data': big gaps of knowledge in the field of internet science," International Journal of Internet Science, vol. 7, no. 1, pp. 1-5, 2012.

41. A. K. C. Wong and Y. Wang, "Pattern discovery: a data driven approach to deci-sion support," IEEE Transactions on Systems, Man, and Cybernetics, Part C (Applications and Reviews), vol. 33, no. 1, pp. 114-124, 2003; doi: 10.1109/TSMCC.2003.809869

42. Baza dannykh kognitivno-stilevogo potentsiala studentov AnalyticSYSTEMS-hDS (StudCSP-DataSet), Certificate of state registration of the database №2019621974, Date of state registration in the Database Register 30.10.2019.

43. V. Donche et al., "Differential use of learning strategies in first-year higher education: The impact of personality, academic motivation, and teaching strategies," British Journal of Educational Psychology, vol. 83, pp. 238-251, 2013; doi: 10.1111/bjep.12016

44. A. A. Vavilov, "Strukturnyi i parametricheskii sintez slozhnykh sistem upravleniya" [Structural and parametric synthesis of complex control systems], Saint Petersburg, Russia: LETI, 1979 (in Russian).

45. A. A. Vavilov et al., "Modellierung Analyse und evolutionaere Synthese komplizierter Steuerungsysteme," Modellierung und Simulation von Produktionsprozessen, Berlin: VEB Verlag Technik, pp. 1487, 1983.

46. E. E. Kotova and A. S. Pisarev, "Analiz dannykh v obrazovatel'noi srede s primeneniem intelle-ktual'nykh agentov" [Data analysis in an educational environment using intelligent agents], in Proc. 7th All-Russia Scientific Conference 'Fuzzy Systems, Soft Computing and Intelligent Technologies' (FSSCIT-2017), vol. 2, 2017, pp. 108-117 (in Russian).

47. P. Strecht, L. Cruz, C. Soares, and J. Mendes-Moreira, "A Comparative Study of Classification and Regression Algorithms for Modelling Students' Academic Performance," in Proceedings 8th International Conference on Educational Data Mining, Madrid, Spain, 2015, pp. 392-395.

48. K. R. Koedinger, E. A. McLaughlin, and J. C. Stamper, "Automated Student Model Improvement," in Proc. International Educational Data Mining Society, Chania, Greece, 2012, pp. 17-24.

49. J. D. Gobert, M. Auer, A. Azad, A. Edwards, and T. L. de Jong, "Real-Time Scaffolding of Students' Online Data Interpretation During Inquiry with Inq-ITS Using Educational Data Mining," Cyber-physical laboratories in engineering and science education, Springer, Cham, pp. 191-217,2018; doi: 10.1007/978-3-319-76935-6_8

50. J. W. Pellegrino, N. Chudowsky, and R. Glaser, Knowing what students know: The science and design of educational assessment, Washington: National Academy Press, 2001.

51. M. Vahdat, L. Oneto, D. Anguita, M. Funk, and G. W. M. Rauterberg, "Educational process mining (EPM): a learning analytics data set," UCI Machine Learning Repository. [Online]. Available: https: //research.tue.nl/en/datasets/educational-process-mining-epm-a-learning-analytics-data-set

52. Learning Analytics: Avoiding Failure. [Online]. Available: https://er.educause.edu/articles/2017/7/ learning-analytics-avoiding-failure

53. A. Bogarin, R. Cerezo, and C. Romero, "A survey on educational process mining," Wiley Interdisciplinary Reviews: Data Mining and Knowledge Discovery, vol. 8, no. 1, pp. 1-17, 2018; doi: 10.1002/ widm.1230

54. Programmnyi kompleks analiza informatsionnykh resursov OntoMASTER-Resurs, Certificate of state registration of the database № 2018611107, Date of state registration in the Database Register 24.01.2018.

Received 19.08.2019, the final version — 20.12.2019.

Elena E. Kotova, PhD, Associate professor, Department of Automation and Control Processes, Saint Petersburg Electrotechnical University "LETI", El eekotova@gmail.com