CC BY
234
Теория и методика обучения и воспитания Theory and Methods of Training and Education
Научная статья УДК 371.321.1
DOI: https://doi.org/10.18721/JHSS.12402
АНАЛИТИЧЕСКИЙ ПОТЕНЦИАЛ ПЛАТФОРМЫ MOODLE ДЛЯ МОНИТОРИНГА КАЧЕСТВА ПЕРСОНИФИЦИРОВАННОГО ОБУЧЕНИЯ
Е.А. Тербушева , К.Р. Пиотровская н
Российский государственный педагогический университет им. А.И. Герцена, Санкт-Петербург, Российская Федерация
н krp62@mail.ru
Аннотация. В процессе цифровой трансформации образования происходит все большее распространение смешанных форм обучения, дистанционных курсов, электронных учебных материалов и развитие соответствующих образовательных платформ. Это приводит к накоплению большого массива данных, которые могут скрывать полезную информацию о взаимодействии пользователей. Современные методы учебной аналитики позволяют обнаруживать в данных закономерности поведения обучаемых, строить индивидуальные образовательные маршруты и использовать новые знания для персонификации обучения и повышения качества процесса образования. В статье показано, какие технологии анализа данных могут быть использованы для проектирования различных уровней персонифицированности цифровой образовательной среды. Отдельное внимание уделено исследованию возможностей системы дистанционного обучения MOODLE для анализа накапливаемых образовательных данных. В статье выделены и описаны четыре группы средств аналитики данных с курсов LMS MOODLE. С помощью стандартных аналитических возможностей MOODLE и других средств проведено экспериментальное исследование на примере аналитики конкретного дистанционного курса c элементами персонификации.
Ключевые слова: учебная аналитика, персонифицированное обучение, LMS MOODLE, анализ данных MOODLE, аналитика MOODLE, анализ образовательных данных, цифровизация образования.
Для цитирования: Тербушева Е.А., Пиотровская К.Р Аналитический потенциал платформы Moodle для мониторинга качества персонифицированного обучения // Общество. Коммуникация. Образование. 2021. Т. 12. № 4. С. 19-34. DOI: 10.18721/JHSS.12402
Статья открытого доступа, распространяемая по лицензии CC BY-NC 4.0 (https://creativecom-mons.org/licenses/by-nc/4.0/).
© Тербушева Е.А., Пиотровская К.Р., 2021. Издатель: Санкт-Петербургский политехнический университет Петра Великого
Scientific article
DOI: https://doi.org/10.18721/JHSS.12402
Herzen State Pedagogical University of Russia, St. Petersburg, Russian Federation
H krp62@mail.ru
ANALYTICAL POTENTIAL OF THE LMS MOODLE FOR MONITORING THE QUALITY OF PERSONIFICATION
E.A. Terbusheva , X.R. Piotrowska H
Abstract. Due to the digital transformation of education, there is an active development of blended learning, e-learning courses, electronic educational resources, and educational platforms. This fact leads to the accumulation of big data amount that can hide useful information of users' interactions. Modern educational analytics allow us to detect patterns of student behavior in the data, to build individual educational routes and to use new knowledge to personification of learning and to improve the quality of the educational process using new tools. The article shows which data analysis technologies can be used to design different levels of personification of the digital educational environment. Special attention is paid to the study of the possibilities of the MOODLE distance learning system for the analysis of the accumulated educational data. The article identifies and describes four groups of data analytics tools from LMS MOODLE courses. Using the standard analytical capabilities of MOODLE and other tools, an experimental study was carried out on the example of analytics of a specific distance course with elements of personification.
Keywords: learning analytics, personification of learning, LMS Moodle, data mining, digital educational environment, educational data mining, Moodle data analysis.
Citation: E.A. Terbusheva, X.R. Piotrowska, Analytical potential of the LMS Moodle for monitoring the quality of personification, Society. Communication. Education, 12 (4) (2021) 19—34. DOI: 10.18721/ JHSS.12402
This is an open access article under the CC BY-NC 4.0 license (https://creativecommons.org/licenses/ by-nc/4.0/).
Введение
Методологическими основаниями персонифицированного образования являются: компетент-ностный, андрагогический, социально-контекстный, системно-квалитативный, гуманитарно-антропологический подходы [1, 2]. Персонифицированный подход предполагает, что учащийся выступает субъектом учебной деятельности, а при проектировании и реализации такого типа обучения учитываются личностные особенности и потребности отдельного ученика.
В цифровых образовательных средах персонификация обучения может достигаться за счет реализации индивидуальных образовательных траекторий, адаптивного содержания курсов, ка-стомизации интерфейса (возможности выбора цветового оформления, расположения панелей, параметров входа и т. п.), различных форм презентации учебного контента, выбора времени обучения, вариативности обратной связи с преподавателем и др. Способствовать выявлению личностных предпочтений и потребностей обучающегося и удовлетворению государственного и общественного запроса на персонификацию обучения может непрерывный мониторинг показателей активности учащегося в цифровой среде. Такими показателями являются прослушивание лекций, выполнение заданий и электронных тестирований (включая скорость выполнения, число попыток, порядок выполнения), образовательные взаимодействия (переписки на форумах или блогах), порядок перемещения между ресурсами курса и др. [3].
Различные цифровые среды, включая открытые образовательные платформы (Coursera, edX, NPTEL, FutureLearn, Open Education, Универсариум, Лекториум и др.), системы дистанционного
© E.A. Terbusheva, X.R. Piotrowska, 2021. Published by Peter the Great St. Petersburg Polytechnic University
обучения (СДО MOODLE, iSpring, Mirapolis, ShareKnowledge, Teachbase, WebTutor и др.) хранят цифровые следы своих пользователей, тем самым обеспечивая возможность проведения мониторинга активности учащихся. Несмотря на значительный ряд исследований, данные возможности недостаточно широко и эффективно используются преподавателями для оценки качества и проектирования персонифицированного образовательного процесса.
Целью работы является исследование возможностей мониторинга учебных активностей1 в цифровых средах для организации и оценки качества персонифицированного обучения. Мы сосредоточили внимание на аспектах приобретения и передачи опыта анализа данных, накапливаемых в именно в LMS MOODLE поскольку массовое предпочтение российскими вузами по реализации дистанционного и смешанного обучения в этой системе сохраняется уже в течении довольно продолжительного времени, что диктуется следующими аспектами среды: бесплатная модульная система электронного обучения с открытым кодом и подробной технической документацией, сильное сообщество (которое и развивает платформу, создавая новые модули и обеспечивая широкий функционал), полная кастомизация и локализация более чем на 100 языков, гибкая система статистики и отчетов [4, 5].
Потенциал мониторинга учебных активностей в цифровых средах
При реализации персонифицированного обучения в рамках курса чаще всего опираются только на результаты предлагаемых тестов и контрольных испытаний как в случае ручной настройки адаптивного контента [6, 7], так и в случае разрабатываемых программных решений [8, 9]. При этом в цифровой среде параметром успешности обучения становится активность учащегося, как субъекта образовательного процесса.
Новые возможности для выявления характеристик учащегося на основе накапливаемых в образовательной системе данных и цифровых следов предоставляют методы интеллектуального анализа образовательных данных (ИАОД, англ. Educational data mining / EDM), активно развивающегося сегодня направления, в рамках которого разрабатываются современные методы исследования данных для принятия решений в сфере образования. В Российской Федерации вслед за мировым сообществом растет интерес к применению и развитию данных методов. Появились ряд обзорных работ в области ИАОД и учебной аналитики [10—12]. Растет и число исследований в образовании с помощью методов ИАОД [13—15] и др. Ключевыми направлениями применения методов ИАОД, обеспечивающими организацию персонифицированного обучения, являются разработка индивидуального образовательного маршрута, обеспечение обратной связи для поддержки преподавателей и прогнозирование успеваемости учащихся [16].
В цифровой образовательной среде мы выделяем три уровня персонифицированности: низкий, средний и высокий, которые обеспечивают различные уровни развития личности (персо-низации, персонификации и персонализации) в персонифиированной среде. В табл. 1 приведем описание этих уровней по Вахидовой Л.В. и др. [17], и рассмотрим пути их реализации на основе аналитики учебных активностей.
Обзор исследований по аналитике данных СДО Moodle
В Российской Федерации вузы активно строят дистанционные курсы на базе LMS MOODLE. Россия входит в топ 10 стран мира по числу сайтов, использующих MOODLE в официальных образовательных структурах (37 %). Для сравнения в США — 34 %, в Италии — 32 %.
Систематизированных отечественных обзорных работ, посвященных анализу данных LMS MOODLE, авторами не найдено. Поэтому, выделим основные направления, по которым в последнее время наиболее активно выполняются исследования:
♦ установление связей между активностями студентов в онлайн среде и их успехами в обучении [18-21, 24];
1 Под мониторингом учебных активностей мы будем понимать сбор, обработку и анализ данных об активностях учащихся.
Таблица 1. Описание уровней персонифицированности цифровой среды Table 1. Description of the levels of personification of the digital environment
Уровень персонифи цифровой среды/ Уровень развития личности Характеристика уровня Организационные и технологические характеристики образовательного процесса Целевая установка в области развития когнитивных процессов учащегося Средства и задачи анализа данных
Низкий / Персонизация подготовка специалиста с минимальными требованиями к дидактике и образовательным условиям: кадровому потенциалу, материально-техническому обеспечению процесса обучения и т.п. сочетание традиционных и активных методов и форм обучения, современные информационно-коммуникационные технологии интериоризация при условии изначальной заданности среды, информации и процесса деятельности обучающегося анализ образовательных данных с помощью описательной статистики
Средний / Персонификация повышенный уровень подготовки специалиста, акцент на субъекта образовательного процесса, т.е. на максимальный учёт его потребностей, интересов и возможностей смещение в сторону нетрадиционных форм обучения и условий реализации экстериоризация в связи с изменением восприятия информации, среды и процесса выявление скрытых от непосредственного наблюдения закономерностей, выработка рекомендаций по реорганизации курса с целью персонификации, аппарат интеллектуального анализа данных, описательной статистики
Высокий / Персонализация высокий уровень подготовки специалиста, с активным изменением ролей субъектов образовательного процесса видоизменение организационных форм обучения за счет альтернативных технологий обучения самостоятельное выстраивание условий образовательного процесса на основе личностных и социальных позиций выявление скрытых от непосредственного наблюдения закономерностей для организации адаптивного обучения, аппарат машинного обучения, интеллектуального анализа данных, описательной статистики
♦ выявление поведенческих стратегий в онлайн-обучении, их связь с характеристиками учащегося [22—24];
♦ исследования гендерных поведенческих различий в LMS [21];
♦ визуализация извлекаемых данных MOODLE [25, 26];
♦ разработка дополнительных плагинов и инструментов для анализа данных MOODLE [27, 28].
Экспериментальное исследование по оценке активности студентов по освоению онлайн курса в LMS MOODLE с помощью стандартных статистических отчетов системы и возможности корректировки структуры курса на ее основе описано в [18]. В работе [19] авторы исследовали зависимость между журналами активностей учеников в LMS и их итоговыми оценками и пришли к выводу, что просмотры курса, просмотры заданий, просмотры форумов и просмотры ресурсов оказывают наибольшее влияние на оценки учащихся. При этом, как показал анализ журнала событий, просмотрам форума студенты уделяют мало внимания, в связи с чем сделано предположение о необходимости побуждать студентов к общению внутри LMS. С помощью различного аналитического инструментария в работе [24] были выявлены временные предпочтения студентов, различные поведенческие группы, а анализ зависимости между активностью студентов и их успеваемостью показал, что главным для высокого итогового балла является число именно различных действий на курсе. В статье [22] поведение студентов в MOODLE сопоставляется с их личностными мотивами и стратегиями к учению. Результаты исследования подтвердили ожидание о том, что студенты, которые приняли глубокие мотивы и стратегии обучения (по анкете Биггса), также показали высокую степень активности в среде LMS. В статье [20] сравнивается успеваемость студентов, которые тратили различное время на прохождение учебных модулей он-лайн-курса. Ощутимыми различиями были уровни предшествующих знаний, внутренней мотивации и производительности. На количество успешно завершенных модулей затрачиваемое на обучение время влияния не оказало. Ромеро и др. [29] приводят инструкции по предварительной обработке данных MOODLE и примеры применения техник интеллектуального анализа (визуализации, кластеризации, классификации, ассоциативных правил и др.) к таким данным.
Средства аналитики данных курсов LMS MOODLE
Существующие возможности для анализа данных, накапливаемых в LMS MOODLE, можно разделить на четыре категории:
♦ стандартные средства системы;
♦ дополнительные плагины для системы;
♦ внешние средства для анализа данных непосредственно из MOODLE;
♦ различные многофункциональные программы анализа данных.
Опишем подробнее особенности каждой из выделенных групп.
Стандартные средства LMS MOODLE
К данной группе относится ряд стандартных отчетов, которые доступны в разделе «Отчеты» на панели «Управление курсом» (табл. 2) и несколько аналитических моделей. Данные функции относятся к базовому функционалу системы.
Информация отчета «Журнал событий» для нетехнических пользователей оказывается мало понятной и плохо пригодной для каких-либо выводов. Но именно эти данные зачастую используются для дальнейшей аналитики сторонними средствами анализа данных. Данный отчет можно скачать в табличном формате. На основе журнала событий можно построить сводные отчеты (например, активности только определенного пользователя или активности, касающиеся заданного элемента курса).
Отчет о деятельности формируется на основе журнала событий, его данные нельзя визуализировать для удобства или скачать, но изучив его, можно самостоятельно сделать выводы о самых популярных и непопулярных элементах курса у студентов.
Отчет «Участие в курсе» может дать общее представление об интенсивности использования студентами различных элементов курса (но легче это сделать по отчету о деятельности), его также нельзя скачать или визуализировать средствами LMS. Отчет целесообразно использовать в случае необходимости изучить активность конкретного студента относительно выбранного элемен-
та или ряда элементов, во втором случае необходимо строить несколько отчетов по каждому из интересующих элементов и самостоятельно их объединять, чтобы сделать выводы. При просмотре отчета есть возможность выделить некоторых студентов (например, которые не просмотрели данный элемент) и отправить им сообщение.
Таблица 2. Стандартные отчеты Moodle Table 2. Standard Moodle reports
Название отчета Описание отчета
Журнал событий Информация обо всех действиях пользователей. Каждая запись содержит следующую информацию: 1. Время — Время, когда произошла активность (действие в системе) 2. Полное имя пользователя — ФИО пользователя 3. Затронутый пользователь — Имя связанного пользователя, если действие касается другого пользователя 4. Контекст события — Курс, в котором произошла активность 5. Компонент — Компонент курса, в котором произошла активность 6. Название события — Тип активности (например, просмотр, удаление, создание, обновление) 7. Описание — Детальная информация относительно активности 8. Источник — Источник активности 9. 1Р-адрес — 1Р-адрес устройства, с которого выполнялась активность
События в реальном времени Информация о действиях пользователей в системе за последний час. В отчете содержатся последние записи из Журнала событий
Отчет о деятельности Информация о просмотрах элементов курса. Представляется в табличном виде со следующими полями: 1. Элемент курса 2. Просмотры — число просмотров элемента курса и число различных пользователей, просмотревших данный элемент 3. Связанные записи блога 4. Последний вход — время, когда последний раз просматривался данный элемент
Участие в курсе Информация о просмотрах элементов курса каждым студентом. Для построения отчета необходимо выбрать один конкретный элемент курса, тогда в отчете отображается следующие данные: 1. Фамилия /Имя — ФИО студента 2. Все действия — число действий, которые выполнил студент относительно выбранного элемента курса
Статистика Предлагается графическое представление изменения числа просмотров курса за выбранный промежуток
Несмотря на то, что стандартные отчеты MOODLE позволяют получить некоторую статистику по действиям пользователей на курсе, преподаватели курсов испытывают большие трудности в использовании этих данных для получения информации, которая позволила бы им адаптировать собственный педагогический опыт и индивидуализировать студенческие активности [28]. Минусы стандартных отчетов MOODLE:
♦ отсутствие возможности скачать многие из них;
♦ невозможность указать интересующий диапазон дат для отчета (возможность предусмотрена только в отчете о деятельности, в остальных типах отчетов можно выбирать только последний период, за который строится отчет: последний день, последняя неделя, последний месяц и т. п.);
♦ отсутствие отчетов, демонстрирующих совместно действия пользователя на курсе и получаемые оценки, что не позволяет быстро выявлять связи между поведением студента на курсе и его успеваемостью (например, информация по активностям студентов представлена в разделе
"Отчеты", а информация по оценкам собирается в отдельном отчете "Отчет по оценкам" в разделе "Оценки").
♦ недостаточная наглядность и функциональность, чтобы сделать практически полезные выводы.
Ядро MOODLE версий (3.4-3.8) поставляется с тремя следующими аналитическими моделями.
1. Учащиеся с риском отчисления (Students at risk of dropping out). Данная модель позволяет выявить (предсказать) тех студентов, которые рискуют не закончить (бросить) электронный курс. Модель основана на машинном обучении и прогнозировании, обучается на базе истории сайта для дальнейшего обнаружения или прогнозирования скрытых аспектов процесса обучения. Перед работой модель должна быть обучена на сайте с данными, а для построения прогноза использует ряд показателей, основанных на понятиях «когнитивная глубина» и «социальная широта», которые применяются для каждого из основных модулей деятельности. Результаты прогноза могут выводиться в виде уведомлений пользователей (преподавателю и/или учащемуся). Для каждого прогноза доступен набор действий: отправить сообщение ученику, просмотреть отчет о деятельности ученика, просмотреть детали прогноза (т.е. используемые показатели и их рассчитанные значения), подтвердить прогноз (в этом случае уведомление удаляется с дисплея) или пометить его как бесполезное (в этом случае уведомление также удаляется, но модель корректируется, чтобы сделать этот прогноз менее вероятным в будущем).
2. Предстоящие действия (Upcoming activities due). Данная модель относится к «статическим» моделям, которые используют более простую, основанную на правилах, систему обнаружения обстоятельств на платформе MOODLE и уведомления выбранных пользователей. Модель проверяет действия с наступающими датами исполнения и выводит их на страницу календаря пользователя.
3. Отсутствие обучения (No teaching). Инсайты этой модели информируют руководителей сайтов, какие курсы с предстоящей датой начала не будут иметь учебной активности. Это простая «статическая» модель и она не использует методы машинного обучения для возврата прогнозов. Она основывает прогнозы на предположениях, например, нет обучения, если нет записанных на курс учеников.
Дополнительные плагины для системы
Плагины представляют собой расширение функциональных возможностей MOODLE, которые отсутствуют в базовой версии. Устанавливать какие-либо дополнения в MOODLE рекомендуется «только в случае крайней необходимости, когда они, действительно, очень нужны и невозможно обойтись штатными возможностями системы» [30].
В настоящий момент официальный каталог MOODLE Р^™ Directory содержит более 1600 дополнений. Примерами плагинов, предназначенных для анализа данных являются SmartKlass, Heatmap, IntelliBoard (табл. 3) и др. Некоторые плагины со временем могут включаться в ядро Moodle.
Существенными минусами данной группы являются:
♦ необходимость установки плагина администратором MOODLE;
♦ необходимость обновления плагина при обновлении системы. При этом обновления плагина для новой версии MOODLE может не быть или выйти с задержкой. Таким образом можно затратить усилия на освоение пользователями нового функционала, который может стать вновь недоступным при обновлении системы;
♦ затруднительность эксперимента для отбора подходящих плагинов. Для того, чтобы понять, насколько определенный плагин удобен в использовании и найдет ли отклик у пользователей системы, нужно его установить, обучить его функционалу преподавателей или других пользователей, некоторое время использовать его в работе для аналитики учебного процесса. При этом многим алгоритмам машинного обучения нужно время и большое число данных для обучения и только потом плагины могут быть адекватны и применимы;
Таблица 3. Примеры аналитических плагинов Moodle Table 3. Examples of Moodle plugins for analytics
Название плагина Уровень целевой аудитории Краткое описание плагина
SmartKlass™ Learning Analytics Moodle, бесплатное Администратор/ преподаватель/ ученик использует алгоритмы машинного обучения для построения аналитической панели с консолидированной информацией о пользователе. Возможности этого плагина включают идентификацию отстающих студентов и определение студентов, для которых содержание курса недостаточно сложно
Heatmap, бесплатное преподаватель представляет собой тепловую карту курса, которая позволяет выделить действия с большей или меньшей активностью, чтобы помочь учителям улучшить свои курсы; теплые цвета на карте соответствуют области с частыми кликами, холодные — с редкими
IntelliBoard — Your data. Right here. Right now, платное Администратор/ преподаватель/ ученик представляет данные на единой информационной панели в виде диаграмм, графиков и аналитических отчетов; содержит более 120 аналитик и позволяет отслеживать: вовлечение учащихся; учащихся, подвергающихся риску отчисления; взаимодействие преподавателей с LMS и учениками и др. Содержит отдельные панели управления для ученика/ администратора/ преподавателя
♦ в зависимости от курса и преподавателей могут быть потенциально полезны различные плагины. Но при этом установка большого числа плагинов в систему, многие из которых не являются массовыми и нужны лишь ограниченному кругу лиц, может привести к путанице остальных пользователей.
Внешние средства для анализа данных MOODLE
К данной группе относятся автономные решения для анализа данных MOODLE. Например, институтом дистанционного образования Томского государственного университета разработана система мониторинга контента и активности пользователей в LMS MOODLE [31]. Система формирует отчетность по работе университета в LMS в целом и предоставляет: отчет по количеству курсов и пользователей в каждом учебном подразделении университета, отчет о степени вовлеченности студентов и преподавателей подразделений в систему, отчет о количестве разделов / элементов / ресурсов и тестовых заданий в курсе, отчет по количеству курсов и пользователей в каждом учебном подразделении университета. Также система позволяет запускать в конце семестра процедуру массового опроса студентов по всем курсам.
Многие существующие внешние решения для анализа данных MOODLE основаны на дополнительной аналитике данных журнала событий. Достаточно простое в использовании решение KEATS_analytics [28] для анализа лог-файлов из MOODLE свободно распространяется [32]. Для использования данного средства нужен только Excel. Решение имеет интуитивно понятный англоязычный интерфейс, не содержит в себе сложных, специализированных методов интеллектуального анализа данных и может использоваться широкой академической аудиторией. Данное решение предлагает дополнительный анализ и визуализацию данных журнала событий MOODLE и имеет следующие возможности:
♦ задать определенный диапазон дат для анализа;
♦ выбрать конкретных пользователей или группу для анализа;
♦ получить сводную информацию по данным (общее количество обращений к курсу, кол-во уникальных пользователей, число уникальных действий, количество страниц курса, число уникальных IP-адресов, средняя длина сессии);
♦ узнать показатель отказов (процент сеансов, в которых пользователь входит в пространство курса, но уходит после просмотра только одной страницы);
♦ получить визуализацию активностей студентов в зависимости от дня недели и времени;
♦ получить список популярных IP-адресов;
♦ распознать наиболее и наименее активных учащихся, а также наиболее и наименее популярные ресурсы в пространстве курса.
Различные многофункциональные программы анализа данных
Мы выделяем пять групп, которые могут быть использованы для анализа данных MOODLE.
1. Статистические и математические программы (Statistica, SPSS Statistics и т.п.; Matlab, Octave и т.п.; Excel и др.),
2. Программы для интеллектуального анализа данных (Orange, Knime, RapidMiner, Weka, Deductor и др.),
3. Платформы и языки программирования (R, Python (как наиболее используемые для анализа данных), Java и др.),
4. СУБД и языки запросов (Oracle, MySQL, Microsoft SQL Server и др.). Данная группа средств выделена в связи с тем, что LSM MOODLE использует для хранения информации реляционную базу данных,
5. Инструменты анализа веб-сайтов (использующие лог-анализаторы: Webalizer, AWStats и др.). Данные средства могут быть применимы, поскольку MOODLE также представляет собой образовательный веб-сайт.
Применение этих средств, как правило, требует от пользователя специализированной эрудиции в области статистических методов, алгоритмов интеллектуального анализа данных, языков программирования, процессов предварительной обработки данных, практики работы в различных программах, навыков программирования и т. д.).
Сравнительный анализ средств аналитики данных курсов Moodle
Подводя итог обзора возможных средств аналитики данных, представим кратко преимущества и недостатки каждой группы (табл. 4).
Таблица 4. Средства для анализа данных MOODLE Table 4. MOODLE data analysis tools
Средства для анализа данных MOODLE Преимущества Недостатки
Стандартные средства LMS MOODLE (отчеты) доступность всем преподавателям и администраторам, присутствуют в MOODLE по умолчанию недостаточная функциональность и наглядность для принятия решений
Дополнительные плагины для системы реализуют дополнительный функционал часто узконаправленные, требуется установка администратором системы
Внешние средства для анализа данных непосредственно из MOODLE ориентация на учебную аналитику и работу именно с данными системы, простота использования мало программ в свободном доступе, англоязычный интерфейс
Различные программы анализа данных широкий функционал и возможности для качественного и многоаспектного анализа требуют специализированных ИТ и математических компетенций
Экспериментальное исследование эффективности аналитики данных LMS MOODLE в призме персонификации
Экспериментальное исследование по обработке данных, собранных в системе MOODLE при обучении студентов 1 курса РГПУ им. А.И. Герцена на дистанционном курсе «Основы матема-
тической обработки информации» во 2 семестре 2020-2021 учебного года, охватило 92 человека. Онлайн курс содержит 6 тем, в каждой из которых предлагаются видео-лекция из двух частей, активная лекция в текстовом виде со встроенными тестовыми заданиями, презентации к лекции, тезисы к лекции, дополнительные материалы. Для получения зачета студентам необходимо и достаточно успешно пройти все активные онлайн-лекции. Просмотры остальных материалов не контролируются и могут трактоваться как вспомогательные для освоения изучаемых тем. Различные формы вспомогательных материалов обеспечивают персонифицированную среду обучения на курсе.
Для исследования интенсивности использования дистанционного курса за определенное время с помощью стандартного «Отчета о деятельности», необходимо установить соответствующий временной фильтр. Визуализировав данные о числе различных пользователей, просмотревших элементы курса за семестр, замечаем, что наблюдается устойчивая тенденция к снижению учебной активности в течение всего семестра (рис. 1). Число пользователей, просматривающих теоретические материалы по курсу, уменьшилось к концу курса в 4 раза. Исключением являются активные лекции, прохождение которых объявлено обязательным для получения зачета. Число студентов, которые их просматривают, колеблется в течение семестра незначительно.
С целью более детальной аналитики активности студентов одной из групп численностью в 18 человек была собрана информация из стандартного отчета «Участие в курсе». Поскольку этот тип отчета строится для каждого элемента курса отдельно, данный отчет приходится строить столько раз, сколько в курсе элементов, информацию по которым мы хотели бы учесть. Поэтому данные из всех отчетов «Участие в курсе» были объединены в таблице Excel. Их последующий анализ показал, что студентов по типам активностей можно разделить на несколько групп:
1. Просматривают все вспомогательные материалы курса;
2. Просматривают только видео-лекции и в исключительных случаях могут дополнительно просмотреть также презентации и/или тезисы;
3. Просматривают только презентации и/или тезисы;
4. Не просматривают никаких материалов из представленных.
Таким образом, выделяются группы студентов по предпочтениям в области презентаций учебного материала. Как правило, эти группы выявляются через несколько недель учебы. В начале курса большинство студентов смотрят различные варианты предоставленных материалов и выбирают оптимальные для себя варианты. Из данных табл. 5 видно, что если число просмотров каждого вида вспомогательных материалов к концу курса падает в 3 — 4,6 раз, то число обращающихся хотя бы к одному из вспомогательных материалов снижается — в 2,6 раза. Это показывает целесообразность осуществления персонифицированного обучения на курсе с представлением учебного материала в различном виде.
Зависимостей между просмотрами вспомогательных материалов и полученными баллами за контрольные тесты нами обнаружено не было. Поиск зависимостей осуществлялся с помощью корреляционного анализа и построения ассоциативных правил.
Проведенный нами анализ взаимосвязи числа действий в активных лекциях и числа различных просмотренных вспомогательных материалов позволил сделать следующие выводы.
1. Зачастую студентам, не просматривающим никаких вспомогательных материалов, требуется больше действий на прохождение активной лекции2.
2. Меньше действий в активной лекции выполняли студенты, которые обращались только к одному вспомогательному материалу: или видео лекции, или презентации, или тезисам.
3. Существенных различий в действиях студентов, просматривающих от 2 до 4 вспомогательных материалов не выявлено.
2 Действия в активной лекции - это различные переходы между страницами, попытки ответов на встроенные задания, повторные просмотры страниц и т.п.
012345678
—•—лекция ч. 1 —•—лекция ч.2 —•—активная лекция
—презентации к лекции —•—тезисы к лекции
Рис. 1. Число пользователей, просматривающих учебные элементы (ось у) в зависимости от недели обучения (ось x) Fig. 1. The number of users viewing course (y-axis) depending on the week of training (x-axis)
Таблица 5. Количественные характеристики по просмотрам вспомогательных материалов Table 5. Quantitative characteristics of views of supporting materials
Номер п.п Тема Число студентов, обратившихся к вспомогательному материалу в группе из 18 чел.
лекция ч.1 лекция ч.2 презентация к лекции тезисы хотя бы один из указанных материалов
1 Теория множеств 13 10 14 9 16
2 Мат. логика 8 7 6 4 16
3 Мат. логика. Продолжение 5 3 5 2 8
4 Комбинаторика 6 5 3 2 9
5 Теория вероятностей 6 3 5 2 8
6 Статистика 3 2 2 3 5
7 Статистика. Продолжение 3 3 3 3 6
4. Число просматриваемых материалов и конкретные их виды зависят от индивидуальных особенностей и предпочтений студентов.
Обнаруженную информацию можно использовать для автоматизации рассылки сообщений обучаемым с отсутствием просмотров каких-либо вспомогательных материалов для вовлечения их в учебный процесс, для персональных предложений о просмотрах конкретных доп. материалов в зависимости от выявленных предпочтений студентов.
Заключение
Современное развитие цифровой образовательной среды и прогресс в накоплении большого числа данных в ней создает необходимые условия для применения методов передовой аналитики данных для исследования и повышения качества образовательного процесса, в том числе
организации персонифицированного обучения. При этом, как показал обзор аналитического инструментария системы дистанционного обучения Moodle, данные методы представлены в ней недостаточно. Необходимо дальнейшее постепенное внедрение современных методов машинного обучения и интеллектуального анализа данных в цифровые образовательные системы и, что не менее важно, обеспечение способов применения преподавателями и администраторами курсов получаемых аналитических результатов.
Перспективным становится обучение преподавателей и администраторов LMS вузов учебной аналитике и грамотному построению электронных курсов, позволяющих проводить анализ образовательных данных на основе как стандартных, так и дополнительных инструментов [6]. Это позволит расширить применение современных средств анализа при принятии решений в своей профессиональной деятельности. Нивелировать недостатки представленных в обзоре средств учебной аналитики позволит разработка собственных средств для анализа данных в LMS вуза, что потребует совместной работы преподавателей, студентов, администраторов и профессиональных программистов для выявления совокупного образовательного запроса и разработки адекватных программных средств.
Мы попытались продемонстрировать с точки зрения этапов развития персонифицикации цифровой образовательной среды применение методов и технологий анализа данных. С помощью стандартных средств LMS MOODLE были выявлены группы студентов с различными предпочтениями при обучении на базовом онлайн курсе «Основы математической обработки информации», тем самым подтверждая целесообразность дальнейшего развития персонифицированной среды.
СПИСОК ИСТОЧНИКОВ
1. Галкина Т.Э. Персонифицированный подход в системе дополнительного профессионального образования специалистов социальной сферы: автореф. дис. ... д-ра пед. наук. М., 2011. 341 с.
2. Клевцова М.С. Персонификация как предмет психолого-педагогических исследований // Среднее профессиональное образование. 2012. № 10. С. 54—57.
3. Носкова Т.Н., Павлова Т.Б., Яковлева О.В. Инструменты педагогической деятельности в электронной среде // Высшее образование в России. 2017. № 8-9. С. 121—130. URL: https://vovr. elpub.ru/jour/article/view/1143/996
4. Потанина М.В., Инюшин В.И. Анализ эффективности применения систем электронного обучения в вузе // Ученые записки Крымского федерального университета им. В.И. Вернадского. Экономика и управление. 2019. Т. 5 (71), № 4. С. 117-128.
5. Обзор 4 бесплатных систем электронного обучения: Moodle, Atutor, Ilias, Diskurs. URL: https://lmslist.ru/free-sdo/
6. Piotrowska X., Terbusheva E. Educational data mining for future educational employees // CEUR Workshop Proceedings: NESinMIS-2019 — Proceedings of the 14th International Conference "New Educational Strategies in Modern Information Space", Saint-Petersburg, 16 april 2019. Pp. 38—49.
7. Капулин Д.В., Русских П.А. Технологические аспекты персонализации процесса обучения в среде LMS Moodle // Информатизация образования и методика электронного обучения: Материалы II Международной научной конференции, Красноярск, 25—28 сентября 2018 года, Сибирский федеральный университет. Красноярск: Сибирский федеральный университет, 2018. С. 173—177.
8. Перязева Ю.В., Калганов Ю.В. Формирование индивидуальных образовательных траекторий в традиционных LMS //Современные информационные технологии и ИТ-образование. 2020. Т. 16, No 3. С. 754—763. DOI: 10.25559/SITIT0.16.202003
9. Живенков А.Н., Иванова О.Г. Формирование плагинов LMS Moodle для адаптивного построения структуры курса электронного обучения // Экономика. Информатика. 2010. № 19-1 (90). C. 150—156.
10. Белоножко П.П., Карпенко А.П., Храмов Д.А. Анализ образовательных данных: направления и перспективы применения // Интернет-журнал Науковедение. 2017. Т. 9, № 4. URL:https:// naukovedenie.ru/PDF/15TVN417.pdf
11. Веряев А.А., Татарникова Г.В. Educational Data Mining и Learning Analytics — направления развития образовательной квалитологии // Преподаватель XXI век. 2016. № 2. С. 150—160. URL: https://drive.google.eom/file/d/0Bww8v66PaPfWY0ZITEl6MjhsUlU/view
12. Мамедова Г.А., Зейналова Л.А., Меликова Р.Т. Технологии больших данных в электронном образовании // Открытое образование. 2017. Т. 21, № 6. С. 41—48. DOI: https://doi.org/10.21-686/1818-4243-2017-6-41-48
13. Абруков В.С., Ефремов Л.Г., Кощеев И.Г. Возможности создания системы поддержки принятия решений и управления вузом с помощью аналитической платформы Deductor // Интеграция образования. 2013. № 1 (70). С. 17—23. URL: http://edumag.mrsu.ru/content/pdf/13-1.pdf
14. Авадэни Ю.И., Радионова В.А. Построение решающих правил для определения уровня самооценки студентов вуза с применением дерева решений // Наука о человеке: гуманитарные исследования. 2014. № 2 (16). C. 135—139.
15. Овсяницкая Л.Ю., Никитина Е.Ю., Лысенко Ю.В., Подповетная Ю.В. Постовалова И.П., Овсяницкий А.Д. Технология анализа и визуализации многомерных данных педагогического мониторинга в высшем образовании // Современные информационные технологии и ИТ-образование. 2018. Т. 14, № 4. С. 793—802. DOI: 10.25559/SITIT0.14.201804.793-802
16. Пиотровская К.Р., Тербушева Е.А. Интеллектуальный анализ данных в педагогической аналитике // Техническое творчество молодежи. 2016. № 2 (96). С. 10—14.
17. Вахидова Л.В., Манько Н.Н., Габитова Э.М., Штейнберг В.Э. Визуализация персонифицированной информационно-образовательной среды // Образовательные технологии. № 1, Москва, 2018. C. 34—47.
18. Стародубцев В.А., Ситникова О.В., Лобаненко О.Б. Оптимизация контента онлайн-курса по данным статистики активности пользователей // Высшее образование в России. 2019. Т. 28. № 8-9. С. 119—127. DOI: https://doi.org/10.31992/0869-3617-2019-28-8-9-119-127
19. Mogus A.M., Djurdjevic I., Suvak N. The impact of student activity in a virtual learning environment on their final mark // Active Learning in Higher Education. 2012. Vol. 13. No. 3. Pp. 177—189. DOI: https://doi.org/10.1177/1469787412452985
20. Stiller K., Bachmaier R. Identifying learner types in distance training by using study times. In: Proceedings of the European Distance and E-Learning Network Conference, Genoa, Italy, June 17-20, 2018. Pp. 78—86. URL: http://www.eden-online.org/wp-content/uploads/2018/06/Annual_2018_Gen-ova_Proceedings.pdf
21. Kadoic N., Oreski D. Analysis of student behavior and success based on logs in Moodle. In: 41st International Convention on Information and Communication Technology, Electronics and Microelectronics (MIPRO), At Opatija, Croatia, 2018, Pp. 0654—0659. DOI: 10.23919/MIPR0.2018.8400123
22. Akcapinar G. Profiling students' approaches to learning through Moodle logs. // Proceedings of the Multidisciplinary Academic Conference, Prague, 2015. Pp. 242—248.
23. Bogarin A., Romero C., Cerezo R. Discovering Students' Navigation Paths in Moodle. In: Proceedings of the 8th International Conference on Educational Data Mining, Madrid, Spain, 26-29 June, 2015, Pp. 556—557. URL: http://educationaldatamining.org/EDM2015/proceedings/poster556-557.pdf
24. Terbusheva E., Piotrowska X., Kalmykova S. Analytics of the digital behavior of russian first-2021 university students: Case study // CEUR Workshop Proceedings: 15, Saint-Petersburg, 25 march 2020., 2020. Pp. 28—39.
25. Aguilar D.A., Theron R., Garcia-Penalvo F.J. Understanding Educational Relationships in Moodle with ViMoodle. In: Eighth IEEE International Conference on Advanced Learning Technologies, Santander, Cantabria, Spain, July 1st — July 5th, 2008. Pp. 954—956. DOI: 10.1109/ICALT.2008.276
26. Рыбанов А.А., Сержантова Е.О., Макушкина Л.А. Аналитическая платформа Deductor как средство анализа результатов активности пользователей системы дистанционного обучения Moodle // Молодой ученый. 2013. № 5. С. 173—176. URL https://moluch.ru/archive/52/6910/
27. Gabroveanu M., Diaconescu I. Extracting semantic annotations from Moodle data. In Proceedings of the 2nd East European Conference on Rule-Based Applications, Germany 2008, Vol. 428. Pp. 1—7. URL: http://ceur-ws.org/Vol-428/paper1.pdf
28. Konstantinidis A., Grafton C. Using Excel Macros to Analyze Moodle Logs. In: 2nd Moodle Research Conference (MRC2013), Souse, Tunisia, Oct. 4-5 2013. Pp. 33—39.
29. Romero C., Ventura S., Garcia E. Data mining in course management systems: Moodle case study and tutorial // Computers & Education. 2008. Vol. 51. Pp. 368-384. DOI: https://doi.org/10.1016/j. compedu.2007.05.016
30. Moodle-учебник для начинающих. URL: https://rumoodler.com/ (дата обращения: 13.09.2021).
31. Система мониторинга контента и активности пользователей в LMS Moodle Института дистанционного образования Томского государственного университета. URL: https://ido.tsu.ru/ product/ (дата обращения: 13.09.2021).
32. KEATS analytics: program for analysis Moodle logs. URL: https://drive.google.com/drive/fold-ers/0B8HaibzihiX3fkFBSDhaTk51d3I3S0MwS042MUpralVLd3N6Zm5GQmNJU2hLUVBnWGZVclE (дата обращения: 13.01.2021).
REFERENCES
[1] T.E. Galkina, Personifitsirovannyy podkhod v sisteme dopolnitelnogo professionalnogo obrazovani-ya spetsialistov sotsialnoy sfery [Personalized approach in the system of additional professional education for specialists in the social sphere]: avtoref. dis. ... d-ra ped. nauk. M., 2011. 341 p.
[2] M.S. Klevtsova, Personofication as a subject of contemporary psychological and pedagogical researches, The Journal of Secondary Vocational Education, 10 (2012) 54—57.
[3] T.N. Noskova, T.B. Pavlova, O.V. Yakovleva, Pedagogical activity tools in electronic environment, Higher Education in Russia, 8-9 (2017) 121—130. URL: https://vovr.elpub.ru/jour/article/view/1143/996
[4] M.V. Potanina, V.I. Iniushin, Analiz effektivnosti primeneniia sistem elektronnogo obucheniia v vuze [Analysis of the efficiency of application of electronic learning systems at the university], Uchenye zapiski Krymskogo federal'nogo universiteta imeni V.I. Vernadskogo. Ekonomika i upravlenie [Scientific notes of the V.I. Vernadsky Crimean Federal University], 5 (71) (4) (2019) 117-128.
[5] Overview of 4 free e-learning systems: Moodle, Atutor, Ilias, Diskurs. URL: https://lmslist.ru/free-sdo/
[6] X. Piotrowska, E. Terbusheva, Educational data mining for future educational employees, CEUR Workshop Proceedings: NESinMIS-2019 — Proceedings of the 14th International Conference "New Educational Strategies in Modern Information Space", Saint-Petersburg, April 16, 2019. Pp. 38—49.
[7] D.V. Kapulin, P.A. Russkikh, Technological aspects of personalization of the learning process by using LMS Moodle, Informatizatsiia obrazovaniia i metodika elektronnogo obucheniia: Materialy II Mezhdunarodnoi nauchnoi konferentsii [In Proceedings of II Intern. scientific conf. "Informatization of education and e-learning methodology"], Krasnoiarsk, 2018. Pp. 173-177.
[8] Ju.V. Peryazeva, R.G. Kalganov, Design of personalized learning paths in traditional LMS, Modern Information Technologies and IT-Education, 16 (3) (2020) 754—763. DOI 10.25559/SITI-T0.16.202003.754-763
[9] A.N. Zhivenkov, O.G. Ivanova, Configuration of LMS Moodle plugins for adaptive construction of electronic learning course structure, Nauchnye vedomosti Belgorodskogo gosudarstvennogo universiteta. Seriia: Ekonomika. Informatika. [Scientific bulletin of Belgorod State University. Series: Economics. Computer science], 19-1 (90) (2010) 150—156.
[10] P.P. Belonozhko, A.P. Karpenko, D.A. Khramov, Algorithm of rangovy optimization of access to data in information system, Naukovedenie [Science of science], 9 (4) 2017. URL: https://naukovedenie. ru/PDF/15TVN417.pdf
[11] A.A. Veryaev, G.V. Tatarnikova, Educational data mining and learning analytics — directions of the educational qualitology development, Prepodavatel XXI vek [21st century teacher], 2 (2016) 150—160. URL: https://drive.google.com/file/d/0Bww8v66PaPfWY0ZITEl6MjhsUlU/view
[12] G.A. Mamedova, L.A. Zeynalova, R.T. Melikova, Big data technologies in e-learning, Otkrytoe obrazovanie [Open Education], 21 (6) (2017) 41—48. DOI: https://doi.org/10.21686/1818-4243-2017-6-41-48
[13] V.S. Abrukov, L.G. Efremov, I.G. Koshcheev, Opportunities to Create a Decision Support and University Management System, Integratsiya obrazovaniya [Integration of Education], 1 (70) 2013 17—23. URL: http://edumag.mrsu.ru/content/pdf/13-1.pdf
[14] Y.I. Avadeni, V.A. Radionova, Construction of decision rules for determining the level of self-esteem students of universitie using tree decisions, The Science of Person: Humanitarian Researches, 2 (16) (2014) 135-139.
[15] L.Yu. Ovsyanitskaya, E.Yu. Nikitina, Yu.V. Lysenko, Yu.V. Podpovetnaya, I.P. Postovalova, A.D. Ovsyanitskiy, The technologies for analysis and visualization of the multidimensional pedagogical monitoring data in higher education, [Modern Information Technologies and IT-Education, 14 (4) (2018) 793-802.
[16] K.R. Piotrovskaya, E.A. Terbusheva, Intellektual'nyi analiz dannykh v pedagogicheskoi analitike [Data mining in pedagogical analytics], Tekhnicheskoe tvorchestvo molodezhi [Technical creativity of young people], 2 (96) (2016) 10-14.
[17] L.V. Vakhidova, N.N. Man'ko, E.M. Gabitova, V.E. Shteinberg, Vizualizatsiia personifitsirovannoi informatsionno-obrazovatel'noi sredy [Visualization of a personificated information and educational environment], Obrazovatel'nye tekhnologii (Moskva) [Educational technologies (Moscow)], 1 (2018) 34-47.
[18] V.A. Starodubtsev, O.V. Sitnikova, O.B. Lobanenko, Optimization of Online Course Content According to Users Activity Statistics, Higher Education in Russia, 28 (8-9) (2019) 119-127. DOI: https:// doi.org/10.31992/0869-3617-2019-28-8-9-119-127
[19] A.M. Mogus, I. Djurdjevic, N. Suvak, The impact of student activity in a virtual learning environment on their final mark, Active Learning in Higher Education, 13 (3) (2012) 177-189. DOI: https://doi. org/10.1177/1469787412452985
[20] K. Stiller, R. Bachmaier, Identifying learner types in distance training by using study times. In: Proceedings of the European Distance and E-Learning Network Conference, Genoa, Italy, June 17-20, 2018. Pp. 78-86. Available at: http://www.eden-online.org/wp-content/uploads/2018/06/Annual_2018_ Genova_Proceedings.pdf
[21] N. Kadoic, D. Oreski, Analysis of student behavior and success based on logs in Moodle. In: 41st International Convention on Information and Communication Technology, Electronics and Microelectronics (MIPRO), At Opatija, Croatia, 2018. Pp. 0654-0659. DOI: 10.23919/MIPRO.2018.8400123
[22] G. Akcapinar, Profiling students' approaches to learning through Moodle logs. In: Proceedings of the Multidisciplinary Academic Conference, Prague, 2015.
[23] A. Bogarin, C. Romero, R. Cerezo, Discovering Students' Navigation Paths in Moodle. In: Proceedings of the 8th International Conference on Educational Data Mining, Madrid, Spain, 26-29 June, 2015. Pp. 556-557. Available at: http://educationaldatamining.org/EDM2015/proceedings/poster556-557.pdf
[24] E. Terbusheva, X. Piotrowska, S. Kalmykova, Analytics of the digital behavior of Russian first-year university students: Case study, CEUR Workshop Proceedings: 15, St. Petersburg, 25 March, 2020. Pp. 28-39.
[25] D.A. Aguilar, R. Theron, F.J. Garcia-Penalvo, Understanding Educational Relationships in Moo-dle with ViMoodle. In: Eighth IEEE International Conference on Advanced Learning Technologies, Santander, Cantabria, Spain, July 1st - July 5th, 2008. Pp. 954-956. DOI: 10.1109/ICALT.2008.276
[26] A.A. Rybanov, E.O. Serzhantova, L.A. Makushkina, Analiticheskaia platforma Deductor kak sred-stvo analiza rezul'tatov aktivnosti pol'zovatelei sistemy distantsionnogo obucheniia Moodle [Deductor analytical platform as a tool for analyzing the results of users ' activity in the Moodle distance learning system], Molodoy uchenyi [Young Scientist], 5 (2013) 173-176. Available at: https://moluch.ru/archive/52/6910/
[27] M. Gabroveanu, I. Diaconescu, Extracting semantic annotations from Moodle data. In Proceedings of the 2nd East European Conference on Rule-Based Applications, Germany 2008, Vol. 428. Available at: http://ceur-ws.org/Vol-428/paper1.pdf
[28] A. Konstantinidis, C. Grafton, Using Excel Macros to Analyze Moodle Logs. In: 2nd Moodle Research Conference (MRC2013), Souse, Tunisia, Oct. 4-5 2013. Pp. 33-39.
[29] C. Romero, S. Ventura, E. Garcia, Data mining in course management systems: Moodle case study and tutorial, Computers & Education, 51 (2008) 368-384. DOI: https://doi.org/10.1016Xj.com-pe-du.2007.05.016
[30] Moodle-uchebnik dlia nachinaiushchikh [Moodle - tutorial for beginners]. Available at: https:// rumoodler.com/
[31] System for monitoring content and user activity in the LMS Moodle Of the Institute of distance education of Tomsk state University. Available at: https://ido.tsu.ru/product/
[32] KEATS analytics: program for analysis Moodle logs. Available at: https://drive.google.com/drive/ folders/0B8HaibzihiX3fkFBSDhaTk51d3I3S0MwS042MUpralV
СВЕДЕНИЯ ОБ АВТОРАХ / THE AUTHORS
Тербушева Екатерина Александровна Terbusheva Ekaterina A.
E-mail: ekatherina88@mail.ru
ORCID: https://orcid.org/0000-0001-5438-719X
Пиотровская Ксения Раймондовна Piotrowska Xenia R.
E-mail: krp62@mail.ru
ORCID: https://orcid.org/0000-0003-2557-9461
Статья поступила в редакцию 14.10.2021; одобрена после рецензирования 29.11.2021; принята к публикации 12.12.2021.
The article was submitted 14.10.2021; approved after reviewing 29.11.2021; accepted for publication 12.12.2021.
