CC BY
98
DOI: https://doi.org/l0.31992/0869-3617-2020-29-8-9-117-126
Оценка самостоятельной работы студентов при смешанном обучении на основе данных учебной аналитики
Озерова Галина Павловна - канд. техн. наук, доцент. E-mail: ozerova.gp@dvfu.ru Дальневосточный федеральный университет, Владивосток, Россия Адрес: 690091, Приморский край, г. Владивосток, ул. Суханова, 8
Аннотация. В статье предлагается использовать данные учебной аналитики систем организации обучения (LMS) для создания алгоритмов оценки самостоятельной работы студентов. Разработка подобных алгоритмов актуальна в условиях ежегодно возрастающего числа дисциплин, реализуемых по технологии смешанного обучения. Самостоятельная работа при смешанном обучении может проводиться на онлайн-платформе LMS, а использование данных учебной аналитики даёт возможность максимально учитывать особенности взаимодействия студента с учебными материалами курса и выполнения заданий различного типа. Для оценки времени выполнения и качества самостоятельной работы студентов определяется совокупность критериев и показателей, выбирается численная метрика и предлагается методика, с помощью которой по совокупным значениям показателей можно оценить учебную деятельность каждого студента. Методика включает алгоритмы оценки успешности выполнения самостоятельной работы на основе эмпирических данных учебной аналитики. Разработанные алгоритмы позволяют интерпретировать данные о выполнении самостоятельной работы для оценки её успешности и скорректировать траекторию обучения студента. В статье приводятся результаты применения методики на примере дисциплины «Информационные технологии », размещённой в LMS Blackboard и реализуемой по технологии смешанного обучения в Дальневосточном федеральном университете.
Ключевые слова.: смешанное обучение, самостоятельная работа, учебная аналитика, онлайн-обучение, мониторинг обучения, рейтинг, система организации обучения
Для цитирования: Озерова Г.П. Оценка самостоятельной работы студентов при смешанном обучении на основе данных учебной аналитики // Высшее образование в России. 2020. Т. 29. № 8/9. С. 117-126.
DOI: https://doi.org/10.31992/0869-3617-2020-29-8-9-117-126
Введение
Смешанное обучение, или интеграция аудиторного и интернет-обучения, активно внедряется в учебный процесс вузов. Его называют «новой традиционной моделью» [1, с. 167] или «новым направлением» в процессе обучения [2, с. 207], отмечают, что технология смешанного обучения может быть интегрирована во «множество образовательных моделей» и служит «средством для обеспечения инновационного обучения»
[3, с. 2-4], прогнозируют, что модель смешанного обучения станет доминирующей в ближайшие несколько лет на всех уровнях образования [4, с. 18].
Основу образовательного процесса при смешанном обучении составляет «целенаправленная, интенсивная и контролируемая самостоятельная работа» студента [5, с. 24]. Именно этот этап призван реализовывать одну из основных целей смешанного обучения: формирование способности студентов
планировать и организовывать свою учебную деятельность, ориентируясь на конечный результат [6, с. 141]. Качественное выполнение самостоятельной работы позволит студенту научиться обучаться, чтобы в своей профессиональной деятельности иметь возможность непрерывно повышать свою квалификацию и приобретать новые знания, умения и навыки.
Основным техническим элементом при использовании концепции смешанного обучения является наличие электронной системы организации обучения (LMS). В российских вузах наиболее распространёнными являются Moodle и ВкскВоаЫ [7, с. 81]. Эти системы предоставляют преподавателю инструменты для поддержки всех этапов процесса обучения: проведения лекционных и практических занятий, промежуточного и текущего контроля, организации самостоятельной работы студентов [8, с. 159-161]. При смешанном обучении самостоятельная работа практически полностью реализуется средствами онлайн-составляющей дисциплины, где все действия студента оставляют «цифровой след» [9, с. 3-4; 10, с. 100] в виде большого массива данных о его поведении в системе. Анализ таких данных (учебная аналитика) позволяет преподавателю оценить процесс и результаты самостоятельной работы и при необходимости провести корректирующие мероприятия [11, с. 122-124]. По определению, учебная аналитика - это измерение, сбор, анализ и представление данных об обучающихся и их действиях с целью понимания и оптимизации учебного процесса и той среды, где этот процесс происходит [12, с. 336-337]. Анализ таких данных позволяет контролировать регулярность занятий слушателя, осуществлять мониторинг его успеваемости, следить за ходом выполнения контрольных заданий [13, с. 5-11].
Целью работы является разработка алгоритма оценки самостоятельной работы и прогноза успешности обучения студентов для дисциплин, реализуемых на основе модели смешанного обучения в LMS ВкскВоаЫ
и подобных на примере курса «Информационные технологии».
В рамках поставленной цели решаются следующие задачи:
• выбор объективных критериев оценки самостоятельной работы студентов на основе данных учебной аналитики;
• разработка методики формирования оценочного балла за самостоятельную работу;
• выделение групп студентов по успешности выполнения самостоятельной работы;
• оценка влияния успешности выполнения самостоятельной работы студентами на итоговые результаты обучения по дисциплине.
Теоретическую и методологическую основу работы составляют научные труды современных российских и зарубежных учёных по теории смешанного обучения [1-5; 14], организации самостоятельной работы [6-7; 9], теоретическим основам учебной аналитики [10; 12; 13; 15; 16], статистике, анализу данных [17; 18]. В качестве аппарата исследования применялись методы статистического анализа многомерных данных, кластерного анализа, а также методы компьютерного моделирования.
Организация самостоятельной работы на платформе LMS
Для дисциплины, реализуемой по технологии смешанного обучения, на платформе LMS размещаются учебные материалы для проведения аудиторных занятий, самостоятельной работы, промежуточной и итоговой аттестации. Каждый модуль курса включает текстовые и мультимедийные материалы для поддержки всех видов учебной деятельности.
Студенту предлагается следующая методика выполнения самостоятельной работы в рамках одного модуля. По каждой теме после изучения нового материала на аудиторном занятии студент должен выполнить обучающий тест. При этом не ограничивается ни количество попыток, ни время их выполнения, но для каждой попытки генерируются новые задания. Решение о необходи-
Таблица 1
Критерии, показатели и их метрики для оценки самостоятельной работы
Table 1
The self-study criteria, indicators, and metrics
№ Критерий Метрика
Показатель Описание
Обучающие тесты
1 Результативность выполнения Х1 Средний результат результативных попыток, %
Х2 Средний результат всех попыток, %
Отношение количества дней в заданный период вре-
Х3 мени, в которые студент выполнял самостоятельную
2 Непрерывность самостоятельной работы работу, к количеству дней, определённых преподавателем, %
x4 Среднее время студента на LMS курсе в заданный
период времени, мин.
3 Своевременность выполнения X5 Количество дней между выставлением задания и первой попыткой студента
4 Стремление к самосовершенствованию, улучшению результата X6 Количество результативных попыток
5 Самостоятельность выполнения X7 Отношение количества результативных попыток к общему количеству попыток, %
X8 Минимальное время выполнения попытки, мин.
X9 Среднее время выполнения попытки, мин.
Индивидуальное домашнее задание
1 Результативность выполнения У1 Максимальный результат всех попыток, %
У2 Средний результат всех попыток, %
3 Своевременность выполнения У3 Количество дней между выставлением задания и первой попыткой студента
4 Самостоятельность выполнения У4 Оценка уникальности решения (выставляется преподавателем), балл от 1 до 10
У5 Проверка на антиплагиат по другим присланным ИДЗ по данному модулю, %
мости повторного выполнения теста студент принимает самостоятельно, сам регулирует время на выполнение заданий. Обучающие тесты содержат ссылки на теоретические и практические материалы курса, что стимулирует студента к повторению изученного материала. Для повышения заинтересованности студентов в более качественном выполнении самостоятельной работы в итоговый тест по модулю включаются 30% случайным образом выбранных заданий самостоятельной работы. По окончании изучения модуля студент должен выполнить индивидуальное задание (ИДЗ), которое проверяет и оценивает преподаватель. Студент мо-
жет исправить работу с учётом замечаний и вновь отправить задание на проверку, но не более трёх раз. При этом определяется строго ограниченный период сдачи ИДЗ.
Разработка алгоритма оценки самостоятельной работы
Для оценки качества самостоятельной работы студента необходимо задать совокупность критериев, определяющих процедуру оценивания, выбрать численную метрику и алгоритм, который по совокупным значениям показателей оценивает самостоятельную работу каждого студента. В таблице 1 приведены возможные критерии оценки и
их метрики для оценки обучающих тестов и ИДЗ (все они могут быть получены на основе аналитики, встроенной в LMS).
Смысловое содержание каждого показателя должно отражать позитивные явления или процессы. Например, показатель х5 имеет смысл «чем меньше дней, тем лучше», поэтому в расчётах используется его обратное значение. Асимметричный характер распределения имеют показатели х8 и х9, поскольку студенты могут начать выполнение теста, оставить его открытым, а затем вернуться через несколько часов, а слишком активные студенты могут иметь большое количество результативных попыток (показатель х6). При подготовке данных осуществляется переход от абсолютных величин показателей к их нормированным сглаженным значениям.
Алгоритм оценки самостоятельной работы студентов включает несколько последовательных этапов:
1) сбор данных учебной аналитики на основе отчётов LMS и их импорт в базу;
2) формирование показателей по приведённым в таблице 1 метрикам;
3) нормализация и сглаживание показателей;
4) расчёт обобщённого показателя по каждому критерию как среднее арифметическое нормированных значений показателей;
5) расчёт рейтинга студента как взвешенное среднее показателей по каждому критерию;
6) кластеризация студентов по группам по результатам выполнения самостоятельной работы:
1-я группа - студенты, выполняющие самостоятельную работу на высоком уровне;
2-я группа - студенты, выполняющие самостоятельную работу на среднем уровне;
3-я группа - студенты, выполняющие самостоятельно работу на низком уровне.
Кластеризация выполняется по общему баллу студентов и по значениям обобщённых показателей несколькими стандартными алгоритмами чёткой кластеризации
k-means, k-medians, EM [17]. Для оценки качества кластеризации используются следующие метрики: компактность (homogeneity), отделимость (separation), индекс оценки силуэта (Silhouette Index) и расстояние между кластеризациями [18]. Группы студентов формируются на основе кластеризации с лучшими показателями.
Итоговый рейтинг студента должен учитывать количество вхождений студента в соответствующую группу успешности выполнения самостоятельной работы в процессе изучения модуля и группу по выполнению индивидуального домашнего задания. Для его расчёта используется формула:
3
Rk = £ b х
i =1
х| count (CJk e[i])+count (Hk e[i])l,
V j =1. np )
где Rk - балл k-го студента по модулю, bi -коэффициент для группы, Hk - номер группы k-го студента по ИДЗ, C!k - номер группы k-го студента по j-ой теме, np - количество тем в модуле.
Разработанный алгоритм применяется для оценки отдельного задания самостоятельной работы, работы по модулю и дисциплины в целом.
Практическое применение алгоритма оценки самостоятельной работы
Описанный выше алгоритм оценки самостоятельной работы был реализован в Дальневосточном федеральном университете в 2018/2019 учебном году. По модели смешанного обучения дисциплину «Информационные технологии» изучали студенты первого курса 23 направлений подготовки Инженерной школы ДВФУ. Аудиторные занятия проводили 18 преподавателей, онлайн-со-ставляющая дисциплины, размещённая в LMS BlackBoard, была одинаковой для всех. Общее количество студентов в первом семестре - 645 человек, во втором - 599. Эмпирические данные получены с помощью инстру-
Рис. 2. Средние баллы самостоятельной работы по группам успеваемости по модулю Fig. 2. The average self-study score by module
Рис. 1. Среднее время на LMS-курсе по группам успеваемости Fig. 1. The average half-yearly usage by academic performance groups
ментов учебной аналитики LMS BlackBoard. По окончании изучения каждой темы данные учебной аналитики из LMS импортировались в базу данных на SQL-сервере. Алгоритм оценки самостоятельной работы реализован на языке Python с использованием SQL-запросов.
Всего в рамках самостоятельной работы студенты выполнили 20 обучающих тестов и пять индивидуальных заданий, распределённых по пяти модулям курса в LMS. При этом алгоритм применялся для оценки самостоятельной работы по каждому заданию и по каждому модулю.
По итогам промежуточной аттестации за первый и второй семестр все студенты были разбиты на группы успеваемости по значению итоговой оценки: «Отл.», «Хор.», «Уд.» и «Неуд.». «Неуд.» - это группа студентов, которые с первого раза не сдали экзамен.
На рисунке 1 приведено среднее время пребывания студентов на ЬМБ-курсе по группам успеваемости. Данные показали, что большая часть времени была затрачена на выполнение обучающих тестов самостоятельной работы (78%). В среднем студенты провели на курсе в первом семестре - 21,9 часов, во втором - 20,4 часа. По учебному
Распределение студентов по группам по итогам темы The result of clustering students by topic
Таблица 2 Table 2
Группа по результатам выполнения самостоятельной работы Группа успеваемости
Отл. Хор. Уд. Неуд.
Группа 1 - студенты, выполняющие самостоятельную работу на высоком уровне (83 чел.) 18% 17% 3% 8%
Группа 2 - студенты, выполняющие самостоятельную работу на среднем уровне (351 чел.) 75% 59% 50% 24%
Группа 3 - студенты, выполняющие самостоятельную работу на низком уровне (165 чел.) 7% 24% 47% 68%
Рис. 3. Гистограмма частот итогового балла по модулю Fig. 3. The frequency histogram of students score by module
плану предусматривалось 36 часов на самостоятельную работу в течение каждого семестра. Как видно из рисунка 1, студенты-отличники провели в ЬМБ-курсе более 80% запланированного времени, другие студенты затратили больше половины этого времени. Это показывает связь успешности обучения с затратами времени студентов на самостоятельную работу в ЬМБ.
На рисунке 2 показаны средние баллы студентов за самостоятельную работу по модулю курса в ЬМБ, определённые на основе описанного выше алгоритма. Средний рейтинговый балл отличников и хорошистов по каждой теме значительно выше средних баллов остальных категорий студентов. Ри-
сунок 2 отражает также динамику средних рейтинговых баллов: для успевающих студентов значение среднего балла остаётся высоким или возрастает, для неуспевающих -убывает. После изучения последней темы модуля рейтинг отличников и хорошистов практически сравнивается.
В таблице 2 приведено распределение студентов по группам успешности выполнения самостоятельных заданий по одной из тем модуля в сравнении результатами семестровых экзаменов. В первую и вторую группу успешности попали 93% отличников и 76% хорошистов, а 47% троечников и 68% двоечников попали в третью группу. Это подтверждает валидность предложенных
Таблица 3
Распределение студентов по группам по итогам модуля
Table 3
The result of clustering students by module
Группы успешности выполнения самостоятельной работы Группа успеваемости
Отл. Хор. Уд. Неуд.
Группа 1 - студенты, выполняющие самостоятельную работу на высоком уровне (221 чел.) 58% 38% 12% 3%
Группа 2 - студенты, выполняющие самостоятельную работу на среднем уровне (256 чел.) 38% 50% 52% 26%
Группа 3 - студенты, выполняющие самостоятельную работу на низком уровне (122 чел.) 4% 12% 37% 71%
алгоритмов по отношению к итоговой успеваемости и позволяет их использовать для промежуточной аттестации студентов.
На рисунке 3 показана гистограмма распределения количества студентов по значению общего балла за самостоятельную работу по итогам модуля. Для сравнения на этом же рисунке представлен график нормального распределения. Гистограмма близка к нормальному распределению, что позволяет использовать разработанный алгоритм для оценки самостоятельной работы студентов. На графике видно, что часть студентов практически не выполняют самостоятельную работу и требуют особого внимания преподавателей.
В соответствии с данными, приведёнными в таблице 3, 71% неуспевающих студентов по итогам семестра относятся к группе выполняющих самостоятельную работу на низком уровне, а 96% отличников - к группам с высоким и средним уровнем. Это подтверждает предположение о влиянии успешности самостоятельной работы на итоговую успеваемость студентов по дисциплине.
Мониторинг состава групп в течение семестра со стороны преподавателя позволяет выявить потенциально неуспевающих студентов за несколько месяцев до итоговой аттестации, когда ситуацию ещё можно исправить. Все студенты, попавшие в третью группу, входят в «группу риска», для каждого из них формируется полный отчёт об их дея-
тельности на LMS-курсе и предоставляется преподавателю. После изучения каждой темы формируются также списки студентов, которые перешли из более высокой группы успешности в низкую, особого внимания требуют те студенты, которые осуществили этот переход несколько раз за модуль. Такие студенты составляют небольшой процент от общего количества (около 6,5%), и преподаватель может своевременно внести коррективы в каждом отдельном случае. Таким образом, подтверждается тезис о возможности объективной оценки самостоятельной работы и корректировки обучающей траектории студента со стороны преподавателя в процессе изучения дисциплины.
Выводы
Смешанное обучение представляет собой новую образовательную модель, важнейшей составляющей которой является программно диагностируемая самостоятельная работа студентов, которая может быть организована на платформе LMS. Предложенный алгоритм оценки самостоятельной работы студентов демонстрирует его валидность, способствует обеспечению обратной постоянной связи, предоставляет преподавателю инструменты для объективной оценки и корректировки учебной деятельности студентов. Критерии успешности самостоятельной работы студентов в LMS имеют общий характер для многих дисциплин, поэтому
подобные алгоритмы могут быть встроены в системы смешанного обучения, стать их неотъемлемой частью.
Данные учебной аналитики LMS со встроенными алгоритмами оценки самостоятельной работы студентов позволяют преподавателю выявить отстающих студентов, нуждающихся в дополнительном внимании с его стороны, оказать помощь в случае наличия проблем личного, социального, медицинского или финансового характера, приводящих к внезапным изменениям вовлечённости в самостоятельную работу.
Литература
1. Ross В., Gage K. Global perspectives on blended learning: Insight from WebCT and our customers in higher education // C.J. Bonk, & C.R. Graham (Eds.) Handbook of blended learning: Global perspectives, local designs. San Francisco, CA: Pfeiffer Publishing, 2006. P. 155-168.
2. Norberg A., Dziuban C.D., Moskal P.D. A time-based blended learning model // On the Horizon. 2011. № 19(3). P. 207-216. DOI: https://doi.org/l0.1108/l074812mi163913
3. Loschert K, Hall S.W, Murray T. Blending teaching and technology: simple strategies for improved student learning // Alliance for Excellent Education. 2018, February. 14 p. URL: https:// futureready.org/wp-content/uploads/2018/02/ Blended_Learning_Report_FINAL.pdf
4. Adams Becker S, Cummins M, Davis A., Freeman A., Hall Giesinger C., Ananthanarayanan V. NMC horizon report: 2017 higher Education Edition. Austin: The New Media Consortium, 2017. 60 p. URL: https://www.sconul.ac.uk/ sites/default/files/documents/2017-nmc-hori-zon-report-he-EN.pdf
5. Кравченко Г.В. Использование модели смешанного обучения в системе высшего образования // Известия Алтайского государственного университета. 2014. № 2-1 (82). С. 22-25.
6. Попова С.Н. Организация самостоятельной работы студентов инженерного вуза в электронной обучающей среде Moodle // Приволжский научный вестник. 2015. № 7(47). С. 140-143.
7. Андрюшкова О.В, Горбунов М.А, Козлова А.В. Learning management system как необходимый элемент blended learning // Открытое образование. 2017. Т. 21. № 3. С. 80-88.
8. Oliveira P.C, Cunha C, Nakayama M.K. Learning Management Systems (LMS) and e-learning management: an integrative review and research agenda // JISTEM-Journal of Information Systems and Technology Management. 2016. № 13(2). P. 157-180. DOI: https://dx.doi. org/10.4301/S1807-17752016000200001
9. Федосеева О.Ю. Анализ эффективности самостоятельной работы студентов с использованием информационных технологий // Вестник Волжского университета имени В.Н. Татищева. 2015. № 2 (24). С. 1-10.
10. Viberg O., Hatakka M, Balter O., Mavroudi A. The current landscape of learning analytics in higher education // Computers in Human Behavior. 2018. № 89. P. 98-110. DOI: https://doi. org/10.1016/j.chb.2018.07.027
11. Стародубцев В.А., Ситникова О.В., Лоба-ненко О.Б. Оптимизация контента онлайн-курса по данным статистики активности пользователей // Высшее образование в России. 2019. Т. 28. № 8-9. С. 119-127. DOI: https://doi.org/10.31992/0869-3617-2019-28-8-9-119-127
12. Nistor N., Hernández-Garcíacc A. What types of data are used in learning analytics? An overview of six cases // Computers in Human Behavior. 2018. № 89. P. 335-338. DOI: https://doi. org/10.1016/j.chb.2018.07.038
13. O'Farrell L. Using Learning Analytics to Support the Enhancement of Teaching and Learning in Higher Education, report // National Forum for the Enhancement of Teaching and Learning in Higher Education. Dublin, 2017. 40 p. URL: https://www.teachingandlearning.ie/wp-con-tent/uploads/TL_LA-Brieflng-Paper_WEB.pdf
14. Garrison D.R., Vaughan N.D. Blended learning in higher education. 1st ed. San Francisco: Jossey-Bass Print, 2013. 245 p.
15. Быстрова Т.Ю, Ларионова В.А, Сини-цын Е.В., Толмачев А.В. Учебная аналитика МООК как инструмент прогнозирования успешности обучающихся // Вопросы образования. 2018. № 4. С. 139-166. DOI: https:// doi.org/10.17323/1814-9545-2018-4-139-166
16. Schneider D, Class В., Benetos K, Lange M. Learning process analytics. Requirements for learning scenario and learning process analytics // T. Amiel, B. Wilson (Eds.) Proceedings of World Conference on Educational Multimedia, Hypermedia and Telecommunications. Denver, Colorado, June 26-29, 2012. P. 1632-1641.
17. ЕршовК.С, Романова Т.Н. Анализ и классификация алгоритмов кластеризации // Новые информационные технологии в автоматизированных системах. 2016. № 19. С. 274-279.
18. Meilâ M. Comparing clusterings - an information based distance // Journal of Multivariate
Analysis. May 2007. Vol. 98. Issue 5. P. 873-895. DOI: https://doi.org/10.10167j.jmva.2006.11.013
Статья поступила в редакцию 28.11.19 После доработки 03.03.20; 11.05.20 Принята к публикации 12.07.20
Usage of Learning Management System Web Analytics in Blended Learning Self-Study Evaluation
Galina P. Ozerova - Cand. Sci. (Engineering.), Assoc. Prof., e-mail: ozerova.gp@dvfu.ru Far Eastern Federal University, Vladivostok, Russia
Address: 8, Sukhanova str., Vladivostok, Primorskiy kray, 690091, Russian Federation
Abstract. Learning Management System (LMS) analytics data is proposed to be used in developing algorithms for evaluating students' self-studies. Development of such algorithms is relevant considering annual growth of disciplines that apply blended learning. In blended learning model self-study can be done online in LMS which makes it possible to analyze patterns how students interact with learning materials and perform exercises of various complexity. Different criteria and indicators are aggregated into numeric metrics that following designed methodology evaluates self-study performance of each student. Designed methodology uses algorithms that evaluate self-study results by using empirical LMS analytics data. Developed algorithms allow us on one hand to interpret empirical data for self-studies evaluation, and on the other hand to correct and improve students' learning path. This paper presents results of using developed methodology deployed in LMS BlackBoard on the example of Information Technology blended learning course in Far Eastern Federal University.
Keywords: blended learning, self-study, learning analytics, e-learning, monitoring of teaching, graduation success rate, learning management system
Cite as: Ozerova, G.P. (2020). Usage of Learning Management System Web Analytics in Blended Learning Self-Study Evaluation. Vysshee obrazovanie v Rossii = Higher Education in Russia.. Vol. 29, no. 8/9, pp. 117-126 (In Russ., abstract in Eng.)
DOI: https://doi.org/10.31992/0869-3617-2020-29-8-9-117-126
References
1. Ross, B., Gage, K. (2006). Global Perspectives on Blended Learning: Insight from WebCT and our Customers in Higher Education. In: C.J. Bonk, C.R. Graham (Eds.) Handbook of Blended Learning: Global Perspectives, Local Designs. San Francisco, CA: Pfeiffer Publishing, pp. 155-168.
2. Norberg, A., Dziuban, C.D., Moskal, P.D. (2011). A Time-Based Blended Learning Model. On the Horizon. Vol. 19, no. 3, pp. 207-216. DOI: https://doi.org/10.1108/10748121111163913
3. Loschert, K., White Hall, S., Murray, T. (2018). Blending Teaching and Technology: Simple Strategies for Improved Student Learning. Alliance for Excellent Education, February. 14 p. Available at: https://futureready.org/wp-content/uploads/2018/02/Blended_Learning_Report_FINAL.pdf
4. Adams Becker, S., Cummins, M., Davis, A., Freeman, A., Hall Giesinger, C., Ananthanarayanan, V. (2017). NMC horizon report: 2017 higher Education Edition. Austin: The New Media Consortium. 60 p. Available at: https://www.sconul.ac.uk/sites/default/files/documents/2017-nmc-horizon-report-he-EN.pdf
5. Kravchenko, G.V. (2014). The Model of the Blended Learning in the System of the Higher Education. Izvestiya Altaiskogo gosudarstvennogo universiteta = Izvestiya of Altai State University. No. 2-1(82), pp. 22-25. (In Russ., abstract in Eng.)
6. Popova, S.N. (2015). Organization of Independent Learning of Engineering Students in E-Learn-ing Environment Moodle. Privolzhskiy nauchnyi vestnik [Volga Scientific Herald]. No. 7(47), pp. 140-143. (In Russ., abstract in Eng.)
7. Andryushkova, O.V., Gorbunov, M.A., Kozlova, A.V. (2017). Learning Management System as a Necessary Element of Blended Learning. Otkrytoe obrazovanie = Opeen Education. Vol. 21, no. 3, pp. 80-88. (In Russ., abstract in Eng.)
8. Oliveira, P.C., Cunha, C., Nakayama, M.K. (2016). Learning Management Systems (LMS) and E-Learning Management: An Integrative Review and Research Agenda. JISTEM-Journal of Information Systems and Technology Management. Vol. 13, no. 2, pp. 157-180. DOI: https:// dx.doi.org/10.4301/S1807-17752016000200001
9. Fedoseyeva, O.Yu. (2015). Analysis of the Effectiveness of Independent Work of Students with the Use Information Technology. Vestnik Volzhskogo universiteta imeni V.N. Tatishcheva = Vestnik of Volzhsky University afterV.N. Tatishchev. No. 2 (24), pp. 1-10. (In Russ., abstract in Eng.)
10. Viberg, O., Hatakka, M., Bälter, O., Mavroudi, A. (2018). The Current Landscape of Learning Analytics in Higher Education. Computers in Human Behavior. Vol. 89, pp. 98-110. DOI: https://doi.org/10.1016/j-.chb.2018.07.027
11. Starodubtsev, V.A., Sitnikova, O.V., Lobanenko, O.B. (2019). Optimization of Online Course Content According to Users Activity Statistics. Vysshee obrazovanie v Rossii = Higher Education in Russia. Vol. 28, no. 8-9, pp. 119-127. DOI: https://doi.org/10.31992/0869-3617-2019-28-8-9-119-127 (In Russ., abstract in Eng.)
12. Nistor, N., Hernández-Garcíacc, A. (2018). What Types of Data Are Used in Learning Analytics? An Overview of Six Cases. Computers in Human Behavior. Vol. 89, pp. 335-338. DOI: https:// doi.org/10.1016/j.chb.2018.07.038
13. O'Farrell, L. (2017). Using Learning Analytics to Support the Enhancement of Teaching and Learning in Higher Education. In: National Forum for the Enhancement of Teaching and Learning in Higher Education. Dublin, 40 p. Available at: https://www.teachingandlearning. ie/wp-content/uploads/TL_LA-Briefing-Paper_WEB.pdf
14. Garrison, D.R., Vaughan, N.D. (2013). Blended Learning in Higher Education.. 1st ed. San Francisco: Jossey-Bass Print, 245 p.
15. Bystrova, T.Yu., Larionova, V.A., Sinitsyn, E.V., Tolmachev, A.V. (2018). Learning Analytics in Massive Open Online Courses as a Tool for Predicting Learner Performance. Voprosy obrazo-vaniya = Educational Studies Moscow. No. 4, pp. 139-166. DOI: https://doi.org/10.17323/1814-9545-2018-4-139-166 (In Russ., abstract in Eng.)
16. Schneider, D., Class, B., Benetos, K., Lange, M. (2012). Learning Process Analytics. Requirements for Learning Scenario and Learning Process Analytics. In: T. Amiel, B. Wilson (Eds.). Proceedings of World Conference on Educational Multimedia, Hypermedia and Telecommunications, Denver, Colorado, June 26-29, 2012, pp. 1632-1641.
17. Ershov, K.S., Romanova T.N. (2016). [Analysis and Classification of Clustering Algorithms]. Novye informatsionnye tekhnologii v avtomatizirovannykh sistemakh = New Information Technologies in Automated Systems. No. 19, pp. 274-279. (In Russ.)
18. Meilä, M. (2007). Comparing Clusterings - An Information Based Distance. Journal of Multivariate Analysis. Vol. 98, no. 5, pp. 873-895. DOI: https://doi.org/10.1016/j.jmva.2006.11.013
The paper was submitted 28.11.19 Received after reworking 03.03.20; 11.05.20 Accepted for publication 12.07.20
