CC BY
67
Вестник Томского государственного университета. 2020. № 458. С. 211-222. DOI: 10.17223/15617793/458/26
УДК 374.1; 378.147
Г.В. Можаева, Д.А. Маслова, Т.В. Кабанова, К.И. Яковлева
ИССЛЕДОВАНИЕ ЭФФЕКТИВНОСТИ МОДЕЛЕЙ СОПРОВОЖДЕНИЯ МАССОВЫХ ОТКРЫТЫХ ОНЛАЙН-КУРСОВ
Исследование выполнено при финансовой поддержке программы «Научный фонд им. Д.И. Менделеева Томского государственного университета», проект «Исследование эффективности различных моделей
и инструментов поддержки слушателей массовых открытых онлайн-курсов (МООК), используемых для удержания в обучении и повышения уровня вовлеченности обучающихся в образовательный процесс».
Представлены результаты исследования эффективности различных моделей сопровождения обучающихся массовых открытых онлайн-курсов с точки зрения их влияния на повышение уровня вовлеченности слушателей в процесс обучения. Выявлены и апробированы 3 модели сопровождения слушателей МООК. В результате исследования подтверждена гипотеза о том, что использование внешних, внеплатформенных инструментов поддержки слушателей МООК в дополнение к платформенным решениям позволяет увеличить уровень вовлеченности слушателей в онлайн-обучение. Ключевые слова: онлайн-обучение; МООК; мотивация к обучению; вовлеченность в обучение; модели сопровождения онлайн-обучения; поддержка слушателей МООК; цифровые инструменты педагогической коммуникации; виртуальный помощник в обучении; образовательные результаты; паттерны поведения.
Введение
Стремительное развитие онлайн-обучения сопровождается ростом популярности и распространения массовых открытых онлайн-курсов (МООК). Число слушателей онлайн-курсов в конце 2019 г., по данным агрегатора Class Central, достигало более 110 млн человек [1]. Пандемия существенно увеличила это число. Так, по данным Class Central, только на онлайн-платформе Coursera в период с середины марта до середины мая 2020 г. зарегистрировались более 10 млн новых пользователей [2]. Онлайн-курсы стали активно включаться в вузовские программы, играя значительную роль в развитии моделей смешанного обучения и занимая все более важное место в системе университетского образования. Этому способствовало полное открытие МООК в условиях пандемии мировыми и национальными платформами, прежде всего Coursera (проект «Coursera for Campus»), и стремительный переход вузов многих стран мира на онлайн-технологии, в том числе частичный перевод студентов на онлайн-курсы вместо традиционных аудиторных занятий.
Вместе с тем сложившаяся ситуация с МООК в мире указывает на противоречие - с одной стороны, значительно увеличилось количество университетов, использующих в учебном процессе МООК, с другой стороны, исследования указывают, что МООК имеют ряд существенных недостатков, влияющих на результаты обучения. Оппоненты МООК отмечают крайне низкий процент слушателей, завершающих обучение на онлайн-курсах. По оценкам специалистов, завер-шаемость в среднем составляет около 3-5% [3], исключение составляет только групповое обучение студентов университетов, направленных вузами на обучение на МООК с последующим перезачетом результатов. Проведенный нами анализ позволил зафиксировать, что в этом случае включается административный ресурс, принуждающий студентов завершить обучение на онлайн-курсе, но и он не всегда работает, поскольку лишь около 50% студентов, для которых
обучение на МООК становится обязательным элементом программы, успешно завершают обучение. Специалисты многих университетов мира [3] пытаются ответить на вопрос, почему столь низок процент завершивших обучение, и решить задачу - как его повысить.
В 2014 г. ученые Ханан Халил из университета Мансура (Египет) и Мартин Эбнер из Технологического университета Граца (Австрия) провели исследование, целью которого было выявить причины, по которым слушатели МООК прекращают прохождение курсов, не завершив обучение, а также определить стратегии улучшения показателя завершаемости [4]. В рамках этого исследования проведен опрос слушателей 42 онлайн-курсов, размещенных на четырех платформах (Coursera, EdX, Moodle, Udacity), в результате которого было выявлено, что самыми частыми причинами незавершения курсов являются нехватка времени, недостаточная мотивация, чувство изолированности слушателей, а также недостаточная интерактивность курсов. Установлено, что самыми распространенными стратегиями повышения завершаемости были: подстройка графика обучения под потребности слушателей (переход на режим «по-требованию» вместо сессионных запусков), запуск постоянной системы мотивации слушателей для завершения курсов (в том числе через поддержку слушателей), а также усиление коммуникации типа «студент-студент» и «студент-команда поддержки курса» [4]. Проведенный анализ показал, что поддержка слушателей играет важную роль при решении задачи повышения уровня вовлеченности и удержания слушателей на онлайн-курсе.
Ведущие университеты мира [3] разрабатывают различные модели поддержки слушателей, обучающихся на МООК, в зависимости от прогнозируемых результатов обучения и других факторов, влияющих на уровень вовлеченности в образовательный процесс. При этом не менее важным фактором является поведение слушателей на МООК, которое фиксируется на онлайн-платформах в формате данных об актив-
ных действиях слушателей при взаимодействии с образовательным контентом. В 2014 г. ученые Стен-фордского и Корнельского университетов А. Андерсон, Дж. Лесковиц, Д. Хаттенлочер и Дж. Кляйнберг предложили классифицировать поведение обучающихся на МООК согласно следующим паттернам: «универсалы», «зрители», «решатели», «коллекционеры» и «зеваки» [5]. Данные паттерны представлены в последовательности от максимальной до нулевой вовлеченности слушателей курсов во взаимодействие с образовательным контентом, основываясь на данных о просмотре видеолекций и решении заданий слушателями. Ученые в своем исследовании [5] отметили рост уровня вовлеченности слушателей всех паттернов при получении знаков отличия за достижения на курсе (просмотр лекций, выполнение заданий, оставление комментариев в форуме), а также выявили возможности повышения уровня вовлеченности в обучение путем внешней мотивации.
Исследовательский интерес к поиску возможных механизмов повышения уровня вовлеченности и за-вершаемости МООК остается устойчивым и по сей день. Так, ученые из университета Цинь Хуа Вэн-чженг Фэнь, Тье Танг и Трэйси Сьяо Лью в своей статье «Осмысление незавершаемости МООК» [3], опубликованной в 2019 г., указывают на то, что завершае-мость онлайн-курсов зависит от множества факторов, среди которых демографические характеристики и мотивы обучения слушателей, тематика курсов, педагогический дизайн курсов, а также организация поддержки слушателей. Более того, отмечается, что, зная портрет слушателя, возможно настроить различные параметры обучения и поддержки таким образом, чтобы вовлеченность и завершаемость приблизились к максимальным [3].
Решение вопросов, связанных с повышением уровня вовлеченности слушателей в онлайн-обучение, становится все более важным и для российских университетов - лидеров национальной системы онлайн-образования. Специалисты Томского государственного университета (ТГУ), Финансового университета при Правительстве Российской Федерации (Финуни-верситет), Высшей школы экономики (ВШЭ) и других ведущих российских университетов проводят исследования, нацеленные на повышение эффективности МООК в части успешного их завершения студентами [6-8]. Можно выделить несколько перспективных направлений в исследованиях. ТГУ активно работает в направлении повышения мотивации слушателей МООК на своих онлайн-курсах на ведущих мировых и национальных онлайн-платформах, Финуниверси-тет занимается поиском эффективных моделей интеграции онлайн-курсов в основные образовательные программы и баланса между ожидаемыми образовательными результатами и моделями онлайн-обучения, ВШЭ активно работает в области психометрики, используя ее результаты на повышение качества и эффективности МООК [6-8].
Большинством российских и зарубежных специалистов в своих исследованиях указывают, что организация поддержки слушателей является одним из основных факторов, влияющих на уровень их вовлечен-
ности в обучение на МООК [3, 7]. В связи с тем что онлайн-обучение находится в контексте постоянно развивающихся информационно-коммуникационных технологий, поддержка слушателей также приобретает новые черты, будучи реализованной через регулярно обновляемые существующие или абсолютно новые инструменты.
В исследованиях [6-8] установлено, что онлайн-обучение находится в зависимости от постоянно развивающихся информационно-коммуникационных технологий, следовательно, поддержка слушателей также приобретает новые черты, будучи реализованной через регулярно обновляемые существующие или абсолютно новые инструменты. Целью данной работы стали выявление, апробация и оценка эффективности актуальных моделей поддержки слушателей он-лайн-курсов, основанных на анализе онлайн-курсов на ведущих платформах и определении актуальных инструментов поддержки, которые либо встроены в платформы онлайн-обучения, либо находятся вне платформы (внеплатформенные).
Гипотеза исследования представлена допущением о возможности повысить вовлеченность слушателей в онлайн-обучение, используя данные платформ, которые распределяют поведение слушателей на МООК и различные инструменты их поддержки в соответствии с установленными паттернами: «универсалы», «зрители», «решатели», «коллекционеры» и «зеваки».
Методы исследования
Исследование проводилось в 4 этапа.
В ходе полевого исследования (первый этап) были проанализированы инструменты, используемые для сопровождения слушателей более 130 онлайн-курсов на 9 онлайн-платформах (Coursera, Лекториум, Stepik, Национальная платформа открытого образования, платформа Университета Чарльза Стёрта (Австралия), частные онлайн-платформы Skillbox и Нетология, онлайн-платформа ТГУ и Онлайн-академия Финуни-верситета). Данные были получены из открытых источников посредством записи на открытые курсы на данных платформах и фиксации используемых инструментов сопровождения, в том числе на онлайн-платформах, аффилированных авторами университетов. Была составлена матрица соответствия курсов и используемых инструментов поддержки, определена частотность и выявлены наиболее распространенные инструменты поддержки слушателей на МООК.
На втором этапе были проявлены представления и ожидания слушателей, касающиеся инструментов сопровождения на онлайн-курсах. В рамках исследования в сентябре-октябре 2019 г. был проведен опрос 189 слушателей МООК ТГУ в форме анкетирования и выявлены наиболее востребованные обучающимися инструменты для сопровождения слушателей МООК.
На третьем этапе на основе анализа наиболее часто используемых на платформах и наиболее востребованных слушателями инструментов поддержки он-лайн-обучения разработаны 3 модели сопровождения слушателей МООК, включающие платформенные и внеплатформенные инструменты, которые слушатели
отметили как востребованные: платформенная, вне-платформенная и смешанная.
Четвертым этапом стал педагогический эксперимент по апробации трех разработанных моделей сопровождения, в рамках которого методом кластерного анализа были выявлены паттерны поведения слушателей до применения сформированных моделей сопровождения (контрольная группа) и во время применения этих моделей (экспериментальная группа). Полученные результаты были обработаны, проведен сравнительный анализ.
Опытно-экспериментальная деятельность включала опрос в форме анкетирования, анализ данных, описательную статистику, кластерный анализ, визуализацию и сравнительный анализ.
Ход и результаты исследования
На первом этапе исследования были проанализированы инструменты, используемые для сопровождения слушателей онлайн-курсов на таких МООК-платформах, как Coursera, Лекториум, Stepik, Национальная платформа открытого образования, платформа Университета Чарльза Стёрта (Австралия), частные онлайн-платформы Skillbox и Нетология, онлайн-платформа ТГУ и Онлайн-академия Финуниверсите-та. Данные были получены из открытых источников посредством записи на открытые курсы на данных платформах и фиксации используемых инструментов сопровождения.
В результате обработки полученной информации с целью определения частотности использования инструментов поддержки была составлена матрица соответствия курсов и используемых инструментов поддержки, позволившая составить перечень наиболее распространенных инструментов поддержки слушателей в онлайн-обучении в порядке убывания:
- Почтовая рассылка - автоматизированная отправка писем по электронной почте определенной группе адресатов.
- Форум в курсе - специальный сайт или раздел на сайте, который организован для общения слушателей между собой, с преподавателем или командой поддержки. Форум может быть двух видов: встроенный в платформу или внешний.
- Чат в мессенджере - мобильное приложение или веб-сервис, предполагающий мгновенный обмен сообщениями между пользователями. Может включать применение чат-бота.
- Форма обратной связи - веб-страница или сервис, в которых размещается анкета. Например, SurveyMonkey, Typeform, Google forms.
- Вебинар - форма организации взаимодействия участников образовательного процесса с использованием видеосвязи в режиме онлайн. Например, веби-нары проводят через Zoom, Adobe Connect или встроенные в платформы элементы.
- Группа в социальной сети - сообщество, пользователи которого объединены общими интересами, являющимися темой сообщества.
Анализ современных исследовательских работ позволил также выявить новый инструмент поддерж-
ки онлайн-обучения, который только начинает внедряться на онлайн-платформах и не получил массового распространения, - виртуальный ассистент [9].
На втором этапе были выявлены представления и ожидания слушателей, касающиеся инструментов сопровождения на онлайн-курсах. В рамках исследования в период с 23.09.2019 г. по 07.10.2019 г. было проведено анкетирование слушателей массовых открытых онлайн-курсов ТГУ. В анкетировании на различных платформах приняли участие слушатели трех курсов: «Русский язык как инструмент успешной коммуникации» (курс представлен на Национальной платформе открытого образования, платформах Лекториум и Coursera на русском языке), «Психодиагностика» (курс представлен на платформе Coursera на русском и на английском языках), «Гениальность. Одарённость. Посредственность» (курс представлен на платформе Coursera на английском языке и на платформе Лек-ториума на русском языке). Генеральная совокупность (общее количество слушателей на данных курсах на указанных платформах с момента запуска до 07.10.2019 г.) составила 76 366 человек, количество опрошенных слушателей курсов составило 189 респондентов (из них: 152 - слушатели из России, 37 -зарубежные слушатели). Доверительная вероятность составляет 97%, доверительный интервал - 8%. Респондентам анкеты было предложено ответить на вопросы, связанные с инструментами поддержки в онлайн-курсе. При этом в анкете были выделены 2 основных блока вопросов, касающиеся: 1) инструментов, с помощью которых слушатели получали поддержку в процессе обучения на МООК, 2) инструментов, с помощью которых они хотели бы получать поддержку в дальнейшем. Слушателям был предложен выбор из семи инструментов поддержки онлайн-обучения, выявленных на первом этапе исследования: электронная почта (почтовая рассылка), форум в курсе, чат в мессенджере, форма обратной связи, вебинар, группа в социальной сети, виртуальный ассистент. При ответе на каждый вопрос слушатели могли отметить сразу несколько инструментов, указать свой вариант либо отметить, что поддержка по данному вопросу не осуществлялась.
Результаты анкетирования показали следующую оценку слушателями действий по поддержке со стороны платформы:
- Инструктирование слушателей по обучению. 66% респондентов ответили, что инструкция по обучению была получена через электронную почту, 31% респондентов - через информационный блок на странице курса, 13% - через вебинар, встроенный в платформу, 12% - через форум. 39% опрошенных хотели бы получать инструкции на электронную почту, 21% опрошенных - через информационный блок на странице курса, 11% - через чат в мессенджере.
- Знакомство с командой курса. 28% слушателей знакомились с командой онлайн-курса через электронную почту, 18% слушателей - через диалоги в социальной сети. Хотели бы знакомиться с помощью электронной почты - 20% опрошенных, через группу / диалог в социальных сетях - 18% опрошенных,
чат в мессенджере - 13% опрошенных, форум -13% опрошенных.
- Решение содержательных вопросов. Закрытие вопросов, связанных с темами онлайн-курса, происходило с помощью электронной почты у 31% респондентов, через форум у 29% респондентов. Хотели бы решать содержательные вопросы с помощью электронной почты 30% респондентов, через форум - 30% респондентов, через чат в мессенджере - 14% респондентов.
- Решение технических вопросов. Закрытие вопросов, связанных с технической составляющей обучения на образовательной онлайн-платформе, происходило с помощью электронной почты у 36% респондентов, с помощью форума у 24% респондентов. Хотели бы такие вопросы решать через электронную почту 35% респондентов, через форум - 27% респондентов, через чат в мессенджере - 16% респондентов.
- Информирование о новостях курса. 76% респондентов получали информацию с новостями через электронную почту, также 55% опрошенных хотели бы продолжать ее получать с помощью названного инструмента. Остальные респонденты воздержались от выбора инструментов в данном виде коммуникации.
- Мотивация слушателей через сообщения. 52% респондентов получали сообщения через электронную почту, также 49% опрошенных хотели бы продолжать данную коммуникацию с помощью названного ин-
струмента. Остальные респонденты воздержались от выбора инструментов в данном виде коммуникации.
- Информирование об успеваемости на онлайн-курсе. 51% респондентов получали персональную информацию о прогрессе в обучении через электронную почту, также 53% опрошенных хотели бы продолжать получать эту информацию с помощью названного инструмента. Остальные респонденты воздержались от выбора инструментов в данном виде коммуникации.
- Обратная связь от команды курса. 39% респондентов получали обратную связь через электронную почту, 13% - через форум. Хотели бы получать ответы на свои вопросы, комментарии с помощью электронной почты 53% опрошенных, чата в мессенджере -15% опрошенных и форума курса - 15% опрошенных.
- Коммуникация с преподавателем на онлайн-курсе. 27% респондентов общались с преподавателем курса через электронную почту, 12% - через форум. Хотели бы общаться с преподавателем через электронную почту 40% респондентов, через чат в мес-сенджере 23% респондентов, через форум курса 22% респондентов.
Был произведен подсчет упоминаний каждого из представленных выше инструментов поддержки в качестве действующего (фактическое использование) и в качестве предпочтительного на будущее (пожелания) для слушателей (рис. 1, 2).
Рис. 1. Фактическое использование слушателями инструментов поддержки МООК
Лидирующую позицию среди инструментов по распространенности занимает электронная почта (73%), на втором месте - форум (16%), в 6% случаев слушатели отметили саму страницу курса как источник получения информации, группы в социальных сетях и вебинары были указаны в 3% и 2% случаев соответственно. Что касается предпочтительных инструментов поддержки, то электронная почта по-прежнему осталась самым востребованным инструментом, но ее доля в общем числе сократилась с 73% до 61%. При этом у слушателей появились ожидания относительно такого инструмента, как «чат в мессенджере» (15%), который не был отмечен слушателями как действующий инструмент поддержки
на момент участия в опросе. Востребованность форума увеличилась незначительно с 16 до 18%. Количество желающих получать поддержку в обучении через саму страницу курса сократилось с 6 до 3%. Число тех, кому необходима поддержка через группы в социальных сетях, соответствует текущему положению (3%) и полностью удовлетворяет запрос слушателей. Таким образом, мы делаем вывод о том, что внеплатформенные инструменты поддержки являются востребованными среди слушателей, более того, наблюдается спрос на применение новых инструментов, которые позволяют сделать коммуникацию более оперативной, а поддержку более индивидуализированной.
Рис. 2. Пожелания слушателей по использованию инструментов поддержки МООК
Третий этап связан с поиском оптимальных инструментов поддержки слушателей на МООК. Были разработаны 3 модели сопровождения слушателей МООК, включающие платформенные и внеплатфор-менные инструменты, выявленные по результатам исследования на первом этапе и отмеченные слушателями как наиболее востребованные на втором этапе исследования.
За основу конструирования моделей сопровождения взята модель электронного модерирования Дж. Салмона, которая состоит из следующих шагов: «коммуникация до начала обучения», «знакомство», «коммуникация в течение обучения», «обратная связь», «коучинг» [10]. На этой основе нами предложены три модели сопровождения слушателей МООК, основанные на использовании платформенных и вне-платформенных инструментов:
1) платформенная модель сопровождения основана на использовании для коммуникации со слушателями набора инструментов, который встроен в образовательную онлайн-платформу и применяется для поддержки обучающихся в процессе обучения. На этапе коммуникации до начала обучения в структуру курса встраивается pdf-файл или скринкаст с инструкцией по обучению на онлайн-платформе. Знакомство, коммуникация, обратная связь и коучинг происходят на форуме курса, также представленном на онлайн-платформе, на которой размещен курс;
2) внеплатформенная модель, в рамках которой для поддержки обучающихся применяется набор внешних по отношению к онлайн-платформе инструментов. Такими инструментами могут выступать внешние форумы, мессенджеры, приложения, расширения для браузера, и прочие технологические решения. В рамках исследования в качестве таких решений были апробированы следующие внешние сервисы: виртуальный ассистент «do useful» [9], представляющий собой расширение к браузеру (этапы: знакомство, коммуникация), напоминающий обучающемуся в виде всплывающих окон про продолжение обучения на курсе; мес-сенджер Slack (этапы: знакомство, коммуникация, обратная связь); электронная почта для поддержки слу-
шателей МООК (этапы: знакомство, коммуникация, обратная связь); анкеты обратной связи Google forms (этапы: знакомство, обратная связь, коучинг); вебина-ры в Adobe Connect (коучинг);
3) смешанная модель сопровождения, которая сочетает набор платформенных и внеплатформенных инструментов, применяемых для поддержки обучающихся в процессе обучения. В данной модели до начала обучения в курс встраивается виртуальный ассистент «do useful» и применяется на протяжении всего курса. Знакомство, коммуникация осуществляются на форуме и / или в Slack, обратная связь собирается с помощью анкет Google forms, коучинг организуется через вебинары в Adobe Connect и / или через ответы на вопросы, заданные преподавателю в анкетах Google forms или на форуме.
Заключительным этапом стал педагогический эксперимент, целью которого было оценить возможность применения сформированных моделей поддержки слушателей массовых открытых онлайн-курсов в образовательном процессе и изучить их влияние на уровень вовлеченности обучающихся. Участники педагогического эксперимента: 5 342 слушателя шести указанных массовых открытых онлайн-курсов ТГУ, обучавшиеся в период с сентября по декабрь 2018 и 2019 гг. на платформе Coursera и с сентября по декабрь 2016 и 2019 гг. на российской платформе Лекториума. В рамках эксперимента методом кластерного анализа были выявлены 4 паттерна поведения слушателей до применения сформированных моделей поддержки (контрольная группа) и во время применения таких моделей (экспериментальная группа). Полученные результаты были обработаны; проведен сравнительный анализ.
В рамках педагогического эксперимента были подтверждены следующие паттерны поведения слушателей шести МООК ТГУ, согласно классификации А. Андерсона, Дж. Лесковица, Д. Хаттенлочера и Дж. Кляйнберга [5]:
1. «Универсалы» (выполняют большинство заданий, просматривают все видеолекции);
2. «Зрители» (просматривают все видеолекции, но почти не выполняют заданий);
3. «Решатели» (выполняют задания и практически не смотрят лекции);
4. «Коллекционеры» (просматривают несколько лекций и частично выполняют либо совсем не выполняют заданий).
Паттерн «Зеваки» (записываются на курс, но совсем не обращаются к видеолекциям и не выполняют заданий) выявлен не был, поскольку представители этого паттерна не участвуют в учебном процессе и не оставляют цифровых следов, на основе которых и проводился анализ паттернов поведения слушателей онлайн-курсов. Они составляют большинство записавшихся на онлайн-курсы (в среднем около 85% по курсам в эксперименте), но слушателями фактически не становятся, покидают курсы, так и не начав обучение.
При определении паттернов в контрольной группе было выявлено, что на Coursera поведенческие модели распределились следующим образом: 78% коллекционеров, 9% зрителей, 7% решателей и 6% универсалов. На Лекториуме поведенческие модели представлены следующим образом: 51% коллекционеров, 26% универсалов, 19% зрителей, 4% решателей. Распределение по кластерам слушателей шести онлайн-курсов, участвующих в эксперименте, представлено на рис. 3-14.
Далее паттерны поведения слушателей каждого курса были рассмотрены в контексте одной из трех тестируемых моделей поддержки. При этом, в соот-
ветствии с приведенной выше классификацией паттернов поведения, акцент сделан на поведение слушателей по выполнению заданий и по просмотру видеолекций как ключевых характеристиках учебной деятельности слушателей онлайн-курсов. Сравнительный анализ паттернов поведения контрольной и экспериментальной групп показал следующее.
1. МООК «Genius. Golden. Mediocrity». Внеплат-форменная модель. Паттерны по данному курсу были сформированы по 885 обучающимся онлайн-курса на Coursera и распределились следующим образом: 73% коллекционеров, 17% зрителей, 7% универсалов и 3% решателей.
Проведен кластерный анализ методом k-средних. Анализ данных относительно выполнения заданий представлен на рис. 1. Выделяется класс слушателей, практически не выполняющих задания (Cluster 1), выполнивших только первое задание (Cluster 2), выполнявших несколько первых заданий (Cluster 3) и дошедших до конца (или почти до конца) курса (Cluster 4). Анализ данных относительно просмотра видеолекций представлен на рис. 2. Выделяется класс слушателей, практически не просматривающих видеолекции (Cluster 1), просматривающих несколько первых видеолекций (Cluster 2), просматривающих выборочно видеолекции (Cluster 3) и просматривающих все или большинство видео (Cluster 4).
Рис. 3. Кластеры по выполнению заданий в онлайн-курсе «Genius. Golden. Mediocrity»
Рис. 4. Кластеры по просмотру видеолекций в онлайн-курсе «Genius. Golden. Mediocrity»
В ходе эксперимента использовалась модель с внеплатформенными инструментами: опросы в Google forms, напоминания через виртуальный помощник do useful, рассылки на почту. В процессе эксперимента пришлось заменить внешний канал коммуникации (мессенджер Slack) на внутренний (форум), так как первый не использовался обучающимися на онлайн-курсе. Данная модель повлияла на поведение решателей, которых в новой когорте стало больше на 4,5% (в контрольной группе - 2,3%, в экспериментальной группе - 6,8%). При использовании данной модели увеличилась вовлеченность в прохождение слушателями заданий на 2%, при этом вовлеченность в просмотр видеолекций осталась на одном уровне по сравнению с экспериментальной группой. На результативности обучающихся экспериментальной группы эксперимент отразился следующим образом: завершаемость увеличилась на 3% (контрольная группа - 1,6%, экспериментальная группа - 4,5%). Однако, анализ процесса обучения показал, что слушатели активно использовали и платформенные инструменты поддержки. Таким образом, фактически
сопровождение этого курса было организовано по смешанной модели и дало позитивный результат.
2. МООК «Русский язык как инструмент успешной коммуникации». Внеплатформенная модель. Из 574 обучающихся на данном курсе на платформе Лекториума паттерны поведения распределились следующим образом: 80% коллекционеров, 9% зрителей, 6% универсалов и 5% решателей.
Проведен кластерный анализ методом k-средних. Анализ данных относительно выполнения заданий представлен на рис. 3. Выделяется класс слушателей, выполнявших несколько первых заданий (Cluster 1), выполнявших большинство заданий в курсе (Cluster 2) и все задания курса, кроме одного (Cluster 3). Анализ данных относительно просмотра видеолекций представлен на рис. 4. Выделяется класс слушателей, практически не просматривающих видеолекции (Cluster 1), просматривающих несколько первых видеолекций (Cluster 2), просматривающих выборочно видеолекции (Cluster 3) и просматривающих все или большинство видео (Cluster 4).
Рис. 5. Кластеры по выполнению заданий в онлайн-курсе «Русский язык как инструмент успешной коммуникации»
Рис. 6. Кластеры по просмотру видео в онлайн-курсе «Русский язык как инструмент успешной коммуникации»
В ходе эксперимента использовалась модель с внеплатформенными инструментами: опросы в Google forms, мессенджер Slack, вебинар в Adobe Connect Pro. В процессе эксперимента пришлось открыть форум, так как во внешнем канале коммуникации (мессенджер Slack) не было содержательных и организационных вопросов, которые обычно посту-
пают от слушателей курсов. Данная модель повлияла на поведение обучающихся в экспериментальной группе. Вовлеченность в прохождение слушателями заданий и просмотр видеолекций стала меньше в сравнении с контрольной группой. На результативности обучающихся экспериментальной группы эта модель не отразилась.
3. МООК «Психодиагностика». Смешанная модель. Из 448 обучающихся на онлайн-курсе «Психодиагностика» на платформе Coursera паттерны поведения распределились следующим образом: 90% коллекционеров, 6% зрителей, 3% универсалов и 1% решателей.
Проведен кластерный анализ методом k-средних. Анализ данных относительно выполнения заданий
представлен на рис. 5. Выделяется класс слушателей, практически не выполняющих задания (Cluster 1), выполнивших все задания (Cluster 2). Анализ данных относительно просмотра видеолекций представлен на рис. 6. Выделяется класс слушателей, практически не просматривающих видеолекции (Cluster 1), просматривающих выборочно видеолекции (Cluster 2) и просматривающих все или большинство видео (Cluster 3).
Рис. 7. Кластеры по выполнению заданий в онлайн-курсе «Психодиагностика»
Рис. S. Кластеры но просмотру видео в онлайн-курсе «Психодиагностика»
В ходе эксперимента использовалась модель со смешанными инструментами: инструкции по обучению на платформе, встроенные в структуру курса; опросы в Google forms; мессенджер Slack; рассылки по почте; форум. Данная модель повлияла на поведение решателей. Их в экспериментальной группе стало больше на 3,46% (в контрольной группе - 0,24%, в экспериментальной группе - 3,70%). Вовлеченность в прохождение слушателями заданий стала больше на 2% в сравнении с контрольной группой. На результативность обучающихся экспериментальной группы данная модель повлияла незначительно, повысившись на 0,4%.
4. МООК «Psychodiagnostics and Psychological Assessment». Смешанная модель. Из 748 обучающихся на онлайн-курсе «Psychodiagnostics and Psychologi-
cal Assessment» на платформе Coursera, которые были в контрольной и экспериментальной группе, паттерны поведения распределились следующим образом: 74% коллекционеров, 19% решателей, 6% универсалов и 1% решателей.
Проведен кластерный анализ методом k-средних. Анализ данных относительно выполнения заданий представлен на рис. 7. Выделяется класс слушателей, не выполнявших задания (Cluster 1), выполнявших часть заданий (Cluster 2) и все задания (Cluster 3). Анализ данных относительно просмотра видеолекций представлен на рис. 8. Выделяется класс слушателей, практически не просматривающих видеолекции (Cluster 1), просматривающих выборочно часть видеолекций (Cluster 2) и просматривающих все или большинство видео (Cluster 3).
Рис. 9. Кластеры по выполнению заданий в онлайн-курсе «Psychodiagnostics and Psychological Assessment»
Рис. 10. Кластеры по просмотру видео в онлайн-курсе «Psychodiagnostics and Psychological Assessment»
В ходе эксперимента использовалась модель со смешанными инструментами: опросы в Google forms, виртуальный помощник do useful, рассылки по почте, форум. Данная модель повлияла на поведение зрителей и решателей. Решателей в новой когорте стало больше на 7,58% (в экспериментальной группе -22,73%, в контрольной группе - 15,15%), а зрителей стало больше на незначительный процент - 0,19% (в экспериментальной группе - 1,42%, в контрольной группе - 1,26%). Модель повлияла на вовлеченность в прохождение заданий на 2% (экспериментальная группа - 22%, контрольная группа - 20%), на вовлеченность в просмотр видео на 2% (экспериментальная группа - 41%, контрольная группа - 39%). На результативность обучающихся экспериментальной группы эта модель не повлияла.
5. МООК «Гениальность. Одаренность. Посредственность». Платформенная модель. Из обучающихся на онлайн-курсе «Гениальность. Одаренность. Посредственность» на платформе Лекториум в контрольной и экспериментальной группе (всего 1 341 слушатель) паттерны поведения распределились следующим образом: 56% коллекционеров, 23% зрителей, 19% универсалов и 2% решателей.
Проведен кластерный анализ методом k-средних. Анализ данных относительно выполнения заданий представлен на рис. 9. Выделяется класс слушателей, не выполнявших задания (Cluster 1), выполнявших только первое задание (Cluster 2), часть заданий (Cluster 3) и все задания (Cluster 4). Анализ данных относительно просмотра видеолекций представлен на рис. 10.
Рис. 11. Кластеры по выполнению заданий в онлайн-курсе «Гениальность. Одаренность. Посредственность»
Выделяется класс слушателей, практически не просматривающих видеолекции (Cluster 1), просматривающих половину видеолекций (Cluster 2) и просматривающих все видео (Cluster 3).
В ходе эксперимента использовалась модель с платформенными инструментами: инструкция по обучению на платформе, опросы на главной странице онлайн-курса, форум. Данная модель не повлияла на поведение слушателей онлайн-курса, как не повлияла на вовлеченность и результативность обучающихся экспериментальной группы.
Рис. 12. Кластеры по просмотру видео в онлайн-курсе «Гениальность. Одаренность. Посредственность»
6. МООК «Русский язык как инструмент успешной коммуникации на платформе». Платформенная модель. Из 1 346 обучающихся на онлайн-курсе «Русский язык как инструмент успешной коммуникации» на платформе Coursera паттерны поведения распределились следующим образом: 45% коллекционеров, 34% универсалов, 15% зрителей, 6% решателей.
Проведен кластерный анализ методом k-средних. Анализ данных относительно выполнения заданий представлен на рис. 11. Выделяется класс слушателей, выполнявших только первое задание (Cluster 1), выпол-
нявших часть заданий (Cluster 2), все задания (Cluster 3). Анализ данных относительно просмотра видеолекций представлен на рис. 12. Выделяется класс слушателей,
Рис. 13. Кластеры по выполнению заданий в онлайн-курсе «Русский язык как инструмент успешной коммуникации»
В ходе эксперимента использовалась модель с платформенными инструментами: инструкция по обучению на платформе, форум. Данная модель не повлияла на поведение слушателей онлайн-курса, как и на вовлеченность слушателей онлайн-курса и результативность обучающихся экспериментальной группы.
Заключение
На основе проведенного исследования определены три модели поддержки и измерена эффективность данных моделей в решении задачи вовлечения в образовательный процесс слушателей МООК.
На обеих платформах (Coursera и Лекториум) на исследованных курсах ТГУ доминировал паттерн «коллекционеры», а минимально был представлен паттерн «решатели». Данные по паттернам «универсалы» и «зрители» существенно отличались на Coursera и Лекториуме, но на результаты исследования они не повлияли. Исследование показало, что большинство слушателей онлайн-курсов, которые изначально приходят на онлайн-платформы за контентом, а не за сертификатами, представляют паттерны «коллеционеры» и «зрители». Об этом говорит их учебное поведение. В нашем эксперименте представители указанных паттернов составили 87% на Coursera и 70% на Лекториуме, что существенно объясняет не только низкий процент завершаемости курсов, но и незначительность влияния на результативность обучения инструментов и моделей сопровождения. Представители паттернов «универсалы» и «решатели», напротив, ориентированы на результат обучения, на выполнение максимального числа заданий и получение сертификатов. При этом в нашем эксперименте они составили совокупно 13% на Coursera и 30% на Лекториуме соответственно. Именно эта часть слушателей онлайн-курсов максимально заинтересована в сопровождении обучения, но и она не проявляет особой активности в коммуникациях с авторами и командой поддержки курса. Апробация моделей сопровождения показала, что наиболее эффективной является смешанная модель, которая оказывает максимальное влияние на представителей паттерна «ре-
просматривающих первые задания (Cluster 1), просматривающих больше половины видеолекций (Cluster 2) и просматривающих все видео (Cluster 3).
Рис. 14. Кластеры по просмотру видео в онлайн-курсе «Русский язык как инструмент успешной коммуникации»
шатели», число которых минимально на всех исследованных курсах на Coursera и Лекториуме (7% и 4% в среднем соответственно). При этом кластерный анализ показал рост вовлеченности слушателей именно этого паттерна при реализации смешанной модели.
Апробация трех моделей сопровождения показала, что максимальная эффективность достигается при смешанной модели сопровождения, которая может быть вариативной, в зависимости от используемых инструментов сопровождения и объема их использования. Модель с платформенными инструментами, тестируемая на двух онлайн-курсах, не повлияла на поведение слушателей, характеризующееся вовлеченностью и результативностью. Модель с внеплатфор-менными инструментами в одном онлайн-курсе не повлияла на поведение, вовлеченность и результативность слушателей онлайн-курса, а в другом, наоборот, - исследуемые показатели повысились: вовлеченность - на 2%, результативность - на 3%. Модель со смешанными инструментами в двух онлайн-курсах повлияла на поведение слушателей: вовлеченность повысилась на 2%, результативность возросла незначительно - на 0,4%.
Проведенный на шести МООК эксперимент показал, что при использовании внешних инструментов в рамках смешанной модели сопровождения возрастает вовлеченность слушателей, что проявляется в количестве слушателей, выполнивших более 10% заданий и / или завершивших обучение. Рост составил в среднем более 2%.
В процессе эксперимента слушатели не смогли отказаться от встроенных инструментов сопровождения на платформах и перейти полностью на внешние инструменты. Форум, который критикуют многие слушатели и разработчики МООК как несовременный и неудобный инструмент коммуникации, оказался наиболее востребован с точки зрения оперативности и удобства использования. Эксперимент с использованием внеплатформенной модели сопровождения показал неэффективность этой модели, в рамках которой у слушателей возникла необходимость использовать и внутриплатформенные инструменты. Таким образом, применение исключительно внешних инструментов невозможно при сопровождении МООК,
необходимо выстраивать сопровождение на смешанной основе, объединяя ресурсы сопровождения как самой онлайн-платформы, так и экосистемных агентов, которые могут быть интегрированы в онлайн-платформы. При этом наиболее эффективной с точки зрения изменения в паттернах поведения слушателей
является модель, основанная на использовании смешанных инструментов, а использование внеплатфор-менных инструментов поддержки слушателей массовых открытых онлайн-курсов является способом повышения вовлеченности слушателей в онлайн-обучение.
ЛИТЕРАТУРА
1. Shah D. By The Numbers: Moocs In 2019. 2020. Class Central. URL: https://www.classcentral.com/report/mooc-stats-2019 (Accessed: 06.06.
2020).
2. Shah D. Moocs Are Back — Even Though They Never Left. Class Central. 2020. URL: <https://www.classcentral.com/report/apparently-moocs-
are-back/> (Accessed: 06.06.2020).
3. Feng W., Tang J., Xiao Liu T. Understanding Dropouts in MOOCs. 2019. URL: http://keg.cs.tsinghua.edu.cn/jietang/publications/AAAI19-Feng-
dropout-moocs.pdf (Accessed: 01.06.2020).
4. Khalil H., Ebner M. MOOCs completion rates and possible methods to improve retention - A literature review. World Conference on Educational
Multimedia, Hypermedia and Telecommunications. 2014. 1305-1313
5. Anderson A., Huttenlocher D., Kleinberg J., Leskovec J. Engaging with Massive Online Courses. 2014. URL:
https://cs.stanford.edu/people/jure/pubs/mooc-www14.pdf (access date: 01.09. 2019).
6. Mozhaeva G., Maslova D., Yakovleva K. Correlation of MOOC Students' Behavior Patterns and Their Satisfaction with the Quality of the Course.
«New Silk Road: Business Cooperation and Prospective of Economic Development» (NSRBCPED 2019). Atlantis Press, 2020. P. 623-629. URL: https://doi.org/10.2991/aebmr.k.200324.116
7. Mozhaeva G., Kameneva E., Maslova D. 5 Reasons, Which Push Russian Universities to Produce Massive Open Online Courses // INTED2020
Proceedings, 2020. P. 5948-5957.
8. Kulik E., Kidimova K.A. Integrating MOOCs in University Curriculum: HSE University Experience // Proceedings of Work in Progress Papers of the Expe-
rience and Research Tracks and Position Papers of the Policy Track at EMOOCs 2017. CEUR Workshop Proceedings, 2017. P. 118-127.
9. Pogorskiy E., Beckmann J., Joksimovic S., Kovanovic V., West R. Utilising a Virtual Learning Assistant as a Measurement and Intervention Tool
for Self-Regulation in Learning - 2018. DOI: 10.1109/TALE.2018.8615130.
10. Salmon G. E-moderating. The key to teaching and learning online. Routledge Falmer, 2000. URL: https://itlc.science.ku.dk/english/papers/model/ (Accessed: 02.06.2020).
Статья представлена научной редакцией «Педагогика» 18 августа 2020 г.
A Study of the Effectiveness of Massive Open Online Courses Support Models
Vestnik Tomskogo gosudarstvennogo universiteta - Tomsk State University Journal, 2020, 458, 211-222. DOI: 10.17223/15617793/458/26
Galina V. Mozhaeva, Financial University under the Government of the Russian Federation (Moscow, Russian Federation); Tomsk State University (Tomsk, Russian Federation). E-mail: [email protected]
Daria A. Maslova, Tomsk State University (Tomsk, Russian Federation). E-mail: [email protected] Tatiana V. Kabanova, Tomsk State University (Tomsk, Russian Federation). E-mail: [email protected] Kristina I. Yakovleva, Tomsk State University (Tomsk, Russian Federation). E-mail: [email protected] Keywords: online learning; MOOC; motivation for learning; engagement rate; models for supporting online learning; MOOC students support; digital tools of pedagogical communication; virtual learning assistant; educational results; behavior patterns.
The study is supported by the D.I. Mendeleev Scientific Foundation of Tomsk State University.
The study aims to identify, test, and evaluate the effectiveness of current learner support models of online courses based on the analysis of online courses from the leading platforms, and to identify relevant support tools both built into online learning platforms and outside platforms. The study is based on the hypothesis that it is possible to increase students' engagement rate in online learning using the platform data, the patterns of student behavior on MOOCs, and various user support tools. The study employed the following methods: questionnaire survey, data analysis, descriptive statistics, cluster analysis, visualization, and comparative analysis. The study was carried out in four stages. At the first stage, the authors of the article subscribed to MOOCs on 9 platforms and observed the tools used to support listeners. Using the collected data, they constructed a matrix of correspondence of courses and used support tools and made a list of the most common listener support tools in MOOCs. At the second stage, the authors conducted a survey to identify students' perceptions of and expectations from various support tools in the MOOC on the Coursera and Lectorium platforms. The confidence level was 97%, the confidence interval was 8%. The authors learned that there was a request from learners for new tools that would make communication more efficient and support more individualized. At the third stage, the authors used the principles of electronic moderation by Gilly Salmon and the result of the analysis of the most frequently used and most demanded support tools on platforms with a view to design three models of MOOC listener support. The platform, off-platform and mixed models were developed. At the fourth stage, the authors conducted a pedagogical experiment to test the developed support models. The cluster analysis method revealed patterns of listeners' behavior before using the three support models (control group) and during the application of these models (experimental group). The behavior patterns of students of each of the six MOOCs were considered in the context of one of the support models. The emphasis was on the behavior of students in completing assignments and in viewing video lectures as key characteristics of the educational activities of students of online courses. The experiment showed the non-viability of the off-platform tracking model, the low efficiency of the platform model. A comparative analysis of the behavior patterns of the control and experimental groups showed that maximum efficiency was achieved with a mixed support model: the engagement rate of students increased, which is manifested in the number of students who completed more than 10% of the tasks and/or completed the course. The increase averaged over 2%. It is necessary to build learner support on a mixed basis, combining the resources of online platforms and ecosystem agents that can be integrated into online platforms.
REFERENCES
1. Shah, D. (2020) By The Numbers: Moocs In 2019. [Online] Available from: https://www.classcentral.com/report/mooc-stats-2019. (Accessed:
06.06.2020).
2. Shah, D. (2020) Moocs Are Back — Even Though They Never Left. [Online] Available from: https://www.classcentral.com/report/apparently-
moocs-are-back/. (Accessed: 06.06.2020).
3. Feng, W., Tang, J. & Xiao Liu, T. (2019) Understanding Dropouts in MOOCs. [Online] Available from: http://keg.cs.tsinghua.edu.
cn/jietang/publications/AAAI19-Feng-dropout-moocs.pdf. (Accessed: 01.06.2020).
4. Khalil, H. & Ebner, M. (2014) MOOCs completion rates and possible methods to improve retention - A literature review. World Conference on
Educational Multimedia, Hypermedia and Telecommunications. Chesapeake, VA: AACE. pp. 1305-1313.
5. Anderson, A. et al. (2014) Engaging with Massive Online Courses. [Online] Available from: https://cs.stanford.edu/people/jure/pubs/mooc-
www14.pdf. (Accessed: 01.09.2019).
6. Mozhaeva, G., Maslova, D. & Yakovleva, K. (2020) Correlation of MOOC Students' Behavior Patterns and Their Satisfaction with the Quality of
the Course. New Silk Road: Business Cooperation and Prospective of Economic Development (NSRBCPED 2019). Atlantis Press. pp. 623-629. DOI: 10.2991/aebmr.k.200324.116
7. Mozhaeva, G., Kameneva, E. & Maslova, D. (2020) 5 Reasons, Which Push Russian Universities to Produce Massive Open Online Courses.
INTED2020 Proceedings. Valencia, Spain. pp. 5948-5957.
8. Kulik, E. & Kidimova, K.A. (2017) Integrating MOOCs in University Curriculum: HSE University Experience. Proceedings of Work in Progress
Papers of the Experience and Research Tracks and Position Papers of the Policy Track at EMOOCs 2017. CEUR Workshop Proceedings. pp. 118-127.
9. Pogorskiy, E. et al. (2018) Utilising a Virtual Learning Assistant as a Measurement and Intervention Tool for Self-Regulation in Learning - 2018.
IEEE International Conference on Teaching, Assessment, and Learning for Engineering (TALE) 2018. DOI: 10.1109/TALE.2018.8615130
10. Salmon, G. (2000) E-Moderating. The Key to Teaching and Learning Online. Routledge Falmer.
Received: 18 August 2020
