CC BY
52DOI: 10.25586/RNU.HET.18.08.P.37 УДК 378
П. Л. Пеккер,
Московский государственный университет им. М. В. Ломоносова
Измерение эффективности массовых открытых онлайн-курсов: количественные и качественные критерии
Факультет педагогического образования Московского государственного университета им. М. В. Ломоносова
Первые образовательные платформы массовых открытых онлайн-кур-сов (МООК), таких как Coursera, Edx, появились в апреле-мае 2012 года в США. В декабре 2012 года платформа FutureLearn была открыта в Англии. В настоящее время на эти платформы записываются миллионы слушателей по всему миру [18].
Наше исследование массовых открытых онлайн-курсов основано на 23-х личных интервью с преподавателями и экспертами из университета Беркли (качественное исследование) и на анализе статистики учащихся на 14 МООК Беркли на платформах Coursera, Edx и FutureLearn (количественное исследование, N = 137 081).
© Пеккер П. Л., 2018
В настоящее время эксперты в области дистанционного обучения считают, что процент получивших сертификат - это основной показатель эффективности МООК. А. Хо (А. Ho), Е. Сюзаннах (Е. Susannah) и другие исследователи утверждают, что процент получивших сертификат является недостаточно показательным способом оценки успешности МООК по разным причинам [12, 23, 24].
Существуют различные подходы к оценке эффективности МООК. Например, С. Хади (S.Hadi) и П. Га-ген (P. Gagen) полагают, что она должна соответствовать проценту слушателей, которые получили необходимые знания, проходя
онлайн-курс [10]. Принято считать, что эффективность онлайн-об-учения невозможно измерять с помощью критериев, используемых в традиционном обучении [4, 7, 8, 13].
Исследователи считают, что эффективность МООК должна измеряться не только количественными критериями, но и качественными. Варианты измерений эффективности МООК приведены в табл. 1. Следует отметить, что качественные исследования важны для изучения вопроса эффективности МООК, поскольку статистический анализ не может проиллюстрировать детальные характеристики и ответить подробно на исследовательский вопрос (5, 14, 20).
Многие эксперты изучают цели, намерения и мотивацию в качестве основных показателей эффективности МООК (16, 19, 21, 22). Дж. Рейх (J. Reich) полагает, что более корректный способ рассчитать показатель прошедших МООК - это определить долю студентов, которые регистрировались с целью завершить курс и получить сертификат и достигли этих целей [19]. Можем ли мы считать МООК эффективным, только оценив число тех, кто прошел курс? Принимая во внимание данное допущение, в этом исследовании мы поднимаем вопрос о том, какие показатели измеряют эффективность МООК.
Цели данной статьи состоят в следующем, во-первых, охаракте-
ПОЛИНА ЛЕОНИДОВНА ПЕККЕР
аспирант факультета педагогического образования Московского государственного университета им. М. В. Ломоносова. Сфера научных интересов: педагогика высшего образования, новые педагогические f технологии. Автор 7 опубликованных научных работ
I Показано, что проблема эффективности массовых открытых онлайн-I курсов (МООК) остается актуальной. Отмечается, что большинство исследователей рассматривают долю получивших сертификат как основной показатель эффективности обучения. По статистике, не все слушатели МООК получают сертификат о прохождении курса, так как многие регистрируются, но так и не приступают к просмотру лекций и выполнению заданий курса. Подавая заявку на участие, слушатели МООК не ставят цель получить сертификат о прохождении курса. Подчеркивается, что пока нет единственно правильных методов измерения эффективности МООК. Приводятся результаты исследования, основанного на 23 личных интервью с преподавателями МООК из Университета Беркли, в ходе которых 85% опрошенных преподавателей высказали мнение, что эффективность МООК может быть измерена количеством слушателей, достигших личных целей. Дается анализ 14 массовых открытых онлайн-курсов Университета Беркли с платформ Coursera, Edx и FutureLearn (N = 137 081). Рассматривается портрет слушателя МООК этих образовательных платформ, составленный на основе данных об их возрасте, поле, образовании и личных целях. Проанализированы мнения преподавателей об областях и уровнях образования, где МООК могут быть наиболее эффективны в будущем.
Ключевые слова: массовые открытые онлайн-курсы (МООК), эффективность МООК, личные цели, количественные и качественные методы.
The issue of MOOC effectiveness is being widely discussed these days. A lot of research has been done so far to consider different ways of measuring MOOC effectiveness taking into account completion rate as one of the key indicators. However, according to some studies in online learning, it happens that majority of subscribers don't get MOOC certificate at all. In fact, the major part of subscribers registersfor an online course and do not even attempt to approach any tasks. Based on statistics, most of subscribers don't have an at intention to get a certificate at the beginning of the course. MOOC researchers suggest that it's not obvious how to measure MOOC effectiveness properly. This research is based on the 23 face-to-face interviews with MOOC instructors and MOOC experts from University of California (UC), Berkeley. Most respondents (85%) think that the MOOC effectiveness can be measured by the number of students who achieved personal goals. The amount of the data analyzed in the article is confined to 14 MOOCs from UC Berkeley (N = 137 081) provided by Edx, Coursera and FutureLearn platforms. The profile of MOOC student from Edx, Coursera and Future-Learnwas completed by collecting data on age, gender, education and geographic distribution and personal intention to take up the MOOC. In this article instructors' opinions on the subject are given and also education spheres where MOOCs can be effective are analyzed.
Key words: enrollment intentions, personal intentions (goals), MOOC effectiveness, quantitative metrics, qualitative metrics.
ризовать профиль студента МООК; во-вторых, проанализировать личные цели слушателей МООК в начале курса; в-третьих, исследовать
критерии эффективности МООК по сравнению с традиционным обучением.
Таблица 1
Количественные и качественные критерии измерения эффективности МООК (мнения исследователей МООК)
Количественные Качественные
Количество зарегистрированных слушателей МООК Цели зарегистрировавшихся
Процент слушателей, получивших сертификат, от общего числа зарегистрированных Мотивация слушателей в процессе курса
Численность студентов, завершивших курс, но не получивших сертификат Участие в дискуссиях
Количество активных слушателей (например, на первой неделе) Достижение личных целей
Количество слушателей МООК, которые просмотрели хотя бы одно видео или выполнили хотя бы одно задание
Наше исследование основано на 23-х личных интервью с преподавателями и экспертами МООК и на анализе статистики по опросам студентов МООК. Всего 137 081 человек приняли участие в опросе перед прохождением курса на Edx, Соигеегаи FutureLearn платформах.
В ходе исследования было проведено 23 интервью: 20 с преподавателями, которые ведут курсы на EdX, Coursera и FutureLearn, и 3 - с экспертами МООК. Большинство опрошенных преподавателей имеют в среднем 15 лет стажа работы в высших учебных заведениях. Вместе с тем для большинства преподавателей это был первый опыт создания МООК.
Как показали интервью, 85% респондентов полагают, что эффективность МООК может быть измерена на основании определения численности и доли студентов МООК, которые достигли личных целей. Кроме того, некоторые респонденты считают, что лучше измерять успешность курса как долю студентов, которые зарегистрировались на курс с целью завершить или получить сертификат.
Для того чтобы проанализировать данный вопрос, мы рассмотрим данные по 14 МООК. Большинство изученных курсов с платформы Edx. Нами сопоставлялись массовые открытые онлайн-курсы по различным дисциплинам, включая информационные технологии (ИТ), компьютерные науки, электронику, социальные науки, бизнес и менеджмент (табл. 2). Большинство МООК Университета Беркли относятся к ИТ, менеджменту и бизнесу, поскольку преподаватели считают, что массовые открытые онлайн-кур-сы наиболее эффективны в этих областях.
Значительная часть МООК предоставляет обучение на начальном уровне, также есть несколько курсов на среднем уровне (табл. 2). Длительность МООК обычно составляет 4-5 недель.
Таблица 2
Характеристики МООК Университета Беркли
№ Предмет Время Платформа Длительность Часы в неделю Цена Уровень
№ 1 Электроника Весна 2015 EdX 8 недель 6-10 Бесплатно Средний
№ 2 Электроника Лето 2015 EdX
№ 3 ИТ Весна 2018 EdX 14 недель 5 Бесплатно, сертификат $49 Начальный
№ 4 ИТ Весна 2018 EdX 14 недель 5 Бесплатно, сертификат $49 Начальный
№ 5 ИТ Весна 2017 EdX 14 недель 5 Бесплатно, сертификат $49 Начальный
№ 6 ИТ Осень 2016 EdX 14 недель 5 Бесплатно, сертификат $49 Начальный
№ 7 Социальные науки Лето 2017 FutureLearn 5 недель 4 Бесплатно —
№ 8 Социальные науки Весна 2018 FutureLearn
№ 9 Компьютерные науки Весна 2018 EdX 5 недель 5-6 Бесплатно, сертификат $99 Начальный
№ 10 Бизнес& Менеджмент Весна 2018 EdX 4 недели 4-5 Бесплатно, сертификат $99 Начальный
№ 11 Бизнес& Менеджмент Весна 2018 EdX 4 недели 4-5 Бесплатно, сертификат $99 Начальный
№ 12 Бизнес& Менеджмент Весна 2018 EdX 4 недели 5-7 Бесплатно, сертификат $99 Начальный
№ 13 Бизнес& Менеджмент Весна 2018 EdX 4 недели 5-7 Бесплатно, сертификат $199 Начальный
№ 14 Бизнес& Менеджмент Весна 2018 EdX 4 недели 5-7 Бесплатно, сертификат $249 Средний
По мнению преподавателей Университета Беркли, МООК могут быть эффективны для получения начальных знаний в различных областях для широкого круга слушателей. Профессор А. Адхикари (А. Adhikari) считает, что МООК должны использоваться для базового освоения информации в выбранной области, поскольку МООК идеально подходят для получения вводных данных по интересующей теме. К. Кэллог (С1. Ке1^) полагает, что МООК не способствуют развитию мыслительных процессов: они не учат анализировать и делать собственные выводы, но это хороший ин-
струмент, чтобы изучать факты. Ф. Старк (Ph. Stark) убежден, что МООК более сложного уровня, где необходимо комплексно оценивать данные и мыслить логически, должены быть адресованы более узкому кругу слушателей.
Большинство подписчиков МООК на платформе Edx проживают в США, Индии и в Канаде. МООК № 7 и № 8 с платформы FutureLearn более популярны в Англии, поскольку FutureLearn - это британская платформа. Следовательно, востребованность онлайн-курсов в определенных странах показывает не только популярность курса, но и популярность
платформы. Согласно статистике, МООК более популярны в англоязычных странах.
Профессор У Вазирани (U. Vazirani) считает, что МООК могут заменить традиционное обучение, например, в Индии, но этому препятствуют некоторые барьеры, включая доступ к Интернету, наличие компьютеров и др. Д. Пат-терсон (D. Patterson) также упомянул, что МООК могут быть хорошей возможностью для обучения в странах с низким уровнем развития системы образования. Однако в настоящее время большинство слушателей МООК являются представителями социально
благополучных и образованных слоев общества, а потенциальные обучающиеся из числа представителей иных социальных кругов могут просто не знать о существовании массовых онлайн-курсов [1, 9].
В рамках нашего исследования были опрошены 137 081 человек из 201 459 зарегистрировавшихся.
Согласно полученным данным (см. табл. 3), средний возраст слушателя МООК составляет 28 лет. Большинство слушателей получили высшее образование, а среди слушателей восьми онлайн-курсов (№ 3, № 7-№ 10, № 12-№ 14) бо-
лее 73% опрошенных имеют степень бакалавра, магистра или кандидата наук.
Мотивацию прохождения МООК определяют различные цели, которые ставят перед собой будущие слушатели [2, 11]. Именно поэтому исследование основано на анализе целей зарегистрированных слушателей онлайн-курсов.
Полученные нами 8 800 ответов на вопрос «Какая у вас цель?» были распределены по 16 целям: по шкале, включающей 13 целей, предложенных Р. Кизелкеком (К. ЮгПсес), и три цели, которые мы добавили [15]. Результаты представлены в табл. 4.
Самые популярные мотивы изучения МООК - это «общий интерес к предмету» и «личный рост и усовершенствование знаний». Как показывают статистические данные, многие подписчики МООК не ставят цели получить сертификат или удостоверение о прохождении курса. Только 1 % слушателей отметили получение удостоверяющих документов как причину своих занятий. В рассматриваемом нами контексте подписчикам курса № 2 в начале его изучения задавался вопрос: «Собираетесь ли вы получить сертификат?». Большинство респондентов (62,66%)
Таблица 3
Демографические характеристики студентов МООК (пол, возраст и образование)
Пол, в % Возраст Образование, в %
№ курса Кол-во зарегистрированных Кол-во опрошенных Процент получивших сертификат жен. / муж. средний возраст <=25, в % 26-40, в % >=41, в % среднее и ниже бакалавр выше степени бакалавра
№ 1 25 646 62 653 4,22 15 / 27 9,6 12,93 8,14
№ 2 62 711 1,84 85
№ 3 24 077 17 615 0,28 28,9/ 71,1 33 24,2 44,2 31,6 24,2 44,2 31,6
№ 4 — 1459 — 23,78/ 76,22 34 44,62 21,38 23,24 19,12 21,73 24,61
№ 5 — 2106 — 25,97/ 74,03 33 28,92 30,91 20,7 26,45 25,4 25,4
№ 6 — 2331 — 16,26/ 83,74 33 30,71 28,19 23,94 28,96 26,6 24,2
№ 7 1265 143 0,63 55,24/ 44,76 — 21,1 40,8 38,1 17,2 39,3 43,4
№ 8 793 78 1,64 56,41/ 43,59 — 16,7 43,6 39,7 21,5 43 35,4
№ 9 22 099 12 731 — 19,21/ 80,79 32 24,3 52,7 23,2 16,9 43,7 37,8
№ 10 10500 — 1 49 / 51 30 27 53 20 27 53 20
№ 11 11400 — 1 48 / 52 30 27 26 16 27 26 16
№ 12 20394 14698 2,4 37 / 63 29 — — — 4,31 45,8 35,3
№ 13 11773 8471 1,4 36 / 64 29 — — — 3,68 43,1 34,2
№ 14 10801 7531 1,2 37/ 63 30 — — — 3,68 42,01 36,9
ответили «нет, но я буду выполнять задания» и «нет, я хочу только посмотреть видео и прочитать материалы» (N = 10 647).
Из выше сказанного следует, что слушатели выбирают МООК, поскольку они любознательны или хотят усовершенствовать свои знания, а также потому, что изучаемый предмет актуален для их работы или обучения. Д. Кол-лер (D. Koller), основательница образовательной платформы Coursera, считает, что слушате-
ли МООК нацелены на то, чтобы найти что-то интересное для себя в курсе, изучить это и переключиться на что-то другое [16, 17].
Очевидно, что часть слушателей регистрируется на МООК в связи с тем, что курс представлен престижным университетом и профессиональными преподавателями.
Многие учителя проходят МООК, поскольку они хотят получить новые знания и повысить свою квалификацию. По данным платфор-
мы Нагуа^Х и М1ТХ, 32% респондентов ответили, что они работают или работали учителем [3].
В табл. 5 личные цели анализируются в зависимости от возраста и образования (среднее значение (№ 4-6)).
Стоит отметить, что измерение эффективности МООК предусматривает определение не только численности завершивших курс и получивших сертификат, но и числа тех, кто регистрируется на МООК и достигает личных целей
Таблица 4
Цели зарегистрированных студентов МООК (курс № 4, № 5, № 6 и № 9)
Цели зарегистрированных студентов № 4 (N = 523) № 5 (N = 930) № 6 (N = 1136) № 9 (N = 6291) Среднее значение (№ 4, № 5, № 6) Среднее значение (№ 4, № 5, № 6, № 9)
1. Общий интерес к предмету 225 307 451 2250 328 808
2. Актуально для работы 47 48 110 204 48 102
3. Актуально для школы или диплома 28 76 115 247 73 117
4. Актуально для научного исследования 2 2 5 57 3 17
5. Личный рост и усовершенствование знаний 265 456 569 3107 430 1099
6. Для смены карьеры или для будущей карьеры 9 29 42 572 27 163
7. Отдых 2 18 9 52 10 20
8. Знакомство с новыми людьми 3 5 7 27 5 11
9. Опыт прохождения онлайн-курса 18 38 29 94 28 45
10. Получение сертификата или удостоверения об окончании курса 8 9 11 75 9 26
11. Курс представлен престижным университетом/профессором/платформой 40 46 66 497 50 162
12. Прохождение с коллегами и друзьями 1 8 13 16 7 10
13. Улучшение навыков английского языка 5 5 7 88 6 26
14. Курс бесплатный и его можно пройти где угодно, что экономит время 22 44 46 429 37 135
15. Высокое качество курса 9 20 24 139 18 48
16. Другие цели или никакой цели 40 80 10 570 43 175
Таблица 5
Цели в зависимости от возраста и образования (среднее значение № 4, № 5, № 6)
Цели зарегистрированных студентов Возраст, среднее значение Образование, среднее значение
<=25 26-40 >=41 среднее и ниже бакалавр выше степени бакалавра
1. Общий интерес к предмету 99 91 123 103 99 111
2. Актуально для работы 3 19 43 4 24 40
3. Актуально для школы или диплома 45 14 12 45 12 12
4. Актуально для научного исследования 0 2 0 0 1 2
5. Личный рост и усовершенствование знаний 103 156 153 113 141 152
6. Для смены карьеры или для будущей карьеры 7 9 8 7 8 10
7. Отдых 3 3 4 3 3 4
8. Знакомство с новыми людьми 2 3 1 2 2 2
9. Приобретение опыта прохождения онлайн-курса 8 8 13 8 4 12
10. Получение сертификата или удостоверения об окончании курса 2 3 4 2 4 2
11. Курс представлен престижным университетом/профессором/платформой 16 19 14 18 16 14
12. Прохождение с коллегами и друзьями 2 3 2 2 3 2
13. Улучшение навыков английского языка 2 2 1 1 3 2
14. Курс бесплатный, и его можно пройти где угодно, что экономит время 11 15 13 13 12 12
15. Высокое качество курса 6 7 5 5 6 5
16. Другие цели или никакой цели 10 11 12 9 10 9
[6]. Многие исследователи согласны с тем, что, если слушатели МООК достигли своих целей, их стоит считать прошедшими курс.
Эксперты в области образования согласны, что процесс обучения на МООК проще, чем на традиционных лекциях. Кроме того, начать обучение на МООК можно в любое удобное время и не нужно сдавать вступительные и итоговые экзамены, как при традици-
онном обучении. А. Адхикари (А. Adhikari) полагает, что если у студента есть доступ к традиционному образованию, ему следует сделать выбор именно в его пользу, а не основываться на МООК. Однако современная реальность такова, что у большинства студентов нет доступа к традиционному образованию или есть доступ к образованию плохого качества, в таком случае у людей нет реального выбора между онлайн-обуче-
нием и традиционными учебными курсами. Иначе говоря, многие люди стоят перед выбором «МООК или ничего». Кроме того, МООК могут быть эффективны в качестве формы дополнительного образования.
Обобщая вышесказанное, следует сделать вывод, что МООК эффективны для тех, кто привык учиться самостоятельно, а также среди тех обучащихся, у которых уже есть высшее образование
Университет Беркли, Калифорния
и имеется высокая мотивация к Стоит отметить, что вопро-продолжению обучения. сы личной мотивации студентов
МООК на момент проведения нашего исследования остаются недостаточно изученными. Очевидно, что детальное понимание мотивации слушателей в процессе изучения онлайн-курса могло бы помочь в ответе на вопрос, как люди получают пользу от онлайн-обу-чения. Хотя многие исследователи изучали мотивацию слушателей МООК, пока не выработано единого мнения, как интерпретировать и измерять их личные цели и как прогнозировать, достигнут ли они своих личных целей или нет. Это поднимает еще один спорный вопрос: можно ли измерить результаты обучения на традиционных лекциях и на он-лайн-курсах одинаковым образом. К. Дэвлин (K. Devlin) говорит, что для МООК нужны другие критерии измерения эффективности, а именно те, о которых мы сегодня еще не знаем [7].
В настоящее время доля слушателей, завершивших онлайн-курс и получивших сертификат, рассматривается в качестве одного из ключевых показателей эффективности МООК. Такое предположение заставляет нас согласиться со многими авторами, считающими, что прежде всего преподаватели должны определить, что заставляет обучающихся регистрироваться, и принимать этот факт во внимание, делать все возможное, чтобы помочь им достичь личных целей. Это позволит сделать анализ взаимосвязи между личными целями студентов МООК и качеством онлайн-курса более точным и определенным.
В заключение отметим, что отношение преподавателей Университета Беркли к будущему МООК оптимистично. Большинство респондентов полагают, что массовые открытые онлайн-курсы будут востребованы для изучения информации и фактов, а также для получения работы в области информационных технологий.
LITERATURA
1. Allen E., Seaman J. (2015, February) Grade Level: Tracking Online Education in United States. Babson Survey Research Group and Ouahog Research Group, LLC. P. 1-66. https://eric.ed.gov/?id=ED572778 (дата обращения: 09.07.2018).
2. Armendariz D, Garcia D, Fox A. (2014) OCTAL: The Online Course Tool for Adaptive Learning. Electrical Engineering and Computer Sciences University of California at Berkeley. Technical Report No. UCB/EECS-2014-76: http://www2.eecs.berkeley.edu/Pubs/ TechRpts/2014/EECS-2014-76.pdf (дата обращения: 09.07.2018).
3. Chuang I, Ho A. (2016, December 23) HarvardX and MITx: Four Years of Open Online Courses - Fall 2012 - Summer 2016 (December 23, 2016). P. 1-19. DOI:10.2139/ssrn.2889436
4. Clark D. (2016, February 27) MOOCs: Course Completion is the wrong Measure of Course Success. Class CentKal: https://www. class-central.com/report/moocs-course-completion-wrong-measure/ (дата обращения: 09.07.2018).
5. Creswell J. W. (2007). Qualitative inquiry and research design: Choosing among approaches (2nd ed.). Thousand Oaks,CA: Sage.
6. Cross S. (2013) Evaluation of OLDS MOOC Curriculum Design Course: participant perspectives, expectations and experiences. OLDS MOOC Project, Milton Keynes. The Open University Publications. Retrieved from http://oro.open.ac.uk/37836/1/EvaluationRe-port_OLDSMOOC_v1.0.pdf/ (дата обращения: 09.07.2018).
7. Devlin K. (2013) MOOCs and the Myths of Dropout Rates and Certification. Retrieved from http://www.huffingtonpost.com/dr-
keith-devlin/moocs-and-the-mythsof-dr_b_2785808.html (дата обращения: 09.07.2018).
8. Donald C. (2016) MOOCs: Course Completion is the Wrong Measure of Course Success [Class Central, MOOC report]. Retrieved from https://www.class-central.com/report/moocs-course-completion-wrong-measure/ (дата обращения: 09.07.2018).
9. Emanuel E., Christensen G, Steinmetz A, Alcorn B, Bennett A, Woods D. (2013). Online education: MOOCs taken by educated few. Nature, 503, 346. DOI:10.1038/503342a
10. Hadi S., Gagen P. (2016) M. New model for measuring MOOCs completion rates. European Stakeholder Summit on experiences and best practices in and around MOOCs. 95-105. Retrieved from https://www.researchgate.net/publication/293884848_Pro-ceedings_of_the_European_Stakeholder_Summit_on_experiences_and_best_practices_in_and_around_MOOCs_EMOOCS_2016 (дата обращения: 09.07.2018).
11. Hill P. (2013, March 10) Emerging Student Patterns in MOOCs: A (Revised) Graphical View. [Coursera, graphical view, MOOC, student patterns]. Retrieved from https://mfeldstein.com/emerging-student-patterns-in-moocs-a-revised-graphical-view/ (дата обращения: 09.07.2018).
12. Ho A, Reich J., Nesterko S., Seaton D, Mullaney T, Waldo J., Chuang I. (2014). HarvardX and MITx: The first year of open online courses, Fall 2012-Summer 2013 (HarvardX and MITx Working Paper No. Retrieved from http://papers.ssrn.com/sol3/papers.cfm?ab-stract_id=2381263 (дата обращения: 09.07.2018).
13. Jordan K. (2014). Initial Trends in Enrolment and Completion of Massive Open Online Courses.The International Review of Research in Open and Distance Learning, 15(1), 133- 160. Retrieved from http://www.irrodl.org/index.php/irrodl/article/view-File/1651/2813 (дата обращения: 09.07.2018).
14. Kizilcec R. F., Perez-Sanagustin M, Maldonado J. J. (2017). Self-Regulated Learning Strategies Predict Learner Behavior and Goal Attainment in Massive Open Online Courses. Computers & Education, 104, 18-33. DOI:10.1016/j.compedu.2016.10.001
15. Kizilcec R. F. & E. (2015). Motivation as a Lens to Understand Online Learners. ACM Transactions on Computer-Human Interaction (TOCHI), 22(2). DOI:10.1145/2699735
16. Koller D, Ng A, Chen Z. (2013) Retention and Intention in MOOC: In Depth. EDUCAUSE Review Online. Retrieved from https:// er.educause.edu/articles/2013/6/retention-and-intention-in-massive-open-online-courses (дата обращения: 09.07.2018).
17. Kolowich S. (2013) Coursera Takes a Nuanced View of MOOC Dropout Rates. The Chronicle of Higher Education. Retrieved from https://www.chronicle.com/blogs/wiredcampus/coursera-takes-a-nuanced-view-of-mooc-dropout-rates/43341 (дата обращения: 09.07.2018).
18. MOOC Platform Comparison Table (2017). Retrieved from https://www.mooclab.club/pages/mooc_platform_comparison/ (дата обращения: 09.07.2018).
19. Reich J. (2014) MOOC Completion and Retention in the Context of Student Intent. EDUCAUSE Review Online. Retrieved from https://er.educause.edu/articles/2014/12/mooc-completion-and-retention-in-the-context-of-student-intent (дата обращения: 09.07.2018).
20. Rizzuto M. (2017) Design Recommendations for Self-Paced Online Faculty Development Courses. TechTrends: Linking Research and Practice to Improve Learning. Vol. 61. № 1. Р. 77-86. DOI:/10.1007/s11528-016-0130-8
21. Stracke C. (2017) The Quality of MOOCs: How to Improve the Design of Open Education and Online Course for Learners? Learning and Collaboration Technologies. Novel Learning Ecosystems. Ch. 23. DOI: 10.1007/978-3-319-58509-3_23
22. Stracke C. (2015) The Need to Change Education towards Open Learning. International LINO Conference. 11-24. DOI: 10.13140/ RG.2.1.4377.8800
23. Suzannah E., Myrick J. G. (2015) How MOOC instructors view the pedagogy and purposes of massive open online courses, Distance Education, 36:3, 295-311. DOI: 10.1080/01587919.2015.1081736
24. Zheng S., Rosson M. B, Shih P. C, Carroll J. M. (2015). Understanding Student Motivation, Behaviors and Perceptions in MOOCs. Proceedings of the 18th ACM Conference on Computer Supported Cooperative Work & Social Computing - CSCW '15. Р. 1882-1895. DOI:10.1145/2675133.2675217
