CC BY
52
СОЦИОЛОГИЯ ОБРАЗОВАНИЯ
DOI: 10.14515/monitoring.2019.4.13 Правильная ссылка на статью:
Семенова Т. В., Вилкова К. А. Вклад характеристик участников массовых открытых онлайн-курсов (МООК) в формирование уровня удовлетворенности обучением //Мониторинг общественного мнения: Экономические и социальные перемены. 2019. № 4. С. 262—277. https://doi.org/10.14515/momtonng.2019A13. For citation:
Semenova T. V., Vilkova K. A. (2019) Relationship between the MOOC participants' characteristics and their satisfaction with the courses. Monitoring of Public Opinion: Economic and Social Changes. No. 4. P. 262—277. https://doi.org/10.14515/monitoring.2019.4.13.
Т. В. Семенова, К. А. Вилкова ВКЛАД ХАРАКТЕРИСТИК УЧАСТНИКОВ МАССОВЫХ ОТКРЫТЫХ ОНЛАЙН-КУРСОВ (МООК) В ФОРМИРОВАНИЕ УРОВНЯ УДОВЛЕТВОРЕННОСТИ ОБУЧЕНИЕМ
ВКЛАД ХАРАКТЕРИСТИК УЧАСТНИКОВ МАССОВЫХ ОТКРЫТЫХ ОНЛАЙН-КУР-СОВ (МООК) В ФОРМИРОВАНИЕ УРОВНЯ УДОВЛЕТВОРЕННОСТИ ОБУЧЕНИЕМ
СЕМЕНОВА Татьяна Вадимовна — магистр социологии, научный сотрудник, Центр социологии высшего образования Института образования, Национальный исследовательский университет «Высшая школа экономики», Москва, Россия E-MAIL: tsemenova@hse.ru https://orcid.org/QQQ0-QQQ3-1792-7470
RELATIONSHIP BETWEEN THE MOOC PARTICIPANTS' CHARACTERISTICS AND THEIR SATISFACTION WITH THE COURSES
Tatiana V. SEMENOVA1 — MSc in Sociology, Research Fellow, Centre of Sociology of Higher Education, Institute of Education
E-MAIL: tsemenova@hse.ru https://orcid.org/0000-0003-1792-7470
1 National Research University Higher School of Economics, Moscow, Russia
ВИЛКОВА Ксения Александровна — магистр психологии, аспирант, стажер-исследователь, Центр социологии высшего образования Института образования, Национальный исследовательский университет «Высшая школа экономики», Москва, Россия E-MAIL: kvilkova@hse.ru https://orcid.org/0000-0003-2161-0409
Аннотация. С каждым годом все больше образовательных организаций создают собственные массовые открытые он-лайн-курсы (МООК). Интерес пользователей интернета к материалам ведущих учебных заведений, доступным широкой аудитории, также растет. Для того чтобы слушатели могли ориентироваться среди разнообразия курсов, стали появляться рейтинги МООК, в основе которых лежит оценка удовлетворенности обучением. Однако уровень удовлетворенности связан не только с содержанием самого курса, но и с индивидуальными характеристиками слушателей. Поэтому возникает вопрос о возможности использования рейтингов для сравнения курсов между собой, поскольку их оценивают разные группы участников. Особенно эта проблема актуальна для МООК, совокупность слушателей которых представляет собой гетерогенную группу. Для определения вклада характеристик участников курсов в формирование уровня удовлетворенности в исследовании использованы данные опросов участников 13 МООК НИУ ВШЭ на Национальной платформе «Открытое образование», проведенных до старта курсов и после их окончания. На основе регрессионного анализа показано, что ряд индивидуальных характеристик участников МООК значимо связан с уровнем удовлетворенности контентом курса при контролировании его
Ksenia A. VILKOVA1 — MSc in Psychology, PhD student, Intern Researcher, Centre of Sociology of Higher Education, Institute of Education E-MAIL: kvilkova@hse.ru https://orcid.org/0000-0003-2161-0409
2 National Research University Higher School of Economics, Moscow, Russia
Аbstract. Year-by-year more and more educational institutions offer various massive open online courses (MOOC). Simultaneously, the interest of online users in the offer keeps rising. To orient the users in the variety of courses ratings of MOOCs are developed based on participant satisfaction levels. However, the satisfaction level is not only influenced by the course content but also by the participants' individual characteristics. As the courses are assessed by different groups of participants, the question arises as to how these ratings should be used to compare the courses. The problem is especially true for the MOOCs where participants represent a heterogeneous group. To study the relationship between the participants' characteristics and their satisfaction with the courses the authors use the data of the surveys involving participants who took part in 13 MOOCs proposed by the National Research University Higher School of Economics on the National Open Education Platform. The surveys were conducted before and after the courses. Using the regression analysis the authors show that a number of individual characteristics are strongly linked to the level of satisfaction with the course content if its options are controlled. Important predictors are extrinsic motivation to take a certain course to get acquainted with its format and the level of knowledge before and after the course.
параметров. Значимыми предикторами стали внешний мотив прохождения курса для знакомства с его форматом и уровень знаний до прохождения курса и после его освоения. Участники с высоким изначальным уровнем знаний оценивают курс ниже по сравнению со слушателями, владеющими невысоким уровнем знаний по тематике курса. Таким образом, использование рейтингов для сравнения МООК между собой не совсем корректно, поскольку курсы оценивают разные группы участников. В этом случае возможно создание рейтингов, которые отражают оценку, поставленную «продвинутыми» слушателями и «новичками».
Ключевые слова: массовые открытые онлайн-курсы, МООК, уровень удовлетворенности обучением, рейтинги, индивидуальные характеристики
Введение
Обучение в формате массовых открытых онлайн-курсов (МООК) с каждым годом привлекает все больше пользователей интернета. К концу 2018 г. совокупное число слушателей МООК в мире достигло 101 млн 1. Растет и количество доступных онлайн-курсов: более 900 образовательных организаций создали и запустили более 11 тыс. МООК 2. Увеличение числа курсов неизбежно ведет к появлению МООК, посвященных одной и той же тематике или дисциплине. Так, курсы по бизнесу и информационным технологиям занимают более 40 % рынка 3. В результате создается ситуация, в которой сложно сделать выбор в пользу того или иного МООК.
Для того чтобы слушатели могли ориентироваться среди разнообразия курсов, стали появляться различные рейтинги по оценке МООК. Они представлены как на самих платформах-провайдерах МООК, так и на сайтах-агрегаторах курсов. Например, у каждого МООК на Coursera есть рейтинг, сформированный на основе оценок участников, оставленных по окончании обучения. Оценки участников используются на платформе и для формирования списка лучших курсов 4.
1 Shah D. By The Numbers: MOOCs in 2018 // Class Central. 2018. URL: https://www.class-central.com/report/mooc-stats-2018/ (accessed: 29.12.2018).
2 Ibidem.
3 Ibidem.
4 Самые популярные курсы [Электронный ресурс] // Coursera. 2018. URL: https://www.coursera.org/featured/ top_rated_courses (дата обращения: 29.12.2018).
Those participants who have higher initial level of knowledge are more likely to give poor assessments for the course compared to those participants who are less familiar with the topic. Thus, using the ratings to compare the MOOCs with each other would be wrong as the courses are assessed by different groups of participants. It is more advisable to draw up separate ratings which would reflect the assessments given by "advanced trainees" and "freshmen".
Keywords: Massive Open Online Courses, MOOC, satisfaction with courses, ratings, individual characteristics
Аналогичный алгоритм применяется агрегатором онлайн-курсов Class Central. Пользователям данного сайта предлагается написать отзыв о пройденном МООК5, на основе которого создается рейтинг, выступающий в качестве способа определения лучших МООК по версии пользователей 6.
В основе формирования рейтинга лежит оценка опыта обучения, который получили слушатели МООК. При этом как было показано в работе [Wilson, Lizzio, Ramsden, 1997], участник оценивает полученный опыт обучения исходя из того, насколько ему понравился курс (т. е. на основе уровня удовлетворенности пройденным курсом). Поэтому чем выше уровень удовлетворенности обучением, тем выше оценка, которую ставит учащийся качеству курса, и тем выше рейтинг курса.
Несмотря на прозрачность процедуры формирования рейтингов, возникает вопрос о возможности сопоставления МООК на основе представленных оценок. Отдельные исследования показывают, что удовлетворенность онлайн-обучением определяется не только содержанием самого курса [Adamopoulos, 2013; Arbaugh, 2000; Arbaugh, Duray, 2002; Palmer, Holt, 2009; Swan, 2001], но и индивидуальными характеристиками учащихся [Andersen, 2013; Beqiri, Chase, Bishka, 2009; Zakariah, Hashim, Musa, 2016; Macon, 2011]. Поэтому возникает вопрос, насколько корректно использовать рейтинг для сравнения МООК между собой, если их оценивают разные группы слушателей? Эта проблема крайне актуальна для МООК, так как совокупность их слушателей представляет собой гетерогенную группу, участники которой различаются по социально-демографическим характеристикам [Chuang, Ho, 2016], опыту онлайн-обучения [Semenova, Rudakova, 2016], целям записи на курс [Zheng et al., 2016]. Также аудитория МООК дифференцируется в зависимости от тематики курса. Например, курсы по компьютерным наукам чаще привлекают более молодых и менее образованных пользователей [Chuang, Ho, 2016].
В нашем исследовании на основе опросов слушателей 13 МООК НИУ ВШЭ, прошедших в весеннем семестре 2017 г. на Национальной платформе «Открытое образование», определим, какой вклад вносят индивидуальные характеристики участников в формирование уровня удовлетворенности МООК, и таким образом оценим, насколько оправданно использование рейтинга для сравнения курсов.
Теоретическая рамка
В образовании удовлетворенность принято рассматривать через восприятие студентом своего опыта обучения и ценности полученного образования [Astin, 1993; DeLaus, 2016]. Для оценки уровня удовлетворенности в дистанционных и онлайн-курсах применяется теория независимого обучения М. Мура [Moore, 1989]. Он определяет удовлетворенность через три типа взаимодействия: (1) студент — контент; (2) студент — преподаватель и (3) студент—студент. Уровень удовлетворенности обучением формируется из опыта общения с преподавателем и одногруппниками, а также из оценки содержания курса.
5 Have You Taken a Course? Learners Want to Know Your Review [Электронный ресурс] // Class Central. 2018. URL: https://www.class-central.com/wrlte-a-revlew/ (дата обращения: 29.12.2018).
6 Shah D. Class Central's Top 50 MOOCs of All Time (2018 edition) [Электронный ресурс] // Class Central. 2018. URL: https://www.class-central.com/report/top-50-moocs-2018-edition/ (дата обращения: 29.12.2018).
При использовании данной теоретической рамки в МООК значимым для оценки уровня удовлетворенности остается только один тип взаимодействия — «студент — контент» [Gameel, 2017]. Это можно объяснить низкой частотой общения преподавателей и ассистентов курса со слушателями, а также низкой активностью участников на форумах МООК [Baker et al., 2018; Qui et al., 2016; Breslow et al., 2013].
Исследования показывают, что уровень удовлетворенности пройденным курсом значимо связан с двумя показателями: параметрами курса и характеристиками его участников (рис. 1). Например, студенты более удовлетворены своим опытом онлайн-обучения при условии, что изучаемый курс имеет понятную структуру [Palmer, Holt, 2009; Swan, 2001] и гибкую программу [Arbaugh, 2000; Arbaugh, Duray, 2002], а также относится к тематическим направлениям по бизнесу, менеджменту, компьютерным и естественным наукам [Adamopoulos, 2013].
Кроме того, участники мужского пола [Beqiri, Chase, Bishka, 2009] и слушатели онлайн-курсов старшего возраста [Andersen, 2013] более удовлетворены обучением. При этом уровень образования имеет противоположный эффект: чем выше курс обучения студента, тем ниже его уровень удовлетворенности [Macon, 2011]. Помимо этого, наличие опыта онлайн-обучения [Arbaugh, Duray, 2002; Zakariah, Hashim, Musa, 2016] и знаний по теме курса [Beqiri, Chase, Bishka, 2009] у студентов дистанционного формата значимо связаны с более высоким уровнем удовлетворенности.
Рисунок l. Факторы, связанные с удовлетворенностью обучением
Стоит отметить, что большинство исследований по оценке уровня удовлетворенности были проведены в рамках дистанционных курсов. В свою очередь, формат МООК отличается от дистанционного по многим параметрам, связанным с доступностью материалов курса, масштабностью и гетерогенностью аудитории [Allen, Seaman, 2015]. Таким образом, неясно, какова связь индивидуальных характеристик слушателей и уровня удовлетворенности в среде МООК.
В нашем исследовании мы определим вклад индивидуальных характеристик слушателей МООК в оценку удовлетворенности обучением при контроле параметров курсов. В качестве показателя удовлетворенности мы используем уровень удовлетворенности контентом МООК, так как он является определяющим при оценке опыта обучения в данном формате [Сатее!, 2017]. В качестве индивидуальных характеристик слушателей выступают социально-демографические показатели, академическая мотивация и уровень знаний по курсу. Кроме того, в модель будут введены субъективные параметры курса, отражающие восприятие участником уровня сложности курса, и объективные параметры курса, связанные с его тематической направленностью и продолжительностью.
База данных и выборка исследования
В качестве исследовательской базы используются данные, собранные по участникам 13 онлайн-курсов НИУ «Высшая школа экономики», запущенных на Национальной платформе «Открытое образование» (НПОО) в весеннем семестре 2017 г. База данных состоит из нескольких массивов информации:
(1) опросные данные по участникам МООК, собранные в рамках преопроса, проведенного онлайн до старта курса 7. Анкета включала в себя вопросы по социально-демографическим характеристикам, мотиву регистрации на курс, планам по его прохождению, опыту онлайн-обучения, уровню знаний по тематике курса;
(2) опросные данные по участникам МООК, собранные в рамках постопроса, проведенного онлайн после завершения курса 8; в анкету были включены вопросы про воспринимаемую сложность освоения курса, количество времени, затраченного на него, уровень знаний после прохождения курса, уровень удовлетворенности контентом, взаимодействие с авторами/ассистентами курса и с другими слушателями, возможные изменения, которые необходимо внести в курс для его улучшения;
(3) объективные параметры МООК с официальных страниц курсов, отражающие их продолжительность, выраженную в неделях, и тематику.
В исследовательскую базу попали только те слушатели, которые приняли участие в обеих волнах опроса и дали содержательные ответы на вопросы, заложенные для измерения показателей из теоретической рамки исследования. Итоговая выборка включала в себя 440 респондентов. Большинство попавших в выборку слушателей — женщины (78 %), с высшим образованием (89 %), работающие на полную или неполную ставку без совмещения с обучением (74 %). Средний возраст участников составил 36 лет (Бй = 11.2). У половины слушателей был нулевой или начальный уровень знаний по тематике курса (55 %), а также отсутствовал опыт онлайн-обучения (54 %).
Большинство участников зарегистрировались на курс исходя из интереса к предмету и любознательности (87 %), меньшинство — ради использования материалов курса для подготовки к учебным занятиям (16 %) и стремления к взаимо-
7 Ссылка на анкету была направлена на электронную почту участникам, зарегистрировавшимся на курсы НИУ ВШЭ на НПОО зимой 2017 г. В опросе приняли участие 5064 слушателя.
8 Ссылка на онлайн-анкету также была направлена всем участникам онлайн-курсов, прошедших в весеннем семестре 2017 г. Во второй волне опроса приняли участие 1407 слушателей.
действию с другими слушателями, заинтересованными в теме курса (2 %). Кроме того, мотив использования материалов курса для текущей работы был значим при его выборе для 41 % участников, а мотив знакомства с форматом МООК—для 28 % слушателей.
Большинство участников перед началом обучения на МООК не планировали покупать сертификат по курсу (68 %), но ставили цель посмотреть все видеолекции (95 %) и выполнить все задания (82 %).
Больше половины участников проходило МООК, которые относились к гуманитарным наукам (63 %): курсы «Культурология», «Философия», «Введение в историю искусств», «Введение в корпусную лингвистику». Каждый пятый был слушателем курсов экономической и управленческой тематики: «Управление проектами», «Финансовые рынки и институты», «Экономика», «Теория организаций», «Организационное поведение», «Анализ инвестиционных проектов и программ», «Эконометрика». Меньшая часть участников проходила курсы из области социальных наук (18 %): «Маркетинг» и «Социальная психология».
Для 68 % участников курс был оптимальным по уровню сложности. Кроме того, для большинства (71 %) МООК был оптимальным и по еженедельной нагрузке. При этом 75 % участников отметили, что они внесли бы от одного до трех изменений в содержание и структуру курса для его улучшения.
В основном на освоение курса участники тратили от одного до двух часов (32 %) и от трех до четырех часов в неделю (40 %). Около половины слушателей оценили свой уровень знаний по итогам прохождения курса как средний (49 %). При этом положительную динамику в уровне подготовки отметили 48 % участников. По итогам прохождения МООК большинство респондентов (70 %) получило 76-100 баллов.
Методология и модель исследования
Для измерения уровня удовлетворенности контентом курса использовались четыре показателя, отражающие удовлетворенность следующими аспектами МООК: (1) широта охвата тем в ходе курса, (2) глубина содержания курса, (3) видеолекции и (4) задания по курсу. Участник оценивал каждый аспект курса по пятибалльной шкале Ликерта (от «полностью неудовлетворен» до «полностью удовлетворен»). На основе данных показателей был сформирован индекс уровня удовлетворенности контентом как среднее значение. В силу того, что сформированный индекс не имеет нормального распределения, на втором шаге он был переведен в порядковую шкалу от 1 до 4. Как видно из рисунка 2, большинство участников МООК высоко оценили качество его контента: 63 % были полностью удовлетворены контентом пройденного курса и 31 % были скорее удовлетворены. Только 6 % участников низко оценили качество контента МООК (они были скорее или полностью неудовлетворены его содержанием).
В качестве независимой переменной выступают индивидуальные характеристики участников МООК, включающие в себя социально-демографические характеристики (пол и возраст), мотив прохождения курса, опыт онлайн-обучения и уровень знаний по курсу до и после его прохождения, а также субъективные параметры МООК, отражающие уровень воспринимаемой сложности курса и требуемой нагрузки для его освоения.
о
CD
О
С ф о
ф Q_
О
CN
1 1 1 1 1 0 12 3 4 Индекс уровня удовлетворенности контентом
Рисунок 2. Индекс уровня удовлетворенности контентом МООК
Для создания фактора мотива прохождения МООК была использована методология, предложенная в работе [Sheldon et al., 2017], в соответствии с которой вначале используется кластерный анализ для определения структуры мотивов, а затем метод главных компонент, который позволяет сформировать выделенные на первом этапе факторы-мотивы. Иерархический кластерный анализ показал, что в структуре данных выделяются пять групп мотивов: (1) внутренний мотив, означающий прохождение МООК ради интереса к предмету и любознательности, (2) внешний мотив использования МООК для своего обучения в вузе, (3) внешний мотив использования МООК для текущей работы и возможной смены рабочего места, (4) внешний мотив знакомства с форматом МООК и (5) социальный мотив (для знакомства с другими участниками и сообучение). На втором этапе на основе метода главных компонент (PCA—Principal Component Analysis) были сформированы по отдельности выделенные пять факторов мотивов участия в МООК с использованием указанного в таблице 1 набора показателей. В результате PCA каждый фактор-мотив участия в МООК описывает от 63 % до 76 % дисперсии.
Для определения вклада индивидуальных характеристик участников МООК в формирование уровня удовлетворенности контентом курса были использованы две вложенные модели. В первой модели вводятся два объективных параметра курса (тематическая направленность и продолжительность, выраженная в количестве недель) в качестве контрольных переменных для фиксации вклада неизменных характеристик курса в формирование уровня удовлетворенности его контентом. Во вторую модель добавляются индивидуальные характеристики
участников (пол, возраст, опыт онлайн-обучения, уровень знаний по курсу до и после его прохождения, мотив участия в курсе) и воспринимаемые параметры курса (уровень воспринимаемой сложности курса, уровень воспринимаемой нагрузки, требуемой для его прохождения, и количество изменений, которые стоило бы внести в содержание курса для его улучшения).
Таблица 1. Набор показателей, соответствующих мотивам прохождения МООК, выделенным иерархическим кластерным анализом
1 мотив 2 мотив 3 мотив 4 мотив 5 мотив
Любознательность, интерес к предмету Польза для обучения в вузе/ подготовки к обучению в вузе Помощь в текущей работе Стремление попробовать формат онлайн-обучения Общение с другими участниками, заинтересованными в данной теме
Расширение кругозора Обязательная часть учебного плана в университете Помощь в смене сферы деятельности или нахождении новой работы Интерес к преподаванию предмета курса За компанию, по примеру/ вместе с друзьями/ коллегами
Включение курса в учебный план в университете как факультатив
В качестве метода анализа использовалась порядковая логистическая регрессия, которая позволяет оценивать связь факторов с зависимой переменной, имеющей порядковую шкалу.
Результаты
Представим результаты порядковой логистической регрессии для описания вклада характеристик участников МООК в формирование уровня удовлетворенности контентом (см. табл. в Приложении). В первой модели, в которую включены только контрольные переменные, фиксирующие объективные параметры МООК, значимым предиктором уровня удовлетворенности выступает тематическая направленность курса. Участники гуманитарных и социальных курсов имеют более высокие шансы быть удовлетворенными контентом МООК по сравнению со слушателями экономических курсов. Во второй модели при добавлении индивидуальных характеристик участников МООК и воспринимаемых параметров курса сохраняется статистически значимая связь между тематической направленностью курса и уровнем удовлетворенности контентом. Социально-демографические характеристики (пол и возраст участника) не вносят статистически значимого вклада в формирование уровня удовлетворенности курсом. Кроме того, мотиваци-онные показатели, отражающие мотивы участия в курсе, не оказывают значимого эффекта на уровень удовлетворенности МООК за исключением внешнего мотива знакомства с форматом курса. В том случае, если участник при регистрации на МООК преследует мотив знакомства с данным форматом и стилем препода-
вания курса, это статистически значимо увеличивает шансы на формирование высокого уровня удовлетворенности контентом курса.
Помимо внешнего мотива, вклад в формирование уровня удовлетворенности курсом вносят уровень знаний, который был у участника по предмету курса до его прохождения, и уровень знаний, полученных после его освоения. С одной стороны, слушатели с высоким изначальным уровнем знаний имеют меньше шансов на высокий уровень удовлетворенности контентом. С другой стороны, чем выше уровень знаний по курсу после его прохождения, тем выше уровень удовлетворенности контентом.
Субъективные параметры курса, связанные с воспринимаемой сложностью его прохождения, не показали статистически значимую связь с уровнем удовлетворенности. Однако такая связь зафиксирована для количества изменений, которые участник предложил бы внести в МООК для его улучшения. Так, чем больше изменений слушатель предлагает внести в курс, тем ниже уровень удовлетворенности его контентом.
Таким образом, индивидуальные характеристики участников МООК показали статистически значимую связь с уровнем удовлетворенности контентом курса при контролировании его параметров. Значимыми предикторами стали внешний мотив прохождения курса для знакомства с его форматом, а также уровень знаний до прохождения курса и после его освоения.
Дискуссия
Появление большого количества МООК приводит к усложнению выбора курса. Для упрощения выбора на платформах возникает система рейтингов, которая может использоваться при сортировке МООК и их сравнения. Однако насколько оправданно сопоставлять онлайн-курсы на основе их рейтингов, если МООК проходят и оценивают участники, преследующие разные цели? Слушатели МООК могут по-разному оценивать курсы исходя из уровня удовлетворенности, что сказывается на формировании рейтинга курса.
В исследовании мы показали, что уровень удовлетворенности МООК значимо связан с индивидуальными характеристиками участников при контролировании параметров курса. Таким образом, оценка, выставляемая онлайн-курсу, значимо связана с тем, какие участники проходили МООК и какие участники оставили свою оценку. Например, если на курс зарегистрировался слушатель с высоким уровнем знаний, то выше вероятность, что он оценит курс ниже по сравнению с участником, обладающим невысоким уровнем изначальных знаний. Полученный вывод противоположен результату работы [Beqiri, Chase, Bishka, 2009], в которой было выявлено, что дистанционный курс больше нравится студентам с высоким уровнем знаний. При этом наше исследование показало, что если участник ощущает динамику роста своих знаний по итогам прохождения курса, то это положительно сказывается на его общей удовлетворенности.
Отрицательную связь между уровнем изначальных знаний по тематике курса и уровнем удовлетворенности можно объяснить возможным расхождением между ожиданиями участников от курса и реальным его содержанием. С одной стороны, большинство слушателей, попавших в выборку, имеют высшее образование, и у 45 % средние или выше среднего знания по курсу, на который они записались.
С другой стороны, большая часть курсов, размещенных на НПОО, ориентирована прежде всего на студентов университетов, которые могли бы проходить онлайн-курсы в рамках своего учебного плана. Кроме того, многие онлайн-курсы имеют вводный характер и направлены на то, чтобы познакомить участников с дисциплиной. Предположительно, участники выборочной совокупности при регистрации на курс ожидали, что они смогут не только обновить свои знания по курсу, но и получить новые. Однако вводный характер МООК на НПОО не позволяет этого достичь. Возможно, повысить уровень удовлетворенности курсом позволит персонифицированное обучение: адаптация содержания курсов к потребностям участников и подбор материалов, соответствующих их способностям и интересам.
Исследование показало, что рейтинги не совсем корректно использовать для сравнения МООК между собой в силу того, что курсы проходят и оценивают разные участники с разным набором характеристик. Возможно, систему рейтингов можно использовать в том случае, если оценка каждого участника будет учитываться с разным весом при формировании общего рейтинга. Кроме того, у каждого курса могут быть два рейтинга, показывающие, во-первых, оценку, которую дают «продвинутые» слушатели (слушатели с высоким уровнем изначальных знаний), и, во-вторых, оценку, которую ставят «новички» (участники с низким уровнем изначальных знаний).
Ограничения
Данное исследование имеет ряд ограничений, связанных с опросным методом, который использовался для сбора данных. Во-первых, источником смещения может выступать эффект самоотбора, возникновение которого обусловлено использованием неслучайного типа выборки [Bethlehem, 2010]. При организации опросов приглашение направляется всем слушателям, записавшимся на курс. Участники самостоятельно принимают решение об участии в опросе, поэтому доля респондентов, которые проходят анкетирование перед началом обучения, как правило, не превышает 10 % [Christensen et al., 2013; Wang, Baker, 2015; Watted, Barak, 2018]. Отклик в опросах по окончании курса еще ниже — от 1 % до 5 % слушателей [Belanger, Thorton, 2013; Maloshonok, Terentev, 2016]. В результате участники, ответившие на вопросы анкеты, могут отличаться по своим характеристикам от слушателей, не принявших участие в опросе [Couper, 2000]. Поэтому респонденты опросов в МООК могут не репрезентировать генеральную совокупность слушателей — например, в анкетировании могли принять участие заинтересованные в исследовании слушатели [Tourangeau et al., 2009].
Вторым источником смещения можно назвать ошибку выжившего: респондентами второго опроса в большей степени стали слушатели, прошедшие МООК до конца. Доля респондентов, получивших сертификаты по итогам обучения на МООК, достигает 20 %, что в значительной степени превышает среднее число успешных слушателей МООК, показанное в предшествующих исследованиях [Healy, 2017; Onah, Sinclair, Boyatt, 2014; Reich, 2014]. Поэтому в нашей работе в большей степени был измерен уровень удовлетворенности тех участников, которые оказались успешными при прохождении МООК [Kizilcec, 2014]. В целом исследования показывают, что респонденты опросов, как правило, имеют более высокие академические достижения [Dey, 1997; Porter, Whitkomb, 2005].
Список литературы
Adamopoulos P. (2013) What makes a great MOOC? An interdisciplinary analysis of student retention in online courses. Proceedings of the 34th International Conference on Information Systems. URL: http://pages.stern.nyu.edu/~padamopo/What%20 makes%20a%20great%20M00C.pdf (accessed: 29.12.2018).
Allen I. E., Seaman J. (2015) Grade Level: Tracking Online Education in the United States. Babson Survey Research Group.
Andersen J. C. (2013) Learner satisfaction in online learning: An analysis of the perceived impact of learner-social media and learner-instructor interaction. Electronic Theses and Dissertations. Paper 1115.
Arbaugh J. B. (2000) Virtual classroom characteristics and student satisfaction with internet-based MBA courses. Journal of management education. Vol. 24. No. 1. P. 32— 54. https://doi.org/10.1177/105256290002400104.
Arbaugh J. B. Duray, R. (2002) Technological and structural characteristics, student learning and satisfaction with web-based courses: An exploratory study of two on-line MBA programs. Management learning. Vol. 33. No. 3. P. 331—347. https://doi. org/10.1177/1350507602333003.
Astin A. (1993) What matters in college? Four critical years revisited. San Francisco: Jossey-Bass.
Baker R., Evans B., Dee T. (2016) A randomized experiment testing the efficacy of a scheduling nudge in a Massive Open Online Course (MOOC). AERA Open. https://doi. org/10.1177/2332858416674007.
Belanger Y., Thornton J. Bioelectricity: A quantitative approach Duke University's first MOOC. (2013) URL: https://dukespace.lib.duke.edu/dspace/bitstream/handle/10161/6216/ Duke_Bioelectricity_MOOC_Fall2012.pdf (accessed: 29.12.2018).
Beqiri M. S., Chase N. M., Bishka A. (2009) Online course delivery: An empirical investigation of factors affecting student satisfaction. Journal of Education for Business. Vol. 85. No. 2. P. 95—100. https://doi.org/10.1080/08832320903258527.
Bethlehem J. (2010) Selection bias in web surveys. International Statistical Review. Vol. 78. No. 2. P. 161—188. https://doi.org/10.1111/j.1751-5823.2010.00112.x.
Breslow L., Pritchard D. E., DeBoer J., Stump G. S., Ho A. D., Seaton D. T. (2013) Studying learning in the worldwide classroom research into edX's first MOOC. Research & Practice in Assessment. Vol. 8. P. 13—25.
Christensen G., Steinmetz A., Alcorn B., Bennett A., Woods D., Emanuel E. J. (2013) The MOOC phenomenon: Who takes massive open online courses and why? http://dx.doi. org/10.2139/ssrn.2350964.
Chuang I., Ho A. (2016) HarvardX and MITx: Four years of open online courses—fall 2012-summer 2016. http://dx.doi.org/10.2139/ssrn.2889436.
Couper M. P. (2000) Review: Web surveys: A review of issues and approaches. The Public Opinion Quarterly. Vol. 64. No.4. P. 464—494.
DeLaus S.C. (2016) The influence of synchronous technology and interaction on satisfaction and retention for online students (Doctoral dissertation).
Dey E. L. (1997) Working with low survey response rates: The efficacy of weighting adjustments. Research in higher education. Vol. 38. No. 2. P. 215—227. https://doi. org/10.1023/A:1024985704202.
Gameel B. G. (2017) Learner satisfaction with massive open online courses. American Journal of Distance Education. Vol. 31. No. 2. P. 98—111. https://doi.org/10.1080/ 08923647.2017.1300462.
Healy P. A. (2017) Georgetown's First Six MOOCs: Completion, Intention, and Gender Achievement Gaps. Undergraduate Economic Review. Vol. 14. No. 1. P. 1—37.
Kizilcec R. F. (2014) Reducing non-response bias with survey reweighting: Applications for online learning researchers. Proceedings of the first ACM conference on Learning@ scale conference. P. 143—144.
Macon D. K. (2011) Student satisfaction with online courses versus traditional courses: A meta-analysis. Dissertation Abstracts International. Vol. 72. No. 5.
Maloshonok N., Terentev E. (2016) The impact of visual design and response formats on data quality in a web survey of MOOC students. Computers in Human Behavior. Vol. 62. P. 506—515. https://doi.org/10.1016Zj.chb.2016.04.025.
Moore M. (1989) Editorial: Three types of interaction. American Journal of Distance Education. Vol. 3. No. 2. P. 1—7. https://doi.org/10.1080/08923648909526659.
Onah D. F., Sinclair J., Boyatt R. (2014) Dropout rates of massive open online courses: behavioural patterns. EDULEARN14 proceedings. P. 5825—5834.
Palmer S. R., Holt D. M. (2009) Examining student satisfaction with wholly online learning. Journal of computer assisted learning. Vol. 25 No. 2. P. 101—113. https://doi. org/10.1111/j.1365-2729.2008.00294.x.
Porter S. R., Whitcomb M. E. (2005). Non-response in student surveys: The role of demographics, engagement and personality. Research in higher education. Vol. 46. No. 2. P. 127—152. https://doi.org/10.1007/s11162-004-1597-2.
Qiu J., Tang J., Liu T. X., Gong J., Zhang C., Zhang Q., Xue Y. (2016) Modeling and predicting learning behavior in MOOCs. Proceedings of the Ninth ACM International Conference on Web Search and Data Mining. P. 93—102.
Reich J. (2014) MOOC completion and retention in the context of student intent. EDUCAUSE Review Online. URL: https://er.educause.edu/articles/2014/12/ mooc-completion-and-retention-in-the-context-of-student-intent (дата обращения: 29.12.2018).
Semenova T. V. Rudakova L. M. (2016) Barriers to taking massive open online courses (MOOCs). Russian Education & Society. Vol. 58. No. 3. P. 228—245. https://doi.org/ 10.1080/10609393.2016.1242992.
Sheldon K. M., Osin E. N., Gordeeva T. O., Suchkov D. D., Sychev O. A. (2017) Evaluating the dimensionality of self-determination theory's relative autonomy continuum. Personality and Social Psychology Bulletin. Vol. 43. No. 9. P. 1215—1238. https://doi. org/10.1177/0146167217711915.
Swan K. (2001) Virtual interaction: Design factors affecting student satisfaction and perceived learning in asynchronous online courses. Distance Education. Vol. 22. No. 2. P. 306—331. https://doi.org/10.1080/0158791010220208.
Wang Y. Baker R. (2015) Content or platform: Why do students complete MOOCs. MERLOT Journal of Online Learning and Teaching. Vol. 11. No. 1. P. 17—30.
Watted A., Barak M. (2018) Motivating factors of MOOC completers: Comparing between university-affiliated students and general participants. The Internet and Higher Education. Vol. 37. P. 11—20. https://doi.org/10.1016/j.iheduc.2017.12.001.
Wilson K. L., Lizzio A., Ramsden P. (1997) The development, validation and application of the Course Experience Questionnaire. Studies in higher education. Vol. 22. No. 1. P. 33—53. https://doi.org/10.1080/03075079712331381121.
Zakariah Z., Hashim R. A., Musa N. (2016) Motivation, experience and satisfaction among adult learners with fully online web-based courses. Pan-Commonwealth Forum 8 (PCF8).
Zheng S., Rosson M. B., Shih P. C., Carroll J. M. (2015) Understanding student motivation, behaviors and perceptions in MOOCs. Proceedings of the 18th ACM conference on computer supported cooperative work & social computing. P. 1882—1895.
Приложение
Результат порядковой регрессии для уровня удовлетворенности контентом МООК
1 Модель Р-псевдо = 1.5 % Отношение правдоподобия= -369.38 2 Модель Р-псевдо = 10.3 % Отношение правдоподобия = -336.19
Показатели Отношение шансов
Контрольные переменные (объективные характеристики МООК
Курсы гуманитарных наук (база — курсы экономических наук) 2.14*** 2.97***
(0.536) (0.966)
Курсы социальных наук (база — курсы экономических наук) 2.00** 2.14**
(0.658) (0.782)
Продолжительность курса 0.84* 0.83*
(0.079) (0.084)
Социально-демографические характеристики
Пол (база — мужской пол) 1.45
(0.367)
Возраст 0.99
(0.010)
Мотив выбора МООК
Внутренний мотив регистрации на курс 0.87
(0.128)
Внешний мотив использования курса для своего обучения 0.97
(0.123)
Социальный мотив регистрации на курс 1.16
(0.149)
Внешний мотив использования курса для работы 0.92
(0.115)
Внешний мотив знакомства с форматом МООК 1.32**
(0.170)
Опыт и уровень знаний по курсу до и после его прохождения
Опыт онлайн-обучения (база — нет опыта онлайн-обучения) 1.10
(0.236)
Уровень знаний по тематике курса 0.73***
(0.086)
1 Модель Р-псевдо = 1.5 % Отношение правдоподобия= -369.38 2 Модель Р-псевдо = 10.3 % Отношение правдоподобия = -336.19
Показатели Отношение шансов
Уровень знаний по тематике курса после его прохождения 1.86***
(0.310)
Субъективные характеристики МООК
Уровень воспринимаемой сложности 1.11
(0.206)
Уровень воспринимаемой нагрузки 1.19
(0.240)
Количество изменений, которые необходимы для улучшения курса 0.62***
(0.057)
Константа 1 0.03*** 0.03***
(0.012) (0.033)
Константа 2 012*** 0.16**
(0.033) (0.143)
Константа 3 1.15 1.95
(0.266) (1.707)
Примечание. Стандартные ошибки представлены в скобках.
*** р < 0.01, ** р < 0.05, * р < 0.1
