CC BY-NC-ND
70
Опыт обучающихся: исследование-опрос как новый подход к оценке качества совместных программ магистратуры Erasmus Mundus
М. А. Балясин, Луиш Карвальо, Джорджиана Михут
Статья поступила в редакцию в сентябре 2015 г.
Все авторы участвовали в написании данной статьи в равной мере, имена приводятся в алфавитном порядке. По всем вопросам относительно настоящего исследования можно обращаться к Джорджиане Михут по адресу: [email protected]
Балясин Михаил Алексеевич
магистр наук, аналитик Института образования НИУ ВШЭ. Адрес: 101000, Москва, Мясницкая ул., 20. E-mail: [email protected] Луиш Карвальо
магистр наук, научный аналитик Университета Порту. Адрес: Reitoria da U. Porto, Praça Gomes Teixeira Porto, 4099-002 Porto, Portugal. Португалия. E-mail: [email protected] Джорджиана Михут магистр искусств, магистр наук, научный ассистент в Центре изучения международного высшего образования Бостонского колледжа. Адрес: Boston College, 140 Commonwealth Ave., Chestnut Hill, MA 02467, USA. E-mail: [email protected]
Аннотация. В последние годы мнения студентов и контроль качества обучения прочно вошли в категорию вопросов, во многом определяющих политический ландшафт Европы. Благодаря опросам студентов, которые проводят учреждения высшего и среднего специального образования, национальные государственные органы и независимые студенческие организации, стейкхолдеры образовательной системы систематически получают информацию о тех много-
численных аспектах ее деятельности, которые требуют усовершенствования. Существенный вклад в пополнение этой информации внес опрос о качестве курсов и предоставляемых студентам услуг (CQSS), который осенью 2013 г. запустил Консультационный совет по качеству курсов (CQAB) при Ассоциации студентов и выпускников Erasmus Mundus (EMA). В отличие от распространенных способов сбора данных, опрос CQSS направлен прежде всего на выявление и сравнение индивидуального опыта обучения, который получают студенты совместных программ магистратуры Erasmus Mundus (EMJMD). В настоящей статье представлены методология и исследовательский инструментарий, которые применялись в ходе второй волны опроса CQSS, охватившей период с 1 июня по 20 июля 2015 г. В рамках опроса проанализирован 2131 ответ студентов из 128 стран, обучающихся по 167 программам. Относительно 78 программ удалось получить мнения десяти и более студентов. Полученная в результате опроса информация может быть использована для улучшения образовательного опыта студентов и повышения качества программ, реализуемых под эгидой Erasmus Mundus. Уроки, которые
извлечены в ходе проведения опроса, могут способствовать более эффективному предоставлению образовательных услуг в рамках других международных программ.
Ключевые слова: опыт обучения, опросы, оценка качества курса, EMJMD.
DOI 10.17323/1814-9545-2016-1-110-134
Курсы магистратуры Erasmus Mundus (Erasmus Mundus Master Courses, EMMC), инициированные в 2003 г. Европейской комиссией, предоставляли студентам уникальную возможность пройти обучение в разных странах с получением степени магистра и двойного диплома. Со времени запуска программы Erasmus Mundus в 2004 г. более 15 тыс. студентов со всех концов света стали обладателями стипендий на обучение более чем по 200 программам двойных дипломов. Курсы EMMC получили продолжение в виде совместных программ магистратуры Erasmus Mundus (Erasmus Mundus Joint Master Degree, EMJMD), а последние, в свою очередь, вошли в ряд образовательных программ Еврокомиссии Erasmus+. Студенты EMJMD, как и прежде, учатся не менее чем в двух учебных заведениях, представляющих разные национальные системы среднего специального и высшего образования. Именно благодаря такому многоинституциональному опыту обучения эти студенты успешнее, чем кто-либо другой, могут предоставить исследователю значимую обратную связь, позволяющую сравнить опыт участия в конкретных системах высшего образования, а также они способны указать, какие аспекты высшего образования в Европе и за ее пределами требуют усовершенствования. В частности, это касается новых образовательных проектов, разрабатываемых совместными усилиями нескольких учебных заведений, а такие проекты становятся все более заметным явлением, что обусловлено увеличением инвестиций в интернационализацию образования [Altbach, Knight, 2007].
Среднее специальное и высшее образование приобретает все более глобальный характер, границы стираются, и абитуриенты, выбирая для себя учебное заведение, больше не ограничиваются национальной системой образования. Некоторые европейские университеты, со своей стороны, вносят вклад в глобализацию образования, пересматривая свои стратегии приема в стремлении увеличить поток иностранных студентов [European Migration Network, 2012]. Появляется все больше совместных программ обучения с выдачей двойных дипломов, за счет этого растет частота и продолжительность периодов мобильности студентов. Таким образом, за время усвоения одного курса наук студенты получают опыт обучения в разных учебных заведениях. Изменения в образовательной среде влекут за собой рост разнообразия студенческого контингента: по этниче-
Balyasin M., Carval-ho L., Mihut G. Student Experience: A New Approach to Evaluate the Quality of Erasmus Mundus Joint Master Degrees through Survey Research (пер. с англ. Н. Мик-шиной). Оригинальный текст был предоставлен авторами в редакцию журнала «Вопросы образования».
скому составу, культуре, религиозной принадлежности, предыдущему опыту обучения и т. д. Итак, подытожим: поскольку учреждения высшего и среднего специального образования все в большей степени ориентируются на международную деятельность и сотрудничество друг с другом, все более настоятельной становится потребность в разработке надежных механизмов контроля качества, которые способствовали бы дальнейшему развитию интернационализации без пренебрежения качеством предоставляемых образовательных услуг.
Оценке учебного процесса самими учащимися посвящено множество работ, но среди них мало исследований с использованием эмпирических данных, а ведь именно они позволяют тщательно проанализировать трудности, с которыми сталкиваются студенты, обучающиеся по одной программе в нескольких учреждениях, представляющих разные системы среднего специального и высшего образования. В настоящей статье предпринята попытка выявить возможности, которые предоставляет для такого анализа Опрос о качестве курсов и предоставляемых студентам услуг (Course Quality Student Services (CQSS) survey), который проводился с целью получить от учащихся исчерпывающую оценку отдельных курсов EMJMD. Также мы ставили своей целью предоставить всем заинтересованным лицам, в том числе студентам, полную информацию об образовательном опыте, который получают мобильные студенты, строящие академическую карьеру. Для студентов тем самым как бы замыкается петля обратной связи [Powney, Hall, 1998], и они узнают об «организационных структурах и культурных механизмах, помогающих воплотить в жизнь их мечты и намерения» [Fielding, 2004. P. 202].
В первом разделе статьи воссоздан контекст разработки и проведения опроса CQSS, во втором представлен обзор исследований, посвященных оценке учебного процесса учащимися, в третьем разделе мы описываем методологию опроса CQSS, поясняем, как именно было организовано его проведение, выборочно приводим некоторые предварительные результаты. В заключении мы высказываем ряд соображений относительно возможного применения данных опроса CQSS.
1. Контекст Консультационный совет по качеству курсов (Course Quality Advisory Board, CQAB) при Ассоциации студентов и выпускников Erasmus Mundus (Erasmus Mundus Student and Alumni Association, EMA) — это независимый совещательный орган, действующий на добровольных началах; никакой материальной выгоды члены CQAB не получают и не преследуют. Членство в CQAB утверждается в ходе конкурсного отбора, который производят члены EMA. Совет CQAB включает два основных подразделения: 1) структура [email protected], помогающая
студентам добиваться решения вопросов, связанных с обеспечением качества образования; 2) команда, отвечающая за проведение опроса CQSS. Совет CQAB дорожит своей автономией в том, что касается проведения исследований и анализа данных, но к распространению информации об опросе привлекает людей со стороны.
Импульсом к созданию CQAB стала растущая обеспокоенность членов EMA качеством образовательного опыта, который получают студенты курсов Erasmus Mundus. Совет располагает целым рядом средств и механизмов, позволяющих собирать информацию о проблемах студентов и взаимодействовать с представителями студентов, обучающихся на различных программах, при этом опрос CQSS представляет собой наиболее систематическую и всеобъемлющую инициативу совета по контролю качества обучения. Потребность в разработке и проведении такого опроса обусловлена многоаспектностью образовательного опыта студентов EMJMD и определяется следующими двумя факторами: явные и повторяющиеся проблемы в обеспечении качества обучения на различных курсах и в целом недостаточное участие студентов в оценке программы EMJMD.
Как показала работа CQAB по обеспечению качества обучения, на разных курсах, при специализации в разных областях знаний и обучении в разных странах студенты сталкиваются с одними и теми же трудностями. И при этом характер этих проблем отличен от тех, с которыми приходится иметь дело студентам, обучающимся по традиционным программам магистратуры только в одном образовательном учреждении. Очевидно, он обусловлен такими аспектами EMJMD, как многоуровневость, многоин-ституциональность и географическая разнородность. Перечисленные отличительные характеристики программы были учтены как во время первой волны опроса CQSS, состоявшейся осенью 2013 г, так и во время второй волны.
Первое ключевое отличие заключается в том, что студенты четко разграничивают курс Erasmus Mundus как таковой и учреждение высшего образования, в котором они учатся. Студенты отмечают, что довольны своим опытом обучения по программе Erasmus Mundus, но разочарованы или считают недостаточно высоким качество обучения в определенном университете, либо они хвалят какое-то одно учебное заведение, но в целом курсом обучения недовольны. В отличие от традиционных курсов, в рамках системы EMJMD консорциум университетов представляется неким незыблемым столпом, стоящим отдельно от всех учреждений-партнеров. Сложность, многоуровневость образовательного опыта в системе высшего образования под эгидой консорциума побудила CQAB сформулировать вопросы так, чтобы по отдельности оценить опыт обучения по курсу EMJMD (под эгидой консорциума) и институциональный опыт студентов.
Во-вторых, обычно оценки и отзывы студентов относятся конкретно и исключительно к тем или иным аспектам деятельности какого-либо одного учебного заведения. Однако опыт студентов EMJMD, повторимся, включает обучение в нескольких учебных заведениях. Поэтому в ходе опроса CQSS респонденты оценивали каждое учреждение, в котором они учились, по отдельности.
В-третьих, студенты программ EMJMD особо подчеркивают специфические трудности, связанные с академической мобильностью, причина которых — необходимость перемещения из одного университета в другой. При этом требуется учитывать различия в законодательных нормах разных стран, вникать в подробности логистики и всякий раз, переезжая из университета в университет, сталкиваться с культурным своеобразием местного сообщества. Эти трудности касаются исключительно студентов с международной академической мобильностью.
В соответствии с рекомендациями и утвержденными Европейской комиссией практиками большая часть программ EMJMD должна предусматривать участие студентов в процедурах оценки качества обучения на уровне курса, и во время выездных сессий экспертных комиссий со студентами определенных курсов должны проводиться консультации [Education, Audiovisual and Culture Executive Agency, 2015]. Однако, как показывает мониторинг жалоб студентов, регулярно осуществляемый CQAB, они не участвуют в достаточной степени в оценке программ EMJMD. Привлечение студентов к этому процессу потенциально очень продуктивно для понимания трудностей, с которыми сталкиваются высшие учебные заведения в Европе и за ее пределами, — а значит, и для более ясного формулирования задач, стоящих перед все более глобализирующейся системой высшего образования с постоянно растущей международной академической мобильностью студентов, т. е. для понимания реальности, которая заявляет о себе все более определенно.
2. Опросы С тех пор как в научный обиход вошло представление о студен-студентов тах как о потребителях образовательных услуг, научная литера-о качестве тура о степени их удовлетворенности образовательным опытом образования переживает настоящий бум. Все шире распространяется признание отзывов студентов как значимого и ценного источника информации о качестве обучения [Hu, Kuh, 2003]. Национальные правительства, учреждения высшего и среднего специального образования и другие заинтересованные стороны, стремясь повысить качество образовательного опыта, часто прибегают к организации интервью со студентами, опросов и исследований фокус-групп. В качестве примеров исследований, в которых серьезное внимание уделяется данным об удовлетворенно-
сти студентов обучением, можно назвать Национальный опрос студентов (National Student Survey) в Великобритании, Австралийский опросник об опыте высшего образования (Australasian Course Experience Questionnaire), Канадский национальный опрос студенческой вовлеченности (Canadian National Survey of Student Engagement) и многочисленные ссылки на их результаты в СМИ. Кроме того, в 2015 г. правительство Финляндии запустило новую схему финансирования высшего образования, согласно которой 3% от общего бюджета распределяются между университетами в зависимости от отзывов студентов. Эта инициатива свидетельствует о важном значении, которое придается мнению студентов как показателю качества образовательных услуг [Ministry of Education and Culture, 2014]. Сбор данных о степени удовлетворенности студентов обучением производится теперь по-разному в зависимости от типа образовательного учреждения [Petruzzellis, D'Uggento, Romanazzi, 2006; Douglas, Douglas, Barnes, 2006] и учебной дисциплины [Al Kuwaiti, Subbarayalu, 2015; Gibson, 2010; Narang, 2012]. Таким образом, данные отражают опыт субпопуляций студентов, в частности различающихся степенью удовлетворенности обучением [Bennett, Kane, 2014] и конкретными составляющими институционального опыта, такими как условия работы в лаборатории [Nikolic et al., 2015] и использование онлайн-обучения [Venter, 2006]. В большинстве случаев, поставив перед собой цель получить от студентов обратную связь и оценить степень их удовлетворенности обучением, исследователи анализируют в тех или иных сочетаниях следующие ключевые факторы, выделенные Т. Гэтфилдом [Gatfield, 2000]: 1) академическая подготовка; 2) жизнь в кампусе; 3) признание (со стороны правительства, партнеров учебного заведения и потенциальных работодателей); 4) управление учебным заведением.
Опросы студентов часто проводят студенческие организации, заинтересованные в информации о различных аспектах образовательного опыта. Так, Европейский студенческий союз организовал недавно опрос QUEST, направленный на выявление мнений студентов со всей Европы о качестве получаемого ими высшего образования [European Student Union, 2013]. Студенческая сеть Erasmus с 2005 г. осуществляет исследования-опросы среди своих участников почти ежегодно, всякий раз задавая новую тему. Например, темы последних лет — международный академический опыт и изучение иностранных языков [Erasmus Student Network, 2014]. Опрос выпускников Erasmus Mundus (Erasmus Mundus Graduate Impact Survey) проводился с целью определить степень мобильности студентов, обучающихся по программам, которые финансирует Европейский союз, в том числе по программам EMJMD [Erasmus Mundus, 2014]. Другая задача этого опроса заключалась в сборе сведений о том, как полученное
образование повлияло на трудоустройство выпускников. Однако опрос Graduate Impact Survey не нацелен на выявление опыта обучения, который получают студенты, проходя программы курсов. Насколько нам известно, на сегодняшний день, за исключением опроса CQSS, не было предпринято ни одной попытки получить от мобильных студентов обратную связь относительно их уникального опыта обучения и провести сопоставительный анализ таких отзывов.
Призванный заполнить этот пробел в данных об образовательном опыте студентов, опрос CQSS построен в соответствии с рекомендациями, изложенным в межправительственном документе «Стандарты и руководящие принципы контроля качества в области высшего образования Европы» (Standards and Guidelines for Quality Assurance in the European Higher Education Area) [Ministerial Conference in Yerevan, 2015]. В основу методологии опроса CQSS заложены следующие принципы: 1) обучение, преподавание и оценка, ориентированные на учащихся; 2) контроль образовательных ресурсов и уровня поддержки студентов; 3) управление информацией; 4) обеспечение общедоступности информации; 5) непрерывный мониторинг и периодический анализ программ.
3. Методология Инициатором проведения и разработчиком опроса CQSS выступил совет CQAB. Для распространения анкет CQSS и сбора ответов использовалось приложение Survey Monkey. Участие в опросе было анонимным и добровольным. Никаких поощрений для увеличения числа респондентов не предлагалось. Ряд разделов анкеты был отведен под описание индивидуального опыта участников. Здесь они могли указать, какой именно курс EMJMD прослушали, в каких учреждениях высшего или среднего специального образования обучались и в каком порядке. Студентам первого года обучения, второго года обучения и выпускникам программ EMJMD были предложены разные вопросы, исходя из специфики их опыта. Представителям особых подгрупп — таких как студенты на стажировке или на производственной практике; студенты, переехавшие вместе со своими родными; студенты, считающие, что их возможности в каком-либо отношении ограничены, — были заданы дополнительные вопросы.
В отличие от исследований с участием студентов, обучающихся только в одном учреждении, анкета CQSS имеет динамичную структуру со множеством разделов, которые повторяются несколько раз на протяжении опроса, позволяя сравнить образовательные учреждения по ряду параметров (например, библиотечные услуги в первом учреждении, во втором и в третьем). Вместе с тем в опроснике есть разделы, направленные на сбор данных об опыте обучения студентов по тому или иному кур-
су EMJMD в целом (например, как этот опыт повлиял на их трудоустройство). Именно так строятся традиционные опросы студентов.
В целях выполнения задач, поставленных CQAB, — повысить ка- 3.1. Схема опроса чество программ EMJMD и качество образовательного опыта студентов — опросник CQSS был разработан с таким расчетом, чтобы оценку получили все основные факторы, влияющие на качество образования по этим программам. Особый акцент был сделан на аспектах обучения, особо значимых для многоуровневых, многоинституциональных и реализуемых в разных географических точках программ (речь идет, например, о таких аспектах организации обучения, как мобильность, диплом и сертификация) и т. д. Опросник CQSS включал вопросы как академического характера (например, об учебном плане, системе оценивания знаний), так и не академического (например, о жилье и визах).
Как и другие опросы, направленные на оценку образовательного опыта (Национальный опрос студентов в Великобритании; Национальные опросы студенческой вовлеченности в США и Канаде), опрос CQSS включал традиционные разделы, которые считаются совершенно необходимыми для анализа опыта обучения: поддержка студентов (например, деятельность отдела по работе с иностранными студентами, поддержка в финансовых и административных вопросах); педагогический подход (например, учебный план, руководство дипломной работой, критерии оценки, механизмы обратной связи, практика) и степень удовлетворенности. При этом опросник был особым образом структурирован —так, чтобы респонденты могли оценить каждый университет консорциума по отдельности (что позволяет провести на основании этих данных межинституциональные сравнения). С другой стороны, некоторые разделы были включены в опрос специально для оценки программ EMJMD в целом (т. е. с учетом совокупного опыта, полученного во всех университетах-партнерах, являющихся членами консорциума).
Все пункты, вошедшие в итоговую версию опросника, прошли трехступенчатую процедуру валидизации:
1) обсуждение членами CQAB, которые подробно анализировали каждый вопрос (используемый язык, цель) до тех пор, пока им не удавалось достичь консенсуса относительно его значимости и целесообразности;
2) после уточнения черновой версии пилотная версия анкеты была выложена на платформе Survey Monkey, а затем отправлена представителям программы EMJMD (студентам или выпускникам курса, которые теперь представляют его на уровне EMA) и всем участникам CQAB. В пилотном опросе CQSS
принял участие 51 студент. Этот этап выявил ошибки, несоответствия и некоторые пункты анкеты, требующие пояснения и усовершенствования. Кроме того, апробация позволила определить, сколько времени требуется на заполнение анкеты. Пилотная версия анкеты CQSS включала дополнительное поле, где респонденты могли описать любые свои проблемы или высказать пожелания; 3) сведения, полученные от участников пилотного опроса, были использованы для подготовки итоговой версии анкеты CQSS.
Таким образом, CQAB удалось разработать опрос, предусматривающий различные варианты и разные уровни владения английским языком, обеспечив тем самым высокую достоверность данных, предоставляемых респондентами. Более подробный анализ достоверности полученных конструктов приводится в разделе «Результаты» настоящей статьи.
Анкета содержала как вопросы, предполагающие ответ в свободной форме, так и вопросы, сопровождавшиеся шкалой Лай-керта («доволен всем», «скорее доволен», «не вполне доволен», «совсем не доволен»). В ряде случаев, когда от респондента требовалось согласие или несогласие с определенным утверждением, использовалась шкала: «согласен», «скорее согласен», «скорее не согласен», «не согласен». Определенной стратегии составления шкалы Лайкерта не существует, и специалисты полагают, что ее структура зависит от того, какие цели стоят перед исследованием [Ма1е11, Jacoby, 1971]. В данном случае ООАВ решил использовать шкалу Лайкерта с четырьмя градациями без нейтрального варианта ответа, но вместо него включить вариант «не относится» ^/А). Благодаря этому удалось обеспечить более надежный сбор данных, поскольку вероятность пропустить или потерять какую-то информацию была снижена, и в то же время у респондентов появилась возможность отложить ответ на вопрос.
Опрос CQSS задумывался как средство сравнения программ EMJMD. Для достижения этой цели необходимо было получить информативные оценки как можно большего количества курсов от как можно большего числа студентов. Чтобы компенсировать потери информации, неизбежные при формализованном опросе, по поводу более сложных или деликатных составляющих процесса обучения были сформулированы вопросы, допускающие ответ в свободной форме. Структура анкеты предусматривала возможность ответов в свободной форме на каждом этапе опроса. Таким образом количественные данные (общие тенденции и показатели) были дополнены глубинной информацией о причинах и мотивах, которыми руководствовались респонденты, и студенты могли рассказать о том, что их беспокоит, поделиться своими мнениями и рекомендациями.
Таблица 1. Тематические разделы опроса CQSS
Тематические разделы Область и уровень оценки Целевая группа
Базовая информация Все респонденты
Поддержка Программы EMJMD в целом; каждое образовательное учреждение, где проходило обучение Все респонденты
Преподавание, обучение и руководство дипломной работой Каждое образовательное учреждение, где проходило обучение Все респонденты
Оценка и обратная связь Программы EMJMD в целом; каждое образовательное учреждение, где проходило обучение Все респонденты
Стажировка/производственная практика, личностное развитие, карьера Программы EMJMD в целом Студенты второго года обучения и выпускники
Степень удовлетворенности Программы EMJMD в целом; каждое образовательное учреждение, где проходило обучение Все респонденты
EMA Востребованность опроса, роль EMA Все респонденты
Анкета включала шесть тематических разделов, обозначенных в табл. 1. Респондентов проинструктировали, что в первую очередь им нужно ответить на вопросы анкеты об их опыте обучения по программе EMJMD в целом, а затем об их опыте обучения в каждом отдельном университете. Некоторые вопросы были адресованы только определенным подгруппам респондентов (например, выпускникам или студентам второго года обучения). В приложении приводятся все пункты всех тематических разделов.
Чтобы увеличить численность участников опроса, анкету CQSS распространяли по различным каналам, но основными партнерами CQAB в проведении опроса стали координаторы и представители курсов EMJMD. Кроме того, члены EMA получали сообщения с уведомлениями по внутренним каналам ассоциации. Представители Европейской комиссии способствовали проведению опроса, побуждая курсы информировать о нем студентов. Если на том или ином курсе доля ответивших на вопросы анкеты оказывалась очень низкой, использовались дополнительные средства, такие как направление студентов непосредственно на страницы программы в Facebook.
3.2. Структура опроса
3.3. Распространение анкеты
Источник: Панель Survey Monkey.
Рис. 1. Динамика распространения анкеты
300 -
250 200 150 100 50
SSSSSSSSSSSSSSSSSSSSSSSSSSSSSS
CM СО ^t- LO со г^ со CD о см со ^t" LO со
Чтобы стимулировать руководителей программ EMJMD к распространению информации об опросе, на протяжении всего периода сбора данных CQAB каждую неделю публиковал сведения о том, какого уровня достигла доля ответивших на вопросы анкеты на каждом курсе. Эти отчеты служили поводом напомнить администраторам и координаторам курсов об опросе CQSS и переслать его студентам. Результаты всех этих мер представлены на рис. 1 (количество полностью заполненных анкет).
0
4. Результаты Длительность второй волны опроса CQSS составила 7 недель, с 1 июня по 20 июля 2015 г. За это время анкету заполнили 2139 респондентов. Восемь анкет были исключены из общего числа и не анализировались, поскольку их подали дважды одни и те же респонденты. В этих случаях анализировалась только вторая заполненная анкета.
На вопросы анкеты ответили студенты 167 курсов из 128 стран (табл. 2). Среди респондентов было 977 женщин (46%) и 1135 мужчин (54%). Стипендия на обучение по программам Erasmus Mundus была назначена 1674 респондентам (79%), и 457 респондентов (21%) ее не получали. На 78 курсах было по десять или более респондентов. Для анализа представленных в настоящей работе данных было использовано программное обеспечение R [R Core Team, 2015].
Подавляющее большинство заполненных анкет — 1600 (75%) — было получено от студентов, которые начали обучение по программе Erasmus Mundus в 2012-2014 гг. Доля ответивших на вопросы анкеты среди студентов этих лет обучения, получающих
Таблица 2. Распределение полученных в рамках опроса CQSS-2015 ответов по субконтинентам
Субконтинент Количество респондентов (человек) Доля от общего числа опрошенных (%)
Австралазия 13 0,61
Страны Карибского бассейна 12 0,56
Центральная Америка 113 5,30
Центральная Азия 18 0,84
Восточная Азия 317 14,88
Европа 852 39,98
Северная Африка 41 1,93
Северная Америка 103 4,84
Южная Америка 157 7,37
Южная Азия 272 12,76
Южная Африка 96 4,50
Западная Африка 48 2,25
Западная Азия 67 3,15
Другое 22 1,03
Таблица 3. Доля ответивших на анкету CQSS по начальным годам обучения
Начальный год обучения Не перечисленный в следующих колонках 2010 2011 2012 2013 2014
Общее число принятых студентов, которым была назначена стипендия ЕСа - 2141 1917 1923 1966 1379
Заполнившие анкету CQSS в 2015 г. (доля от общего числа студентов, %)ь 284 94 (4,39) 111 (5,79) 226 (11,75) 535 (27,21) 466 (33,79)
a [European Commission, 2013]. b При подсчете учитывались только стипендиаты.
стипендию, составила в среднем 24% (табл. 3). Доля ответивших на вопросы определялась только среди получающих стипендию, поскольку официальных данных о численности студентов EMJMD нет. В других онлайн-исследованиях сходной структуры и без материального поощрения участников получены близкие значения данного показателя [Nulty, 2008], следовательно, в опросе удалось добиться достаточного охвата и избежать систематических ошибок, обусловленных недостатками процедуры распространения и заполнения анкеты. В последнем опросе CQSS доля ответивших от общего числа студентов сопоставима с аналогичными показателями последних лет, но значительно сократилось число респондентов, начавших обучение в более ранние годы. Например, в ходе волны 2013 г был получен 471 ответ от студентов, принятых в 2010 г., а в ходе опроса, данные которого представлены в настоящей статье, удалось получить только 112 ответов от группы, начавшей обучение в 2010 г. Вряд ли стоит этому удивляться: у тех, кто учится сейчас, скорее найдется время ответить на многочисленные вопросы анкеты об их программе обучения.
В онлайн-опросах вопрос о достоверности собранных сведений стоит особенно остро, поскольку у исследователей почти нет средств контроля качества и точности ответов [Wright, 2005]. Имеется несколько косвенных признаков, позволяющих убедиться, что анкеты CQSS действительно заполнили бывшие и нынешние студенты EMJMD и что заполняли они их ответственно. В анкете, которая была размещена на платформе Survey Monkey, респондентов просили создать и ввести уникальный идентификационный номер. Так они получали возможность заполнить анкету за несколько сессий. Эта мера также помогла проследить, на все ли вопросы ответил каждый респондент. 2124 респондента создали уникальные идентификационные коды, и только семеро скопировали номер, приведенный в Survey Monkey в качестве примера. Последующий анализ демографических характеристик, таких как возраст, пол, национальность, подтвердил, что анкеты заполнили разные люди. К тому же выводу привел анализ IP-ад-ресов, зарегистрированных Survey Monkey. Всего был зарегистрирован 1981 уникальный IP-адрес. Проверка демографических данных и введенных ответов в 150 случаях использования идентичных IP-адресов показала, что все они получены от разных людей.
Чтобы проверить, насколько внимательно отнеслись респонденты к заполнению анкеты, анализировалось время, затраченное ими на выполнение этой задачи. Как показали пробные испытания, на вдумчивое заполнение анкеты CQSS требуется 20-25 минут. Среднее время заполнения анкеты у участников опроса составило 26,7 минуты, т. е. респонденты затратили достаточно времени на обдумывание и написание ответов.
Общепринятым показателем надежности базовых конструктов и шкал является альфа Кронбаха [Cronbach, 1951]. Если исследуется сразу несколько конструктов, рекомендуется подсчитывать коэффициент альфа Кронбаха для каждого из них [Tavakol, Dennick, 2011]. По этому принципу вопросы анкеты CQSS были разбиты на группы в соответствии с разными показателями степени удовлетворенности студентов различными образовательными услугами. Безусловной шкалы, которая показывала бы допустимые значения коэффициента альфа Кронбаха, не существует. Однако М. Тавакол и Р. Денник полагают, что максимальное значение коэффициента составляет 0,90, а минимальное, достаточное для того, чтобы считать оцениваемый конструкт надежным, — 0,70. В опросе CQSS из 32 групп вопросов и показателей только для двух альфа Кронбаха оказалась ниже 0,80. Это обнадеживающий результат, к которому, тем не менее, следует отнестись с осторожностью. Как доказал К. Сийтсма, на альфу Кронбаха нельзя полагаться как на показатель надежности базовых конструктов или даже их внутренней непротиворечивости [Sijtsma, 2009]. Более того, в 20 разделах опроса альфа Кронбаха оказалась выше 0,90. Возможно, некоторые вопросы в этих разделах являются избыточными. В целях настоящего исследования коэффициент альфа Кронбаха применялся наряду с другими методами определения валидности данных. Более детальный анализ достоверности и надежности базовых или неявных конструктов не является задачей настоящей работы и будет выполнен в рамках последующих исследований.
Наконец, определенные выводы о разработанной анкете позволяет сделать тот факт, что 1909 респондентов (91%) указали, что они либо «скорее довольны», либо «довольны» содержанием опроса CQSS, и лишь 181 (9%) респондент ответил иначе. Настолько однозначно положительная реакция в сочетании со всеми другими показателями позволяет утверждать, что, по мнению студентов, содержание опроса CQSS адекватно его целям.
Как видно из приведенного обзора литературы, опрос CQSS на- 4. Обсуждение ходится в русле богатой научной традиции, которая сложилась результатов в оценивании степени удовлетворенности студентов обучени- опроса ем и составляющих их образовательного опыта. В то же время опрос CQSS дал новые и уникальные результаты. Во-первых, он представляет собой единственный инструмент, позволяющий получать срезовые оценки удовлетворенности студентов различными курсами EMJMD. Во-вторых, опрос раскрывает многоуровневый, многоинституциональный и разнородный с точки зрения географии опыт студентов EMJMD.
В настоящее время мы не располагаем данными о фактическом воздействии опроса CQSS, однако полученные результа-
ты допускают разнообразные и взаимодополняющие способы их применения. Во-первых, по тем курсам EMJMD, на которых собрано десять и более анкет, составляются отдельные отчеты. Благодаря отзывам, предоставленным консорциумами университетов после ознакомления с отчетами о первой волне опроса, CQAB удалось добиться большей четкости и целесообразности отчетов по курсам. По запросу координаторов курсов нынешние отчеты включают распределение средних для всех курсов EMJMD, где было собрано десять и более анкет. По каждому показателю мы приводим среднее значение для курса, совокупное среднее значение и распределение средних для всех курсов EMJMD. Новые варианты отчетов обеспечивают дополнительные возможности сравнения показателей. Для этого в них указываются средние значения для всех курсов, по которым получено десять и более ответов, и их распределение. Распределение средних позволяет всем заинтересованным лицам провести более четкую (само)оценку той или иной программы по сравнению с другими программами, реализуемыми под эгидой Erasmus Mundus. В табл. 4 приведен пример такой оценки: указаны данные о количестве респондентов — студентов курса (n), средний балл по каждому параметру в отдельности (среднее значение), среднее значение того же параметра для всех респондентов (т. е. для 2131 респондента) и квартильное распределение результатов для всех курсов EMJMD, по которым получены десять или более ответов. Расчет средних значений основывается на шкале Лай-керта. Вариантам ответов поставлены в соответствие следующие числовые значения:
• «совершенно не доволен» или «не согласен» = 1;
• «недоволен» или «скорее не согласен» = 2;
• «доволен» или «скорее согласен» = 3;
• «доволен всем» или «согласен» = 4.
Таким образом, средний балл по каждому отдельному параметру в табл. 4 варьирует от 1 до 4, и 4 является наилучшим результатом. Такое использование шкалы Лайкерта является в психометрике дискуссионным и обычно не рекомендуется [Boone, Boone, 2012]. Однако таблицы, составленные на основании средних значений, как в данном случае, дают возможность стейкхолдерам по-новому взглянуть на исследуемые явления и усиливают воздействие, которое оказывают полученные в опросе данные на заинтересованных лиц. Другие зарекомендовавшие себя инструменты, такие как U-Multirank, основываются на том же подходе.
В табл. 4 среднее значение по параметру «содержание курса» для курса X составляет 3,13. С таким средним показателем курс X оказывается между квартилями 25% и 50% в распределении курсов, набравших десять или более анкет. Это означа-
Таблица 4. Пример сравнительной таблицы
Курс X n Среднее значение для курса X Среднее значение для всех курсов EMJMD Квартильное распределение средних значений для всех курсов EMJMD
0% 25% 50% 75% 100%
Содержание курса 23 3,13 3,19 2,54 3,03 3,23 3,38 3,70
Запись на занятия 23 3,85 3,42 2,57 3,25 3,44 3,62 3,92
Методы оценки 23 2,74 3,03 2,23 2,88 3,06 3,22 3,76
Информация о практической работе 23 3,00 2,95 2,00 2,80 3,00 3,18 3,57
Стандарты поведения 23 3,55 3,44 2,77 3,28 3,42 3,63 3,90
Расписание 23 3,22 3,13 1,75 2,99 3,20 3,33 3,80
ет, что по крайней мере половина курсов набрали больше баллов по параметру «содержание курса», чем курс X, и не менее 25% курсов набрали меньше баллов. Средний показатель является «шумным», т. е. действительное значение среднего для курса может несколько отличаться от того, которое заявлено в таблице. Поэтому таблицу стоит рассматривать скорее как распределение курсов по четырем категориям — 0-25%, 25-50%, 50-75%, 75-100%, — которое показывает положение каждого курса относительно других курсов EMJMD. Благодаря использованию двух видов представления результатов (таблицы и графики) CQAB упростил сопоставление курсов друг с другом и сбалансировал представление данных в отчете, избежав избыточности визуальной информации.
Лица, ответственные за принятие политических решений, могут воспользоваться результатами опроса CQSS, чтобы определить области, требующие усовершенствования на государственном уровне.
Результаты опроса CQSS также могут служить средством отчетности по курсам EMJMD. Поскольку большинство программ получают финансирование на относительно короткий период (5 лет), в интересах курсов обеспечить образование наивысшего качества на как можно более раннем этапе реализации программы. Демонстрация успеха с помощью результатов опроса CQSS может способствовать экономической устойчивости курсов вне зависимости от финансирования EMJMD.
Будущие студенты могут воспользоваться результатами опроса CQSS для оценки интересующих их программ. Это не рейтинг как таковой, поскольку CQAB не составляет таблицы «лучших» или «худших» курсов по какому-либо параметру. Но по результа-
Рис. 2. Результаты по выбранным показателям для одного из университетов консорциума (%)
(Насколько полезной для вас оказалась каждая из следующих организационных единиц во втором университете?)
Другие студенты
Отдел по работе с иностр. студентами
Услуги здравоохранения Библиотека
Материальная база университета
Административные работники
Преподавательский состав
Студенческие ассоциации
Система взаимопомощи или тьюторства
4 |
23
10 :
9 I
!
Мало полезной
32
9 | 9
Не очень полезной
77
90
100
96
91
100
100
68
83
Очень полезной
там опроса CQSS можно, во всяком случае, сориентироваться, какие аспекты выбранной программы являются сильными, а какие слабыми. Главная цель предоставления этой информации студентам — дать им возможность заранее подготовиться к трудностям, с которыми они могут столкнуться в ходе обучения по программам EMJMD. Стремясь обеспечить свободный доступ к результатам опроса, CQAB принял решение разместить их онлайн.
Наконец, отчеты могут использовать сами EMJMD, поскольку в них приводятся данные по каждому университету консорциума. Эта информация позволяет осуществлять изменения с опорой на фактологический материал и совершенствовать деятельность любого отдельно взятого университета в любом направлении. Таким образом, администраторы и координаторы курсов получают представление о ключевых задачах, требующих их внимания, что способствует большей действенности и эффективности принятия решений. В доказательство этого утверждения на рис. 2 и 3 приводятся сведения о двух университетах одного и того же консорциума с одним и тем же набором параметров. Рисунки выполнены с использованием пакета likert в ПО R [Вгуег, Speerschneider, 2014].
Разница в параметрах на двух рисунках объясняется тем, что не все студенты ответили на каждый предложенный вопрос. В опросе студентов второго университета (рис. 3) оценку по пара-
Рис. 3. Результаты по выбранным показателям для другого университета консорциума (%)
(Насколько полезной для вас оказалась каждая из следующих организационных единиц в третьем университете?)
Совершенно бесполезной
Мало полезной
Не очень полезной
I 7
Очень полезной
Другие студенты
Материальная база университета
Административные работники
Преподавательский состав
Отдел по работе с иностр. студентами
Библиотека
метрам «система взаимопомощи или система тьюторства», «студенческие организации» и «услуги здравоохранения» дали менее 10 респондентов.
Каждый курс EMJMD уникален в нескольких отношениях (например, по характеристикам учащихся и консорциума университетов), и выявить эту уникальность с помощью стандартизированных опросов достаточно трудно. Так что использовать результаты опроса CQSS следует осмотрительно, и необходимо проводить перекрестную проверку полученных с помощью опроса данных по другим каналам (например, финансовым отчетам, интервью, фокус-группам и т. д.). Помимо количественных оценок в опросе CQSS респонденты давали и ответы в свободной форме на ряд вопросов, например: «Как можно было бы изменить к лучшему опыт адаптации и интеграции студентов?» Благодаря им было получено множество систематических рекомендаций и предложений. Эта информация может быть особенно полезна для координаторов ЕМЛМЭ и поможет им в усовершенствовании курсов.
Авторы опроса намеренно не нацеливали анкету CQSS на составление рейтинга курсов. Сейчас, когда рейтинги являются повсеместно признанным и популярным средством сравнения университетов, такое решение следует признать довольно необычным. Однако CQAB с уважением относится ко всем особенностям любой отдельно взятой программы и предоставляет стейкхолдерам самостоятельно принимать решения. CQAB видит свою роль в том, чтобы собрать и предоставить всем заинтересованным лицам описательные данные, которые позволяют
судить об основных тенденциях в деятельности курсов EMJMD — как положительных, так и отрицательных.
5. Заключение Изучение мнений студентов о полученном опыте обучения — важный шаг в понимании общего качества курса. Такое понимание имеет особое значение для студентов курсов EMJMD, поскольку у них меньше времени, чем у обычных студентов магистратуры, на то, чтобы приноровиться к специфике образовательного учреждения или страны, где они проходят обучение. Благодаря опросу CQSS все заинтересованные лица получают инструмент для анализа, а также возможность сравнить опыт обучения студентов EMJMD.
Для политиков в сфере образования опрос CQSS интересен с точки зрения задач, общих для всех курсов EMJMD. Представители программ узнали мнения студентов обо всех учебных заведениях своего консорциума и получили в свое распоряжение сравнительные данные обо всех других курсах EMJMD.
В конечном счете опрос CQSS был разработан и проведен советом CQAB, чтобы замкнуть цикл обратной связи между студентами курсов EMJMD и другими стейкхолдерами. Отсутствие четкой обратной связи исследователи часто связывают с «циклом безучастности» [Maxwell Stuart, 2015] или отчуждением [Mann, 2001], отрицательно влияющим на всех, кто так или иначе связан с курсом. Опрос CQSS является важным средством усиления вовлеченности студентов в жизнь курсов EMJMD.
Литература 1. Altbach P. G., Knight J. (2007) The Internationalization of Higher Education: Motivations and Realities // Journal of Studies in International Education. Vol. 11. No 3-4. P. 290-305.
2. Al Kuwaiti A., Subbarayalu A. V. (2015) Health Science Students' Perception about Research Training Programs Offered in Saudi Universities // Quality Assurance in Education. Vol. 23. No 2. P. 196-210.
3. Bennett R., Kane S. (2014) Students' Interpretations of the Meanings of Questionnaire Items in the National Student Survey// Quality in Higher Education. Vol. 20. No 2. P. 129-164. D0I:10.1080/13538322.2014.924786
4. Boone H. N., Boone D. A. (2012) Analyzing Likert Data // Journal of Extension. Vol. 50. No 2. P. 1-5.
5. Bryer J., Speerschneider K. (2014) likert: Functions to Analyze and Visualize Likert Type Items. R Package Version 1.2. http://CRAN.R-project.org/ package=likert
6. Cronbach L. J. (1951) Coefficient Alpha and the Internal Structure of Tests // Psychometrika. Vol. 16. No 3. P. 297-334.
7. Douglas J., Douglas A., Barnes B. (2006) Measuring Student Satisfaction at a UK University // Quality Assurance in Education. Vol. 14. No 3. P. 251267.
8. Education, Audiovisual and Culture Executive Agency (2015) EACEA Recommendations and Examples of Good Practice.
9. http://eacea.ec.europa.eu/erasmus_mundus/tools/documents/good_ practices/EM_good-practice.pdf
10. Erasmus Mundus (2014) Erasmus Mundus Graduate Impact Survey. http:// www.em-a.eu/fileadmin/content/GIS/Graduate_Impact_Survey_2014.pdf
11. Erasmus Student Network (2014) International Experience and Language Learning. Research Report of ESN Survey 2014. http://esn.org/ESNSur-vey/2014
12. European Commission (2013) Erasmus Mundus Masters Students Selected Each Academic Year, 2004-05 to 2013-14.
13. http://eacea.ec.europa.eu/erasmus_mundus/results_compendia/docu-ments/statistics/cumulative/statistics_by_country_erasmus_mundus_mas-ters_students_selected_each_academic_year,_2004-05_to_2013-14.pdf
14. European Migration Network (2012) Immigration of International Students to the EU. http://www.bamf.de/SharedDocs/Anlagen/DE/Pub-likationen/EMN/SyntheseberichtEEMN-Inform/emn-wp47-studieren-de-drittstaaten-synthese.pdf?__blob=publicationFile
15. European Student Union (2013) QUEST for Quality for Students. Survey on Students Perspective.
16. http://www.esu-online.org/news/article/6068/Quest-for-Quality-for-Stu-dents-Survey-on-Students-Perspectives/
17. Fielding M. (2004)"New wave" Student Voice and the Renewal of Civic Society // London Review of Education. Vol. 2. No 3. P. 197-217.
18. Gatfield T. (2000) A Scale for Measuring Student Perceptions of Quality: An Australian Asian Perspective // Journal of Marketing for Higher Education. Vol. 10. No 1. P. 27-41.
19. Gibson A. (2010) Measuring Business Student Satisfaction: A Review and Summary of the Major Predictors // Journal of Higher Education Policy and Management. Vol. 32. No 3. P. 251-259.
20. Mann S. J. (2001) Alternative Perspectives on the Student Experience: Alienation and Engagement // Studies in Higher Education. Vol. 26. No 1. P. 7-19. D0I:10.1080/03075070020030689
21. Matell M. S., Jacoby J. (1971) Is There an Optimal Number of Alternatives for Likert Scale Items? // Educational and Psychological Measurement. Vol. 31. No 6. P. 657-674.
22. Maxwell Stuart R. (2015) Transnational Student Engagement: The Invisible Students? (Master's Thesis). Tampere: University of Tampere. https://www. academia.edu/14507055/Master_Thesis_-_Transnational_Student_En-gagement_The_Invisible_Studentshttps://www.academia.edu/14507055/ Master_Thesis_-_Transnational_Student_Engagement_The_Invisible_Stu-dents
23. Ministerial Conference in Yerevan (2015) Standards and Guidelines for Quality Assurance in the European Higher Education Area. http://www. eua.be/Libraries/qa-connect/Revised_ESG_approved_May_2015.pdf?s-fvrsn=0
24. Ministry of Education and Culture (2014) Greater Incentives for Strengthening Quality in Education and Research: A Proposal for Revising the Funding Model for Universities as of 2015. http://www.minedu.fi/export/sites/ default/0PM/Julkaisut/2014/liitteet/tr07.pdf?lang=en
25. Narang R. (2012) How do management students perceive the quality of education in public institutions? // Quality Assurance in Education. Vol. 20. No 4. P. 357-371.
26. Nikolic S., Ritz C., Vial P. J., Ros M., Stirling D. (2015) Decoding Student Satisfaction: How to Manage and Improve the Laboratory Experi-
ence // IEEE Transactions On Education. Vol. 58. No 3. P. 151-158. D0l:10. 1109/TE.2014.2346474
27. Nulty D. D. (2008) The Adequacy of Response Rates to Online and Paper Surveys: What Can Be Done? // Assessment & Evaluation in Higher Education. Vol. 33. No 3. P. 301-314.
28. Petruzzellis L., D'Uggento A.M., Romanazzi S. (2006) Student Satisfaction and Quality of Service in Italian Universities // Managing Service Quality: An International Journal. Vol. 16. No 4. P. 349-364.
29. Powney J., Hall S. (1998) Closing the Loop: The Impact of Student Feedback on Students' Subsequent Learning. Glasgow: The SCRE Centre, University of Glasgow.
30. R Core Team (2015) R: A Language and Environment for Statistical Computing. Vienna: R Foundation for Statistical Computing. https://www.R-pro-ject.org/
31. Sijtsma K. (2009) On the Use, the Misuse, and the Very Limited Usefulness of Cronbach's Alpha // Psychometrika. Vol. 74. No 1. P. 107-120.
32. Tavakol M., Dennick R. (2011) Making Sense of Cronbach's Alpha // International Journal of Medical Education. No 2. P. 53-55.
33. Venter A. (2006) Student Involvement and Empowerment in Quality Assurance in Distance Education in South Africa // South African Journal of Higher Education. Vol. 20. No 6. P. 910-918.
34. Wright K. B. (2005) Researching Internet-Based Populations: Advantages and Disadvantages of Online Survey Research, Online Questionnaire Authoring Software Packages, and Web Survey Services // Journal of Computer-Mediated Communication. Vol. 10. Iss. 3.
Базовая информация: демографические данные, профессиональный статус, программы EMJMD и университеты, в которых учился респондент (в том числе сроки обучения, если респондент являлся стипендиатом).
Услуги поддержки: поддержка переезда студентов вместе с родными; поддержка студентов-инвалидов; финансовая поддержка, помощь в случае проблем со здоровьем или в случае неприемлемого поведения/сексуальных домогательств; информация, полученная до начала обучения по программе EMJMD (например, порядок записи на занятия, стандарты поведения, расписание, содержание курса); ориентирование в начале обучения по программе EMJMD; поддержка со стороны преподавателей и администрации учебных заведений, студенческие союзы, тьюторы, специализированные организационные единицы (отдел по работе с иностранными студентами, библиотека и т. д.). Кроме того, применительно к каждому университету оценивались: условия размещения, получения визы, банковские услуги, языковые курсы, медицинское страхование, расходы на проживание, транспортное сообщение и общественные мероприятия.
Преподавание, обучение и руководство дипломной работой: модули учебной нагрузки; развитие навыков; использование на лекциях инновационных технологий; использование стратегий обучения, ориентированных на студентов; поддержка и консультирование по академическим вопросам со стороны лекторов (и в особенности поддержка руководителей дипломных работ).
Оценка и обратная связь: оценка модуля, критерии оценки и классификации, отзывы о системе оценивания, механизмы получения обратной связи от студентов, возможность связаться с координатором курса и его роль в обучении, информация о сертификатах и табелях успеваемости.
Стажировка/производственная практика, личностное развитие, карьера: респонденты оценивали опыт, полученный ими в ходе стажировки/производственной практики (например, ее продолжительность, руководство, материальное обеспечение, значение для карьеры). Кроме того, был задан вопрос, как программа EMJMD повлияла на личностное развитие респондентов (подготовка к рынку труда, социальные навыки, консультирование).
Степень удовлетворенности: удовлетворенность академической подготовкой, удовлетворенность программой EMJMD в целом.
EMA: знание о EMA (в том числе о роли представителей курсов в EMA), целесообразность/качество опроса CQSS.
Приложение Перечень показателей, получивших оценку по результатам
опроса ООББ
Student Experience: A New Approach to Evaluate the Quality of Erasmus Mundus Joint Master Degrees through Survey Research
Authors Mikhail Balyasin
Analyst, Institute of Education, National Research University Higher School of Economics. Address: 20 Myasnitskaya str., 101000 Moscow, Russian Federation. E-mail: [email protected]
Luís Carvalho
Academic Analyst, University of Porto (Portugal). Address: Reitoria da U. Porto, Praca Gomes Teixeira Porto, 4099-002 Porto, Portugal. E-mail: luis.carvalho.s @gmail.com
Georgiana Mihut
Research Assistant, Boston College Center for International Higher Education (USA). Address: Boston College, 140 Commonwealth Ave., Chestnut Hill, MA 02467, USA. E-mail: [email protected]
Abstract Student perspectives and quality assurance have been prominent policy topics in the European policy landscape. Student surveys conducted by tertiary education institutions, national agencies or independent student organizations have systematically provided feedback to stakeholders about numerous aspects that need improvement. Adding to the existing literature, the Course Quality Advisory Board (CQAB) of the Erasmus Mundus Student and Alumni Association (EMA) has launched the Course Quality Student Services (CQSS) survey in the fall of 2013. Unlike existing data collection mechanisms, the CQSS survey focuses on capturing the comparative experience that students undergoing an Erasmus Mundus Joint Master Degree (EMJMD) are excellently positioned to provide. This paper reports on the methodology and aggregated descriptive results of the second wave of the CQSS survey, with data collected between the 1st of June and the 20th of July 2015. CQSS amassed 2131 responses from students of 193 programs and 128 countries. Seventy-one programs managed to obtain 10 or more respondents. Information produced with the CQSS survey can be used to improve students' experiences and enhance quality of programmes in Erasmus Mundus umbrella. Lessons learned can be also used to enhance provision of educational services in other internationally focused programs.
Keywords student experience, survey research, course quality evaluation, EMJMD.
References Altbach P. G., Knight J. (2007) The Internationalization of Higher Education: Motivations and Realities. Journal of Studies in International Education, vol. 11, no 3-4, pp. 290-305. Al Kuwaiti A., Subbarayalu A. V. (2015) Health Science Students' Perception about Research Training Programs Offered in Saudi Universities. Quality Assurance in Education, vol. 23, no 2, pp. 196-210. Bennett R., Kane S. (2014) Students' Interpretations of the Meanings of Questionnaire Items in the National Student Survey. Quality in Higher Education, vol. 20, no 2, pp. 129-164. doi:10.1080/13538322.2014.924786 Boone H. N., Boone D. A. (2012) Analyzing Likert Data. Journal of Extension,
vol. 50, no 2, pp. 1-5. Bryer J., Speerschneider K. (2014) likert: Functions to Analyze and Visualize Likert Type Items. R Package Version 1.2. Available at: http://CRAN.R-project. org/package=likert (accessed 10 February 2016).
Cronbach L. J. (1951) Coefficient Alpha and the Internal Structure of Tests. Psy-chometrika, vol. 16, no 3, pp. 297-334.
Douglas J., Douglas A., Barnes B. (2006) Measuring Student Satisfaction at a UK University. Quality Assurance in Education, vol. 14, no 3, pp. 251-267.
Education, Audiovisual and Culture Executive Agency (2015) EACEA Recommendations and Examples of Good Practice. Available at: http://eacea. ec.europa.eu/erasmus_mundus/tools/documents/good_practices/EM_ good-practice.pdf (accessed 10 February 2016).
Erasmus Mundus (2014) Erasmus Mundus Graduate Impact Survey. Available at: http://www.em-a.eu/fileadmin/content/GIS/Graduate_Impact_Sur-vey_2014.pdf (accessed 10 February 2016).
Erasmus Student Network (2014) International Experience and Language Learning. Research Report of ESN Survey 2014. Available at: http://esn.org/ESN-Survey/2014 (accessed 10 February 2016).
European Commission (2013) Erasmus Mundus Masters Students Selected Each Academic Year, 2004-05 to 2013-14. Available at: http://eacea.ec.europa. eu/erasmus_mundus/results_compendia/documents/statistics/cumulative/ statistics_by_country_erasmus_mundus_masters_students_selected_each_ academic_year,_2004-05_to_2013-14.pdf (accessed 10 February 2016).
European Migration Network (2012) Immigration of International Students to the EU. Available at: http://www.bamf.de/SharedDocs/Anlagen/DE/Pub-likationen/EMN/SyntheseberichteEMN-Inform/emn-wp47-studieren-de-drittstaaten-synthese.pdf?__blob=publicationFile (accessed 10 February 2016).
European Student Union (2013) QUEST for Quality for Students. Survey on Students Perspective. Available at: http://www.esu-online.org/news/arti-cle/6068/Quest-for-Quality-for-Students-Survey-on-Students-Perspec-tives/ (accessed 10 February 2016).
Fielding M. (2004) "New wave" Student Voice and the Renewal of Civic Society. London Review of Education, vol. 2, no 3, pp. 197-217.
Gatfield T. (2000) A Scale for Measuring Student Perceptions of Quality: An Australian Asian Perspective. Journal of Marketing for Higher Education, vol. 10, no 1, pp. 27-41.
Gibson A. (2010) Measuring Business Student Satisfaction: A Review and Summary of the Major Predictors. Journal of Higher Education Policy and Management, vol. 32, no 3, pp. 251-259.
Mann S. J. (2001) Alternative Perspectives on the Student Experience: Alienation and Engagement. Studies in Higher Education, vol. 26, no 1, pp. 7-19. doi:10.1080/03075070020030689
Matell M. S., Jacoby J. (1971) Is There an Optimal Number of Alternatives for Lik-ert Scale Items? Educational and Psychological Measurement, vol. 31, no 6, pp. 657-674.
Maxwell Stuart R. (2015) Transnational Student Engagement: The Invisible Students? (Master's Thesis). Tampere: University of Tampere. Available at: https://www.academia.edu/14507055/Master_Thesis_-_Transnation-al_Student_Engagement_The_Invisible_Studentshttps://www.academia. edu/14507055/Master_Thesis_-_Transnational_Student_Engagement_The_ Invisible_Students (accessed 10 February 2016).
Ministerial Conference in Yerevan (2015) Standards and Guidelines for Quality Assurance in the European Higher Education Area. Available at: http:// www.eua.be/Libraries/qa-connect/Revised_ESG_approved_May_2015.pd-f?sfvrsn=0 (accessed 10 February 2016).
Ministry of Education and Culture (2014) Greater Incentives for Strengthening Quality in Education and Research: A Proposal for Revising the Funding Mod-
el for Universities as of 2015. Available at: http://www.minedu.fi/export/sites/ default/0PM/Julkaisut/2014/liitteet/tr07.pdf?lang=en (accessed 10 February 2016).
Narang R. (2012) How do management students perceive the quality of education in public institutions? Quality Assurance in Education, vol. 20, no 4, pp. 357-371.
Nikolic S., Ritz C., Vial P. J., Ros M., Stirling D. (2015) Decoding Student Satisfaction: How to Manage and Improve the Laboratory Experience. IEEE Transactions On Education, vol. 58, no 3, pp. 151-158. doi:10.1109/TE.2014.2346474
Nulty D. D. (2008) The Adequacy of Response Rates to Online and Paper Surveys: What Can Be Done? Assessment & Evaluation in Higher Education, vol. 33, no 3, pp. 301-314.
Petruzzellis L., D'Uggento A.M., Romanazzi S. (2006) Student Satisfaction and Quality of Service in Italian Universities. Managing Service Quality: An International Journal, vol. 16, no 4, pp. 349-364.
Powney J., Hall S. (1998) Closing the Loop: The Impact of Student Feedback on Students' Subsequent Learning. Glasgow: The SCRE Centre, University of Glasgow.
R Core Team (2015) R: A Language and Environment for Statistical Computing. Vienna: R Foundation for Statistical Computing. Available at: https://ww-w.R-project.org/ (accessed 10 February 2016).
Sijtsma K. (2009) On the Use, the Misuse, and the Very Limited Usefulness of Cronbach's Alpha. Psychometrika, vol. 74, no 1, pp. 107-120.
Tavakol M., Dennick R. (2011) Making Sense of Cronbach's Alpha. International Journal of Medical Education, no 2, pp. 53-55.
Venter A. (2006) Student Involvement and Empowerment in Quality Assurance in Distance Education in South Africa. South African Journal of Higher Education, vol. 20, no 6, pp. 910-918.
Wright K. B. (2005) Researching Internet-Based Populations: Advantages and Disadvantages of Online Survey Research, Online Questionnaire Authoring Software Packages, and Web Survey Services. Journal of Computer-Mediated Communication, vol. 10, iss. 3.
