CC BY
45
Анализ результатов курсов КГ по массивам данных
Буравцова А.О.
НИУВШЭ МИЭМ, Департамент компьютерной инженерии buravtsovaao@gmail. сот
Аннотация. Технологии массовых открытых онлайн курсов (МООК) широко распространены на западе, но требуют больше информации о результатах для обоснования пользы такой системы обучения и дальнейшего внедрения. Очный курс компьютерной графики с исследованием методов МООК, проходивший в 2013-2014 годах, был организован для студентов 2 курса, и в итоге было получено значительное количество формализованной информации. Целью данной работы является анализ этих данных и получение закономерностей с помощью инструментов обработки данных (различные сервисы, функции, программы), а также сделаны выводы относительно удовлетворённости студентами курсом.
Ключевые слова: анализ данных, методы оценки МООК, очный курс.
1 Введение
Отличительной характеристикой очного курса «Компьютерная графика» от остальных подобных является массовость: по статистическим данным, в 2013 году обучение прошли 120 студентов, в 2014 — 180. Появилась проблема поиска подходящего метода оценивания всего курса, так как очевидно, что невозможно привлечь к контролю достаточное количество экспертов, и решением такой проблемы являются инструменты проверки, использующиеся в МООК.
В курсе «Компьютерная графика» применялись три метода оценки: автоматическая (проведение вопросов в виде теста), экспертная и пиринговая (для проверки письменных работ в виде эссе). Входными данными в этом случае являются результаты тестов, лабораторных работ, проверки эссе и его выполнения, а также анкеты обратной связи, полученные после прохождения курса.
Изучение методов обработки данных является отдельной частью работы. Предполагается исследование различных вариантов, таких как Google Fusion Tables, Google Chart, Sap Lumira, Pover Pivot, их оценка по пяти основным критериям: возможности различного доступа к данным, работа с данными, хранение в облаке, визуализация, анализ и доступность, краткие выводы о наиболее удобном использовании каких-либо вариантов, которые будут применяться в последующем анализе и визуализации данных.
Задачей данной работы является анализ работы студентов, выявление закономерностей, присущих разным методам оценки, что актуально для дальнейшего усовершенствования курса и организации курсов МООК.
2 Литературный обзор
Массовые открытые онлайн курсы (МООК, от англ. МООС - Massive Open Online Courses), появились летом 2012 года. С их созданием появилась проблема поиска подходящего метода оценивания всего курса, и очевидно, что такая же проблема у всех курсов, в которых участвует большое количество студентов.
Основными методами на сегодняшний день являются:
■ экспертная оценка (стандартный метод оценки);
■ автоматическая оценка {machine/automated grading; используется при автоматическом сборе данных в тестовом виде);
■ пиринговая оценка/взаимоконтроль [1] (peer grading, состоит в оценке конечного результата другими студентами и применяется в основном для оценки письменных заданий);
■ самоконтроль {self-assessment) [2];
Согласно исследованию журнала The Chronicle of Higher Education выявлено, что автоматическая оценка вызывает у большинства положительную реакцию. 74% опрошенных использовали этот метод оценки; 67,1% находят этот способ «очень надёжным», 30,1% считают его «отчасти надёжным». Результат же пиринговой проверки: 34% использовали этот метод, 25,8% посчитали его «очень надёжным», 71% ответили «отчасти надёжный». [3]
Пиринговая оценка - многообещающая альтернатива со множествами преимуществ: она обеспечивает не только результат проверки, но также помогает студенту увидеть работу с точки зрения эксперта и вовлечь его в изучение материала.
Результаты другого опроса (по МООК «Mathematical Thinking», «Programming Python», «Listening to World Music», «Fantasy and Science Fiction», «Sociology») получили ещё более положительные отзывы. Учитывая то, что около шести тысяч студентов выполнили минимум одно задание и участвовали в пиринговой оценке, корреляция между оценками пиров и экспертов была г = 0.73, а разница между их оценками составила всего 3% (баланс между положительными и отрицательными значениями был примерно соблюдён). В конце курса общая оценка пирингового метода была 6 баллов из 7.
По данным других курсов общее различие между пиринговой и экспертной оценкой составляло 12.4%.
3 Анализ данных
Сбор данных в курсе «Компьютерная графика» являлся практически полностью автоматизированным: при проверке тестовых заданий использовалась автоматическая оценка, и только при проверке эссе, кроме студентов, участвовали ассистенты и эксперт: были задействованы пиринговый и экспертный методы оценки. [4] Результатом было довольно большое количество статистических данных, и для выявления закономерностей решено было использовать построение гипотез и их доказательство с помощью различных средств визуализации и анализа данных.
3.1 Анализ средств
Были изучены разные сервисы, приложения и функции, такие как Google Fusion Tables, Sap Lumira, Power Pivot и проведено их сравнение. Главными критериями были такие аспекты, как доступность, простота понимания, спектр применимых действий, возможности визуализации и анализа разных типов входных данных. Выводы относительно этих средств содержатся в Таблице 1, также были соданы краткое описание и вывод о возможностях и удобствах анализа либо визуализации данных.
Google Fusion Tables — экспериментальный сервис от Google для визуализации данных, позволяющий собирать таблицы в один документ, разными способами представлять их и давать к ним доступ. Действия, предлагаемые данным сервисом, можно обобщить в три основные функции: способы распространения данных, работа с данными, хранение данных в облаке.
Краткое описание: на данный момент сервис является бесплатным, хранение данных осуществляется на серверах Google', широкие возможности для доступа к данным, распространения файла и для наглядной визуализации данных (диаграммы). Однако минусом является неудобная реализация графиков и ограниченные параметры фильтрации.
Визуализация или анализ: затруднителен анализ данных; что касается визуализации — GFT довольно удобны, так как сразу предлагают варианты построения графиков и диаграмм без предварительной подготовки данных, но параметры осей ограничены и не всегда позволяют выполнить конечную цель визуализации.
Sap Lumira — приложение для визуализации данных из MSExcel. Доступна бесплатная 30-ти дневная версия. SAPL — это проработанное приложение для визуализации данных, которое имеет более расширенный функционал, чем GFT.
SAPL доступны те же функции, что и GFT, однако важным отличием является ограниченность распространения данных: их встроить в конечном виде на сайт, доступна только визуализация через приложение. Также, у SAPL больше возможностей для редактирования данных.
Краткое описание: платное (доступен бесплатный функционал на 30 дней) приложение, очень удобно для визуализации практически всех типов данных. Минусом является закрытый тип распространения файлов для общего доступа, возможный только внутри предоставляемого облачного сервиса SAP HANA One зарегистрированным там пользователям.
Визуализация или анализ: SAP Lumira предоставляет широкие возможности как для анализа, так и для визуализации данных.
Power Pivot (более поздняя версия: Power View) — встроенная в MSExcel функция для отображения табличных данных. Есть ограничения: доступна в версиях MSOfjice не выше 2010; для 2013 существует другое приложение Power View. Так как это встроенная в приложение функция, её возможности ограничены в сравнении с другими инструментами: есть только функция редактирования данных.
Краткое описание: бесплатная функция с высокой доступностью, работать с которой удобно при обработке больших массивов данных. Нет возможностей общего доступа и хранения в облаке (т. к. это не приложение и не сервис).
Визуализация или анализ: основным приложением этой функции является MSExcel, который предоставляет широкие возможности для анализа данных. Визуализация данных требует их подготовки, но даёт множество вариантов для построения диаграмм и графиков.
В Таблице 1 представлен сравнительный анализ этих трёх сервисов, которые использовались для исследовательской части работы.
Таблица 7. Сравнение средств визуализации и анализа
GFT Sap Lumira Power Pivot
Доступ к данным +++ + -
Работа с данными ++ +++ +++
Хранение в облаке +++ + -
Визуализация ++ +++ ++
Анализ + +++ ++
Доступность +++ + ++
«+++» — наивысший возможный балл оценки. Как видно из сравнения, наиболее удобным средством для исследования является GFT, хотя в некоторых случаях более целесообразно использовать остальные варианты.
3.2 Гипотезы и анализ результатов
Гипотеза 1. Курс 2014 года был более сбалансирован по сложности по сравнению с курсом 2013 года.
Для доказательства этого утверждения были представлены закономерности успеваемости студентов двух разных годов: 122 студента в 2013 году и 174 студента в 2014 году. Как видно по Рисунку 1, более
половины студентов 2013 года получили автомат, что означает — курс не был рассчитан на такой уровень аудитории. В 2014 году распределение уже более здоровое — автомат получили меньше половины.
2013 атк! 2014 Ъу Студект
0 2013 •2014
Студент
Рис. 9. Успеваемость, 2013-2014 гг.
На Рисунке 2 более наглядно показан процент студентов, получивших автоматы, зачёт и незачёт 2013 и 2014 годах. Как следует из диаграмм, после проведения экзамена в 2013 году 70% получили автомат, в 2014 — 40%. При этом процент людей, получивших незачёт, в 2014 году меньше, даже при учёте того, что курс оказался сложнее, а значит можно сделать вывод о том, что в 2014 году организация курса эффективнее.
2013
2014
Рис. 2. Процент успеваемости учеников
Основываясь на успеваемости студентов, можно сказать что гипотеза подтверждена. Хотя имеет место быть недостаток данных, так как такое распределение оценок может зависеть не только от содержания курса, но и от уровня образованности аудитории курса.
Гипотеза 2. Существует разброс оценок обратной связи у студентов 2013 и 2014 годов; более положительные у студентов 2013 года.
Основываясь на распределениях успеваемости, логично предположить, что и разброс оценок обратной связи окажется в зависимости от успеваемости. На Рисунке 3 представлено распределение оценок студентов первой лекции, взятой для примера. Низшая оценка у студентов 2013 — «4», у 2014 — «5», однако по количественной части можно сказать, что различия несущественные. На Рисунке 4 представлена оценка студентами первой лабораторной работы, и ситуация обратная: низшая оценка у студентов 2014 года, «2», однако процент поставивших наивысший балл почти на 10% больше, чем в 2013 году.
2013 2014
Рис. 3. Обратная связь: лекция №1
2013 2014
Рис. 4. Обратная связь: лабораторная работа 1
Однако наиболее важным измерением является, конечно же, оценка всего курса. Как видно на Рисунке 5, в 2014 году студентов, поставивших «10» и «9» больше примерно на 5%, однако по такому распределению сложно судить, поэтому обратимся к среднему арифметическому баллу. В 2013 году этот балл равнялся 8,32, в 2014 году — 8,42. Основываясь на значении всех трёх диаграмм, можно сделать вывод: разброс действительно существует, однако учащиеся 2014 года ставили более высокие оценки. Это означает, что первая часть гипотезы подтверждена, вторая же — опровергнута.
2013 2014
Рис. 5. Обратная связь: оценка всего курса
Гипотеза 3. У студентов, которые высоко оценили курс, хорошая успеваемость по нему.
Логично сделать и такое предположение. На Рисунках 5-6 в сравнении показаны успеваемость, отсортированная по убыванию, и оценки обратной связи за курс студентов 2013 года, взятого для примера. Как видно, не прослеживается никакой чёткой зависимости: утверждение о том, что студенты с высокой успеваемостью ставят высокие оценки за курс, верно, однако есть и низкие оценки. Также есть студенты с низкой успеваемостью, которые поставили высокую оценку курсу, но таких мало. Для подтверждения этой гипотезы недостаточно данных, так как студенты с низкой успеваемостью не присылали анкеты обратной связи, поэтому можно сказать, что гипотеза подтверждена частично.
120.00 -
100.00 -
30.00 -
о £
£ 60.00 -о
40.00 -
20.00 -
0.00 -
-20 0 С -т—|—|—|—|—|—|—I—|—|—|-1—|—|-1—|—|—|—|—|—|—|—|—|—|—I—|—|—I—|—|—|-1—|—|—1—|—|—|—|—|—|—|—I—|—|—|—|—|—|—|—|—|—|-1—|—|—
1829153Е41283048202224472Т3337545?46134358455611121321263230515724 5 7 10 9 4 55313652 1 2317 2 40 50 3 25 8 3916 6 53494260441461
Студент
Рис. 5. Успеваемость, 2013 год
12 1-
10
8
6
4
18 29 15 35 41 23 30 48 20 22 24 47 27 33 37 54 59 а Б 19 43 53 45 56 11 12 13 21 26 32 38 51 57 За 7 10 9 4 55 31 36 52 1 23 17 40 50 25 8 39 16 53 49 42 60 44 14 61
Рис. 6. Оценка за курс, 2013 год
3.3 Удовлетворённость студентами курсом
Наиболее важная часть этого исследования — выводы об удовлетворённости студентов курсом, что позволит сделать выводы об
эффективности применения методов МООК в курсе «Компьютерная графика» и динамике развития курса. По Диаграмме 1 и арифметическому баллу можно сказать, что курс получил высокую оценку, но не наивысшую, что говорит о наличии недочётов. Значение медианы успеваемости студентов 2013 года — 91 балл, в 2014 году — 68,5 баллов; наивысшие баллы — 134 и 95 баллов. Автомат получили 84 студента в 2013 году, 72 студента в 2014; неудовлетворительную оценку — 16 и 12 студентов соответственно. Подведя черту, можно сказать, что динамика развития курса положительная: даже при учёте того, что курс 2014 года оказался более сложным для аудитории (наблюдалось снижение уровня образованности), студенты этого года ставили более положительные оценки, чем студенты 2014 года, что говорит об изменении содержания курса в лучшую сторону.
4 Заключение
В ходе данной работы были сформулированы и подтверждены графиками, таблицами и диаграммами гипотезы относительно закономерностей, присущих определённым методам оценки, работе студентов в течение курса и обратной связи студентов после окончания курса. Также были изучены инструменты анализа и визуализации данных.
По результатам проведённых исследований можно сделать вывод, что курс с применением элементов МООК получил положительную оценку, и его динамика развития положительна, а сами методы оценивания решают проблему массовости.
Библиографический список
Sandeen С. Assessment's Place in the New MOOC World // Research & Practice in Assessment. 2013. V. 8. P. 1.
Шаталов В.Ф. Куца и как исчезли тройки. М.: Педагогика, 1979. стр. 134
Peer and Self Assessment in Massive Online Classes, ACM Transactions on Computer-Human Interaction, Vol. 20, No. 6, Article 33,2013
Korolev D., Pavolotsky A., Implementation of MOOC methods to university classroom courses, Prt. 1: Innovative Information Technologies in Education. M.: HSE, 2014
