CC BY
42
Компьютерные инструменты в образовании, 2019 № 4: 81-93 УДК: 004.62 http://cte.eltech.ru
doi:10.32603/2071-2340-2019-4-81-93
ПРОЕКТИРОВАНИЕ ИНСТРУМЕНТОВ УЧЕБНОЙ АНАЛИТИКИ С ИСПОЛЬЗОВАНИЕМ ВИЗУАЛИЗАЦИИ НА ОСНОВЕ ПОВЕДЕНЧЕСКИХ, МОТИВАЦИОННЫХ И СОЦИАЛЬНО-СЕТЕВЫХ ДАННЫХ
Мусабиров И. Л.1, старший преподаватель, И ilya@musabirov.info
1 Национальный исследовательский университет «Высшая школа экономики», ул. Союза Печатников, 16,
190008, Санкт-Петербург, Россия
Аннотация
В статье представляется описание подхода к применению визуализации данных в инструментах учебной аналитики при построении университетских курсов. Помимо анализа учебного поведения отдельно в качестве перспективы анализа рассматриваются социально-психологические подходы, в том числе теория ожиданий и ценностей, социально-сетевой подход. Разбирается пример проектирования учебной аналитики с применением современных инструментов анализа и визуализации данных.
Ключевые слова: учебная аналитика, педагогический дизайн, анализ данных, визуализация данных.
Благодарности: Автор благодарит коллег по Научно-учебной лаборатории «Социология образования и науки», студентов специализации «Обработка и анализ данных», работа с которыми мотивировала автора начать этот проект, а также Станислава Позднякова, Виктора Карепина, Дениса Булыгина, Всеволода Сущевского и Павла Окопного за помощь в подготовке визуализаций и обсуждении текста. Предложенный подход был обсужден в рамках семинара «Визуализация образовательных данных» на Летнем институте по учебной аналитике в Таллине, Эстония. Работа выполнена при финансовой поддержке РФФИ (проект № 17-03-00293-ОГН).
Цитирование: Мусабиров И. Л. Проектирование инструментов учебной аналитики с использованием визуализации на основе поведенческих, мотивационных и социально-сетевых данных // Компьютерные инструменты в образовании. 2019. № 4. С. 81-93. doi:10.32603/2071-2340-2019-4-81-93
1. ВВЕДЕНИЕ
Вызовы, стоящие перед университетами в процессе перехода к новым образовательным моделям, требуют улучшения информационного обеспечения процессов проектирования как образовательных программ, так и отдельных специализаций или курсов. Учебная аналитика [1] предоставляет набор концепций и инструментов поддержки педагогического дизайна, однако значимая часть работ и подходов в этой области осно-
вывается преимущественно на автоматически фиксируемых данных об учебном поведении студентов в онлайн или смешанных (blended) окружениях: выполнении заданий, просмотре лекционных видео, другом взаимодействии с учебными материалами.
Одним из новых вызовов для исследователей и практиков в этой области является необходимость агрегировать и совмещать разнородные данные цифровых следов, получая при этом осмысленные результаты об учебной активности студентов [2].
Вместе с тем, распространение смешанных курсов в традиционных университетах накладывает дополнительные требования по учету мотивации и социальной динамики студентов, особенно важные с учетом значительного разброса их уровня подготовки, интересов, профессиональных устремлений.
В этих условиях учёт социальных и социально-психологических факторов способен внести важный вклад в педагогический дизайн и учебную аналитику, требуя от специалистов компетенций в областях социальных и социально-психологических теорий в области образования, анализа мультимодальных социальных образовательных данных, дизайн-теорий и принципов педагогического дизайна.
В настоящей статье обсуждается пример проектирования инструментов учебной аналитики для планирования таких курсов от обсуждения базовых теоретических концепций до прототипирования с использованием средств анализа данных и визуализации, коммуницирующих интерпретацию образовательных данных с точки зрения теорий.
При этом учитываются три группы факторов — учебная мотивация, социальное окружение, учебное поведение, которые вносят вклад в формирование академического результата, в частности как в смешанном обучении (blended learning), так и в условиях курсов, объединяющих смешанные когорты студентов (mixed major classroom). На примере специализации «Обработка и анализ данных» [3] Национального исследовательского университета «Высшая школа экономики» Санкт-Петербург приводится описание применения и внедрения данного подхода.
2. ТЕОРЕТИЧЕСКИЕ РАМКИ В АНАЛИТИКЕ ОБРАЗОВАТЕЛЬНЫХ ДАННЫХ
В данном разделе представлен краткий обзор некоторых подходов, с точки зрения которых можно подходить к анализу учебных данных и проектированию учебной аналитики. При этом преподаватель может как концентрироваться лишь на одном из них, так и комбинировать несколько подходов, исходя из поставленной задачи. Например, для смешанного обучения, совмещающего онлайн-компоненты и традиционный формат учебы, помимо аналитики учебного поведения будут важны и социальные связи студентов (сети дружбы и помощи) и мотивационные установки.
Концепция саморегулируемого обучения (СРО) (Self-Regulated Learning) выступает как один из ключевых подходов к интерпретации данных об учебном поведении, фиксируемых учебными информационными системами [1].
Одним из частых вопросов, возникающих в процессе дизайна учебных систем, является предоставление студенту обратной связи о промежуточных учебных результатах. В связи с появлением и развитием технологий виртуальных учебных окружений и увеличивающейся всепроникаемостью массовых онлайн-курсов появляется все больше процесс-ориентированных данных, фиксирующих учебное поведение студентов. Часто на основе этих данных сразу строятся дескриптивные модели, а также предпринимаются попытки построить предсказательные модели, использующиеся для регуляции
процесса обучения. Однако отсутствие теории, связывающей паттерны поведения с образовательным результатом, делает попытки такого наивного подхода к управлению и дизайну неэффективными.
Таким образом, одним из важных направлений на стыке учебной аналитики и педагогического дизайна является предоставление процесс-ориентированной обратной связи для улучшения поддержки регуляции учебного поведения студентами [4].
Концепция саморегулируемого обучения предполагает, что студент находится в состоянии рефлексии касательно выбранных учебных стратегий и изменяет их соответственно учебным результатам и промежуточной информации об их эффективности [5, 6].
СРО описывает основные процессы, в рамках которых происходит учебная саморегуляция, и дает более прочные основания для их поддержки. Например, в соответствии с компонентами СРО [5], могут быть выделены следующие ключевые сущности для обратной связи [7]:
• Прогресс — показывает, как близок студент к завершению задания.
• Знание предмета — отображает сравнение учебных результатов студента с некоторой целевой группой (например, проектной группой или академической программой).
• Знание учебных стратегий — элемент, напоминающий студенту о доступности нескольких учебных стратегий (например, количество непрочитанных сообщений на форуме, непросмотренных учебных материалов).
• Время — напоминание о крайнем сроке сдачи работы. Дополнительно может быть использовано сравнение с некоторой референтной группой (например, разница в оценках студентов прошлого года, сдавших работу за 5 дней и за несколько часов до крайнего срока).
• Социальный контекст — показывает позицию студента по сравнению с некоторой референтной группой (друзья, класс, курс, проектная группа).
Теория ожиданий и ценностей (ТОЦ) (Expectancy-Value Theory) [9] является важным инструментом анализа структуры учебной мотивации. Её авторы показали связь между переменными, отражающими мотивационный профиль студента (ожиданием успеха и субъективными ценностями курса), и академическими результатами. Учет мотивации и выявление компонентов, непосредственно связанных с оценкой или другими измерениями результативности курсов, позволяет расставлять акценты на полезности, важности и интересности курса адресно, для конкретных групп студентов, нуждающихся в соответствующих интервенциях. Кроме того, если предполагается влияние опыта курса на выбор последующих курсов или карьерных траекторий, ТОЦ может быть дополнена Теорией ожиданий и неподкрепления (Expectation Disconfirmation Theory), которая описывает роль оправданности ожиданий в принятии решений о продолжении выбранной учебной траектории [10]. Эта часть аналитики базируется преимущественно на опросных инструментах, позволяя делать измерения мотивации срезами, а также осуществлять межкурсовые и межкогортные сравнения.
Социально-сетевой подход в образовании фокусируется на связи сетевой структуры дружбы и взаимопомощи среди студентов с образовательными результатами, в частности на эффектах сверстников (peer effects) [11]. Социально-сетевой анализ широко применяется при анализе образовательных достижений [12,13]. В частности, показано, что непосредственное социальное окружение может значимо влиять на образовательные
результаты, а динамика сетей дружбы и помощи играть самостоятельную роль в формировании или компенсации других факторов. Среди прочего, социально-сетевой анализ может быть использован, например, при формировании учебных групп [14].
3. ПРОЕКТИРОВАНИЕ ИНСТРУМЕНТОВ АНАЛИТИКИ И ВИЗУАЛИЗАЦИЯ ДАННЫХ
Подходы к проектированию (дизайн-фреймворки) человеко-компьютерного взаимодействия помогают структурировать процесс создания информационных систем с учетом фокуса на улучшении пользовательского опыта [15].
В последнее время появляется все больше дизайн-фреймворков, непосредственно ориентированных на разработку учебных систем. Такие фреймворки, во-первых, сразу учитывают основных заинтересованных лиц учебного процесса — администрацию, практиков и преподавателей, студентов. Во-вторых, они направлены на использование результатов учебной аналитики в итеративном процессе дизайна учебных курсов [16,17].
Кроме того, развиваются и инструментальные средства, позволяющие использовать итеративные принципы проектирования, заложенные в дизайн-фреймворках. Например, в рамках подхода "Грамматика графики"(Grammar of graphics) [18] появляются новые инструменты визуализации, в том числе в экосистемах R, Python и JavaScript.
Так, в экосистеме R в дополнение к стандартному пакету анализа и визуализации сетевых данных igraph [19] появились новые пакеты визуализации, такие как ggnet2 [20] и ggraph [21], поддерживающие подход на основе грамматики графики.
Развиваются средства композиции визуализаций, например, patchwork [22], в том числе и в целеориентированные приборные панели, например flexdashboard [23], что позволяет на начальных этапах прототипирования объединить несколько статических визуализаций на одном виртуальном холсте.
Кроме того, целесообразным может быть использование инструментов создания интерактивной графики на основе внешних библиотек декларативных визуализаций, например, ggvis [24] или plotly [25]. Наконец, прототипы могут быть развёрнуты как интерактивные приложения и интегрированы в инфраструктуру образовательной аналитики с помощью Shiny1 и Dash2. Последний инструмент позволяет развертывать интерактивные приложения визуализации и на языке Python, позволяя объединять графические средства его экосистемы.
Такой подход позволяет уменьшить издержки, возникающие из-за разрыва обсуждения дизайна, создания прототипов и их оценки, что полезно и для всех заинтересованных лиц. Важным фактором для поддержки принятия решений в педагогическом дизайне является учет когнитивных основ представления данных. Например, авторы [26] описывают случаи, в которых у пользователей, не являющихся экспертами, может возникать иллюзия причинно-следственной связи при работе с визуализациями (causal biases). Работа [27] фокусируется на том, как можно улучшить представление зависящих от времени событий, что релевантно для многих современных виртуальных учебных окружений. Наконец, [28, 29] анализируют, насколько быстро пользователи могут отвечать на вопросы, используя разные типы представления информации о порядке сущностей (столбчатая диаграмма, график Звинка (Zvinca plot), мозаичный график и так далее). Одним из важных результатов является зависимость эффективности результатов
1https://shiny.rstudio.com/
2https://github.com/plotly/dashR
не только от выбранного типа визуализации, но и от выбранного источника данных, что вызывает необходимость учитывать рабочий контекст при выборе визуализации [29]. Наконец, существует набор рекомендаций, направленных на улучшение опыта взаимодействия с визуализацией именно учебных данных [30]. Далее в настоящем разделе мы описываем примеры проектирования визуализаций учебной аналитики для трех рассматриваемых рамок с акцентом на когнитивных аспектах визуализаций с точки зрения поддержки принятия решений, в частности на коммуникации сравнений с референтными показателями, выделении неопределенностей в прогнозных данных, фокусе на интересах конкретной стороны.
Примеры проектирования инструментов анализа учебного поведения показаны на основе данных Открытого университета Великобритании (Open University) [8], содержащего данные по нескольким курсам и дающего возможность быстрого прототипирова-ния на реальных данных. Примеры анализа мотиваций и социально-сетевой структуры сгенерированы на основе модифицированных данных исследовательского проекта НУЛ СОН.
3.1. Анализ учебного поведения
На рис. 1 приведены визуализации для студента (рис. 1а) и преподавателя (рис. 1б). На этом шаге, во-первых, происходит разделение наблюдаемых и предсказанных значений — так, наблюдения, которые система предсказывает, изображены менее насыщенно, что указывает на вероятностную природу предсказания.
Отдельно выделяются категории наблюдений, которые могут быть наиболее ценными для студента или преподавателя. Например, студенту (рис. 1а) показывается ожидаемая оценка учитывая данные студентов предыдущего года и индивидуальные образовательные успехи студента на предыдущих заданиях. Для преподавателя (рис. 1б) показано распределение оценок для заданий, также дополнительно подчеркивая неопределенность предсказаний по будущим заданиям.
Asslgnrnents' scores
Your course (AAA 201preoption for remaining tasks Last year (AAA 2012J]
passed 6 not submitted 19
18 21
I
I
T
Deadline in 2 days
Deadline in 16 days
assessment
task task #2 task #3 task #4 task #5 (predict.) (predict.)
Assignments
(а) Разброс финальных оценок (б) Распределение оценок в зависимости от задания
Рис. 1. Дизайн учебных визуализаций
На основании полученной информации преподаватель или дизайнер могут изменить структуру курса, выделить больше времени на сложные задания или скорректировать их сложность. С другой стороны, с точки зрения СРО, имея информацию о пред-
сказанных результатах по заданиям, студенты получают дополнительный инструмент для саморегуляции обучения (рис. 2а).
О Assessments 7 has successfully passed
100
Ф 75
о so о
« 25
I I
2 3 4 assignment
Don't hesitate to talk
Assessment scores
| Your course: AAA ^^ Oilier courses
0.03 0,02
(а) Дэшборд для студентов
(б) Артефакт 1 для дэшборда преподавателя
Students' VLE activity
Your students are twice more active or forum
than students of other courses
oucontent fonimng homepage
url
s
ш >
glossary oucollaborate
Ratio of VLE activity on your course relative to other courses'
(в) Артефакт 2 для дэшборда преподавателя
Рис. 2. Дэшборд для студентов и преподавателей
В то же время, для преподавателей важным является понимание того, как распределяются оценки в группе (рис. 2в) или насколько активно студенты вовлечены в коммуникацию на форуме (рис. 2б) в сравнении с другими курсами. Это позволяет определить, насколько проектируемый курс отличается по показателем студенческой вовлеченности и успеваемости от других университетских курсов, и может быть использовано для принятия решения об усложнении или упрощении отдельных его частей.
3.2. Анализ структуры мотивации
Стандартным инструментом анализа связей в опросных данных выступают инструменты факторного анализа, моделей структурных уравнений, или байесовских сетей доверия (БСД). В частности, с помощью БСД исследуется изменение отношения к статистике после редизайна структуры курса [31], осуществляется анализ факторов, оказывающих влияние на математические способности [32]. При этом может быть оценена, во-первых, внутренняя структура мотивации, во-вторых, ее связь с учебным поведением и содержимым курса. Таким образом, преподаватели и инструкторы могут учитывать,
какие части курса и как следует менять. Вместе с тем, с точки зрения поддержки педагогического дизайна, отдельная полезность структурных представлений (рис. 3а) ограничена.
(а) Ненаправленный граф, отражающий структуру студенческой мотивации
0.00 0.25 0.50 0.75 1.000.0 0.2 ОХ 0.« 0.0 0.2 0/ 0.6 РгоЬай^у
(б) Распределение условной вероятности уровня ожиданий студента от курса при заданном уровне воспринимаемой студентами сложности курса
Рис. 3. Визуализация структуры учебной мотивации
Однако, на основе БСД структуры мотивации может быть построено дерево сочленений (junction tree) [33], позволяющее как оценить связь структурных компонентов мотивации и факторов интереса, например, вероятностей продолжения образовательной траектории для разных групп студентов, так и визуализировать их в понятном виде (рис. 3б).
Например, в нашем случае (рис. 3а) одним из важных факторов удовлетворенности курсом является стартовый интерес и его субъективное неподкрепление, а также неподкрепление полезности. При этом они могут иметь большой разброс для разных групп студентов. На основе такого анализа может быть принято решение о выделении тематических блоков или концентраций для того, чтобы уменьшить падение воспринимаемых интереса и полезности за счет выравнивания содержания с интересами групп студентов.
3.3. Социальные связи
Необходимость анализа социальных связей по результатам опросов в проектировании учебных курсов может быть вызвана несколькими факторами.
Во-первых, на основе анализа социальных связей по опросным данным можно сформировать учебные или проектные группы студентов. В этом случае целевой переменной может являться психологический комфорт студентов.
Во-вторых, неравенство в доступе к сетям дружбы и помощи может выходить за рамки психологических особенностей студентов и иметь структурный характер, например, в смешанных группах (mixed-major classrooms). При этом можно оценить связь структурной позиции и образовательных результатов (рис. 4). Например, оценка (от 0 до 10) и учебная программа студентов могут быть использованы в качестве переменных. В визу-
ализации применены метрики центральности hub и authority, показывающие потенциальные особенности обмена информацией в группе.
GPA authority_score
(а) Срез структуры студенческих связей по заданным переменным Waves
* -аннп ам а^пмо * ОКогу ■ ¡ууИц-л • ртМк^ ЯЫ«. ■ ыклиоэт 1к|ге п О О Ч О ® О 9РЭ о 1 > Н о ■У
рПМГЭП
• АЫЛйМг^ > «1 ■ гпагаустир-и а риЫк рЛЦ
(б) Развитие структуры студенческих межпрограммных связей Рис. 4. Визуализация сетей дружбы
При этом оценить динамику образования связей между группами интереса можно по срезам сетевых данных в динамике. На рис. 4б показан пример образования межпрограммных связей в процессе курса. В случае высокой гетерогенности дружеских связей по учебной программе можно предположить, что студенты разных направлений будут сравнительно равномерно распределены в том случае, если формирование учебных команд производится без вмешательства преподавателя. В то же время, высокая гомофи-лия дружеских связей по учебным направлениям может быть признаком того, что необходимо совершить интервенцию, чтобы разнообразить состав проектных групп. По ди-
намическим данным можно оценить роль интервенций (например, групповых заданий в смешанных группах).
С когнитивной точки зрения, для сетевых визуализаций важным является, например, решение о методе группировки, виде планировки (layout) сети для ее интерактивной инспекции [34]. Дизайн с возможностью интерактивного выбора нескольких опций позволяет пользователю оперативно приспосабливать артефакты в зависимости от задачи (рис. 5). Так, например, планировка сети Force-directed (в частности, Fruchterman-Reingold) удобна для общего обзора всей сети, тогда как эгоцентрические планировки позволяют провести исследование ближайших соседей выбранного узла, а динамические планировки показывают эволюции сети.
'1
Select by id
1
г
3
4
5
е
7
в
9
10
11
12
13
14
15
16
17
1в
19 -
(а) Подсвечивается ближайший круг (б) Подсвечивается кластер,
объявленных друзей студента к которому принадлежит студент
Рис. 5. Выбор основания для интерактивной группировки данных сети
На рис. 5б показаны пересекающиеся кластеры (communities), к которым принадлежат студенты на основании указанных друзей. С помощью выпадающего списка (рис 5а) возможно подсветить одно из сообществ с выведением более подробной информации по нему. На индивидуальном уровне возможно выяснение наиболее изолированных студентов, например, для того, чтобы обратить внимание учебных ассистентов на отстающих студентов или, например, сравнить соотношение изолированных от основной части сети студентов настоящей концентрации курсов с предыдущей.
4. ЗАКЛЮЧЕНИЕ
В настоящей статье на примерах продемонстрирован подход к проектированию средств учебной аналитики, учитывающих связи между теоретическими моделями, эмпирическими данными и созданием основанных на них инструментов учебной аналитики. Используя современные инструментальные средства, можно быстро прото-типировать новые инструменты и визуализации на основе все более распространенных образовательных данных. Однако создание действительно полезных в педагогическом дизайне инструментов требует учета и согласования целей заинтересованных лиц (stakeholders), интерпретации образовательных данных на основе социальных и социально-психологических теорий и использования когнитивных особенностей визуализации для принятия решений.
Список литературы
1. Siemens G., Baker R. S. Learning analytics and educational data mining: towards communication and collaboration // Proceedings of the 2nd International Conference on Learning Analytics and Knowledge. Canada, Vancouver, 2012. P. 252-254. doi: 10.1145/2330601.2330661
2. OchoaX. Multimodal learning analytics//The Handbook of Learning Analytics. Eds. A. C. Lang, G. Siemens, A. Wise, and D. Gasevic. 2017. P. 129-141. doi: 10.18608/hla17
3. Мусабиров И. Л., СироткинА. В. Специализация «Анализ данных». Виртуальное образовательное окружение с поддержкой средств образовательной аналитики // Компьютерные инструменты в образовании. 2016. № 4. С. 32-42.
4. Sedrakyan G., MalmbergJ., Verbert K., Jarvela S., Kirschner P. A. Linking learning behavior analytics and learning science concepts: designing a learning analytics dashboard for feedback to support learning regulation // Computers in Human Behavior. 2018. doi: 10.1016/j.chb.2018.05.004
5. Butler D. L., Winne P. H. Feedback and self-regulated learning: A theoretical synthesis // Review of educational research. 1995. № 65(3). P. 245-281. doi: 10.3102/00346543065003245
6. Zimmerman B. J. Self-regulated learning and academic achievement: An overview // Educational psychologist. 1990. № 25(1). P. 3-17. doi: 10.1207/s15326985ep2501_2
7. Matcha W., Gasevic D., Pardo A. A Systematic Review of Empirical Studies on Learning Analytics Dashboards: A Self-Regulated Learning Perspective // IEEE Transactions on Learning Technologies. 2019. P. 1-20. doi: 10.1109/TLT.2019.2916802
8. Kuzilek J., Hlosta M., Zdrahal Z. Open University Learning Analytics dataset // Sci. Data. 2017. 4:170171. doi: 10.1038/sdata.2017.171
9. Иванюшина В. А., Александров Д. А., Мусабиров И. Л. Структура академической мотивации: ожидания и субъективные ценности освоения университетского курса // Вопросы образования. 2016. № 4. С. 229-250. doi: 10.17323/1814-9545-2016-4-229-250
10. Lee M. C. Explaining and predicting users' continuance intention toward e-learning: An extension of the expectation-confirmation model// Computers & Education. 2010. Vol. 54. № 2. P. 506-516.
11. Marsh H. W., Kuyper H., Morin A. J., Parker P. D., Seaton M. Big-fish-little-pond social comparison and local dominance effects: Integrating new statistical models, methodology, design, theory and substantive implications // Learning and Instruction, 2014. Vol. 33. P. 50-66.
12. Докука С. В., Валеева Д. Р., Юдкевич М. М. Коэволюция социальных сетей и академических достижений студентов // Вопросы образования. 2015. № 3. С. 44-65.
13. Валеева Д. Р., Польдин О. В., Юдкевич М. М. Связи дружбы и помощи при обучении в университете // Вопросы образования. 2013. № 4. С. 70-84.
14. Пронин А. С., Веретенник Е. В., Семенов А. В. Формирование учебных групп в университете с помощью анализа социальных сетей // Вопросы образования. 2014. № 3. С. 54-73.
15. Abras C., Maloney-Krichmar D., Preece J. User-centered design / Encyclopedia of Human-Computer Interaction. Bainbridge W. ed. Thousand Oaks: Sage Publications, 2004. P. 445-456.
16. Hernández-Leo D., Martinez-Maldonado R., Pardo A., Muñoz-Cristóbal J. A., Rodríguez-Triana M. J. Analytics for learning design: A layered framework and tools // British Journal of Educational Technology. 2019. Vol. 50. № 1. P. 139-152. doi: 10.1111/bjet.12645
17. Muñoz-Cristábal J. A., Hernandez-Leo D., Carvalho, L., Martinez-Maldonado R., Thompson K., War-dak D., Goodyear P. 4FAD: A framework for mapping the evolution of artefacts in the learning design process // Australasian Journal of Educational Technology. 2018. Vol. 34. № 2. P. 16-34.
18. Wickham H. A layered grammar of graphics // Journal of Computational and Graphical Statistics. 2010. Vol. 19. № 1. P. 3-28. doi: 10.1198/jcgs.2009.07098
19. Igraph: Network Analysis and Visualization (version 1.2.4.2). URL: https://CRAN.R-project.org/ package=igraph (дата обращения: 07.11.2019).
20. SchloerkeB, Crowley J. et al. GGally: Extension to "Ggplot2" (version 1.4.0). 2018. URL: https://CRAN. R-project.org/package=GGally (дата обращения: 07.11.2019).
21. Pedersen T. Ggraph: An Implementation of Grammar of Graphics for Graphs and Networks (version 2.0.0). 2019. URL: https://CRAN.R-project.org/package=ggraph (дата обращения: 07.11.2019).
22. Pedersen T. Patchwork: The Composer of Plots (version 1.0.0). 2019. URL: https://CRAN.R-project.org/ package=patchwork (дата обращения: 07.11.2019).
23. Iannone R., Allaire J. J., Borges B. et al. flexdashboard: R Markdown Format for Flexible Dashboards [Computer software]. URL: https://CRAN.R-project.org/package=flexdashboard (дата обращения: 07.11.2019).
24. Chang W., Wickham H. ggvis: Interactive Grammar of Graphics. 2019. [Computer software]. URL: https://CRAN.R-project.org/package=ggvis (дата обращения: 07.11.2019).
25. Sievert C., Parmer C., Hocking T., Chamberlain, S., Ram K., Corvellec M., Despouy P., Inc P. T. plotly: Create Interactive Web Graphics via "plotly.js" (Version 4.9.1). 2019. [Computer software]. URL: https: //CRAN.R-project.org/package=plotly (дата обращения: 07.11.2019).
26. Xiong C., Shapiro J., Hullman J., Franconeri S. Illusion of Causality in Visualized Data // IEEE Transactions on Visualization and Computer Graphics. 2019. Vol. 26. № 1. P. 853-862.
27. MathisenA., Gr0nbwk K. Clear visual separation of temporal event sequences // IEEE Visualization in Data Science (VDS). 2017. P. 7-14. doi: 10.1109/VDS.2017.8573439
28. WengD., ChenR., DengZ., WuF., Chen J., Wu Y. SRVis: Towards Better Spatial Integration in Ranking Visualization // IEEE transactions on visualization and computer graphics. 2018. Vol. 25. № 1. P. 459469. doi: 10.1109/TVCG.2018.2865126
29. Mylavarapu P., Yalcin A., Gregg X., Elmqvist N. Ranked-List Visualization: A Graphical Perception Study // Proceedings of the 2019 CHI Conference on Human Factors in Computing Systems. 2019. P. 1-12. doi: 10.1145/3290605.3300422
30. Alhadad S. S. Visualizing Data to Support Judgement, Inference, and Decision Making in Learning Analytics: Insights from Cognitive Psychology and Visualization Science // Journal of Learning Analytics. 2018. Vol. 5. № 2. P. 60-85. doi: 10.18608/jla.2018.52.5
31. Paul W., Cunnington R. C. An exploration of student attitudes and satisfaction in a GAISE-influenced introductory statistics course // Statistics Education Research Journal. 2017. Vol. 16. № 2. P. 487-510.
32. Ong H. C., Lim J. S. Identifying Factors Influencing Mathematical Problem Solving among Matriculation Students in Penang // Pertanika Journal of Social Sciences & Humanities. 2014. Vol. 22. № 1.
33. Сироткин А. В. Байесовские сети доверия: дерево сочленений и его вероятностная семантика // Труды СПИИРАН. 2006. № 1(3). C. 228-239.
34. Lockyer L., Heathcote E., Dawson S. Informing pedagogical action: Aligning learning analytics with learning design // American Behavioral Scientist. 2013. Vol. 57. № 10. P. 1439-1459. doi: 10.1177/0002764213479367
Поступила в редакцию 31.09.2018, окончательный вариант — 07.11.2019.
Мусабиров Илья Леонидович, ггарший преподаватель, департамент информатики; младший научный сотрудник, НУЛ «Социология образования и науки» НИУ ВШЭ, Н ilya@musabirov.info
Computer tools in education, 2019
№ 4: 81-93
http://cte.eltech.ru
doi:10.32603/2071-2340-2019-4-81-93
Designing Educational Analytics Tools Using Visualization Based on Behavioral, Motivational, and Social Network Data
Musabirov I. L.1, senior lecturer, El ilya@musabirov.info 1HSE University, 16 Soyuza Pechatnikov Street, 190008, Saint Petersburg, Russia
Abstract
The article presents a description of the approach to the use of data visualization in various educational Analytics tools when building University courses. In addition to the
Myca6upoB H. /1.
analysis of educational behavior, socio-psychological approaches, including the theory of expectations and social values, and the social network approach, are separately considered as prospects for analysis. An example of designing training Analytics using modern data analysis and visualization tools is analyzed.
Keywords: educational Analytics, pedagogical design, data analysis, data visualization.
Citation: I. L. Musabirov, "Designing Educational Analytics Tools Using Visualization Based on Behavioral, Motivational, and Social Network Data," Computer tools in education, no. 4, pp. 81-93, 2019 (in Russian); doi:10.32603/2071-2340-2019-4-81-93
References
1. G. Siemens and R. S. Baker, "Learning analytics and educational data mining: towards communication and collaboration," in Proc. of the 2nd Int. Conf. on Learning Analytics and Knowledge, Vancouver, Canada, 2012, pp. 252-254; doi: 10.1145/2330601.2330661
2. X. Ochoa, "Multimodal learning analytics," in The Handbook of Learning Analytics A. C. Lang, G. Siemens, A. Wise, and D. Gasevic, eds., 2017, pp. 129-141; doi: 10.18608/hla17
3. I. L. Musabirov and A. V. Sirotkin, "Spetsializatsiya 'Analiz dannykh'. Virtual'noe obrazovatel'noe okruzhenie s podderzhkoi sredstv obrazovatel'noi analitiki" [Minor in Data Science. Virtual Learning Environment with Learning Analytics Support], Computer tools in education, no. 4, pp. 32-42, 2016 (in Russian).
4. G. Sedrakyan, J. Malmberg, K. Verbert, S. Jârvela, and P. A. Kirschner, "Linking learning behavior analytics and learning science concepts: designing a learning analytics dashboard for feedback to support learning regulation," Computers in Human Behavior, 2018; doi: 10.1016/j.chb.2018.05.004
5. D. L. Butler and P. H. Winne, "Feedback and self-regulated learning: A theoretical synthesis," Review of educational research, vol. 65, no. 3, pp. 245-281,1995; doi: 10.3102/00346543065003245
6. B. J. Zimmerman, "Self-regulated learning and academic achievement: An overview," Educational psychologist, vol. 25, no. 1, pp. 3-17,1990; doi: 10.1207/s15326985ep2501_2
7. W. Matcha, D. Gasevic, N. A. Uzir, and A. Pardo, "A Systematic Review of Empirical Studies on Learning Analytics Dashboards: A Self-Regulated Learning Perspective," IEEE Transactions on Learning Technologies, pp. 1-20, 2019; doi: 10.1109/TLT.2019.2916802
8. J. Kuzilek, M. Hlosta, and Z. Zdrahal, "Open University Learning Analytics dataset," Sci. Data, 4:170171, 2017; doi: 10.1038/sdata.2017.171
9. V. A. Ivanyushina, D. A. Aleksandrov, and I. L. Musabirov, "Struktura akademicheskoi motivatsii: ozhidaniya i sub'ektivnye tsennosti osvoeniya universitetskogo kursa" [The structure of academic motivation: expectations and subjective values of the development of a university course], Voprosy obrazovaniya, no. 4, pp. 229-250, 2016 (in Russian); doi: 10.17323/1814-9545-2016-4-229-250
10. M. C. Lee, "Explaining and predicting users' continuance intention toward e-learning: An extension of the expectation-confirmation model," Computers & Education, vol. 54, no. 2, pp. 506-516, 2010; doi: 10.1016/j.compedu.2009.09.002
11. H. W. Marsh, H. Kuyper, A. J. Morin, P. D. Parker, and M. Seaton, "Big-fish-little-pond social comparison and local dominance effects: Integrating new statistical models, methodology, design, theory and substantive implications," Learning and Instruction, vol. 33, pp. 50-66, 2014; doi: 10.1016/j.learninstruc.2014.04.002
12. S. V. Dokuka, D. R. Valeeva, and M. M. Yudkevich, "Koevolyutsiya sotsial'nykh setei i akademicheskikh dostizhenii studentov" [Co-evolution of social networks and academic achievements of students], Voprosy obrazovaniya, no. 3, pp. 44-65, 2015 (in Russian); doi: 10.17323/1814-9545-2015-3-44-65
13. D. R. Valeeva, O. V. Pol'din, and M. M. Yudkevich, "Svyazi druzhby i pomoshchi pri obuchenii v uni-versitete" [Friendship and Learning Assistance Relationships in the University], Voprosy obrazovani-ya, no. 4, pp. 70-84, 2013 (in Russian).
14. A. S. Pronin, E. V. Veretennik, and A. V. Semenov, "Formirovanie uchebnykh grupp v universitete s pomoshch'yu analiza sotsial'nykh setei" [Formation of study groups in university through social network analysis], Voprosy obrazovaniya, no. 3, pp. 54-73, 2014 (in Russian); doi: 10.17323/1814-95452014-3-54-73
15. C. Abras, D. Maloney-Krichmar, and J. Preece, "User-centered design," in Encyclopedia of HumanComputer Interaction, W. Bainbridge ed., Thousand Oaks: Sage Publications, 2004, pp. 445-456.
16. D. Hernández-Leo, R. Martinez-Maldonado, A. Pardo, J. A. Muñoz-Cristóbal, and M. J. Rodriguez-Triana, "Analytics for learning design: A layered framework and tools," British Journal of Educational Technology, vol. 50, no. 1, pp. 139-152, 2019; doi: 10.1111/bjet.12645
17. J. A. Muñoz-Cristobal, D. Hernández-Leo, L. Carvalho, R. Martinez-Maldonado, K. Thompson, D. Wardak, and P. Goodyear, "4FAD: A framework for mapping the evolution of artefacts in the learning design process," Australasian Journal of Educational Technology, vol. 34, no. 2, pp. 16-34, 2018; doi: 10.14742/ajet.3706
18. H. Wickham, "A layered grammar of graphics," Journal of Computational and Graphical Statistics, vol. 19, no. 1, pp. 3-28, 2010; doi: 10.1198/jcgs.2009.07098
19. Igraph: Network Analysis and Visualization (version 1.2.4.2). [Online]. Available: https://CRAN. R-project.org/package=igraph
20. B. Schloerke, J. Crowley, et al., GGally:Extension to "Ggplot2" (version 1.4.0), 2018, [Online]. Available: https://CRAN.R-project.org/package=GGally
21. T. Pedersen, Ggraph: An Implementation of Grammar of Graphics for Graphs and Networks (version 2.0.0), 2019, [Online]. Available: https://CRAN.R-project.org/package=ggraph
22. T. Pedersen, Patchwork: The Composer of Plots (version 1.0.0), 2019, [Online]. Available: https://CRAN. R-project.org/package=patchwork
23. R. Iannone, J. J. Allaire, B. Borges et al., flexdashboard: R Markdown Format for Flexible Dashboards. [Online]. Available: https://CRAN.R-project.org/package=flexdashboard
24. W. Chang and H. Wickham, ggvis: Interactive Grammar of Graphics, 2019. [Online]. Available: https: //CRAN.R-project.org/package=ggvis
25. C. Sievert, C. Parmer, T. Hocking, S. Chamberlain, K. Ram, M. Corvellec, and P. Despouy, plotly: Create Interactive Web Graphics via 'plotly.js' (Version4.9.1). [Online]. Available: https://CRAN.R-project.org/ package=plotly
26. C. Xiong, J. Shapiro, J. Hullman, and S. Franconeri, "Illusion of Causality in Visualized Data," IEEE Transactions on Visualization and Computer Graphics, vol. 26, no. 1, pp. 853-862, 2019; doi: 10.1109/TVCG.2019.2934399
27. A. Mathisen and K. Gr0nbsk, "Clear visual separation of temporal event sequences," IEEE Visualization in Data Science (VDS), pp. 7-14, 2017; doi: 10.1109/VDS.2017.8573439
28. D. Weng, R. Chen, Z. Deng, F. Wu, J. Chen, and Y. Wu, "SRVis: Towards Better Spatial Integration in Ranking Visualization," IEEE transactions on visualization and computer graphics, vol. 25, no. 1, pp. 459-469, 2018; doi: 10.1109/TVCG.2018.2865126
29. P. Mylavarapu, A. Yalcin, X. Gregg, and N. Elmqvist, "Ranked-List Visualization: A Graphical Perception Study," in Proc. of the 2019 CHI Conf. on Human Factors in Computing Systems, 2019, pp. 1-12; doi: 10.1145/3290605.3300422
30. S. S. Alhadad, "Visualizing Data to Support Judgement, Inference, and Decision Making in Learning Analytics: Insights from Cognitive Psychology and Visualization Science," Journal of Learning Analytics, vol. 5, no. 2, pp. 60-85, 2018; doi: 10.18608/jla.2018.52.5
31. W. Paul and R. C. Cunnington, "An exploration of student attitudes and satisfaction in a GAISE-influenced introductory statistics course," Statistics Education Research Journal, vol. 16, no. 2, pp. 487-510, 2017.
32. H. C. Ong and J. S. Lim, "Identifying Factors Influencing Mathematical Problem Solving among Matriculation Students in Penang," Pertanika Journal of Social Sciences & Humanities, vol. 22, no. 1, 2014.
33. A. V. Sirotkin, "Baiesovskie seti doveriya: derevo sochlenenii i ego veroyatnostnaya semantika" [Bayesian confidence networks: the joint tree and its probabilistic semantics], Trudy SPIIRAN, vol. 1, no. 3, pp. 228-239, 2006.
34. L. Lockyer, E. Heathcote, and S. Dawson, "Informing pedagogical action: Aligning learning analytics with learning design," American Behavioral Scientist, vol. 57, no. 10, pp. 1439-1459, 2013; doi: 10.1177/0002764213479367
Received 31.09.2018, the final version — 07.11.2019.
Iliya L. Musabirov, senior lecturer, Department of Informatics; Junior Research Fellow, Sociology of Education and Science Laboratory HSE University, E3ilya@musabirov.info
