CC BY
70
7
ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ
В ОБРАЗОВАНИИ INFORMATION TECHNOLOGIES IN EDUCATION
УДК 37:004
К ВОПРОСУ ПОВЫШЕНИЯ РЕЗУЛЬТАТИВНОСТИ МАССОВОГ О ОНЛАЙН-КУРСА
Л. С. Лисицына", А. А. Першин", В. Л. Усковь
b
а Университет ИТМО, 197101, Санкт-Петербург, Россия, lisizina@mail.ifmo.ru ь Бредли университет, 61625, Пеория, штат Иллинойс, США
a
b
Аннотация. Поставлена проблема повышения результативности массового онлайн-курса для обучения в области программирования и IT-технологий, определены некоторые пути ее решения. Детально проанализирована проблема организации мгновенной обратной связи в онлайн-курсе. Предложено решение для разработки обучающих интерфейсов курса на основе механики «сделал - увидел результат - понял, что сделал правильно или неправильно», которое ускоряет не только визуализацию результата, но и проверку правильности кода. Рассмотрены и проанализированы три варианта сценариев запуска визуализации и проверки правильности кода. Сделан вывод о том, что для повышения интерактивности онлайн-курса необходимо реализовывать мгновенную обратную связь автоматически, без дополнительных действий со стороны обучаемого. При этом сценарий запуска визуализации и проверки кода может содержать этап анализа кода на корректность, позволяющий обучаемому понять правильность хода выполнения данного задания. Предложен подход для поэтапного решения больших по объему заданий, который в сочетании с автоматической мгновенной связью повышает наглядность и скорость обучения. Приведены результаты реализации игровой механики перфекционизма в массовом онлайн-курсе Университета ИТМО по подготовке (повышению квалификации) разработчиков веб-интерфейсов на основе технологий HTML5 и CSS3. Результаты экспериментального исследования на 5588 человек подтвердили, что использование игровой механики перфекционизма не только повышает уровень вовлечения в обучение, но и способствует более глубокому усвоению материала. Приведены результаты экспериментального исследования, которые свидетельствуют о существенном преимуществе синхронного обучения по сравнению с асинхронным: количество успешно завершивших онлайн-курс выросло до 27,9%. Материалы статьи, будут полезны исследователям, занимающимся разработкой проблем электронного обучения при разработке новых массовых онлайн-курсов.
Ключевые слова: массовый онлайн-курс, результативность электронного обучения, мгновенная обратная связь, обучающие интерфейсы, сценарий запуска визуализации и проверки правильности кода, игровые механики, перфекционизм, синхронное обучение.
a ITMO University, 197101, Saint Petersburg, Russia, lisizina@mail.ifmo.ru b Bradley University, 61625, Peoria, IL, USA
Abstract. This paper is focused on efficiency of e-learning, in general, and massive online course in programming and information technology, in particular. Several innovative approaches and scenarios have been proposed, developed, implemented and verified by the authors, including 1) a new approach to organize and use automatic immediate feedback that significantly helps a learner to verify developed code and increases an efficiency of learning, 2) a new approach to construct learning interfaces - it is based on "develop a code - get a result - validate a code" technique, 3) three scenarios of visualization and verification of developed code, 4) a new multi-stage approach to solve complex programming assignments, 5) a new implementation of "perfectionism" game mechanics in a massive online course. Overall, due to implementation of proposed and developed approaches, the efficiency of massive online course has been considerably increased, particularly 1) the additional 27.9 % of students were able to complete successfully "Web design and development using HTML5 and CSS3" massive online course at ITMO University, and 2) based on feedback from 5588 students a "perfectionism" game mechanics noticeably improves students' involvement into course activities and retention factor.
Keywords: massive online course, efficiency of e-learning, immediate feedback, learning interfaces, scenario of code visualization and verification, game mechanics, perfectionism, synchronous learning.
С развитием электронного обучения и появлением обширного мирового рынка образовательных услуг на основе технологии MOOC (Massive Open Online Courses) внимание разработчиков онлайн-курсов обращено к вопросам повышения их результативности (количество успешно завершивших такой курс не превышает и 5%).
Как построить результативный онлайн-курс? Каким образом усилить интерес у обучаемых, мотивируя их к успешному завершению такого курса? Во-первых, такой курс должен иметь актуальное проблемно-ориентированное содержание, построенное на планировании результатов обучения, ожидаемых потенциальным обучаемым. С методикой создания такого курса, а также с подходом к моделированию ожидаемых результатов обучения в нем можно ознакомиться в работах авторов [1-4]. Во-вторых, для
NEW APPROACHES TO EFFICIENCY OF MASSIVE ONLINE COURSE
L.S. Lisitsyna , a.a. persntn , v.l. uskov
Введение
того, чтобы обучение было активным, в нем должна быть реализована немедленная обратная связь [5], обеспечивающая необходимую интерактивность процесса обучения. И в-третьих, курс должен быть построен на основе игровых механик, делающих процесс обучения увлекательным и затягивающим - процесс, сопровождаемый мониторингом успеваемости обучаемого на фоне других достижений; процесс, в котором организовано сетевое общение обучаемых по обмену опытом прохождения данного курса. Применение компьютерных игр вызывает много споров вокруг их эффективности, так как до недавних пор считалось, что они имеют негативное влияние на человека, способны вызывать психическую зависимость [6, 7]. Могут ли игровые механики повысить результативность онлайн-курса? И верно ли, что синхронное обучение в массовом онлайн-курсе имеет существенное преимущество перед асинхронным?
Ответам на эти вопросы и посвящена данная статья, в которой обобщен опыт разработки и применения на практике одного из самых популярных массовых онлайн-курсов Университета ИТМО - курса для подготовки (повышения квалификации) разработчиков пользовательских графических веб-интерфейсов с применением технологий ИТМЬ5 и С883 [8-10]. Доступ к этому курсу открыт для всех желающих по адресу http://htmlacademy.ru, а также из системы открытого онлайн-обучения Университета ИТМО http://courses.ifmo.ru. На данный момент для прохождения курса уже зарегистрировалось более 38 тысяч желающих, которые в совокупности выполнили более 2 миллионов практических упражнений.
Основные проблемы в организации механизма мгновенной обратной связи
Во многих интерактивных курсах данная механика частично реализована в виде так называемого «лайвкодинга», когда результат работы кода, создаваемого обучаемым, практически мгновенно отображается в визуализаторе. Это делает обучение максимально наглядным, так как обучаемый сразу видит результат работы своего кода. Но при этом он не может сразу понять, соответствует ли его результат условиям задания? Происходит это потому, что в настоящее время в таких курсах проверка запускается лишь тогда, когда обучаемый завершил написание кода и отправил его на проверку. Опишем далее основные проблемы организации обратной связи в онлайн-курсе и пути их решения.
Первая проблема связана с тем, каким образом построить интерфейсы курса с эффективной обратной связью. Механизм обратной связи «сделал - увидел результат» работает очень быстро, а механизм «сделал - понял, что сделал правильно или неправильно» работает очень медленно. На рис. 1 приведена временная диаграмма работы интерфейсов с запуском проверки кода со стороны обучаемого, из которой виден основной недостаток данного механизма - наличие множества итераций, которые должен выполнить обучаемый при написании правильного кода. Исходя из этого, предлагается новое решение на основе комбинации обоих механизмов - «сделал - увидел результат - понял, что сделал правильно или неправильно» (рис. 2), которое ускоряет не только визуализацию результата, но и проверку правильности кода. Суть решения заключается в том, чтобы запускать механизм проверки кода сразу же после визуализации, без дополнительных действий со стороны обучаемого.
Рис. 1. Механизм работы интерфейсов с запуском проверки кода со стороны обучаемого
Вторая проблема связана с выбором сценария запуска визуализации и механизма проверки результата. Для начала условимся, что обучаемый работает с текстовым редактором, в котором пишет программный код или код разметки, результат работы этого кода отображается в визуализаторе, а механизм проверки кода определяет, выполнил ли обучаемый поставленную задачу или нет? Рассмотрим далее возможные варианты сценариев.
Первый вариант сценария (рис. 3) состоит в том, чтобы запускать визуализацию и механизм проверки мгновенно после каждого нажатия клавиши в редакторе. Несомненно, этот сценарий дает самую быструю обратную связь, но обладает следующими недостатками:
- чрезвычайно большое количество избыточных и некорректных проверок, а также визуализаций с ошибками из-за того, что используется еще не завершенный код, часто оборванный «на середине слова»;
- большая нагрузка на программный механизм из-за большого количества проверок, что может приводить к зависаниям и замедлению работы обучающего интерфейса;
- обучаемый слишком часто будет видеть «сломанный» результат в визуализаторе, что может негативно сказаться на его интересе к дальнейшему обучению в таком курсе.
Рис. 2. Механизм работы интерфейсов с автоматической мгновенной проверкой
Рис. 3. Сценарий запуска визуализации и проверки кода после каждого нажатия клавиши в редакторе
Второй вариант сценария (рис. 4) состоит в том, чтобы запускать визуализацию и проверку после паузы в наборе кода. Длительность паузы может варьироваться от одной до нескольких секунд. Такой временной интервал соответствует времени переключения фокуса внимания от создаваемого кода к результату его выполнения и проверки. Данный временной интервал также является достаточно продолжительным для того, чтобы успевать набирать в редакторе завершенные конструкции кода. Этот сценарий избавлен от некоторых недостатков первого сценария, а именно:
- снижается количество ненужных циклов визуализаций и проверок;
- снижается количество визуализаций с ошибками, так как в большинстве случаев обучаемый будет успевать набирать значимые части кода.
Рис. 4. Сценарий запуска визуализации и проверки кода после паузы в наборе кода
Третий вариант сценария (рис. 4) состоит в том, что в работу механизма добавляется этап анализа кода на корректность, а визуализация и проверка кода запускаются только тогда, когда введенный обучаемым код является работающим. Когда код некорректен, либо отображается предыдущее состояние, либо выдается сообщение о том, что код содержит ошибки. Проверку на корректность кода можно запускать при каждом изменении или после паузы, что снизит количество ненужных проверок. Основная проблема этого сценария заключается в том, что ученик не видит результатов работы «сломанного» кода, а это может негативно сказаться на качестве обучения.
Рис. 5. Сценарий запуска визуализации и проверки кода с анализом кода на корректность
Таким образом, для повышения интерактивности онлайн-курса необходимо реализовать мгновенную обратную связь автоматически, без дополнительных действий со стороны обучаемого. При этом сценарий запуска визуализации и проверки кода может содержать этап анализа кода на корректность, позволяющий обучаемому понять правильность хода выполнения данного задания.
Проблема дозирования объема заданий для практических упражнений
В существующих аналогах [11-15] объем заданий для практических упражнений весьма невелик: время их выполнения варьируется от десятков секунд до нескольких минут. Общей особенностью таких заданий является то, что они неделимы и проверяются системой целиком. В то же время на практике многие задания для обучения разработчиков веб-интерфейсов являются сложными, требуют для выполнения много времени. В связи с этим предлагается подход, основанный на дроблении сложных задач на мелкие подзадачи, которые проверяются по отдельности. Подобная организация обучения делает его максимально похожим на приемы работы профессионалов, которые обычно пишут код очень маленькими порциями и проверяют его буквально после написания каждой новой строчки.
Предположим, что обучаемому предложено решить объемную задачу поэтапно, мелкими шагами с продолжительностью выполнения не более одной минуты. При таком решении обратная связь «выполнение задачи - визуализация - проверка результата» разбивается на несколько более мелких и быстрых решений, связанных с конкретными подзадачами. Это особенно важно, когда задание достаточно сложное и выполнить его сразу не получается. В этом случае обучаемому приходится несколько раз решать всю задачу целиком, перепроверяя весь объем кода, необходимый для ее решения, а затем несколько раз ждать полной проверки. Представим, что один цикл выполнения и проверки сложной задачи составляет 2 мин, тогда для решения задачи с 10 проверками потребуется 20 мин. Раздробим сложную задачу на четыре подзадачи так, чтобы цикл выполнения и проверки каждой составлял 30 с. Предположим, что три подзадачи будут простыми и будут выполнены с первого раза, а одна из подзадач будет сложной, и для нее обучаемому понадобится 10 проверок, как и в случае с исходной задачей. Тогда общее время выполнения четырех подзадач составит 30 + 30 + 30 + 30 х10 = 6 мин 30 с.
Если из четырех подзадач две будут простыми, а две - сложными (требующими 10 проверок), то общее время выполнения составит 11 мин. Заметим, что при расчете мы не учитывали дополнительные временные затраты на работу с более медленным интерфейсом, содержащим кнопку проверки.
Таким образом, подход с дополнительным дроблением задач на подзадачи в сочетании с мгновенной автоматической проверкой результата повышает наглядность и скорость обучения.
Перфекционизм как игровая механика для повышения мотивации к достижению лучших результатов обучения
Представленная игровая механика строится на принципе необязательности достижения максимальных результатов обучения, а для ее реализации часто применяются так называемые «прогрессбары» или шкалы. Данная механика в сочетании со шкалами достаточно распространена во многих областях,
например, во многих социальных сетях отображается процент заполненности профиля. Однако в образовании перфекционизм используется незаслуженно редко. В связи с этим предлагается подход, основанный на включении механики перфекционизма непосредственно в обучающий интерфейс, что, как будет показано далее, повышает увлеченность обучаемого, создает мотивацию к достижению лучших результатов обучения.
Чтобы применение данной механики было возможным, необходимо, чтобы задания оценивались не по бинарной шкале «выполнено/не выполнено», а по более широкой шкале, например, по 100-балльной шкале. Суть механики заключается в том, что шкала оценок разбивается минимум на два интервала («плохо» и «хорошо»), причем граница второго интервала «хорошо» располагается ниже максимального уровня. Самое главное заключается в том, чтобы явным образом указать обучаемому, что для успешного выполнения задания достаточно достигнуть нижней границы интервала «хорошо», а достижение максимального результата вовсе и необязательно.
Такой подход позволяет достичь глубокого вовлечения обучаемого в выполнение задания, так как для него работа с заданием после «неидеального» выполнения становится схожа с игрой, что характеризуется следующими условиями:
- отсутствием давления со стороны (задание уже выполнено, дальше можно заниматься с ним в свое удовольствие);
- отсутствием наказания (никто не будет ругать, если сделаешь еще лучше).
В этом случае обучаемым руководит любопытство, у него активизируется встроенная особенность мозга искать самые эффективные паттерны, приводящие к максимальному результату. Многие бросают вызов самому себе, от которого очень сложно отказаться, и получают удовольствие от достижения максимального результата.
Стоит отметить, что в большинстве аналогов [11-15] создание обучающих интерфейсов с использованием перфекционизма невозможно, так как в них отсутствуют задания с интервальными оценками. Очевидно, что в курсах должны существовать разные типы обучающих интерфейсов: с более простыми заданиями, которые оцениваются бинарно, и с более сложными заданиями, которые можно оценивать по 100-балльной шкале.
Рис. 6. Пример обучающего интерфейса с применением механики перфекционизма
Пример обучающего интерфейса, использующего эту механику, приведен на рис. 6. Здесь предложено испытание, в котором обучаемый должен сверстать такой же интерфейс, как на картинке-образце в правом нижнем окне. Результат вычисляется как уровень совпадения двух изображений и отображается на шкале. Испытание считается пройденным при уровне совпадения 90%, а оставшиеся 10% отданы для перфекционистов. Результаты от применения перфекционизма в этом примере следующие: на неидеальное выполнение задания в среднем уходит 30 мин, а на идеальное выполнение - несколько часов.
Для изучения влияния механики перфекционизма на результативность обучения в курсе [10] было проведено экспериментальное исследование в объеме 5588 чел., зарегистрировавшихся в системе htmlacademy.ru в период с 01.03.2014 г. по 18.04.2014 г. Так как обучение было асинхронным, то для сбора и обработки статистики был применен когортный анализ (в когорту объединялись обучаемые, зарегистрировавшиеся на одной неделе, всего было создано 7 когорт). Результаты исследования, приведенные в табл. 1, подтверждают положительное влияние данной механики на результативность обучения. Здесь все обучаемые разбиты на две группы: идеалисты обучались с использованием данной механики, а неидеалисты - без ее использования.
Показатель Прогресс
Все Идеалисты Не идеалисты
значения % значения % значения %
Кол-во регистраций 5588 100,00 971 100,00 4402 100,00
Начали обучение 4361 78,04 971 100,00 3177 72,17
Прошли 1 раздел 2791 49,95 971 100,00 1609 36,55
Прошли 2 раздела 2265 40,53 971 100,00 1084 24,63
Прошли 3 раздела 1719 30,76 967 99,59 552 12,54
Прошли 4 раздела 1471 26,32 867 89,29 409 9,29
Прошли 5 разделов 1043 18,66 623 64,16 245 5,57
Прошли 6 разделов 865 15,48 502 51,70 199 4,52
Прошли 7 разделов 733 13,12 415 42,74 162 3,68
Прошли 8 разделов 606 10,84 348 35,84 119 2,70
Прошли 9 разделов 503 9,00 285 29,35 94 2,14
Прошли 10 разделов 423 7,57 239 24,61 76 1,73
Прошли 11 разделов 349 6,25 193 19,88 60 1,36
Прошли 12 разделов 299 5,35 163 16,79 46 1,04
Прошли 13 разделов 239 4,28 121 12,46 35 0,80
Прошли 14 разделов 201 3,60 99 10,20 25 0,57
Прошли 15 разделов 148 2,65 67 6,90 17 0,39
Прошли 16 разделов 119 2,13 54 5,56 11 0,25
Таблица 1. Результаты экспериментальных исследований влияния перфекционизма на результативность
курса
Также проводилось исследование влияния перфекционизма на уровень вовлечения в обучение на основе опросов и отзывов обучаемых. Выяснилось, что на неидеальное выполнение задания в среднем уходит 30 мин, а на идеальное выполнение - в среднем несколько часов, причем максимальное время выполнения доходило до 6 ч. Оказалось, что люди, выполняющие задания идеально, часто повторно проходят предшествующие испытанию задания, а также самостоятельно ищут дополнительную информацию с помощью поисковых систем. Исходя из этого очевидно, что перфекционизм не только повышает уровень вовлечения в обучение, но и способствует более глубокому усвоению материала.
Влияние синхронного обучения на результативность онлайн-курса
С 17 февраля по 27 апреля 2014 г. проводился экспериментальный запуск разработанного курса в системе открытого онлайн-обучения Университета ИТМО. Обучение 258 человек, зарегистрировавшихся в системе, из которых приступило к обучению 245 чел. (95%), было организовано синхронно следующим образом: каждую неделю там открывались последовательно все 16 разделов курса. Результаты, приведенные в табл. 2, свидетельствуют о существенном преимуществе синхронного обучения по сравнению с асинхронным (табл. 1): количество успешно завершивших курс выросло до 27,9%.
Прогресс
Номер раздела 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16
Человек 222 210 199 189 171 165 160 150 138 131 127 117 104 91 81 72
% 86 81,4 77,1 73,3 66,3 64 62 58,1 53,5 50,8 49,2 45,3 40,3 35,3 31,4 27,9
Таблица 2. Результаты экспериментального исследования влияния синхронного обучения на результативность массового онлайн-курса
Заключение
Представленный подход способствует повышению результативности массового онлайн-курса за счет усиления его интерактивности (мгновенная обратная связь), дозированной подачи заданий при выполнении практических упражнений, погружения процесса обучения в игровую среду (игровая механика перфекционизма). Выявлено существенное влияние синхронного обучения на результативность курса за счет сетевого общения обучаемых. Данный подход имеет большое практическое значение для разработки новых массовых онлайн-курсов для обучения в области программирования и IT-технологий.
Литература
1. Васильев В.Н., Стафеев С.К., Лисицына Л.С., Ольшевская А.В. От традиционного дистанционного обучения к массовым открытым онлайн-курсам // Научно-технический вестник информационных технологий, механики и оптики. 2014. № 1 (89). С. 199-205.
2. Васильев В.Н., Лисицына Л.С. Основные направления развития информационно-образовательной среды вуза в связи с переходом на ФГОС ВПО // Компьютерные инструменты в образовании. 2012. № 4. С. 62-68.
3. Васильев В.Н., Лисицына Л.С. Планирование и оценивание ожидаемых результатов освоения компетенций ФГОС ВПО // Научно-технический вестник информационных технологий, механики и оптики. 2013. № 2 (84). C. 142-148.
4. Lisitsyna L., Lyamin A. Approach to development of effective e-learning courses // Smart Digital Futures 2014. 2014. V. 262. Р. 732-738.
5. Boyle E.A., Connolly T.M., Hainey T. The role of psychology in understanding the impact of computer games // Entertainment Computing. 2011. V. 2. N 2. P. 69-74.
6. Sim T., Gentile D.A., Bricolo F., Serpollini G., Gulamoydeen F. A conceptual review of research on the pathological use of computers, video games, and the Internet // International Journal of Mental Health and Addiction. 2012. V. 10. N 5. P. 748-769.
7. Messias, E., Castro J., Saini A., Usman M., Peeples D. Sadness, suicide, and their association with video game and Internet overuse among teens: results from the youth risk behavior survey 2007 and 2009 // Suicide and Threatening Behavior. 2011. V. 41. N 3. P. 307-315.
8. Лисицына Л.С. Першин А.А. К вопросу создания Fab lab для подготовки разработчиков пользовательских веб-интерфейсов на основе HTML и CSS // Дистанционное и виртуальное обучение. 2014. № 1 (79). С. 32-38.
9. Першин А.А. Средства обучения HTML-верстке, построенные на базе методики автоматической оценки качества верстки // Материалы V Международной научно-практической конференции «Информационная среда вуза XXI века». Петрозаводск, 2011. C. 221.
10. Лисицына Л.С. Першин А.А. Электронный курс для обучения технологиям разработки веб-интерфейсов на основе HTML и CSS // Сб. материалов I международной научно-практической конференции «Современные проблемы компьютерных наук». Пенза: ПГУ, 2013. С. 83-84.
11. Codecademy [Электронный ресурс]. Режим доступа: http://www.codecademy.com, свободный. Яз. англ. (дата обращения 17.07.2014).
12. Code School [Электронный ресурс]. Режим доступа: http://www.codeschool.com, свободный. Яз. англ. (дата обращения 17.07.2014).
13. Advance Your Career Through Project-Based Online Classes - Udacity [Электронный ресурс]. Режим доступа: https://www.udacity.com, свободный. Яз. англ. (дата обращения 17.07.2014).
14. Code Avengers: Learn to Code Games, Apps and Websites [Электронный ресурс]. Режим доступа: http://www.codeavengers.com, свободный. Яз. англ. (дата обращения 17.07.2014).
15. Learn Web Design, Web Development, and More [Электронный ресурс]. Режим доступа: http://teamtreehouse.com, свободный. Яз. англ. (дата обращения 17.07.2014).
Лисицына Любовь Сергеевна
Першин Александр Александрович Усков Владимир Львович
Liubov S. Ly.sit.sina Alexander A. Pershin Vladimir L. Uskov
доктор технических наук, профессор, заведующая кафедрой, Университет ИТМО, 197101, Санкт-Петербург, Россия, lisizina@mail.ifmo.ru
ассистент кафедры, Университет ИТМО, 197101, Санкт-Петербург, Россия, pershin_zan@mail.ru
PhD, профессор кафедры, Бредли университет, 61625, Пеория, Иллинойс, США, uskov@fsmail.bradley.eduLisitsyna
D.Sc., Professor, Head of Department, ITMO University, 197101, Saint Petersburg, Russia, lisizina@mail.ifmo.ru
Assistant, ITMO University, 197101, Saint Petersburg, Russia, pershin_zan@mail.ru
PhD, Professor, Bradley University, 61625, Peoria, IL, USA, uskov@fsmail.bradley.edu
Принято к печати 19.07.14 Accepted 19.07.14
