CC BY
27
Вестник Томского государственного университета. 2021. № 463. С. 162-169. DOI: 10.17223/15617793/463/21
УДК 37.022, 37.026, 372.851, 378.046
Н.М. Меженная
ОБ ОПЫТЕ ПРОВЕДЕНИЯ ПРОМЕЖУТОЧНОГО ИТОГА ПО МАТЕМАТИЧЕСКОЙ СТАТИСТИКЕ С ИСПОЛЬЗОВАНИЕ СИСТЕМЫ КАНООТ!
Описан опыт внедрения геймификации с использованием информационно-коммуникационных технологий на базе системы КаЬоо1! при проведении контрольной работы по математической статистике. Контрольная работа проводилась дистанционно в форме стандартного теста КаЬоо!!. Осуществлен анализ процесса разработки материалов и их содержания, процесса проведения работы в небольшой группе студентов (22 человека) с целью выявления основных проблем и преимуществ (как для студентов, так и для преподавателей) и возможностей развития данного подхода в будущем. Ключевые слова: геймификация; контрольная работа; математическая статистика; тестирование; КаЬоо!!.
Введение
В современном образовании становится популярной геймификация учебного процесса. Под геймифи-кацией понимается использование элементов игрового дизайна в неигровых условиях (аудиторная и самостоятельная работа) для привлечения участников и поощрения желаемого поведения. В современном об-зазовательном процессе используемые технологии должны повышать уровень мотивированности и заинтересованности студентов и, как следствие, достигаемых результатов обучения [1]. Хайманом (Hyman) [2], Детердингом (Deterding), О'Хара (O'Hara) и др. [3] отмечено, что геймификация привносит элементы реальности в процесс обучения, в результате чего студентам становится легче использовать полученные навыки в своей практической деятельности в будущем. Н.В. Яременко [4] установлено, что в целом обучающие онлайн-игры стимулируют внутреннюю мотивацию и способствуют привлечению студентов к учебной деятельности. Использование онлайн-игр в обучении демонстрирует прямую связь между высоким уровнем конкуренции и повышением мотивации, сохраняя содержание образовательной деятельности, но меняя ее планирование, организацию и сопровождение [5]. М.Д. Ханусом (Hanus) и Дж. Фоксом (Fox) [6], а также М.С. Куо (Kuo) и Т. Чуанг (Chuang) [7] показано, что геймификация повышает вовлеченность студентов в учебный процесс. Согласно исследованию Р. Аб.-Рахмана (Ab. Rahman) с соавт. [8] студенты в целом положительно воспринимают геймифика-цию, особенно они отмечают простоту и удобство интерфейса используемых систем. Онлайн-платформы Kahoot!, Quizizz, Socrative и др. уже предоставляют преподавателям прекрасные возможности для разработки различных планов уроков и занятий, которые могут увлечь и мотивировать учащихся. Используемые элементы игрового процесса - таблица лидеров, значки, очки и уровни - являются игровыми элементами, которые активизируют роли студентов в образовательном процессе [6, 9, 10].
Безусловно, внедрение элементов геймификации в образовательный процесс имеет определенные сложности и недостатки, требующие совершенствования методологии. Несмотря на это, Е.В. Соболевой с соавт. [11] обоснована целесообразность использования геймификации в рамках образовательного процесса,
однако необходимо искать баланс между используемыми элементами геймификации и классическими составляющими образовательного процесса. Необходимо учитывать, что основная ценность состоит не в игровом процессе и его элементах как таковых, а в выработке навыков принятия стратегически выверенных решений, пригодных для применения в профессиональной деятельности.
При проведении контрольных работ в рамках мо-дульно-рейтинговой системы необходимо использовать дидактические материалы определенного уровня сложности, позволяющие качественно провести контроль знаний и дифференциацию учащихся по уровню освоения материала [12]. Одним из вариантов является использование контрольной работы в форме теста [13, 14]. Стоит также отметить, что поскольку в рамках школьной программы и при обучении в университете работы в такой форме выполняются довольно часто, учащиеся привыкли к данной форме контроля. Следовательно, нет необходимости в затратах времени и ресурсов преподавателя на дополнительную работу по адаптации студентов к выполнению проверочной работы.
Однако в дисциплинах математического цикла такой подход используется достаточно редко [12]. Так как важно не только представление итогового результата (который, например, может быть получен студентом с помощью системы компьютерной математики [15]), но и логика и представление решения, выбор метода и так далее, которые могут вносить больший вклад в итоговую оценку, чем полученный результат. Поэтому при разработке тестов в области дисциплин математического цикла особое внимание следует уделять выбору задач, их формулировке, однозначности решения, порядку следования друг за другом. Положительный опыт использования контрольных работ в форме теста описан М. Боровчи-ком (Borovchik) и Р. Кападия (Kapadia) [16], а также Т. Копараном (Koparan) [17].
Важным является выбор платформы, с помощью которой будут внедряться элементы геймификации. Чайо (Chaiyo) и Р. Нохам (Nokham) [18] изучали влияние использования трех различных систем Kahoot!, Quizizz и Google Forms на уровни вовлечения, удовольствия, концентрации, восприятия и мотивации учащихся на уроках. Они обнаружили, что хотя все три платформы не показали различий в
том, как учащиеся воспринимают свое обучение, студенты были более склонны к Kahoot! и Quizizz по сравнению с Google Forms. Оказалось, что Kahoot! и Quizizz могут улучшить концентрацию, вовлеченность, удовольствие и мотивацию студентов. Аналогичные результаты получены и А. Су-леймен [19]'
Использование системы Kahoot! подробно описано Вангом (Wang) [20], а также Ю.В. Никоноровой и Н.И. Чабановой [21]. Установлено, что использование Kahoot! однократно или в течение всего семестра двумя группами студентов дает один и тот же результат. Также выявлено, что продолжительность геймификации не влияла отрицательно на вовлеченность учащихся. Ванг (Wang) и Либерот (Lieberoth) [22] расширили предыдущее исследование, рассматривая влияние игровых элементов, таких как аудио и очки в Kahoot!, на вовлечение студентов в образовательный процесс. Результат показывает, что сочетание звука и очков дало гораздо больший эффект, поскольку с их помощью была обеспечена положительная динамика в классе. Р.Ю. Царевым [23] также отмечено положительное влияние использования Kahoot! на результаты обучения. Вследствие этого для проведения контрольных работ была выбрана данная платформа.
В настоящей работе описан тестовый подход к проведению контрольной работы по математической статистике для студентов третьего курса бакалавриата инженерного направления подготовки с использованием информационно-коммуника-ционных технологий на базе системы Kahoot!. Выполнен анализ составления материалов и проведения работы в небольшой группе студентов с целью выявления основных проблем, преимуществ (как для студентов, так и для преподавателей) и возможностей развития данного подхода в будущем.
Методология исследования
Выборка. Контрольная работа проводилась в двух группах студентов третьего курса факультета прикладной математики МГТУ им. Н.Э. Баумана, обучавшихся в весеннем семестре 2019/20 учебного года. Для допуска к контрольной работе учащиеся должны сдать обязательное домашнее задание на установленный минимум. Всего таких студентов оказалась 22 (12 девушек и 10 юношей). Контрольная работа выполнялась в системе Kahoot! дистанционно, на нее был выделен 1 час, а время проведения было выбрано таким образом, чтобы в эти часы не проводились занятия по другим дисциплинам и студенты обеих группы могли проходить тестирование одновременно. Учащимся было объявлено, что в первую очередь будет оцениваться количество верно решенных задач, а только потом - время, затраченное на их решение, и, как следствие, рейтинг.
Далее студентам было предложено пройти анкетирование по оценке работы в системе и описать основные сложности, с которыми они столкнулись. Участники опроса были проинформированы о том, что ан-
кетирование анонимное, не влияет на результаты контрольной, и участие добровольное.
Инструмент исследования. Промежуточный контроль знаний проводился в форме теста из 10 стандартных задач по математической статистике, пример варианта теста приведен в прил. 1. Задачи 1-3 связаны с вычислением точечных оценок параметров распределений (методом моментов или максимального правдоподобия) и анализом их свойств, задача 4 - с критерием эффективности и оптимальными оценками, задача 5 - с построением доверительного интервала, задачи 6-8 - с критерием хи-квадрат, задачи 9-10 - с критерием Неймана-Пирсона. Варианты ответов подбирались так, чтобы трудно было угадать верный, исходя из постановки задачи.
Всего было подготовлено 3 варианта заданий. Для успешного выполнения контрольной работы необходимо было правильно решить 7 задач из 10. На каждую задачу давалось 60 или 240 секунд в зависимости от уровня сложности, рейтинговые очки за задачи (1 000 или 2 000 баллов) также варьировались в зависимости от уровня ее сложности. Максимальный рейтинг составлял 13 000 баллов (подробнее см. прил. 1).
Для оценки восприятия работы в системе КаИоо^ и формата теста в целом студентам было предложено ответить на вопросы анкеты, представленной в табл. 1. Некоторые вопросы анкеты были открытыми.
Таблица 1
Анкета, предложенная студентам для оценки работы в системе
1 Какие сложности возникли при решении задач? □ Недостаточно времени □ Неудобный интерфейс □ Связь задач друг с другом □ Сложные задачи
2 Назовите основную сложность, возникшую при прохождении теста
3 Что еще вызвало трудности и было неудобно?
4 Что понравилось при выполнении работы? □ Работа в форме теста □ Удобный интерфейс □ Задачи не слишком сложные □ Можно сразу узнать, правильно ли решена задача
5 Что больше всего понравилось при прохождении теста?
6 Что еще понравилось при прохождении теста?
Результаты решения задач контрольной работы
64% (14 студентов) выполнили контрольную работу на необходимый минимум, что является, с нашей точки зрения, достаточно хорошим результатом. Также отметим, что 6 задач решили 4 студентов (18%), результаты представлены в табл. 2. Остальные 4 студентов не справились с выполнением задач контрольной работы.
При выполнении работы студенты были ограничены по времени как при решении отдельных задач, так и по времени на всю работу, и соревновались между собой. Разбиение по вариантам осуществлялось по общему алфавитному списку. Поэтому можно предположить, что обучаемые действовали преимущественно самостоятельно. Отметим, что при таком подходе невозможно исключить отгадывание части ответов, а также кооперацию студентов между собой.
Таблица 2
Результаты решения задач студентами — участниками тестирования
Номер участника Кол-во очков Кол-во верных задач Кол-во неверных задач Задача
1 2 3 4 5 6 7 8 9 10
1 11 055 9 1 1 1 1 1 1 1 1 1 1
2 10 986 8 2 1 1 1 1 1 1 1 1
3 10 491 8 2 1 1 1 1 1 1 1 1
4 9 866 8 2 1 1 1 1 1 1 1 1
5 9 473 8 2 1 1 1 1 1 1 1 1
6 9 030 8 2 1 1 1 1 1 1 1 1
7 8 595 8 2 1 1 1 1 1 1 1 1
8 8 313 8 2 1 1 1 1 1 1 1 1
9 7 957 8 2 1 1 1 1 1 1 1 1
10 7 925 8 2 1 1 1 1 1 1 1 1
11 7 341 8 2 1 1 1 1 1 1 1 1
12 7 122 8 2 1 1 1 1 1 1 1 1
13 7 321 7 2 1 1 1 1 1 1 1
14 5 289 7 3 1 1 1 1 1 1 1
15 7 741 6 4 1 1 1 1 1 1
16 5 392 6 4 1 1 1 1 1 1
17 5 352 6 4 1 1 1 1 1 1
18 3 953 6 4 1 1 1 1 1 1
19 5 388 5 5 1 1 1 1 1
20 3 065 4 6 1 1 1 1
21 3 015 3 7 1 1 1
22 950 1 9 1
Среднее 7 074 6,73 3,23 0,45 0,50 0,59 0,73 0,64 0,73 0,82 0,86 0,73 0,68
Примечание. Цифра «1» в таблице означает, что задача решена верно. а также по числу набранных баллов (второстепенный критерий).
Оказалось, что не было задач, которые не решил ни один участник. В целом это можно считать очень хорошим результатом. Наибольшие трудности вызвали задачи 1-3, связанные с точечными оценками. Предположительно это может быть связано с тем, что решение каждой из задач существенно зависит от вида закона распределения. Как следствие, нет универсального метода, который приводил бы к гарантированному решению задачи. В качестве рекомендации для преподавателя можно сформулировать необходимость более подробного разбора задач по данной теме, возможно составление шаблонов или алгоритмов решения для различных классов распределений (см., например: [24]).
Задачи на критерий хи-квадрат, наоборот, были решены наиболее успешно. Это прежде всего связано с тем, что такие задачи имеют более универсальный метод решения из всех рассмотренных классов задач. Однако стоит проанализировать ответы отдельных участников. Так, участники с номерами полностью не справились с блоком из трех задач. Предположительно, они угадали ответ на задачу 8 либо незначительно ошиблись при вычислениях в задаче 6 (также возможно, что ими был получен верный ответ, но студенты ошиблись при выборе ответа). В этой связи все-таки следует давать задачи, которые требуют выбора правильного варианта более чем из 2 вариантов ответов. Например, задачу 8 можно было бы переформулировать так: вычислить р-уа1ие для статистики из вопроса 6.
Также отметим, что медианные значения во всех задачах, кроме 1 и 2, оказались равны 1, т.е. более половины участников решили каждую из задач. В целом можно считать, что полученные результаты контрольной работы являются удовлетворительными.
Студенты проранжированы в зависимости от числа решенных задач,
Оценка работы студентами
Все студенты были предупреждены о том, что участие в опросе является добровольным, анонимным (по желанию) и не влияет на итоговую оценку за контрольную работу.
Начнем с анализа ответов на вопросы 1 и 4 анкеты о том, как студенты восприняли работу в системе. Эти вопросы имели 4 варианта ответов, которые, как мы предполагали, оказывают большее влияние на результат и восприятие прохождения теста. Мы получили ответы 21 из 22 студентов, писавших работу. Распределение ответов представлено на рис. 1.
Подавляющее большинство (86%) указали ограничение по времени основным неудобством при прохождении теста. Также 10% (2 человека) посчитали, что неудобства вызывает связь задач между собой, а 5% (1 человек) отметили сложность задач как основной недостаток.
На вопрос 4 о том, что понравилось при прохождении теста, подавляющее большинство (81%) отметили, что можно сразу узнать, правильно ли решена задача. 14% указали, что задачи были не слишком сложными, 5% посчитали удобство интерфейса основным преимуществом.
Также мы дополнили вопрос 1 открытыми вопросами 2 (об основной сложности, возникшей при выполнении работы) и 3 (о второстепенных сложностях, возникших при выполнении работы). На вопрос 2 были получены следующие ответы:
- недостаток времени (в той или иной формулировке, например, «мало времени», «время давит» и т. п.). Это является ожидаемым результатом с учетом ответов на вопрос 1;
- нестандартность (например, «нестандартно», «немного нестандартно»). Действительно, ранее никто из нишах студентов не выполнял контрольные работы в такой форме, особенно с конкретным временем на каждую задачу;
- трудно сосредоточиться. Данный ответ не был подробно расписан, поэтому нелегко понять, что именно мешало сосредоточиться (возникшие технические сложности, ограничение по времени или что-то еще).
Недостаточно времени Неудобный интерфейс Связь задач друг с другом Сложные задачи
Работа в форме теста
Удобный интерфейс
Задачи не слишком сложные
Можно сразу узнать, правильно ли решена задач.
Рис. 1. Распределение ответов на вопросы 1 и 4
На вопрос 3 ответы были разнообразнее, в них также упоминалось ограничение по времени или отсутствие других сложностей. Стоит также отметить следующие ответы:
- «Звук». Действительно, в системе по умолчанию присутствует звуковое сопровождение, которое легко может быть отключено пользователем на его устройстве. Возможно, студент просто растерялся при выполнении работы;
- «Невозможность переходить к предыдущим задачам». Отметим, что задачи теста были построены в логической последовательности. Кроме того, при выполнении работы студент сразу после ответа на очередной вопрос узнает, какой ответ был правильным. Поэтому при данном подходе возвращение к предыдущим задачам невозможно;
- «Требуется ответ в цифрах». В математической статистике из-за вычислительной сложности некоторых задач для больших выборок многие ответы на семинарских занятиях оставлялись в виде формул без вычисления. Во время теста надо было проводить вычисления полностью, что является рутиной и кому-то, естественно, это не нравилось. Для устранения этой сложности можно рекомендовать использование систем компьютерной математики при обучении, тогда рутинный вычислительный аспект конкретной задачи будет сведен к минимуму;
- «Отображение ответов». Здесь можно только предположить, что у кого-то возникли определенные сложности с интерфейсом системы.
Подводя итог, отметим, что основная сложность, отмеченная учащимися, - это отведенное конкретное вре-
мя на каждую задачу. Вообще, этот таймер может быть отключен преподавателем, но тогда более вероятно списывание и обсуждение между участниками работы.
Вопрос 4 мы также дополнили открытыми вопросами 5 (о том, что понравилось больше всего) и 6 (о том, что понравилось еще).
На вопрос 5 мы получили следующие ответы:
- получение результата сразу (например, «ответы сразу», «видно ответы», «быстрая проверка» и т.п.). Здесь в целом учащиеся отмечают, правильно ли ответили на вопросы, и готовы самостоятельно работать над задачами, особенно в случае неверного ответа, чтобы понять и разобраться, в чем была их ошибка;
- «формат теста», «формат с рейтингом». Наши учащиеся привыкли к тестовой работе еще в старшей школе при выполнении ГИА и ЕГЭ, а также на других дисциплинах в университете;
- об интерфейсе (например, «оформление», «хороший интерфейс»).
В ответе на вопрос 6 также были упомянуты «музыка», «цвета интерфейса», «милые фигурки» (для обозначения вариантов ответов).
В целом впечатление сложилось положительное с одним основным недостатком, упомянутым выше (о счетчике времени). При подготовке студентов к работе им была предоставлена возможность пройти аналогичный тест по математическому анализу, который никто из них не проходил ранее. При этом участие было добровольным и анонимным, а результаты прохождения теста нигде не учитывались. В нем также был установлен таймер. Студенты были информированы о том, что работа
б
а
будет проходить в том же формате. Как оказалось, они психологически были не готовы к выполнению задач на оценку в рамках ограниченного временного интервала (обычно ограничивается время на всю работу, но не на отдельные задачи), хотя справились в целом неплохо. Таким образом, в дальнейшем необходимо особо акцентировать внимание до проведения тестирования на ограничения по времени для каждой задачи, если преподаватель собирается это использовать на контрольной работе.
Сложности использования системы для преподавателя
При использовании системы Kahoot! для составления задач преподаватели столкнулись со следующими сложностями:
- интерфейс системы плохо приспособлен для набора формул. Сложные математические формулы набирались отдельно в Microsoft Word и вставлялись как картинки в соответствующие страницы с задачами. Варианты ответов также могут быть набраны только в простейшем виде или должны быть подготовлены как отдельные картинки. Это затрудняет работу, требует дополнительного времени на разработку и проверку вариантов. В то же время текстовые задачи и варианты ответов могут быть импортированы из файла Microsoft Excel;
- необходимость варьирования времени, устанавливаемого на решение конкретной задачи. Сложно понять, какой именно временной интервал устанавливать. На первом этапе в качестве эксперимента на большинство задач (кроме простейших) было решено установить наибольшой интервал времени. В основном это связано с тем, что студенты также не привыкли решать задачи с ограничением по времени. В целом с точки зрения преподавателя сложно объективно оценить, сколько времени нужно «среднему» студенту на решение конкретной задачи;
- необходимость разбивать задачи на отдельные подзадачи, которые будут следовать друг за другом. Вместе с тем при использовании платформы Kahoot! студенты сразу видят правильный ответ на предыдущий пункт. С нашей точки зрения, это хорошо для персонализации процесса обучения, но при этом задачи дополнительно нужно проектировать так, чтобы,
исходя из ответа на одну из подзадач, нельзя было отгадать ответы на другие подзадачи;
- необходимость использовать задачи с максимальным числом ответов (4 в КаИоо^), а ответы подбирать так, чтобы не было априори очевидно, что некоторые из них можно сразу исключить. Это создает дополнительную методическую трудность при разработке вариантов задач, формулировке условий и вариантов ответов.
Однако, с нашей точки зрения, сложности для преподавателей могут быть достаточно успешно разрешены. Для этого нами был применен следующий метод. Одна группа преподавателей составляет полный комплект вариантов заданий, а другая группа проходит работу в тестовом режиме. После этого выявляются и устраняются возникшие ошибки, проводится обсуждение задач и возникших при их решении трудностей, а также вносятся предложения по исправлению или доработке вариантов заданий. Отметим особую важность того, что в ответах вариантов тестов, предоставляемых студентам, категорически не должно быть ошибок. В противном случае придется пересматривать все результаты (что возможно в КаИоо^), но это требует дополнительного времени на анализ результатов, а также вызывает трудности с пересчетом рейтинга каждого студента.
Заключение
Представлены описание и анализ процесса разработки вариантов заданий для контрольной работы по математической статистике для проведения тестирования с использованием информационно-коммуникационных технологий на базе системы КаИоо^ Проведен анализ сложностей, с которыми сталкиваются преподавателя, и даны возможные пути их решения. Выполнен анализ результатов контрольной работы и восприятия системы студентами третьего курса бакалавриата инженерного направления подготовки. Установлено, что полученные академические результаты являются достаточно высокими, а система воспринимается студентами в целом положительно. Проведен анализ сложностей, с которыми столкнулись студенты в процессе работы, даны рекомендации по их преодолению.
Приложение 1
Вариант задач контрольной работы с вариантами ответов, рейтингом и временем на выполнение задач.
1 (х-4в)2
1. В распределении ¿(О: [(х;в) = — 2в найти смещение оценки методом моментов для в при объеме выборки п = 5 и истинном значении в = 2.
2/5 3/4 1/5 1/2
X X X
(2 000 баллов, 240 секунд)
1 (х-4в)2
2. Получена выборка 2,3; 2,5; 2,1; 0,8; 0,5 из ДО: /(х; в) = — _-е 20 . Найти несмещенную оценку для 9 на основе оценки методом моментов.
2,7 1,9 2,2 2,5
X X X
(1 000 баллов, 240 секунд)
1 (х-Ув)2
3. Для каких функций в распределении Ь(^): /(х; в) = -=у=е 20 существует эффективная оценка?
е е1/2 е2 Нет эффективной оценки
X X X
(1 000 баллов, 240 секунд)
1 (х-Ув)2
4. В распределении /(х;б) = -=у=е 20 написать нижнюю границу дисперсии всех несмещенных
оценок для в при n = 5 и в = 2.
16/15 7/8 15/16 Модель нерегулярна
X X X
(1 000 баллов, 240 секунд)
5. В партии из 200 деталей 74 первого сорта. Построить 0,9-доверительный интервал для числа деталей первого сорта.
(0,25; 0,44) (0,28; 0,46) (0,31; 0,43) (0,41; 0,54)
X X X
(2 000 баллов, 240 секунд)
6. В партии из 200 деталей 74 первого сорта. Найти значение статистики х2 для проверки гипотезы: 40% деталей первого сорта.
0,58 0,75 0,81 1,11
X X X
(1 000 баллов, 240 секунд) 7. Какое число степеней свободы у предельного распределения статистики из предыдущей задачи?
1 2 3
X X
(1 000 баллов, 60 секунд)
8. В партии из 200 деталей 74 первого сорта. Принимается ли гипотеза: 40% деталей первого сорта по критерию х2 (а = 5%)?
True False
X
(1 000 баллов, 60 секунд)
9. В Ь(^): /(х;б) = ве~вх,х > 0, найти вероятность ошибки II рода критерия Неймана-Пирсона для проверки Н0: 0 = 1 против Н1: 0 = 2 при п = 10, а = 0,1.
0,1 0,21 0,32 0,79
X X X
(2 000 баллов, 240 секунд)
10. Какой вид критической области в предыдущей задаче?
{T > c} {T < c}
X
(1 000 баллов, 60 секунд)
ЛИТЕРАТУРА
1. Handelsman M.M., Briggs W.L., Sullivan N., Towler A. A measure of college student course engagement // The Journal of Educational Research.
2005. Vol. 98, № 3. P. 184-192.
2. Hyman R.T. Ways of Teaching. Phyladelphia : J.B. Lipincott, 1970. 290 p.
3. Deterding S., O'Hara K., Sicart M., Dixon D., Nacke L. Gamification: Using game design elements in non-gaming contexts. Conference on Human
Factors in Computing Systems - Proceedings, Vancouver, Canada, 2011. P. 2425-2428
4. Яременко Н.В. Повышение мотивации студентов в процессе изучения английского языка путем онлайн игр // Информационные техноло-
гии и средства обучения. 2017. Т. 59, № 3. С. 126-133.
5. Орлова О.Г., Титова В.Н. Геймификация как способ организации обучения // Вестник Томского государственного педагогического уни-
верситета. 2015. № 9 (162). С. 60-64.
6. Hanus M.D., Fox J. Assessing the effects of gamification in the classroom: A longitudinal study on intrinsic motivation, social comparison, satis-
faction, effort, and academic performance // Computers and Education. 2015. Vol. 80. P. 152-161. DOI: 10.1016/j.compedu.2014.08.019
7. Kuo M.S., Chuang T.Y. How gamification motivates visits and engagement for online academic dissemination - an empirical study // Computers in
Human Behavior. 2016. Vol. 55. P. 16-27. DOI: 10.1016/j.chb.2015.08.025
8. Ab.-Rahman R., Ahmad S., Hashim U. The effectiveness of gamification technique for higher education students engagement in polytechnic
Muadzam Shah Pahang, Malaysia // International Journal Of Educational Technology In Higher Education. 2018. Vol. 15, Article 41. DOI: 10.1186/s41239-018-0123-0
9. Hamari J. Do badges increase user activity? A field experiment on the effects of gamification // Computers in Human Behavior. 2015. Vol. 71.
P. 469-478. DOI: 10.1016/j.chb.2015.03.036
10. Attali Y., Arieli-Attali M. Gamification in assessment: Do points affect test performance? // Computers and Education. 2015. Vol. 83. P. 57-63.
11. Соболева Е.В., Исупова Н.И., Суворова Т.Н., Соколова А.Н. Применение обучающих программ на игровых платформах для повышения эффективности образования // Вестник Новосибирского государственного педагогического университета. 2017. Т. 7, № 4. С. 7-25. DOI: 10.15293/2226-3365.1704.01
12. Власова Е.А., Меженная Н.М., Попов В.С., Пугачев О.В. Методические аспекты обеспечения дисциплины «Теория вероятностей» в техническом университете // Современные наукоемкие технологии. 2017. Т. 11. С. 96-103. DOI: 10.17513/snt.36852
13. Вербицкий А. А., Пучкова Е.Б. Возможности теста как средства диагностики качества образования: мифы и реальность // Высшее образование в России. 2013. Т. 6. С. 33-44.
14. Карпенко А.П., Домников А.С., Белоус В.В. Тестовый метод контроля качества обучения и критерии качества образовательных тестов. Обзор // Наука и образование. 2011. № 4. Ст. 1. DOI: 10.7463/0411.0184741
15. Mezhennaya N.M., Pugachev O.V. On the results of using interactive education methods in teaching probability theory // Problems of Education in the 21st Century. 2018. Vol. 76, № 4. P. 678-692.
16. Borovcnik M., Kapadia R. Research and Developments in Probability Education // Journal on Mathematics Education. 2009. Vol. 4. P. 111-130.
17. Koparan T. Teaching game and simulation based probability // International Journal of Assessment Tools in Education. 2019. Vol. 6. P. 235-258. DOI: 10.21449/IJATE.566563
18. Chaiyo Y., Nokham R. The effect of Kahoot, Quizizz and Google forms on the student's perception in the classrooms response system // Institute of Electrical and Electronics Engineers (IEEE) (Ed.), 2017 International Conference on Digital Arts, Media and Technology (ICDAMT). Red Hook, N.Y. : Curran Associates, Inc Chiang Mai, Thailand, 1-4 March 2017. P. 178-182.
19. Сулеймен А. Определение наиболее предпочитаемого студентами мобильного приложения геймификации // Аллея науки. 2019. Т. 2, № 6 (33). С. 901-906.
20. Wang A.I. The wear out effect of a game-based student response system // Computers & Education. 2015. Vol. 82. P. 217-227. DOI: 10.1016/j.compedu.2014.11.004
21. Никонорова Ю.В., Чабанова Н.И. Некоторые аспекты развития электронного обучения математике студентов атомной отрасли // Актуальные проблемы преподавания математики в техническом вузе. 2019. Т. 7. С. 211-215.
22. Wang A.I., Lieberoth A. The effect of points and audio on concentration, engagement, enjoyment, learning, motivation, and classroom dynamics using Kahoot! // T. Connolly, & L. Boyle (Eds.). Proceedings from the 10th European conference of game based Learning. Paisley : Academic Conferences and Publishing International Limited, 6-7 October 2016. P. 737-748.
23. Царев Р.Ю. Применение Kahoot! при геймификации в образовании // International Journal Of Advanced Studies. 2017. Vol. 7, № 1. P. 9-17. DOI: 10.12731/2227-930x-2017-1-9-17
24. Mezhennaya N.M., Pugachev O.V. Advantages of using the CAS Mathematica in a study of supplementary chapters of Probability Theory // European Journal of Contemporary Education. 2019. Vol. 8, № 1. P. 4-24. DOI: 10.13187/ejced.2019.1.4
Статья представлена научной редакцией «Педагогика» 14 декабря 2020 г.
On the Experience of Conducting Interim Assessment in Mathematical Statistics Using Kahoot!
Vestnik Tomskogo gosudarstvennogo universiteta — Tomsk State University Journal, 2021, 463, 162-169. DOI: 10.17223/15617793/463/21
Natalia M. Mezhennaya, Bauman Moscow State Technical University (Moscow, Russian Federation). E-mail: nata-lia.mezhennaya@gmail.com
Keywords: gamification; test; mathematical statistics; testing; Kahoot!
The article describes the experience of using information and communication technologies based on the system Kahoot! when conducting interim assessment in mathematical statistics in the form of a test in two groups of the third-year bachelor's students at the Faculty of Applied Mathematics of Bauman Moscow State Technical University. The aim of the article is to identify the main advantages and disadvantages (for both the student and the teacher) of using gamification, in particular the system Kahoot!, when teaching mathematical statistics and other disciplines of the mathematical curriculum. The process of designing materials for the test in mathematical statistics was analyzed; the key features that the used teaching materials had to have were identified. A small group of students (22 people) completed the test. To assess the perception of the test by students, an anonymous survey was conducted. The main stages in the development of materials by the teacher are presented. The difficulties teachers of mathematical disciplines encounter when using the Kahoot! as a platform for testing and their possible solutions are described. It has been revealed that the main (and most difficult) task in compiling options for the test is to make the answer options hard to guess, and each of the tasks not too laborious. It makes sense to divide tasks into sections so that tasks are interconnected and logically follow each other in each section. Also, the teacher needs to set time limits for each task to minimize the opportunities for students to communicate with each other. Students perceive working in Kahoot! Positively in general. They said the main disadvantage was the time limit for each of the tasks - not for the entire work in general, which is more familiar to them. Therefore, to use Kahoot! within the considered approach of organizing tasks, it is recommended that the teacher thoroughly explain students how the test will be organized in connection with time frames. Additionally, it is worth focusing students' attention on the elements of the gameplay and the final rating table, rewarding successful students with additional rating points within the modular rating system to exclude academic dishonesty and cheating as much as possible. The performed analysis can be used by other teachers in the preparation of options for assignments to test students' knowledge remotely and on the basis of using other systems.
REFERENCES
1. Handelsman, M.M., Briggs, W.L., Sullivan, N. & Towler, A. (2005) A measure of college student course engagement. The Journal of Educational
Research. 98 (3). pp. 184-192.
2. Hyman, R.T. (1970) Ways of Teaching. Phyladelphia: J.B. Lipincott.
3. Deterding, S. et al. (2011) Gamification: Using game design elements in non-gaming contexts. Conference on Human Factors in Computing
Systems — Proceedings. Vancouver, Canada. pp. 2425-2428
4. Yaremenko, N.V. (2017) Povyshenie motivatsii studentov v protsesse izucheniya angliyskogo yazyka putem onlayn igr [Increasing student
motivation in learning English through online games]. Informatsionnye tekhnologii i sredstva obucheniya. 59 (3). pp. 126-133.
5. Orlova, O.G. & Titova, V.N. (2015) Gamification as a way of learning organization. Vestnik Tomskogo gosudarstvennogo pedagogicheskogo
universiteta — TSPUBulletin. 9 (162). pp. 60-64. (In Russian).
6. Hanus, M.D. & Fox, J. (2015) Assessing the effects of gamification in the classroom: A longitudinal study on intrinsic motivation, social
comparison, satisfaction, effort, and academic performance. Computers and Education. 80. pp. 152-161. DOI: 10.1016/j.compedu.2014.08.019
7. Kuo, M.S. & Chuang, T.Y. (2016) How gamification motivates visits and engagement for online academic dissemination - an empirical study.
Computers in Human Behavior. 55. pp. 16-27. DOI: 10.1016/j.chb.2015.08.025
8. Ab.-Rahman, R., Ahmad, S. & Hashim, U. (2018) The effectiveness of gamification technique for higher education students engagement in
polytechnic Muadzam Shah Pahang, Malaysia. International Journal of Educational Technology in Higher Education. 15. Article 41. DOI: 10.1186/s41239-018-0123-0
9. Hamari, J. (2015) Do badges increase user activity? A field experiment on the effects of gamification. Computers in Human Behavior. 71. pp. 469-
478. DOI: 10.1016/j.chb.2015.03.036
10. Attali, Y. & Arieli-Attali, M. (2015) Gamification in assessment: Do points affect test performance? Computers and Education. 83. pp. 57-63.
11. Soboleva, E.V., Isupova, N.I., Suvorova, T.N. & Sokolova, A.N. (2017) Use of training programs based on gaming platforms for improving the effectiveness of education. Vestnik Novosibirskogo gosudarstvennogo pedagogicheskogo universiteta — Novosibirsk State Pedagogical University Bulletin. 7 (4). pp. 7-25. (In Russian). DOI: 10.15293/2226-3365.1704.01
12. Vlasova, E.A., Mezhennaya, N.M., Popov, V.S. & Pugachev, O.V. (2017) Methodological Aspects of the Discipline "Probability Theory" in a Technical University. Sovremennye naukoemkie tekhnologii — Modern High Technologies. 11. pp. 96-103. (In Russian). DOI: 10.17513/snt.36852
13. Verbitskiy, A.A. & Puchkova, E.B. (2013) Vozmozhnosti testa kak sredstva diagnostiki kachestva obrazovaniya: mify i real'nost' [Possibilities of the test as a means of diagnosing the quality of education: myths and reality]. Vysshee obrazovanie v Rossii — Higher Education in Russia. T. 6. pp. 33-44.
14. Karpenko, A.P., Domnikov, A.S. & Belous, V.V. (2011) Testovyy metod kontrolya kachestva obucheniya i kriterii kachestva obrazovatel'nykh testov. Obzor [Test method for monitoring the quality of education and criteria for the quality of educational tests. Review]. Nauka i obrazovanie. 4. Art. 1. DOI: 10.7463/0411.0184741
15. Mezhennaya, N.M. & Pugachev, O.V. (2018) On the results of using interactive education methods in teaching probability theory. Problems of Education in the 21st Century. 76 (4). pp. 678-692.
16. Borovcnik, M. & Kapadia, R. (2009) Research and Developments in Probability Education. Journal on Mathematics Education. 4. pp. 111-130.
17. Koparan, T. (2019) Teaching game and simulation based probability, International Journal of Assessment Tools in Education. 6. pp. 235-258. DOI: 10.21449/IJATE.566563
18. Chaiyo, Y. & Nokham, R. (2017) The effect of Kahoot, Quizizz and Google forms on the student's perception in the classrooms response system.
2017 International Conference on Digital Arts, Media and Technology (ICDAMT). Inc Chiang Mai, Thailand, 1-4 March 2017. Red Hook, N.Y.: Curran Associates. pp. 178-182.
19. Suleymen, A. (2019) Opredelenie naibolee predpochitaemogo studentami mobil'nogo prilozheniya geymifikatsii [Determination of the most preferred mobile gamification application by students]. Alleya nauki. 2-6 (33). pp. 901-906.
20. Wang, A.I. (2015) The wear out effect of a game-based student response system. Computers & Education. 82. pp. 217-227. DOI: 10.1016/j.compedu.2014.11.004
21. Nikonorova, Yu.V. & Chabanova, N.I. (2019) Nekotorye aspekty razvitiya elektronnogo obucheniya matematike studentov atomnoy otrasli [Some aspects of the development of e-learning mathematics for students of the nuclear industry]. Aktual'nye problemy prepodavaniya matematiki v tekhnicheskom vuze. 7. pp. 211-215. DOI: 10.25206/2307-5430-2019-7-211-215
22. Wang, A.I. & Lieberoth, A. (2016) The effect of points and audio on concentration, engagement, enjoyment, learning, motivation, and classroom dynamics using Kahoot! Proceedings from the 10th European conference of game based Learning. Paisley: Academic Conferences and Publishing International Limited. pp. 737-748.
23. Tsarev, R.Yu. (2017) Primenenie Kahoot! pri geymifikatsii v obrazovanii. International Journal of Advanced Studies. 7 (1). pp. 9-17. DOI: 10.12731/2227-930x-2017-1-9-17
24. Mezhennaya, N.M. & Pugachev, O.V. (2019) Advantages of using the CAS Mathematica in a study of supplementary chapters of Probability Theory. European Journal of Contemporary Education. 8 (1). pp. 4-24. DOI: 10.13187/ejced.2019.1.4
Received: 14 December 2020
