CC BY
75
Опыт использования системы управления обучением (ЬМ8) и автоматизированных систем тестирования в преподавании дисциплин с модульно-рейтинговой структурой курса
Протасов Станислав Игоревич к.ф-м.н., старший научный сотрудник лаборатории машинного обучения и
представления данных, АНО ВО «Университет Иннополис», ул. Университетская, 1, г. Иннополис, 420500, Татарстан. +7(927)4386667
s.protasov@innopolis.ru
Аннотация
Автоматизация контроля успеваемости студентов является важной задачей для повышения производительности преподавателей и управляемости учебного процесса. При этом необходимо всесторонне анализировать результаты автоматизации, выявлять как позитивные, так и негативные итоги. В нашей работе мы рассматриваем результаты внедрения системы управления обучением (LMS) Moodle и автоматизированных систем тестирования PCMS и CodeTest для промежуточного контроля теоретических знаний и практических навыков на курсах «алгоритмы и структуры данных» и «дискретная математика». Результатом внедрения тестирования в LMS стало сокращение среднего времени проверки одной работы с 11 до 6 минут. Использование автоматизированных систем тестирования также исключило накладные расходы на проверку работ. В ходе использования PCMS был сформулирован ряд замечаний, которые были исправлены в системе CodeTest. Переход на новую систему увеличил скорость адаптации студентов и уменьшил число обращений студентов по техническим вопросам. Также мы изменили формат промежуточного контроля, заменив 2-часовые контесты на недельные задания. Результатом стало увеличение числа успевающих студентов, при этом увеличилась чувствительность к другим учебным активностям - пересечение контрольной с зачётной неделей сильно ухудшило среднюю оценку. Automation of student performance monitoring is important for improvement of teacher productivity and control over educational process. Herein it is crucial to control automation results and to detect positive and negative outcomes. In this paper we discuss results of applying learning management system (LMS) Moodle and automated test systems PCMS and CodeTest for intermediate monitoring of knowledge and practical skills in "data structures and algorithms" and "discrete math" courses. Using LMS quizzes for knowledge monitoring we reduced average review time per student from 11 to 6 minutes. Using automated test system, we also removed review overhead. While using PCMS we found some weaknesses that were later fixed in CodeTest system. After shifting to CodeTest we improved student adaptation speed and reduced number of technical issues. We also changed format of intermediate monitoring by switching from 2-hour contests to weeklong assignments. As a result, we increased the number of non-failing students, but this format appears to be sensitive to other academic activities - putting such assignment into final week significantly decreased average grade.
Ключевые слова
автоматизированная система тестирования, система управления обучением, модульно-рейтинговая система, промежуточный контроль успеваемости automated test system, learning management system, module-rating system, intermediate performance monitoring
Введение
При проверке решений математических и алгоритмических задач преподавателями учитываются как правильность ответа, так и правильность (качество) схемы решения. При этом естественно-научные дисциплины допускают существенную формализацию контроля правильности: множественный выбор, вычислительные задачи, установление соответствий и т.д. Увеличению скорости и объективности оценки контроля правильности способствует введение в учебный процесс автоматизированных систем тестирования [9] (АСТ, такие как ejudge, РСМ8, ...) и систем управления обучением (ЬМ8, такие как Moodle). Первые позволяют автоматизировать проверку корректности ответа алгоритмических и вычислительных задач, вторые - проверку широкого спектра критериев, включая правильность усвоения математических методов. При этом автоматизация контроля совершенно не означает, что преподаватель исключается из проверки работы - поверка открытых вопросов, исходного кода и схем доказательств остаётся задачей преподавателя.
В рамках модульно-рейтингового подхода к образованию, промежуточный контроль успеваемости студентов является важной частью процесса, так как обеспечивает непрерывную мотивацию студентов [5], однако создаёт дополнительную нагрузку на педагогический и технический персонал [2][5]. Разные коллективы по-разному оценивают вклад промежуточного контроля в итоговую оценку: некоторые допускают получение «автомата» по результатам тестирования, тогда как другие ограничивают максимально возможный вклад промежуточного контроля 70% от общей оценки [1][2]. Однако оба подхода оставляют за промежуточным контролем существенный вес в итоговой оценке. Для нивелирования повышенной нагрузки, а также для объективизации оценок промежуточного контроля и предлагается использовать АСТ и ЬМ8.
Практика применения систем обоих типов для математических предметов в нашем университете показала существенное повышение скорости подготовки и проверки контрольных работ. Достигнут высокий уровень объективности оценивания по мнению преподавателей и студентов. Также были обнаружены негативные побочные эффекты применения автоматизированных система, которые мы обсудим далее в нашей работе.
Опыт использования автоматизированных систем
Рассмотрим практику использования автоматизированных систем для промежуточной и итоговой аттестации по курсам «алгоритмы и структуры данных» (Б8Л) и «дискретная математика» (БМ). Мы используем автоматизированные системы тестирования (РСМ8 и CodeTest [10]) для проведения промежуточных аттестаций по Б8Л, а также ЬМ8 Moodle для проведения теоретического контроля по Б8Л и БМ. Также планируется внедрение АСТ для промежуточного контроля в курсе БМ. В наших курсах мы разделяем контроль практических навыков (программирование, решение прикладных задач) и теоретических знаний (определения, доказательства теорем). Контроль практики осуществляется в рамках 4
промежуточных контрольных работ (Л1, Л2, Л3, Л4 - 10% от курса каждая), а контроль теории - в рамках 2 экзаменов (промежуточный МТ и итоговый ББ -30%/30% или 20%/40% в зависимости от объёма материала). Для проведения анализа мы рассмотрим данные курсов в 2015 и 2016 учебных годах.
LMS Moodle
В 2015 учебном году проверка промежуточного и итогового теоретического контроля проводилась на бумажных бланках, содержащих задачи по 5 блокам. Блоки включали вычислительные вопросы, вопросы на выбор, открытые теоретические вопросы. На выполнение студентам отводилось 60-90 минут. На курсах DM и DSA обучалось 269 студентов (10 учебных групп), помимо лектора работало 5 ассистентов. Если опустить материальные и временные затраты на печать, хранение и транспортировку экзаменационных бланков, время на проверку экзаменационных работ в таком формате составило около 10 рабочих часов для каждого ассистента (каждый проверял свой блок). Таким образом, ориентировочные затраты на проверку одной работы составили 5 чел. * 10 часов / 269 ~ 11 человеко-минут.
С 2016 года мы используем тестирование (quiz) в LMS Moodle для контроля теоретической части предметов. Для этого мы составляем экзамен с вопросами различной сложности, включающий как задачи на вычисление, множественный выбор, доказательство теорем и применение математических методов (например, методы теории графов, основная теорема о рекуррентных соотношениях, и др.), так и открытые вопросы. На выполнение студентам также отводится 60-90 минут. Проверка всех вопросов, кроме открытых, осуществляется автоматически. В 2016 году на курсе DSA обучается 58 студентов (2 учебные группы), помимо профессора работает 1 ассистент. Затраты ассистента на проверку экзамена (открытых вопросов) в этом году составили менее 6 рабочих часов. Таким образом, ориентировочные затраты на проверку одной работы составили 1 чел.* 6 часов / 58 ~ 6 человеко-минут. Таким образом, автоматизация теоретического экзамена позволила двукратно увеличить эффективность проверки работ ассистентами.
Автоматизированные системы тестирования PCMS и CodeTest
При применении АСТ в образовательном процессе основной задачей ставится унификация сбора исходного кода решений студентов [6-9]. В общем случае проверка прикладных задач состоит из двух этапов [7]: компиляции и прохождения тестов (правильность ответа), и анализа структуры и исходного кода программы (качество решения). В первую очередь АСТ позволяет исключить временные затраты на первый этап. Если студенты отправляют решения по почте или через LMS, такими затратами являются: скачивание и распаковка архивов, открытие кода в IDE, настройка пространств имён.
Использование системы PCMS для автоматизации промежуточного контроля практических навыков мы начали в 2015 году. Ограничения на время выполнения решений не выдвигались. Студентам было открыто 2 предварительных контеста, чтобы они могли освоиться с особенностями работы в системе. Обязательное требование к компилируемости кода было введено на второй контрольной работе (2015-A2), требование к прохождению тестов - на третьей контрольной (2015-A3). Несмотря на существенный объём проделанной подготовительной работы, студенты испытывали трудности в работе с системой. По итогам семестра мы сформулировали ряд существенных замечаний к системе:
1. Невозможность студенту самостоятельно восстановить свой пароль. В отличие от спортивного соревнования, в ходе семестра студенты постоянно теряли свои пароли, за восстановлением которых приходилось обращаться к администратору системы.
2. Невозможность открыть студентам несколько пересекающихся по времени контестов. Это бывает важно, когда студенты хотят провести работу над ошибками, или вы хотите провести контест в ходе лабораторной работы.
3. Невозможность оперативного переразбиения студентов по группам.
4. Отсутствие подробной информации о причинах непрохождения тестов.
5. Невозможность просмотра кода решения в окне браузера.
Также есть ряд несущественных замечаний, таких как невозможность оформления решения в виде нескольких файлов с исходным кодом и оформление условий только в PDF.
Сформулированные ограничения легли в основу задания на разработку автоматической системы тестирования. Система CodeTest была создана и апробирована в университете Иннополис в 2016 году, её исходный код доступен в Интернете [10]. На момент написания статьи поддерживались языки программирования Java 1.8+ и Kotlin. В системе поддерживаются:
• множественные контесты;
• группировка студентов;
• самостоятельное восстановление пароля;
• множественные файлы решения и их просмотр в окне браузера с подсветкой кода;
• сохранение истории попыток.
Run Test ID Code Run at Time (SM| Comment
Attempt 0 О 111222016 E: 16:28 AM 0.103 Ворог-еж Казань 1.0 22.2 4(17.0 Сангт-ПетерЕург Йошкар-Ола 2.0 2B.0 834В. 0 Санет-Петербург Самара 0.5 41.1 34-&7.0 Санкт-Петербург Саратов 1000.0 45.3 7А76000.0 Воронеж Иваново 37.1 27.7 245025.0 Воронеж КопрокИ 13.0 38.7 88271.1
Attempt #7 0 1112212016 6:16:01 AM 0.1(3 Test run failed wilh соее: 1; 5TDOUT: ; 5T0ERR: undefined Елсер1юп ¡г Ihread "main" jarua.lang.lndexOutOfBoundBEAceplion: Index: 0. See: Oal jama.irtil.ArrayLisl.rangeChei k{ArrayList.jaua:553l at jama. util. Arrary List.get{Array List. jarna:42fl:- at Grapti.findMin{Graph.jarua:55l art Graph .doM in imal5penning;Grapli.jania:721 art Fas1es1Partli.inain{Fa^1es1Pa1h.java:1' _
Attempt pi 0 a 11122ГС616 AM Воронеж Казань 1.0 22.2 4017.0 Санкт-Петерфрг ЙошкарОла 2.0 2B.0 ВВ4В.0 Сангст-Петер5/рг Самара 0.5 41.1 34А7.0 Санкт-Петер5ург Саратов 1000.0 45.3 7576000.0 Воронеж Иваново 37.1 27.7 245025.0 Ворог-еж KtKTpsm 13.0 38.7 ВВ271.1
Attempt «5 0 Hi:. IMJH 11422/2016 AM 0.124 Strings don't martoli: line 1 Expecled: Вороьеж Казань ' .2 22.2 4017.0: Renewed: Воронеж Казань 1.0 1Й.0 3405.0
Рис 1. Результаты выполнения тестов в системе С^еТез!
Важная особенность CodeTest - в противовес системам для спортивного программирования, где причина непрохождения теста сознательно скрывается от участника [6], в нашей системе мы показываем исчерпывающее описание проблемы (см. рис. 1), чтобы студент мог самостоятельно разобраться, почему решение, работавшее на его машине, перестало работать на тестирующем сервере. Появление этой особенности существенно снизило время адаптации студентов и количество обращений за помощью.
Анализ динамики успеваемости
Модульно-рейтинговая система является мощным инструментом мониторинга и анализа не только успеваемости студента, но и постоянного контроля качества образовательного материала, в случае если цели курса остаются неизменными в системе «цели-преподавание-оценка» [11] [12]. Важность численного (факторного, дисперсионного [3][4] и др.) анализа нельзя переоценить в ситуации, когда мы решаем усовершенствовать курс. При этом многие научные группы акцентируют анализ только на средней успеваемости в течение одного семестра. Мы согласны, что анализ должен захватывать и другие статистические характеристики успеваемости [4]. Также важно, в случае внесения изменений, отслеживать их влияние во времени.
Помимо замены АСТ PCMS на CodeTest, мы также перешли от 2-часового контроля практических навыков в классе к недельным домашним контрольным работам. Это позволило упростить подготовку к использованию системы, а наличие подробной обратной связи в интерфейсе практически полностью существенно снизило число запросов студентов на объяснение сложных ситуаций. Также это вызвало уменьшении разброса оценок (см. рис. 2). Мы склонны считать это позитивным результатом, так как уменьшение разброса в нашем случае означает уменьшение «хвоста» неуспевающих студентов. Контроль плагиата выявил единственный случай списывания в течение курса.
01 о
X I-
<Я
X
го
I-
О
40 35 30 25 20 15 10
Результаты контрольных и экзаменов
[CELLRANGE]
Ov —__ [CELLRANGE] — — — - - _Lcellrange]
[CELLRANGE] C;; ~ — _ 4CELLRANGEJ " [CELLRANGE] ""
[CELLRANGE]
О [CELLRANGE]
О
9 [CELLRANGE]
2016
• [CELLRANGE]
02015
30
40
50
60
[CELLRANGE] 70
80
90
Средняя оценка (из 100)
Рис 2. Средняя оценка и стандартное отклонение для контрольных работ по курсу «алгоритмы и структуры данных» в 2015 и 2016 ученых годах
Также на рис. 2 в плоскости «средняя оценка - разброс» отмечены другие интересные тенденции, обнаруженные в ходе сравнения 2015 и 2016 учебных годов. Во-первых, стоит обратить внимание на быстрое освоение студентами АСТ в 2016 году (2015-А1 против 2016-А1), которое мы объясняем более информативным
интерфейсом тестирующей системы CodeTest. Во-вторых, в 2016 году при эквивалентных результатах мы получили более низкий разброс оценок контрольных (2015-А* против 2016-А*), что, на наш взгляд, является результатом введения недельных контрольных - это позволило исключить стрессовую составляющую из результата. И, наконец, третьим существенным наблюдением стало сильное падение среднего результата на последней контрольной работе 2016 года (2016-А3 против 2016-А4). Поводом для этого стало пересечение по времени контрольной с зачётной неделей. Студенты не уделили значительного внимания последнему контролю из-за большого числа одновременных учебных обязательств. Причиной же явились размытый срок исполнения и плохое умение студентов планировать свою учебную нагрузку.
Заключение
В представленной работе был рассмотрен опыт внедрения автоматизированных систем тестирования PCMS и CodeTest для промежуточного контроля практики, а также опыт использования LMS Moodle для проведения контроля теоретических знаний. В ходе анализа внедрения мы получили следующие результаты.
Использование LMS Moodle для проведения контроля теоретических знаний позволило снизить среднее время проверки одной работы с 11 до 6 минут. При этом удовлетворённость оценками у студентов даже увеличилась из-за повышения объективности оценивания.
Внедрение АСТ для контроля практики перенесло нагрузку по унификации решений с преподавателя на студентов. При этом в ходе использования системы PCMS были выявлены недостатки, которые снижали продуктивность преподавателя и вносили погрешность в оценку. Для решения сформулированных проблем была разработана и апробирована система CodeTest [10]. Её использование позволило увеличить скорость адаптации и понизить порог вхождения студента при пользовании системой. Это также снизило поток обращений, не связанных с содержанием предмета.
Решение об изменении формата промежуточного контроля практики (неделя в 2016 году вместо 2 часов в 2015) вызвало следующие результаты:
1. уменьшение разброса оценок, являющееся свидетельством уменьшения числа студентов, справившихся «ниже среднего»;
2. появление существенной корреляции оценки с другими учебными событиями - плохие навыки планирования могут не дать студентам уделить достаточное количество времени на выполнение заданий.
В целом, автоматизацию контроля можно считать успешной. Нам удалось снизить издержки, повысить объективность и прозрачность и, что немаловажно, зафиксировать причинно-следственные связи между изменениями и результатами. Идентификация причин негативных результатов позволит в будущем выработать пути решения известных проблем.
Литература
1. Сазонов Б.А. Балльно-рейтинговые системы оценивания знаний и обеспечение качества учебного процесса // Высшее образование в России, М.: МГУП им. Фёдорова. - 2012. - №6. - С. 28-40
2. Павлов Н. Контроль знаний студентов // Высшее образование в России, М.: МГУП им. Фёдорова. - 2000. - №1. - С. 116-121
3. Терехина Л.И. Применение факторного подхода кластеризации результатов мониторинговой оценки знаний по математике в вузе // Современные проблемы науки и образования, Пенза: "Академия Естествознания" - 2015. - №1-1.- С. 17651772
4. Терехина Л.И. Применение дисперсионного анализа для оценки значимости динамики показателей успеваемости в вузе // Современные проблемы науки и образования, Пенза: "Академия Естествознания" - 2014. - №3.- С. 697-705
5. Агафонов А.В. Текущий контроль в ходе обучения иностранных граждан // Научный вестник МГТУ ГА. 2008. №128. С. 97-103
6. Скоробогатов С.Ю. Автоматизированная система тестирования для подготовки IT-специалистов: опыт использования // Теоретические и прикладные аспекты современной науки - 2014. - №2-2. - С. 50-52
7. Лаптев В.В., Морозов А.В., Мамлеева А.Р. Система контроля лабораторных работ // Объектные системы. - 2011. - №3 (5).- С. 92-102
8. Привалов А.Н., Гладких И.Ю. Принципы построения и реализация системы автоматизированного тестирования решений задач по программированию // Известия ТулГУ. Технические науки. - 2016. - №2. - С. 216-227
9. Якушин А.В, Гладких И.Ю. Выбор системы автоматизированного тестирования решений задач по программированию // International Journal of Open Information Technologies. 2016. - №6. - С. 38-43
10. Web tool for automated code compiling and testing. Project page [Электронный ресурс] // URL: https://bitbucket.org/str-anger/stick-rope.git (дата обращения: 06.12.2016)
11. Principles of teaching // Carnegie Mellon University. URL: https://www.cmu.edu/teaching/principles/teaching.html (дата обращения 08.12.2016)
12. The Educational Value of Course-level Learning Objectives/Outcomes // Carnegie Mellon University. URL:
https://www.cmu.edu/teaching/resources/Teaching/CourseDesign/Objectives/CourseLe arningObjectivesValue.pdf (дата обращения 08.12.2016)
