CC BY
10
УДК 004.42:519.25
А.О. Подопригалова, В.М. Лазурик
СИСТЕМА СТАТИСТИЧЕСКОГО АНАЛИЗА РЕЗУЛЬТАТОВ КОМПЬЮТЕРНОГО ТЕСТИРОВАНИЯ, ПОЛУЧЕННЫХ С ИСПОЛЬЗОВАНИЕМ ПАКЕТА TSHELL
Введение. Одной из важнейших составляющих повышения качества образования является использование компьютерных систем для педагогического тестирования.
Актуальность компьютерного тестирования обусловлена не только необходимостью подготовки студентов обучаться в новых технико-опосредованных условиях, но и быть готовыми к успешной профессиональной деятельности в перспективном высокотехнологичном информационном пространстве. Развитие информационных технологий способствовало разработке и внедрению в практическое использование различных программных комплексов тестирования.
В Харьковском национальном университете имени В.Н.Каразина разработан программный комплекс TShell [1], который с 2005 года используется для оперативного контроля знаний студентов и мониторинга качества образования. TShell позволяет формировать модель педагогического тестирования [2], сохраняет итоговые показатели и подробный протокол тестирования в базе данных, имеет развитый инструментарий. Использование пакета TShell для проведения компьютерного тестирования позволяет представлять в числовом формализованном виде латентные переменные, такие как усвояемость дисциплины, уровень подготовки группы тестируемых, возможность угадывания ответа и т.д. Помимо подробного протокола тестирования для каждого студента в MySQL базе данных сохраняется большое количество разнообразных показателей.
В 2011 году на компьютерном факультете ХНУ было разработано Web приложение «Система обработки результатов тестирования» (СОРТ) [3,4], позволяющее проводить сравнительный анализ результатов тестирования, полученных с использованием TShell. Разработка такого рода программного обеспечения (ПО) актуальна, поскольку использование его позволяет оперативно обрабатывать результаты контроля знаний без дополнительных затрат времени преподавателя, что обеспечивает рациональное планирование учебного процесса.
Настоящая работа посвящена дальнейшему развитию СОРТ для статистического и ретроспективного анализа результатов компьютерного тестирования с возможностью интерактивного формирования критериев обработки. Описаны новые возможности, на конкретных примерах рассматриваются способы применения.
Анализ публикаций по теме исследования. На сегодняшний день нет единого стандартизированного программного обеспечения, позволяющего проводить компьютерное тестирование и сохранять полученные результаты, хотя тестовых оболочек разработано много. Проведенный анализ публикаций показал, что ни одно ПО не предоставляет таких развитых возможностей для обработки результатов тестирования как СОРТ. Примеры некоторых программ, имеющих в своем составе средства обработки результатов тестирования:
— MyTest Х дает возможность проанализировать результаты, представляя их в виде двух диаграмм (правильности и среднего времени обдумывания), а также сводных таблиц, позволяющих проанализировать результаты по группам, по оценкам, по заданиям.
— OpenTEST 2.0 предоставляет в виде графиков частотное распределение результатов тестирования по шкале оценивания.
— MiniTest-SL дает возможность формирования различных отчетных документов, предоставляет функции сортировки и фильтрации результатов тестирования.
Целью работы является описание новых возможностей системы обработки результатов тестирования, полученных с использованием TShell, для обеспечения сравнительного статистического и ретроспективного анализа.
Основная часть. СОРТ содержит три функциональных блока:
— расчет и визуализация статистики оценок по группе;
— анализ тестовых заданий;
— анализ успеваемости.
Для работы с любым блоком системы прежде всего необходимо определить параметры теста, результаты которого будут анализироваться. К таким параметрам относятся: название теста, модуль теста или вся дисциплина (для итогового контроля), группа тестируемых и учебный год, критерий отбора результатов (рис.1). TShell позволяет проводить тестирование в любой группе студентов, название которой сохраняется в базе данных. Чаще всего в учебном процессе в этой роли выступает академическая группа. СОРТ позволяет анализировать результаты как одной, так и нескольких групп, проходивших тестирование, это позволяет обработать результаты тестирования всего курса. Иногда
студент успевает пройти тест несколько раз в отведенное для тестирования время. Критерий «лучший» или «последний» определяет критерий выбора результатов тестирования для каждого студента.
СПИСОК СТУДЕНТОВ:
Антиповв Ольге уч
Бескоровайный Николай
Б о ндар е ц Ал е ксандр
Бондарь Александр
Боюс Влас
Бублий Юрий
Будлянская Мария
Великодный Виталий
Голубев Евгений
Гречко Наталья
Дудник Марина
Капустян Роман
Костюкевич Инга
Красин Богдан
Кривуля Андрей
Кужим Роман
Кузан Николай
Куклев Александр
Кунина Евгения Я
Максимальный балл 1 "
Минимальный балл «
Средний балл 1 «
Успеваемость «2%
Рис. 1 Параметры теста
Рис. 2 Показатели по группе
На рис.2 показан один из режимов работы блока «Расчет и визуализация статистики оценок по группе». Здесь представлен список студентов из тестируемых групп, заданных при определении параметров теста. По результатам студентов, представленных в списке, определяется максимальный, минимальный и средний баллы. Успеваемость рассчитывается как отношение положительных оценок (A,B,C,D,E) к общему количеству оценок (A,B,C,D,E,FX) по шкале ECTS. Частотное распределение оценок (рис.3) представлено в виде графической диаграммы и числовых показателей. Для анализа предоставляется возможность, установив при помощи кнопки опцию (A,B,C,D,E,FX), получить подгруппу студентов, результаты тестирования которых имеют соответствующую оценку.
ЧАСТОТНОЕ Е\СПРЕ ДЕЛЕНИЕ ОЦЕНОК
ОА ОВ
®С 01) ОЕ он
Беляев Андрей, Аж>1
Будлянская Ксения, В->1
Кот Александр, С->4
Назаров Сергей Ь->2
Е->10
ГХ->16
Рис. 3 Частотное распределение оценок
Система обработки результатов тестирования позволяет визуализировать протоколы прохождения теста. Это можно сделать для одного студента из списка, выделив его фамилию в списке. На рис. 4 представлена полная числовая информация о прохождении теста студентом, фамилия которого выделена в списке тестируемых. Дано количество заданий в тесте, полученных ответов, статистика правильных/неправильных и частично-правильных ответов. Этот протокол подобен итоговому протоколу, который предоставляет каждому студенту тестовая оболочка TShell помимо подробных сведений о прохождении теста.
Антиповв Ольге
Бескоровайный Николай
Бондарец Ал ексанлр Бондарь Александр
РЕЗУЛЬТАТЫ СТУДЕНТА -Бескоровайный Николай
№Ф Дата теста » Оценка (ЕШ) т Оценка (балл| $ Кол-во вопр т Кол-во ОТВ т Правильных отв. ▼ Неправильных отв * Част, правильных
1 2012-05-25 0 57 100 100 67 31 2
Рис.4 Вид протокола прохождение теста студентом
Если в списке группы студентов, результаты которых анализируются, дискретно выделить подгруппу (выборку), по ней тоже можно получить итоговый отчет (рис.5), подобный тому, который предоставлялся системой по одному студенту. В заголовке каждого столбца отчета расположены кнопки, которые позволяют отсортировать информацию по возрастанию или убыванию значений показателей
того столбика, у которого была нажата кнопка сортировки. На рисунке данные, представленные в таблице, отсортированы по оценке ECTS.
СЛИСОК СТУДЕНТОВ:
РЕЗУЛЬТАТЫ ГРУППЫ
Антипова Ольга А балл ф вопр - 100 отве т 100 прав $ Непр$ Част *
Бондврец Александр Щ И4 ФИО Ф Акад. группа * Дата теста - Оценка (ЕС15) 1
&онаврь Александр КПШГРЛЙГ 2 Бондарь Александр КС-31 2012-05-25 А 92 92 7 1
БублийЮрий 6 Капуст ян Рсиэн КС-31 2012-05-25 В !5 ЮР 100 68 12 0
8е яикодный Виталий 7 Красин Богдан КС-32 2012-05-25 В 79 100 100 79 15 7
Голубее Евгений 4 Великодный биташй кс-31 2012-05-25 с 72 100 100 70 18 12
Капчстян Ромен 1 Бескоровайный Николай КС-31 2012-05-25 57 100 100 67 31 2
Коетюкввич Инга 3 Богсс Влас кс-31 2012-05-25 0 53 100 100 64 31 5
Гчрасин оогден Кривуяя Андрей Гречко Нятапья кс-зг 2012-05-25 Е зе 100 100 43 53 1
Кужим Роман Кцэан Николай ; а Кривуля Андрей КС-32 2012-05-25 Е 46 100 100 56 33 11
Кунина Евгения_ , 5 Кукле* Александр КС-32 2012-05-25 га 5 100 100 21 78 I
Рис. 5 Вид протокола прохождения теста выборкой студентов из группы
Блок «Анализ тестовых заданий » позволяет провести сравнение отдельных заданий в тестовой батарее. Статистика ответов на задание позволяет оценить сложность задания для конкретной группы тестируемых. Просуммировав правильные, неправильные или частично правильные ответы на конкретное задание можно определить, какие именно задания явились самыми сложными или легкими для выделенной группы тестируемых (рис.6), что в свою очередь обеспечивает обратную связь контроля знаний и учебного процесса.
СПИСОК ЛЕГКИХ ЗАДАНИИ МОДУЛЯ
№2 Записью реляционной базы данных является №3 Первичный ключ в реляционной базе данных служит для
№5 БД содержит информацию об учениках компьютерной школы, имя. номер группы, балл за тест, балл за задание, общ
№8 Что такое внешний ключ?
ПОДРОБНЕЕ О ЛЕГКИХ/СЛОЖНЫХ ЗАДАНИЯХ МОДУЛЯ
СПИСОК сложных ЗАДАНИЙ МОДУЛЯ
№75 Что такое денормализация БД? Для чего она нужна?
Попер ццания в БД Отвечали{кол-во студентов) Правильно Неправильно Частично правильно
2 7 7 0 0
3 11 11 0 0
5 10 10 0 0
75 9 1 8 0
Рис. 6 Список тестовых заданий
Рис.7 Подробная информация
СОРТ позволяет проанализировать каждую категорию заданий. При нажатии кнопки «Подробнее» визуализируется таблица (рис.7), в которую выводится номер задания, число отвечавших студентов, количество правильных, неправильных или частично правильных ответов.
Система предоставляет возможность провести статистический анализ по конкретным тестовым заданиям.
СТАТИСТИЧЕСКИЙ АНАЛИЗ ПО ЗАДАНИЯМ
фамилия Задания в БД 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 „ 19 20 21 22
Антипова Ольга * + не отвечал + +/- + не отвечал + +/- + не отвечал +/- + не отвечал
Бондарь Александр Бублий Юрий * + не отвечал + + + ♦ +/- +/- не отвечал +/- не отвечал отвечал отвечал ♦ отвечал
♦ не отвечал + +/- не отвечал * не отвечал +/- +/- + +/- не отвечал не отвечал +/- ♦
Кривуля Андрей ♦ ♦ + не отвечал +/- не * + +/- + не отвечал не не не * !
Куклев Александр не отвечал + не отвечал * + +/- не отвечал не отвечал не отвечал +/- * *
Малышев Валерий * ♦ + не отвечал не отвечал + +/- не отвечал + не отвечал + +/- не отвечал * не отвечал
Пасека Алина не отвечал не отвечал + * не отвечал + не отвечал +/- +/- не отвечал + * + не отвечал * +
Стеоаев Дмитрий Троицк Владимир ♦ * не отвечал не отвечал не отвечал + • не отвечал +/- не отвечал не отвечал + + ♦ * не отвечал не , отвечал <
не отвечал +/- +/- + +/- не отвечал не отвечал не отвечал + * *
Кол-во 61010 5|2]0 В 011 4|1|0 4|1|0 2|0|4 4|2Ц 5|2|0 2|5|0 1|3|5 7|0|1 0|0|7 4|2|0 1|3]2 0|4|0 4ЦЮ 2|2|3 3|2|4 5|0|0 £10 7|0|2
ответов
Успеваемость 100% 71% 100% 57% 80% 69% 00% 71% 29% 40% 95% 43% 07% 39% <
1|1|2
80% 57% 63% 100% 89% 93% 50%
Рис.8 Вид таблицы анализа тестовых заданий
На рис.8 приведена таблица со статистикой ответов по каждому заданию из тестовой батареи, выделенной группой тестируемых. В таблице каждая колонка представляет № задания в БД, а каждая строка — ФИО студента. В ячейке на пересечении ФИО студента и номера задания приведен результат ответа на задание: «+» - правильно, «-» - неправильно, «+\-» - частично правильно. Последнее сочетание символов может быть получено при работе с тестовым заданием на соответствие или множественного выбора, когда студент не допустил ошибочных ответов, но не указал все правильные варианты. Ячейки таблицы выделяются различными цветами в зависимости от значений этой ячейки. Внизу таблица содержит строку итога ответов на задания теста (Кол-во ответов) в формате «правильных ответов|неправильных ответов|частично правильных ответов». Последняя строка таблицы (Успеваемость) показывает процент успеваемости заданной выборки студентов по заданиям модуля.
Анализ тестовых заданий очень важен при оценке надежности и валидности теста. Он также может предоставлять информацию о том, что знают и чего не знают тестируемые, и потому быть основой планирования учебного процесса.
Также, в системе СОРТ поддерживается возможность просмотра тестового задания по его уникальному номеру в БД. Для этого в ПО реализован механизм поиска задания в БД тестовых вопросов.
В результате поиска пользователю будет визуализирована таблица, в которой содержатся следующие поля: тип задания, текст задания, варианты ответа на задание модуля.
Функциональный блок «Анализ успеваемости» позволяет сравнить уровень успеваемости по дисциплине или по модулю дисциплины в разных группах тестируемых и даже в разные учебные годы. Для этого предусмотрены возможности анализа успеваемости по баллам и по модулю. При анализе по баллам СОРТ визуализирует таблицу со статистическими показателями: выборочное среднее, мода, медиана, дисперсия, стандартное отклонение, максимальный и минимальный балл, а также частотное распределение оценок по заданной выборке тестируемых.
УРОВЕНЬ УСПЕВАЕМОСТИ ПО БАЛЛАМ
О Максимум О Минимум С Выб.среднее Дисперсия С'Ст-чца.огнп. О Мода О Медиана ®Ре!улиа|
0 Выборка Н°1 33 0 Щ ш 25 ш 36 А ■ 1 В-1 Уо гх -.К
НВыборка И°2 95 0 Щ 23 с ТО/ А-Щ Э -6 §9 ¡Уз Ни
ШВыборкяНЗЙ 97 50 ш 256 Щ 72- нк В-3 ;С4
Й Выборка Н°4 97 19 418- ш. А 80 А М р!)
Ввыборга |Ь5 88 Ж 61 :Й2 щ. 1 59 А-1 Б -4 С-1 0-9 Е-1 П<-1
Рис.9 Таблица успеваемости по баллам
На рис. 9 приведена таблица статистических показателей по нескольким выборкам. В колонке «Результат» содержится частотное распределение оценок по ЕСК шкале в конкретной выборке. Для наглядного представления результатов сравнения можно в таблице выделить колонку и получить диаграмму для указанного показателя (рис.10).
■ !кЕ
I лк.|К .1.
Рис. 10 Диаграмма успеваемости
СОРТ дает возможность анализа успеваемости по модулю. На рис.11 показана таблица, содержащая для каждой из рассматриваемых выборок количество вопросов в тесте, средний процент правильных, неправильных и частично правильных ответов и успеваемость по модулю. Поддерживается возможность удалять выборки из таблицы и просматривать диаграммы (рис.12) по выделенным показателям.
УЮШУСПЕВДШОШПОМЧРЮДНСЩШЛШШ
Рис. 11 Таблица успеваемости по модулю Рис. 12 Диаграмма
успеваемости
В системе СОРТ реализована справочная информация по выборке. Справочная информация приводится внизу таблицы и содержит описание основных характеристик сформированной выборки тестируемых. К этим характеристикам относится: название теста, модуль теста, группа тестируемых, период тестирования, критерий отбора результатов, количество студентов в выборке, а также приводится список студентов, вошедших в исследуемую выборку.
Выводы: Разработанное для системы компьютерного тестирования TShell программное обеспечение СОРТ дает возможность статистической обработки численных значений результатов тестирования, что позволяет анализировать динамику учебного процесса. Сферой применения СОРТ является компьютерное педагогическое тестирование, квалификационные тесты и другие виды контроля знаний, выполненных в TShell, когда необходима обработка и визуализация результатов тестирования.
ЛИТЕРАТУРА:
1. Васильева Л.В., Лазурик В.Т., Лазурик В.М., Пак 1.В. Комп'ютерний мошторинг контролю якосп освгги та оцшки знань студенпв. Проблеми сучасно! освгги : збiрник науково-методичних праць.
- Вип.2. — Х. ХНУ iменi В.Н.Каразша, 2011. — С. 7-18.
2. Лазурик В.В., Лазурик В.М. Модели педагогических измерений для компьютерного тестирования с использованием пакета TSHELL // Труды науч.-техн. конф. с межд. участием. — Х.: ХНУ им. В.Н.Каразина, 2012. — С. 247-250.
3. Подопригалова А.О., Лазурик В.М.. Подсистема статистического анализа результатов компьютерного тестирования как часть пакета TShell: труды научно-технической конференции с международным участием КМНТ-2012. - ХНУ имени В.Н.Каразина,2012 - С. 351-354.
4. Подопригалова А.О., Лазурик В.М. Статистическая обработка результатов компьютерного тестирования // Матерiали VII Всеукрашсько! науково-практично! конференций — Рiвне: РВВ РДГУ. - 2013. - С. 45-46
ПОДОПРИГАЛОВА Анна Олеговна - магистр факультета Компьютерных наук Харьковского национального университета имени В.Н. Каразина. Научные интересы:
- информационные технологии в области педагогических измерений, компьютерное моделирование.
ЛАЗУРИК Валентина Михайловна - ст. преподаватель Харьковского национального университета имени В.Н. Каразина. Научные интересы:
- разработка больших программных продуктов в области моделирования процессов в радиационной физике и в области педагогических измерений.
