CC BY
125
Компьютерная система рейтингового оценивания знаний, как средство повышения уровня знаний
студентов
Осадчий Вячеслав Владимирович доц., к. пед. н., доцент кафедры информатики и кибернетики Мелитопольский государственный педагогический университет им. Богдана Хмельницкого,
72312, Украина, Запорожская обл., г. Мелитополь, ул. Ленина, 20, +380979308618
Аннотация
В статье проанализированы системы ведения учета успеваемости в средних и высших учебных заведениях. Автором приведена общая характеристика компьютерной системы рейтингового оценивания знаний, реализованной в программном комплексе «Электронный журнал». Описаны принципы построения тестов, вычисления рейтинговой оценки и определения знаний студентов при компьютерном тестировании средствами этой системы. Описаны этапы определения уровня знаний студентов и их зависимость от использования компьютерной системы рейтингового оценивания знаний.
In this article analyzes the accounting system performance in secondary and higher education institutions. The author gives a general description of the computer system of rating knowledge assessment, implemented in the software complex "Electronic Journal." The principles of test construction, calculation and determination-rated knowledge of students in computer testing facilities of the system. Describes the steps for determining the level of students' knowledge and their dependence on the use of the computer system of rating knowledge assessment.
Ключевые слова
Компьютерная система, компьютерное тестирование, рейтинг, тип тестирование.
Computer system, computer testing, rating, type of testing.
Введение
Контроль качества усвоения знаний в высшей школе, оценка степени достижения студентами поставленных учебных целей являются важными составными частями учебного процесса. Применяемые с этой целью формы контроля, оценки уровней обученности студентов отличаются большим разнообразием. Каждая из них имеет свои преимущества и недостатки. Одним из способов проверки знаний является их тестирование, что понимается как процесс оценки соответствия личностной модели знаний обучаемого экспертной модели знаний [1].
Соглашаясь с мнением А.Г. Оганесяна, можно сказать, что в процессе компьютерного тестирования тестовое задание формируется компьютером непосредственно в момент тестирования, для чего используется библиотека тестовых заданий охватывающая все необходимые разделы по предмету; оценка по каждому вопросу или задаче тестового задания появляется на экране сразу же после ввода ответа; результирующая оценка также выводится на экран без задержки после окончания тестирования; нет никакого многодневного ожидания и никакой возможности фальсифицировать результат; вопросы появляются на экране, а ответы
вводятся с клавиатуры или мышкой [2]. Компьютерное тестирование осуществляется в форме самостоятельного диалога студента с компьютером в присутствии ответственного за организацию тестирования лица или без него, с возможностью запоминания результатов тестирования.
Сочетание возможностей компьютерных технологий и достоинств тестирования вызывает повышенный интерес к разработке тестов, компьютерных программ и систем тестирования.
Подобные компьютерные системы. Автоматизированная система контроля знаний и управления обучением, разработанная сотрудником кафедры теплотехники Пермского государственного технического университета Селяниновым Ю.А., кроме многих возможностей, например, осуществления текущего контроля знаний, создания индивидуальных графиков обучения, ведение информационной и учебной баз данных, анализа успеваемости, данных по родителям, составу и социальному статусу семьи и т.п., поддерживает автоматическое ведение электронного журнала [3].
В Тамбовском профессиональном училище № 17 был разработан
"Электронный журнал" как электронное дидактическое средство, назначение которого состоит в обеспечении эффективного отслеживания результатов усвоения знаний и оптимизации управления учебным процессом в ходе внедрения психологопедагогического мониторинга, включающее в себя контролирующие действия и результаты обучения. Его основные функции заключаются в систематизации и обобщении данных об успеваемости учащихся, возможности диагностики результатов образовательного процесса, оптимизации и повышении эффективности образовательного процесса, иллюстрации процесса контроля знаний, повышении уровня образованности учащихся и качества образования. Его применяют в учебном процессе на уроках разных типов как экономную, целенаправленную и индивидуальную форму контроля [4].
Система электронных школьных журналов, разработанная Московским ООО "Оптима", является инструментом для создания единого информационно -образовательного пространства учебного заведения и взаимодействия образовательного учреждения с родителями учащихся. Она имеет развитую систему тестирования учащихся и их родителей, возможность публикации расписания для каждого класса и информации о школе, ведение дневника школьника, включая SMS-дневник и т.д. [5].
В Белоцерковском филиале Государственной академии статистики учета и аудита в Автоматизированной системе управления вузов был разработан "электронный журнал", в ведении которого используется рейтинговая система. Студенты оцениваются с позиции "процента выполненной работы". Если студент выполнил задание на 100%, то он получает "1", если работа выполнена на 85%, то получает "0,85" и т.д. В зависимости от многообразия форм оценивания знаний, система учета может быть либо чисто рейтинговая, либо модульная [6].
Постановка проблемы. Анализируя теоретические ([7], [8], [9]) и
практические ([3],[5],[6],[4]) наработки по вопросу создания программ для тестового контроля знаний студентов, мы пришли к выводу, что многие методы тестирования и компьютерные их реализации не учитывают претензионный уровень студента. Под ним мы понимаем возможность студента доказать, что уровень его знания больше предполагаемого, например, исходя из текущих оценок по практическим (семинарским, лабораторным) занятиям или предыдущего тестирования. Такое тестирование можно назвать адаптивным, так как оно адаптируется к уровню умений и способностей тестированного. В процессе компьютерного адаптированного тестирования вопросы выбираются последовательно так, чтобы максимизировать точность экзамена на основе того, что известно об испытуемом из предыдущих вопросов [7].
Общая характеристика компьютерной системы рейтингового оценивания знаний студентов.
Созданная нами компьютерная система рейтингового оценивания знаний студентов (Патент №75943 (Украина) от 25.12.2012 г., МПК G06F 7/06 (2006.01), авторы: Осадчий В.В., Осадчая Е.П.) реализована в программном комплексе "Электронный журнал" (Свидетельство про регистрацию авторского права (Украина) №21614 01.08.2007 г., авторы: Осадчий В.В., Додонов А.В.).
"Электронный журнал" - является интерфейсом для базы данных контроля успеваемости и качества знаний студентов, основными модулями которого являются: электронный журнал, журнала ведения успеваемости студентов с возможностью выведения их рейтинговой оценки по дисциплине, тестовая программа, редактор тестов, утилиты для администрирования общей университетской базы данных [10].
«Электронный журнал» (рис. 1) представляет собой расширенный компьютерно-ориентированный аналог академического журнала, основной функцией которого является учет данных об успеваемости студентов.
О • О о пор ^4мташ мрммркр * ^Ларшм С, т 9 ж
•сеуераикие Экса. Дер*прям
. ( . 10 10 II ОА оа ОЗОО 10 11 11 и II ОА ОА ОЬ ОА 1 1 13 17 20 II II 11 - ’ Об ОА ОА 22 '24 1111 «ьм 29 01 II 12 ОА ОА 104 ОА 12 »-! 00 оп 00 11 12 и 0А 00 11 13 1В 12 12 1*» ОООА»т ро;асв | ' 12 Р»«(ЯИ1 М' оп ОА
13
• 'О 43
* ' [»
«
о
а
11
* ш
I кряга Ст» Онгшм 3 Морозам км пуни 1 Ргфвгтм СиТцм
• Сцяц| Опкмирап»
3 т щ ••• с* о п—стдр Стошкамм « «ишмга Гр»^в Олмсморсаг* Т цлинтш» Оп— цк>и
8 1» ц| С«р»1вд—ч
1 ига опт Пм«ам К1 1л*ус» имап имапаажги
О - II О'» 04 !>• ОА и 19 П7 0Я ОГ.ОА 20 22 23 П •09 04 09 <10 ОА ОА ОА -]Г 2«» 02 * 09 11 1 > ОА " > III ОА 10 10 ОА 00 0«* 1 1 10 1«: ОА ОА и I*. 10 10 ОО 1
Л
20
30
п
н
И
24
24
и
' 11120;
ю Ю I ■'< 06()«(
фцуямт_____
1«фчю’м я и
Группа | 17 ^
ПрГДМ1'Т А<ф(^Чп
Снегам» (щи
Т«а мягпм
»МЛ|*
ГГ5 п»иГ
Рис. 1. Интерфейс модуля "Электронный журнал”
«Электронный журнал» может работать в одном из трех систем оценки - 5балльная, 12-балльная, 25-балльная (50 или 100) (модульно-рейтинговая). Также существует режим учета пропусков занятий.
Для внесения отметки в журнал используется контекстное меню, которое появляется при нажатии левой кнопки мыши на действующем поле журнала. Поле может не быть действующим, если студента еще не было/уже нет в базе данных. В последнем, внешнем столбце проставляется средний балл студента по выбранному предмету. В дальнейшем он используется в тестовой программе для формирования индивидуальной программы тестирования.
Доступ к функции тестирования имеют пользователи с уровнем доступа «Преподаватель» и «Администратор». Для создания нового теста, прежде всего, необходимо выбрать предмет, для которого будет создан тест. После выбора предмета загружается список тестов, в случае отсутствия тестов по этому предмету
будет предложено создать новый. Если тесты уже создавались, загружается их список, при этом первый по списку становится активным. Окно настроек теста содержит несколько блоков (рис. 2).
Рис. 2. Окно настроек тестов
В первом блоке сосредоточены элементы управления тестом, которые позволяют создать новый тест для текущего предмета, удалить или переименовать, а также экспортировать вопрос в другой тест.
Удалить позволяет удалить тест из базы данных. Это действие требует повторного подтверждения.
Переименовать: при выборе этой опции появится окно с приглашением к вводу измененной темы текущего теста. Ложный запрос на изменение темы может быть отклонен пользователем.
Создать: появляется приглашение к вводу темы нового теста, который будет создан для текущего установленного предмета.
Экспортировать вопрос: при выборе этой опции появится окно, где необходимо выбрать предмет из списка, тему теста, куда будут экспортированы вопросы. Подтверждается это действие кнопкой «Старт».
Во втором блоке задаются настройки прохождения текущего теста.
Типы тестирования и тестовых заданий. Тестовая программа предоставляет возможность пройти тест по любому предмету из тех, которые изучаются. В программе существуют три типа тестов [11].
1) последовательный тест - каждый вопрос теста имеет до 10 вариантов ответов, для ответа необходимо выделить один или несколько вариантов и нажать кнопку "Подтвердить ответ", время ответа может быть ограничено, по истечении времени автоматически выполнена проверка;
2) параллельный тест - выводится страница, которая одновременно содержит все вопросы теста с вариантами ответов, после подтверждения ответа пользователем проверяются сразу все тестовые вопросы;
3) модульный контроль - предполагает кроме ответа на тестовые вопросы, развернутый ответ на один или несколько вопросов, причем тестовые вопросы проверяются автоматически, а развернутые ответы хранятся на сервере для дальнейшей проверки преподавателем.
После выбора типа тестирования система из основной базы тестов формирует индивидуальный блок тестов для каждого пользователя. Тестовый блок формируется из заданий различного типа, выбранных случайным образом: выбор один из многих, выбор несколько из многих; сортировки последовательности ответов по возрастанию/убыванию, выбор правильного графического объекта из множества объектов; полный ответ, который будет храниться в системе на сервере в форме отчета для проверки преподавателем.
Выбор одного из многих предусматривает выбор одного верного ответа среди представленных. Выбор несколько из многих предусматривает выбор всех верных вариантов ответов среди приведенных. В задачах этого вида деятельности предусмотрено, что все варианты ответов могут быть правильными, все варианты ответов могут быть неправильными и несколько вариантов ответов могут быть правильными. Сортировка последовательности ответов по возрастанию/ убыванию заключается в размещении ответов согласно поставленной задачи (по возрастанию/убыванию).
Выбор правильного графического объекта из многих представленных предполагает выбор одного правильного объекта. При написании студентом развернутого ответа на задание программа сохраняет эту информацию в виде отчета на сервере. Такие задачи участвуют в расчете конечного рейтинга, только после ознакомления и оценки ее преподавателем, после чего корректируют конечный результат.
Перед выдачей студенту, задачи внутри своей категории генерируются случайным образом, после чего происходит произвольная генерация вариантов ответов внутри каждого задания, что позволяет системе быть более гибкой и способной адаптироваться под различные уровни знаний студентов, и при повторном тестировании вероятность получения этих задач и такого же порядка ответов маловероятна.
Оценивание знаний студента. В компьютерной системе рейтингового оценивания знаний каждому заданию теста присваивается собственный вес, который определяет один из трех его уровней сложности: 1-низкий, 2-средний, 3-высокий. Перед началом тестирования преподаватель в компьютерной системе указывает, какое максимальное количество баллов можно получить за тест. Поэтому каждый студент в не зависимости от своего уровня знаний имеет право получить за тест максимальное количество баллов, но количество задач разного уровня сложности у каждого студента будет индивидуальным, и оно определяется системой на основе претензионного уровня.
Претензионный уровень у студента может быть: низким, средним или высоким. При самом первом прохождении теста компьютерная система определяет претензионный уровень студента, как средний балл между средним баллом за предыдущие достижения студента по предмету и максимальному баллу за тест, который планируется пройти.
к і - предыдущие оценки студента;
т - количество оценок;
: : 'V. - максимальное количество баллов за тест.
Полученное значение в баллах система заносит в свою базу согласно претензионному уровню. Также имеются в наличии данные успеваемости студента по предыдущему месту обучения по аналогичным предметам, система использует эти данные, как предыдущий уровень контроля.
В зависимости от претензионного уровня (низкий, высокий, средний) количество заданий разного уровня сложности для студента распределяется таким процентным составом: при низком претензионном уровне 15% задач высокого уровня, 25% - среднего уровня и 60% - низкого уровня сложности; при среднем претензионном уровне 20% - высокого уровня, 40% - среднего уровня и 40% -низкого уровня сложности; при высоком претензионном уровне 35% - высокого уровня, 45% - среднего уровня и 20% - низкого уровня сложности.
При следующем тестировании система уже на основе полученного претензионного уровня определяет, какое количество задач и степени сложности нужно выдать студенту для прохождения тестового сеанса.
При тестировании контролируется продолжительность времени ответа студентом на каждое задание и при превышении этого интервала предлагается следующее задание теста, что стимулирует концентрацию и самостоятельность мышления у студента. Интервал ответа на тест устанавливается преподавателем (рекомендуемый промежуток от 30 до 180 сек.). Впоследствии система рассчитывает средний показатель скорости ответов (£с) и корректирует время, выделенное на ответ.
*с= X кж где
■ - - время, затраченное на ответ каждым студентом на данное задание;
- количество ответов на данное задание.
В системе предусмотрена абсолютная и относительная шкала оценивания. По абсолютной, если студент выбрал не все верные ответы среди представленных, то ответ считается неверным и за него баллы не начисляются.
По относительной системе за частично правильный ответ начисляются баллы в процентном отношении, исходя из степени правильности ответа и собственного веса задачи. Кроме того, если время ответа ограничено и студент правильно отвечает на задание в течение первых 30% времени, ему начисляются дополнительные баллы (0.05 балла из расчета по пятибалльной системе оценивания, 0,12 балла - по двенадцатибалльной системе, 0,25 балла - по двадцятипятибалльной системе, 0,5 -по пятидесятибалльной и 1 балл - по стобалльной системе оценивания).
После прохождения теста по одной из тем предмета, система вычисляет рейтинг с учетом баллов за правильные ответы и частично правильный ответ.
Если вариант ответа неправильный или студент не успел дать правильный ответ, то вклад в рейтинг его приравнивается нулю. Информация о выбранном варианте ответа сохраняется в форме отчета на сервере.
Экспериментальная проверка компьютерной системы. Экспериментальная проверка компьютерной системы рейтингового оценивания знаний студентов проводилась на базе факультета информатики и математики Мелитопольского государственного педагогического университета имени Богдана Хмельницкого на протяжении 2008-2012 годов. Экспериментальная работа охватывала 45 академических групп (общее количество студентов - 460) по 52 учебным дисциплинам.
В контрольную группу входило 220 студентов. В экспериментальную - 240 студентов.
Перед началом использования компьютерной системы рейтингового оценивания знаний мы провели первоначальный анализ учебных достижений
студентов при помощи традиционной системы оценивания. Полученные данные свели к 5-ти бальной системе оценивания.
На основе полученных данных можно построить диаграмму уровня знаний студентов (рис. 3).
Опираясь на экспериментальные данные, можно сказать, что в контрольной и экспериментальной группах высокая доля студентов, у которых качество знаний при традиционной системе оценивания находится на уровне «удовлетворительно» и малая доля студентов, у которых качество знаний находится на уровне «отлично».
40,00%
35,00%
30,00%
25,00%
20,00%
15,00%
10,00%
5,00%
0,00%
Рис. 3. Уровень качества знаний студентов до начала проведения эксперимента
Гипотеза исследования: систематическое использование компьютерной системы рейтингового оценивания знаний студентов способствует повышению качества знаний студентов.
Цель эксперимента: исследовать влияние компьютерной системы
рейтингового оценивания знаний студентов на уровень их учебных достижений.
Для проверки эффективности использования системы в контрольной группе оценивание знаний проводилось традиционно, а экспериментальная группа для оценки уровня знаний систематически использовала компьютерную систему.
На основе полученных данных мы построили диаграмму уровня качества знаний студентов (рис. 4).
60,00%
50,00%
40,00%
30,00%
20,00%
10,00%
0,00%
КГ
ЭГ
не удовлетво удовлетвори рительно тельно
хорошо
отлично
Рис. 4. Уровень качества знаний студентов после проведения эксперимента
Опираясь на полученные данные, можно сделать вывод о том, что в экспериментальной группе повысился уровень знаний студентов после систематического использования компьютерной системы рейтингового оценивания.
Для доказательства верности полученных данных мы использовали критерии однородности хи-квадрат (критерий Пирсона) для порядковой шкалы [12].
По данному критерию проверяем гипотезу Н0 о том, что существенной
разницы между выборочными значениями контрольной группы (КГ) и экспериментальной группы (ЭГ) до начала проведения эксперимента нет. Наряду с
нуль-гипотезой рассматриваем альтернативную или конкурирующую гипотезу Н , что логично отрицанию Н0. В нашем случае как альтернативная гипотеза Нх
выступает предположение, что существуют различия между выборочными значениями контрольной группы (КГ) и экспериментальной группы (ЭГ) после проведения эксперимента.
Эмпирическое значение критерия Пирсона ХЭмг вычисляется по формуле:
т
л Э
1
где N - объем экспериментальной группы;
М - объем контрольной группы;
Ь - числовой параметр уровней;
П - вектор количества студентов экспериментальной группы на данном уровне;
т - вектор количества студентов контрольной группы на данном уровне. Проверим данные гипотезы в группах студентов до начала эксперимента.
Хэми = 240 * 220
\(И.
( 2 40
35 у 22 0У
37 + 35
+
г 67 64 У
<240 22 0У
67 + 64
+
/ 85 ( 2 40
80 у 22 0У
85 + 80
+
< 51 ,240
41 \ 22 0У 51 + 41
2п
= 0,49
7
/Гкр с уровнем значимости 0,05 возьмем из таблицы критических значений,
те. /о, о 5 = 5,9 9 .
А> эмп
< Хр (0,49 < 5.99), следовательно, нулевая гипотеза Н0
принимается, т.е. существенной разницы между выборочными значениями контрольной группы (КГ) и экспериментальной группы (ЭГ) до начала проведения эксперимента нет.
Проверим данные гипотезы в группах студентов после проведения эксперимента.
2 /•/'.2 . пг 70 ч 2
2 - 240 * 220
Хэма
( 75 39 У
(240 22 0У
75 + 39
37 У
+
Д13 66 у ( 35 78 У
(240 22 0У , (240 22 0У
113 + 66
+ ■
35 + 78
+
г 17 <240 22 0^
17 + 37
= 46,7
о
с уровнем значимости 0,05 возьмем из таблицы критических значений,
т.е.
хЭмп >хКр (46,7 < 5.99), следовательно, нулевая гипотеза Н0 отрицается,
т.е. принимается альтернативная гипотеза Н , следовательно, разница между выборками контрольной группы и экспериментальной группы после проведения эксперимента существует, она не случайна и вызвана влиянием фактора внедрения в учебно-воспитательный процесс университета компьютерной системы рейтингового оценивания знаний студентов.
По результатам экспериментальной работы можно сделать вывод, что систематическое использование компьютерной системы рейтингового оценивания знаний студентов, способствует повышению уровня знаний, что достигается путем выбора тестовых заданий индивидуально для каждого студента с учетом его претензионного уровня.
Заключение
Компьютерная система рейтингового оценивания знаний студентов, реализованная в программном комплексе «Электронный журнал» апробирована в учебном процессе Луганского национального университета имени Тараса Шевченко, Бердянского государственного педагогического университета, Мариупольского
государственного университета, апробирована и внедрена в учебный процесс Мелитопольского государственного педагогического университета имени Богдана Хмельницкого.
На основании приведенных данных можно сделать вывод, что использование компьютерной системы рейтингового оценивания знаний студентов позволяет:
1. Осуществить индивидуализированное поэтапное вычисление рейтинга оценивания знаний студента, причем наибольший вклад в рейтинг делают задачу на сортировку последовательности ответов по возрастанию/убыванию выбора несколько из многих и развернутого ответа, потому что они уменьшают коэффициент угадывания верного ответа.
2. Повысить уровень демократичности и прозрачности процедуры проведения тестирования и достоверности компьютерной системы рейтингового оценивания знаний студентов за счет подачи материала по различным уровням сложности и типам; генерацией в случайном порядке задач и случайной генерацией вариантов ответов на задания.
3. Повысить эффективность процесса проведения оценивания знаний студента путем установления для каждого задания определенного интервала времени для ответа.
4. Улучшить творческое мышление студентов с помощью развернутых ответов на поставленные задачи и осуществить взаимосвязь преподавателя, студента и системы при анализе развернутых ответов на поставленные тесты.
Литература
1. Ходакова Н.П. Электронное тестирование знаний студентов средствами программы WaterTester I Н.П.Ходакова //Педагогическая информатика. - 3’2007. - C. 88-91.
2. Оганесян А. Технология тестирования - за и против. [Электронный ресурс] А. Оганесян, И. Казимира // Международный электронный журнал "Образовательные технологии и общество (Educational Technology & Society)" - 2008
- V.11. - №1 - С.332-345 - ISSN 1436-4522. - P.332-345. - Режим доступа к журналу: http:IIifets.ieee.orgIrussianIdepositoryIv11_i1IhtmlI6.htm.
3. Автоматизированная система контроля знаний и управления обучением (АСУО). [Электронный ресурс]. - Режим доступа: http://ttech.pstu.ac.ru/do.
4. Электронные дидактические средства. [Электронный ресурс]. - Режим доступа: http:IIts17.tamb.ruIrazr.html.
5. О системе электронных школьных журналов [Электронный ресурс]. - Режим доступа: http://ballov.net/about.php.
6. Обухович В.Г. Інформаційні технології у вищому навчальному закладі. [Электронный ресурс] / В.Г. Обухович. - Режим доступа: http:IIwww.narodnaosvita.kiev.ua/vupysku/2Istatti/obyhovuchI obyhovuch.htm.
7. Weiss, D. J., & Kingsbury, G. G. (1984). Application of computerized adaptive testing to educational problems. Journal of Educational Measurement, 21, 361-375.
8. Осадчий В.В. Використання інформаційно-контролюючого комплексу
"Електронний журнал": метод. рекоменд. / В.В. Осадчий, А.В. Додонов -
Мелітополь: РВЦ МДПУ, 2011. - 40 с.
9. Kline P. (1986) A Handbook of Test Construction: Introduction to Psychometric Design. London: Methuen.
10. Осадчий В.В. Удосконалення професійної підготовки майбутніх учителів засобами комп’ютерно-орієнтованої системи навчання. / В.В. Осадчий // Інформаційні технології в освіті: Зб. наук. пр. - Херсон: Вид-во ХДУ, 2008. - Вип. 2.
- С. 90 - 95.
11. Осадчий В.В. Використання інформаційно-контролюючого комплексу
"Електронний журнал": метод. рекоменд. / В.В. Осадчий, А.В. Додонов -
Мелітополь: РВЦ МДПУ, 2011. - 40 с.
12. Новиков Д.А. «Статистические методы в педагогических исследованиях (типовые случаи)» / Д.А. Новиков. - М.: МЗ-Пресс, 2004. - 67 с.
