CC BY
40ФИЗИКО-МАТЕМАТИЧЕСКИЕ НАУКИ
АНАЛИЗ СИСТЕМЫ АДАПТИВНОГО ТЕСТИРОВАНИЯ ОСТАТОЧНЫХ ЗНАНИЙ ОБУЧАЮЩИХСЯ НА БАЗЕ
НЕЧЕТКОЙ ЛОГИКИ
1 2 Алтунина Н.А. , Ложкин С.А.
'Алтунина Надежда Александровна - магистрант;
2Ложкин Сергей Александрович - магистрант, кафедра кибербезопасности информационных систем, Донской государственный технический университет, г. Ростов-на-Дону
Аннотация: в данной статье проведен анализ существующих на сегодня подходов к реализации адаптивного тестирования на базе нечеткой логики. Описаны стратегии представления заданий для тестирования.
Ключевые слова: адаптивное тестирование, нечеткая логика, контроль знаний, оценка знаний.
Повышение качества обучения является главным направлением развития нашей системы образования. В условиях современного информационного общества автоматизированное тестирование может стать основным инструментом для этого.
Тестовый контроль остаточных знаний обучающихся, является очень важной составной частью обучения, от его правильной реализации в результате зависят как уровень, так и качество подготовки студентов. Тестирование обеспечивает обратную связь с обучаемым и предназначено непосредственно для определения его уровня остаточных знаний с целью организации адаптивного управления процессом обучения.
По способу оценивания результатов, тесты бывают двух видов: традиционные и адаптивные. Появление адаптивных тестов было обусловлено стремлением к повышению производительности педагогических измерений, которая связана с экономией времени теста, числа заданий, стоимости тестирования, а также с повышением точности оценок тестируемых. Индивидуализация процедуры выбора заданий для конкретного теста лежит в основе адаптивного тестирования [1].
Применение методов нечеткой математики позволяет более точно описывать характеристики, как отдельных тестовых заданий, так и тестов в целом, а также более качественно интерпретировать результаты тестирования.
Нечеткое множество - подмножество элементов А из Е, такое, что каждому элементу сопоставлена степень принадлежности этого элемента множеству Е.
Нечеткое множество полностью определяется заданием функции принадлежности ¡А (х): ее область определения - Е, область значений - отрезок [ 0 ,1 ] , где означает, что элемент не включен в нечеткое множество, а 1 описывает полностью включенный элемент. Значения между 0 и 1 характеризуют нечетко включенные элементы.
Чем выше значение ¡¡А (х):, тем выше оценивается степень принадлежности элемента х из Е нечеткому множеству А [2].
В данной статье рассмотрен способ оценивания уровня сложности заданий с использованием нечёткой математики. Предлагается следующая нечеткая шкала оценки уровня сложности: Очень легкий; Легкий; Средний; Выше среднего; Сложный; Очень сложный.
Оптимизация уровня сложности заданий осуществляется пошагово. Если учащийся выполняет подряд два задания верно, то его уровень сложности увеличивается. При неверном выполнении заданий происходит понижение уровня сложности. Если
тестируемый выполняет или не выполняет три уровня сложности заданий подряд, то процесс останавливается и определяется балл за выполненные задания.
Формирование результатов тестирования. Каждый уровень сложности имеет свой коэффициент, принадлежащий числовому промежутку от 0 до 1. Чем выше уровень сложности, тем больше числовой коэффициент. При подсчете результатов тестирования коэффициент умножается на количество правильных ответов, затем полученный результат суммируется и сопоставляется с оценкой.
После прохождения тестирования учащемуся выставляется оценка. В качестве шкалы оценивания взята 5-балльная шкала, которую также можно рассматривать как нечеткую. В зависимости от результата тестирования студенту присваивается одно из следующих нечетких понятий: Отлично; Хорошо; Удовлетворительно; Неудовлетворительно.
Таблица 1. Соотношение уровня сложности с весовыми коэффициентами и процентом
правильности ответа
Уровень сложности Весовой коэффициент Процент правильных ответов
Очень легкий 0,1 12%
Легкий 0,3 33%
Средний 0,4 44%
Выше среднего 0,7 77%
Сложный 0,8 88%
Очень сложный 0,9 100%
В таблице 1 представлены весовые коэффициенты, соответствующие каждому уровню сложности.
В таблице 2 приведено сопоставление оценки с процентом правильности ответа.
Таблица 2. Соотношение оценки с процентом правильности ответа
Оценка Процент правильности ответа
Отлично 77-100%
Хорошо 44-77%
Удовлетворительно 22-44%
Неудовлетворительно 12-22%
Стратегии предъявления тестовых заданий в адаптивном тестировании можно разделить на двухшаговые и многошаговые, позволяющие использовать различные технологии формирования адаптивных тестов. Двухшаговая стратегия состоит из двух этапов тестирования. На первом этапе всем испытуемым выдается одинаковый входной тест, состоящий из 10-12 вопросов базовой сложности. Данный тест определяет уровень сложности, с которого будет начинаться адаптивное тестирование. По результатам дифференциации на следующем этапе организуется адаптивный режим, и строятся адаптивные тесты.
На длину адаптивного теста существенно влияет качество структуры знаний учащихся. Испытуемые с четкой структурой знаний выполняют небольшое число заданий адаптивного теста и быстро доходят до порога своей компетентности. Тестирование учащихся с нечеткой структурой знаний увеличивает время тестирования, так как при скачкообразном изменении трудности заданий не происходит пошагового нарастания точности измерения и число заданий, адаптированных по трудности, нередко оказывается даже большим, чем в обычном, традиционном тесте.
На рисунке 1 изображены траектории адаптивного тестирования трех студентов. Каждый аттестуемый начинает свое тестирование с различного уровня сложности,
8
который определяется на основе результатов выполнения входного теста. В кружках расположены номера вопросов. Если испытуемый выполнил задание, верно, то над ломаной линией ставится знак «+», в противном случае знак «-». В качестве критерия завершения тестирования выбрано следующее правило: тестирование прекращается, если студентом подряд выполнены верно или неверно три уровня заданий адаптивного теста. Студент переходит на следующий уровень сложности, только после того как ответит верно или нет на два вопроса подряд.
Первый студент + + + Конец
Уровень сложности: + 5 6 тестирования
«выше среднего» з
*. +
• Ч-
+ 6 + 7 " 8 + 9 ^ тест
Второй студент
тень сложности: 6 Т 7 " 8 Т 9 10 КонеЧ
«среднии» ^^ + ^^^Г ^^^ ^^^ тестирования
4 + 5
Третий студент Уровень сложности: «легкий»
1 + 2 5 _ 6
7 8 9 К°НеЦ
тестирования
Рис. 1. Траектории адаптивного тестирования
Таким образом, можно сделать вывод, что в компьютерном адаптивном представлении число тестовых заданий и их трудность подбираются для каждого экзаменующегося на основании его ответов, а индивидуальная совокупность заданий образует адаптивный тест.
На основании данного анализа можно разработать систему автоматизированного адаптивного тестирования, предназначенную для оценки знаний студентов по отдельным темам дисциплины, дисциплине в целом, организации междисциплинарного экзамена.
Список литературы
1. Башмаков А.И. Разработка компьютерных учебников и обучающих систем // А.И. Башмаков. М.: Информационно-издательский дом «Филинъ», 2012. 616 а
2. Джарротано Д. Экспертные системы: принципы разработки и программирование, 4-е издание: Пер. с англ. // Д. Джарротано. М.: ООО «И.Д. Вильямс», 2007. 1152 с.
3. Крокер Л. Введение в классическую и современную теорию тестов: учебник // Л. Крокер, Дж. Алгина. М.: Логос, 2010. 668 с.
4. Студенческая наука для развития информационного общества: сборник материалов III Всероссийской научно-технической конференции. Часть 1. Ставрополь: Изд-во СКФУ, 2015. 313 с.
