CC BY
27
Добровольская Н.Ю., Харченко А.В.
Кубанский государственный университет, dnu10@mail . т
Генератор компьютерных систем адаптивного тестирования по информатике
КЛЮЧЕВЫЕ СЛОВА:
Адаптивное тестирование, компьютерные системы тестирования, стратегии тестирования.
АННОТАЦИЯ:
Предлагается блочная структура генератора компьютерных систем тестирования по информатике. Используется стратегия адаптивного тестирования при подборе очередного тестового задания. Генератор позволяет разрабатывать собственные системы адаптивного тестирования.
В современных условиях контроль учебной деятельности студентов представляет собой основной компонент педагогического управления, фактор результативности образовательного процесса. Эффективная организация педагогического контроля предполагает его оптимизацию за счет разработки и применения новых методик адаптивного тестирования. Под адаптивным тестовым контролем понимают компьютеризованную систему научно обоснованной проверки и оценки результатов обучения, обладающую высокой эффективностью за счет оптимизации процедур генерации, предъявления и оценки результатов выполнения адаптивных тестов [2]. Эффективность контрольно-оценочных процедур повышается при использовании многошаговой стратегии отбора и предъявления заданий, основанной на алгоритмах с полной контекстной зависимостью, в которых очередной шаг совершается только после оценки результатов выполнения предыдущего шага.
Однако в большинстве своем, имеющееся системы тестирования характеризуется тем, что объем информации, доносимой до обучаемого, методика и средства контроля жестко встроены в программу, и, чаще всего, определяются знаниями и методическими представлениями разработчика. Поэтому в настоящее время актуальной является проблема разработки эффективных инструментальных средств, позволяющих преподавателю раскрывать собственный взгляд на процесс обучения, реализовывать его индивидуализацию [1]. Одним из таких инструментальных средств является генератор компьютерных систем адаптивного тестирования, который разрабатывается на кафедре информационных технологий Кубанского государственного университета.
Генератор включает две подсистемы: подсистему контента теста и подсистему среды разработки теста.
Подсистема контента теста предоставляет возможность создания, хранения и модификации учебных материалов в базе данных, позволяет формировать и хранить структуру теста.
Подсистема среды разработки теста включает механизм визуализации тестового учебного материала, инструментарий реализации адаптивного ядра системы тестирования, обеспечивает интерфейс с пользователем, в частности организует обратную связь.
Организация контроля знаний обучаемого - одна из составляющих управленческой деятельности преподавателя. Это инструмент осуществления «обратной связи» в системе «обучающий - обучаемый», который позволяет получить оперативную информацию о ходе обучения, качестве усвоения знаний [2]. Контроль знаний является средством обеспечения заданного уровня усвоения учебного материала, обеспечения адаптации материала к возможностям учащегося. Информационные технологии позволяют осуществлять контроль в форме компьютерного тестирования. В связи с этим, к компьютерным системам тестирования, которые являются продуктом генератора, предъявляется ряд требований. Это обеспечение полной и качественной проверки знаний большого количества обучаемых без особых временных затрат и материальных средств по всем разделам учебного процесса; исключение субъективного подхода к оценке знаний обучаемых; освобождение преподавателей от трудоемкой работы по обработке результатов тестирования; уменьшение вероятности возникновения ошибок при подсчете результатов тестирования и выведения итоговой оценки; оперативное получение требуемой статистической информации из базы данных по результатам проведенного тестирования.
Анализ результатов тестирования позволяет строить дальнейшую работу преподавателя, ориентируясь на каждого конкретного студента и курс в целом, учитывая особенности восприятия материала. Полученная статистическая информация позволяет проводить социологические и психологические исследования, образовательные эксперименты, которые важны при разработке новых курсов лекций, а также для курсов повышенной сложности.
Генератор компьютерных систем адаптивного тестирования включает следующие блоки: блок формирования тестового материала, блок определения стратегии тестирования, блок формирования оценки, блок генерации адаптивного теста.
Блок формирования тестового материала позволяет преподавателю с помощью встроенного текстового и графического редакторов разрабатывать тестовые задания и варианты ответов к ним.
Аванесов В.С. в своих работах выделяет четыре тестовые формы, считая что, остальные представляют собой либо варианты одной из них, либо нежелательное смешение двух или более форм [3]. Блок формирования тестового материала использует следующие тестовые
формы, разработанные Аванесовым В.С.:
1. Задания с выбором одного или нескольких правильных ответов.
2. Задания открытой формы, в котором испытуемый должен вписать ответ в отведенное для этого место.
3. Задания на установление соответствия элементов одного множества элементам другого множества.
4. Задания, требующие установить правильную последовательность действий - вычислений, терминов, шагов и т.д.
Преподаватель может самостоятельно разработать тестовое задание или загрузить готовый файл. Все задания с указанием вариантов ответов, в том числе и верного, помещаются в базу данных.
Блок определения стратегии тестирования позволяет разработать стратегию адаптивного тестирования в конкретной системе. Многошаговые стратегии адаптивного тестирования можно подразделить на фиксировано-ветвящиеся и варьирующие ветвящиеся в зависимости от того, как конструируются многошаговые адаптивные тесты [2]. Сопоставление различных видов адаптивного тестирования приводит к выбору компьютерного адаптивного тестирования, основанного на многошаговых варьирующих стратегиях, в качестве основного подхода. Варьирующая ветвящаяся стратегия адаптивного тестирования предполагает отбор заданий непосредственно из базы данных по определенным алгоритмам, которые прогнозируют оптимальную трудность последующего задания по результатам выполнения испытуемым предыдущего задания адаптивного теста. Таким образом, шаг за шагом из отдельных заданий получается адаптивный тест. В нем варьирует не только трудность, но и шаг, определяемый разностью трудностей двух соседних заданий адаптивного теста. Наиболее важное преимущество варьирующих стратегий связано с возможностью оперативного реагирования на результаты выполнения учебных заданий путем переоценки уровня подготовленности обучаемого после выполнения каждого очередного задания адаптивного теста.
Для реализации функции адаптивности в разрабатываемой системе тестирования, каждому заданию присваивается уровень сложности. Блок определения стратегии тестирования позволяет преподавателю с помощью встроенного редактора разработать граф заданий.
Тестирование обычно начинается с заданий средней сложности, но можно начинать и с легких заданий, т.е. идти по принципу повышения сложности. Далее на каждом этапе теста преподаватель указывает алгоритм перехода к следующему этапу. Например, если в тесте определено три уровня сложности заданий, то необходимо для каждого значения текущего уровня сложности указать возможные диапазоны полученной оценки на предыдущем этапе. Для среднего уровня сложности со значением оценки от 0-30% необходимо понижение уровня сложности на следующем этапе, от 31-70% сохранение текущего уровня, от 71-100% повышение
уровня сложности. Количество этапов тестирования и число заданий на каждом этапе указывается преподавателем.
Блок формирования оценки позволяет преподавателю задать алгоритм оценивания выполненных заданий. Алгоритм включает функцию оценивания, которая, например, может учитывать отношение числа правильных ответов к общему числу заданий текущего этапа или функцию, использующую вес каждого задания. В последнем случае при формировании тестовых заданий преподаватель кроме уровня сложности должен задать вес задания. Количество баллов, полученных обучаемым за правильные ответы в системе автоматически преобразуется по шкале 0100%.
Заключительным этапом формирования системы тестирования является ее генерация. В блоке генерации преподаватель имеет возможность подобрать элементы интерфейса разрабатываемой компьютерной системы, способ перехода от этапа к этапу тестирования, форму результирующей оценки тестирования. Блок генерации системы тестирования позволяет просмотреть будущую систему в демонстрационном режиме и внести необходимые изменения.
Набор тестовых заданий, граф стратегии тестирования и набор элементов интерфейса системы тестирования может быть сохранен для дальнейшего использования. Сгенерированная компьютерная система тестирования является независимым исполняемым файлом и может применяться как отдельный программный продукт или как элемент адаптивной обучающей системы.
Главное требование к набору тестовых заданий - это достаточно большое их количество. Случайный выбор заданий и вариантов ответа исключит механическое запоминание при неоднократном прохождении теста. Для увеличения степени эффективности индивидуализации образовательного процесса целесообразно всю совокупность заданий распределить по темам - этапам, чтобы контролировать уровень усвоения обучаемым учебного материала после изучения каждой темы.
С точки зрения авторов, конкретный тест, предлагаемый учащемуся системой адаптивного тестирования, должен содержать задания трех уровней сложности. Учебный курс или тема курса, тестируемые в системе, разбиваются на несколько разделов. В качестве примера будем рассматривать тему курса информатики «Системы счисления». Здесь целесообразно выделить следующие разделы: перевод числа из некоторой системы счисления в десятичную систему, перевод из десятичной системы счисления в произвольную систему, перевод из двоичной системы счисления в восьмеричную и обратно, перевод из шестнадцатеричной системы счисления и обратно, сложение и вычитание чисел, записанных в некоторой системе счисления, умножение чисел, записанных в некоторой системе счисления.
Для каждого раздела база данных системы наполняется учебными
заданиями. Каждому заданию приписывается некоторой уровень сложности. Например, по разделам «Перевод чисел из одной системы счисления в другую» и «Сложение чисел, записанных в некоторой системе счисления» имеется следующий набор задач (табл. 1).
Таблица 1. Набор задач с указанием уровня сложности
№ Условие задачи Уровень сложности
1 Перевести число 25 из десятичной системы счисления в двоичную 1
2 Перевести число 37 из десятичной системы счисления в восьмеричную 1
3 Перевести число 1011 из двоичной системы счисления в десятичную 1
4 Перевести число 45 из восьмеричной системы счисления в десятичную 1
5 Перевести число 178 из десятичной системы счисления в шестнадцатеричную 2
6 Перевести число С7 из шестнадцатеричной системы счисления в десятичную 2
7 Перевести число 2D5 из шестнадцатеричной системы счисления в двоичную 3
8 Перевести число 165 из восьмеричной системы счисления в двоичную 3
9 Выполните 458+328 1
10 Выполните 10012+1012 1
11 Выполните 278+568 2
12 Выполните 1А16+7316 2
13 Выполните Е2А16+32Р16 3
14 Выполните В3712+4А112 3
Задания разделов представлены в различных тестовых формах.
Приведем ряд примеров.
1. Задания с выбором одного или нескольких правильных ответов. Перевести число 178 из десятичной системы счисления в шестнадцатеричную. Варианты ответов: 2В, 262, В2.
2. Задания открытой формы, с указанием ответа испытуемым. Чему равна сумма чисел 27в+56в?
3. Задания на установление соответствия элементов одного множества элементам другого множества. Выберите из представленных чисел те, которые могут существовать в шестнадцатеричной системе счисления: СС3, 17, 25, 16, 2G, 5Е
4. Задания, требующие установить правильную последовательность действий. Укажите последовательность действий, приводящую к получению дополнительного кода отрицательного числа: перевод числа в двоичную систему счисления, инвертирование значащих разрядов, инвертирование знакового разряда.
Рассмотрим стратегию адаптивного тестирования на примере задач
темы «Системы счисления».
Каждое задание оценивается по шкале от 0 до 5. Обучаемый на первом шаге получает задание из первого раздела второго уровня сложности. Если он получил 0 или 1 балл, то задание второго раздела предоставляются в соответствии с первым уровнем сложности, если получил от 2 до 3 баллов, то задания второго раздела сохраняют текущий уровень, если более 3 баллов, то второй раздел представлен заданиями третьего уровня сложности. Распишем подробно шкалу баллов: 0 - решение полностью неверное; 1 - решена одна подзадача; 2 - есть общая идея, но она не доведена до конца; 3 - присутствует две арифметические ошибки; 4 - есть одна арифметическая ошибка, не искажающая смысл; 5 - все решено верно.
Технологический эффект адаптивного тестирования заключается в экономии времени, которое может быть использовано на восполнении «пробелов» в банке знаний обучающегося. Педагогический эффект заключается в том, что по результатам первого этапа тестирования можно составлять диагностическую карту банка знаний конкретного обучающегося, которая поможет ему определить "пробелы" в индивидуальном банке знаний, а это - одна из главных задач как пропедевтического, так и текущего контроля.
Адаптивное тестирование целесообразно на всех этапах педагогического контроля, кроме итогового и отсроченного, которые предназначены для констатирования результатов образовательного процесса. В то же время пропедевтический, текущий и рубежный контроль интегрированы с обучением, это фактор эффективности педагогического управления и обратной связи в обучении. Еще большую роль адаптивное тестирование играет в самостоятельной работе, прежде всего, при самоподготовке. Без экономии времени значительно труднее обеспечить эффективность деятельности педагога, реализовать индивидуальный подход в обучении. Кроме того, адаптивное тестирование тесно связано с адаптивным обучением. Ведь интеграция обучения и контроля (т.е. когда контроль становится средством обучения) предполагает, что задания, предъявляемые обучающемуся, соответствуют уровню его знаний и подготовленности.
Предлагаемый генератор компьютерных систем адаптивного тестирования позволяет преподавателям не только использовать собственные наработки и следовать авторским стратегиям тестирования, но и максимально приблизить уровень тестовых заданий к текущему уровню восприятия обучаемого, построить его индивидуальную траекторию обучения. Использование компьютерных адаптивных систем тестирования раскрывает возможности информационных технологий в области педагогического контроля, позволяет автоматизировать главную особенность адаптивного тестирования - индивидуализацию траектории предъявления заданий в зависимости от уровня знаний тестируемого.
Литература
1. Добровольская Н.Ю., Харченко А.В. Инструментарий разработки модуля адаптивного тестирования в обучающем ресурсе. Электронные ресурсы в непрерывном образовании («ЭРН0-2012»): Труды III Международного научно-методического симпозиума. - Ростов н/Д: издательство ЮФУ, 2012.
2. Самылкина Н.Н. Современные средства оценивания результатов обучения. - М.: БИНОМ. Лаборатория знаний, 2007.
3. Аванесов В.С. Композиция тестовых заданий. - М.: Центр тестирования, 2002.
