CC BY
11
Исакова Ольга Юрьевна, Кручинин Владимир Викторович
МЕТОДИКА ПОЛУЧЕНИЯ ВОПРОСОВ ДЛЯ КОМПЬЮТЕРНОГО ТЕСТИРОВАНИЯ
ВВЕДЕНИЕ
Опыт создания и использования компьютерных контрольных работ и экзаменаторов, накопленный в Томском межвузовском центре дистанционного образования (ТМЦДО), показал [1]:
1) студенты быстро приспосабливаются к небольшому (100 вопросов) экзамену, заготавливают шпаргалки;
2) происходит простое механическое запоминание ответов на данный вопрос, поскольку в ответ нужно ввести конкретное число или выбрать конкретный вариант;
3) при одновременной сдаче экзамена в компьютерном классе вопросы для разных студентов могут быть одни и те же.
Таким образом, уменьшается эффективность проведения экзаменационных сессий и контрольных точек. Для устранения указанных недостатков предлагается несколько вариантов действий:
1) расширить количество вопросов в компьютерных экзаменационных и конт-
бис&ро приспомбли$аю&с& к Небольшому ... ^к^амеЛу, ■£аго4&а6ли6а(0& шпаргалки...
рольных работах, используя имеющуюся технологию;
2) создать технологию, основанную на использовании генераторов вопросов и тестовых заданий.
Создание генераторов вопросов решает проблему шпаргалок, однако носит весьма трудоемкий характер, поскольку требует создания весьма нетривиальной программной системы [2, 3].
Расширение количества вопросов повышает нагрузку на преподавателей-методистов курсов. По опыту, имеющемуся в ТМЦДО, для многих их них, особенно для гуманитариев, это является довольно сложной задачей.
В данной статье описывается методика составления вопросов для автоматизированного контроля знаний, основанная на применении шаблонов. Шаблон - это формализованное представление фрагмента курса в виде некоторой структуры: списка, таблицы, графа, дерева и т. д. Использование данной методики снимает проблему построения банка вопросов для построения компьютерных тестов.
1. ШАБЛОНЫ ДЛЯ ВОПРОСОВ ТИПА МЕНЮ
Рассмотрим построение шаблона для меню-вопросов. В таком шаблоне предлагается заранее заготовленные формулиров-
ка вопроса и два множества: правильных и неправильных вариантов. Важно, что эти два множества достаточно велики. Тогда конкретный меню-вопрос можно построить следующим образом:
1) выдается формулировка вопроса;
2) из множества правильных вариантов выбирается подмножество;
3) из множества неправильных вариантов выбирается подмножество;
4) все записывается в конкретный вопрос.
Тогда, если имеется, например, 5 правильных вариантов и 6 неправильных вариантов и из каждого из множеств выбирается по два варианта, то общее количество вопросов будет равно
л™ = C2C62 = 150,
где - число сочетаний из m элементов по к.
Как видно из формулы, количество вариантов может быть достаточно велико. Общая схема построения такого типа вопроса может быть следующая:
1) производится описание некоторой исходной ситуации;
2) записывается множество правильных утверждений относительно этой ситуации;
3) записывается множество неправильных утверждений относительно этой ситуации.
Рассмотрим пример. Пусть дан вопрос и таблица правильных и неправильных ответов к нему (рисунок 1).
В условие задачи вставляется 10 альтернатив (пять верных и пять неверных), которые случайным образом выбираются из предложенных списков, причем случайным образом изменяется и последовательность записи альтернатив в задании. Тогда общее число вариантов данного типа вопроса может быть
фассмо&рим. аос&роеАие маёллНА меНа-^апрасаб-,
2. МЕТОДЫ ПОЛУЧЕНИЯ ВОПРОСОВ,
ОСНОВАННЫХ НА ТАБЛИЧНЫХ СПОСОБАХ ПОСТРОЕНИЯ ЗНАНИЙ
Таблица является универсальным способом представления знаний. В виде таблицы можно отобразить отношения между различными элементами учебных знаний. Исследования, связанные с представлением таблиц в памяти компьютера, проводятся в рамках реляционной алгебры [4]. Ниже предлагается реляционная модель представления шаблона и соответствующие алгоритмы построения вопросов. Пусть имеется некоторая таблица, в которой систематизированы некоторые знания или факты из конкретной предметной области. Манипулируя полями такой таблицы, можно генерировать следующие вопросы:
1) меню;
2) заполнение пропущенного поля;
Вопрос: Отметить команды микроконтроллера МК51, трансляции которых используется прямой адрес байта:
при
Список верных ответов: Список неверных ответов:
PUSH PSW MOV R5, A
POP DPH CLR C
MOV SBUF, A CLR 20
DJNZ P1, Ml ANL C, 20
XRL B, #20 MUL AB
INC TH0 DIV AB
ORL TMOD, #0FH INC DPTR
MOV B, @R0 LCALL TIME
ANL 20, A MOV DPTR, #1000
CJNE A, SP, M2 AJMP BEGIN
C5 • C5 = 627294.
Рисунок 1.
цов г и /, которые однозначно соответствуют друг другу.
3. Содержимое г-го поля поместить в формулировку вопроса, а содержимое /-го поля поместить как правильный вариант ответа.
4. Выбрать I полей в /-м столбце таблицы, причем номера строк соответствующих полей не должны равняться к.
5. Перемешать I выбранных полей с/ полем.
6. Сформатировать вопрос.
Рассмотрим получение вопросов на конкретном примере. Пусть дана следующая таблица, описывающая периоды Палеозойской эры [5] (см. таблицу 1).
Варианты построения меню вопросов:
Пример 1
Укажите название периода, который происходил 395 млн лет назад:
Таблица 1.
ПЕРМЬ 280 млн лет назад Исчезновение трилобитов и примитивных кораллов
Расцвет звероподобных пресмыкающихся
КАРБОН 345 млн лет назад Появление первых голосеменных растений
Появление пресмыкающихся
Первые крылатые насекомые
Расцвет земноводных
Первые леса
ДЕВОН 395 млн лет назад Первые земноводные
Развитие различных групп рыб
Первые насекомые
Первые древовидные растения
Примитивная псилофитовая флора
СИЛУР 445 млн лет назад Появление челюстных рыб
Появление наземных членистоногих
Появление наземных растений
Многочисленные коралловые рифы
ОРДОВИК 500 млн лет назад Расцвет головоногих
Дальнейшее развитие членистоногих
Эволюция кишечнополостных
Расцвет граптолитов
Бесчелюстные рыбы
КЕМБРИЙ 570 млн лет назад Появление иглокожих
Появление трилобитов
Развитие беспозвоночных
Появление сосудистых растений
Эволюция водорослей
"Шаблиуа уНи&ерсалоЯым способом
^НаНий.
3) указание правильного варианта заполнения данного поля (меню вариантов);
4) расстановка перечисленных элементов в пропущенные поля таблицы (упорядочение).
Алгоритм получения меню вопроса по таблице следующий:
1. Выбрать к-ю строку в таблице.
2. Выбрать 2 поля с номерами столб-
1) Девон;
2) Кембрий;
3) Карбон;
4) Пермь.
Пример 2
Укажите период, название которого Карбон:
1) 280 млн лет назад;
2) 345 млн лет назад;
3) 500 млн лет назад;
4) 570 млн лет назад.
Пример 3
Какой период характеризуется следующим:
1) Девон;
2) Кембрий;
3) Карбон;
4) Пермь.
Построение вопросов с пропусками
Пример 4
Введите значение в незаполненное поле (ячейку) таблицы 2.
Пример 5
Введите значение в незаполненное поле (ячейку) таблицы 3.
Построение вопросов с использованием перемешивания
Пример 6
Дана таблица 4.
Расставьте периоды в соответствии с названиями.
Пример 7
Даны следующие периоды Палеозойской эры:
1) Карбон;
2) Дивон;
3) Кембрий;
4) Силур.
Записать периоды, начиная с самого раннего (позднего). В ответ ввести последовательность номеров, разделенных пробелами.
3. ПОЛУЧЕНИЕ ВОПРОСОВ ДЛЯ НЕКОТОРОЙ ПОСЛЕДОВАТЕЛЬНОСТИ ДЕЙСТВИЙ (ПРОЦЕССА, ТЕХНОЛОГИИ)
Пусть дана последовательность {х1, х2, х3,..., хп}, например, некоторая последовательность действий. Назовем эту последовательность процессом, а элементарное действие - этапом (шагом). Для каждого этапа процесса имеется список начальных условий, необходимых для осуществления данного этапа, есть список особых условий завершения этапа процесса. Имеются также параметры выполнения этапа. И по окончании процесса получается некоторый результат г.
Первые земноводные Развитие различных групп рыб Первые насекомые Первые древовидные растения Примитивная псилофитовая флора
Таблица 2.
Пермь Карбон Дивон Силур
345 млн лет назад 395 млн лет назад 445 млн лет назад
Таблица 3.
Пермь Дивон Силур
280 млн лет назад 345 млн лет назад 395 млн лет назад 445 млн лет назад
Таблица 4.
Пермь Карбон Дивон Силур
395 млн лет назад 345 млн лет назад 280 млн лет назад 445 млн лет назад
Фара^ем процессам, а
$лемеЯ<йаф.Яое $ейай&ие — $&апом (тагам).
Тогда весь процесс можно описать с помощью некоторого двудольного графа [6], в котором все вершины разбиваются на два непересекающихся множества. Первое множество - это этапы процесса. Второе множество - условия и результаты этих этапов. Поскольку результаты некоторых этапов могут являться условиями выполнения других этапов, то можно записать двудольный граф (рисунок 2). Вершины и1, и2 и и3 необходимы для выполнения первого этапа, вершины и4 и г1 являются условиями для выполнения второго этапа, а вершины г2 и и5 - для третьего этапа. Для четверного этапа необходимо получить г3 и г4 и задать и6. Результатом всего процесса будет вершина г5.
Примерами описаний подобных процессов могут быть разнообразные технологии приготовления продуктов, химических производств, сборки устройств, разнообразных операций и т. п.
На основании приведенной модели процесса можно получать следующие вопросы:
1. Какой этап следует после п-го этапа ... (название)
или в форме меню {г-й этап, /-й этап, 1-й этап, к-й этап}.
2. Какой этап следует перед п-м этапом ... (название)
или в форме меню {г-й этап, /-й этап, 1-й этап, к-й этап}.
3. Даны следующие этапы процесса |г-й этап,/-й этап, 1-й этап, к-й этап}, ука-
зать правильную последовательность их выполнения.
4. Указать условия, выполнение которых необходимо для осуществления п-го этапа процесса {и, и 1, ик, и1}.
5. Дан результат гп выполнения процесса. Указать этап, который получает данный результат | г-й этап, /-й этап, 1-й этап, к-й этап}.
6. Дан результат гп выполнения процесса. Указать условия, необходимые для его получения { и,, uj, ик, и1}.
7. Даны следующие условия { и, uj, ик, и1}. Указать этап, который может быть выполнен {г-й этап, /-й этап, 1-й этап, к-й этап}.
8. Дан п-й этап. Указать условия для его выполнения {и, иj, ик, и1}.
Конкретные модели и вопросы приведены в работе [3].
Рисунок 2. Описание процесса.
4. ПОЛУЧЕНИЕ ВОПРОСОВ НА ОСНОВЕ ИЕРАРХИИ (ДРЕВОВИДНОЙ КЛАССИФИКАЦИИ)
Иерархические конструкции часто применяются для представления знаний некоторой предметной области. Примерами таких конструкций являются различные классификации, родословное дерево, структура некоторой организации, устройства и др. Используя иерархическое представление знаний, можно построить алгоритм построения меню вопросов. Идея алгоритма следующая:
1. Строится некоторое дерево D.
2. Случайно выбирается некоторый
узел di е Б.
3. Случайно выбираются два подмножества D1 и D2 других узлов, одно из них удовлетворяет некоторому отношению, второе - не удовлетворяет.
4. Строится меню вопрос: «Дан узел й, укажите те узлы, которые удовлетворяют (или не удовлетворяют) отношению формулировка отношения>».
Далее записываются список Б1 и D2.
На основании построенного дерева можно генерировать следующие типы вопросов:
1. Дана последовательность узлов, перечислите узлы, являющиеся сыновьями узла й.
2. Дана последовательность узлов, перечислите те, которые относятся к одному уровню иерархии.
3. Дана последовательность узлов, перечислите те, которые принадлежат поддереву узла й.
4. Дана последовательность узлов, перечислите те, которые являются листьями.
5. Дана некоторая последовательность а, Ь, {х, у, г}, й (выберите один из узлов х, у, г, который превратит эту последовательность в след дерева).
На рисунке 3 показан фрагмент иерархической классификации земноводных [7]. Используя эту иерархию, можно генерировать следующие вопросы.
Пример 8
Выбираются случайно элементы иерархии 1.1, 1.2, 1.3. Перечислить все относящиеся к заданной группе (классу).
Даны следующие земноводные:
1) рыбозмеи,
2) углозубы,
3) протеи,
4) свистуны.
Укажите среди них безногих.
Пример 9
Выбирается случайно один из листьев этой иерархии и перечисляются классы. Необходимо выбрать класс для выбранного элемента.
Укажите класс земноводных, к которому относятся рыбозмеи:
1) безногие;
2) хвостатые;
3) бесхвостые.
ЗАКЛЮЧЕНИЕ
Рассмотрев модели и алгоритмы построения вопросов, основанных на шаблонах, можно предложить следующую методику получения вопросов:
1) провести анализ предметной области с целью построения шаблонов;
2) построить шаблоны;
3) получить требуемое число вопросов с указанием правильных ответов.
Опыт, имеющийся в ТМЦДО показывает, что через сравнительно небольшой отрезок времени методист, даже не знако-
"М-ерлрхчгеасае каЛс&рущш глсЛа ЛекаЛарай преджеЛЛай аёллайч.
Рисунок 3. Пример иерархической классификации.
мый с компьютерной технологией тестирования, свободно составляет требуемый банк вопросов по своей дисциплине. В настоя-
щее время база компьютерных экзаменов и контрольных работ насчитывает свыше 400 тестов общим объемом 50 000 вопросов.
Литература
1. Воронин А.И., Исакова О.Ю., Кручинин В.В. Проблемы создания и сопровождения базы компьютерных учебных программ в Томском межвузовском центре дистанционного образования / / Организация дистанционного обучения в Томском межвузовском центре дистанционного образования // Тез. докл. региональной конф. «Современное образование: Система и практика обеспечения качества». Томск: ТУСУР, 2002. С. 103.
2. Башмаков А.И., Башмаков И.А. Разработка компьютерных и обучающих систем. М.: Информационно-издательский дом «Филинъ», 2003. 616 с.
3. Кручинин В.В. Генераторы в компьютерных учебных программах. Томск: Изд-во Томск. ун-та, 2003. 200 с.
4. Мейер Д. Теория реляционных баз данных. М.: Мир, 1987. 400 с.
5. Шпинар З.В. История жизни на земле. Прага: Артия, 1977. 228 с.
6. Евстигнеев В.А. Применение теории графов в программировании. М.: Наука, 1985. 352 с.
7. Жизнь животных. Т. 5. Земноводные. Пресмыкающиеся. М.: Просвещение, 1985. 399 с.
Исакова Ольга Юрьевна, аспирант, методист программного обеспечения контроля знаний лаборатории инструментальных
систем моделирования и обучения,
Кручинин Владимир Викторович, канд. технических наук, зам. директора Томского межвузовского центра дистанционного образования по науке.
© Наши авторы, 2004. Оиг аиШоГБ, 2004,
