Научная статья на тему 'Оптимизация тестовых заданий при контроле знаний'

Оптимизация тестовых заданий при контроле знаний Текст научной статьи по специальности «Компьютерные и информационные науки»

CC BY
72
20
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
ИНФОРМАТИКА / КОНТРОЛЬ И ОЦЕНКА ЗНАНИЙ / КАЧЕСТВО ОБРАЗОВАНИЯ / ПРОЦЕСС ОБУЧЕНИЯ / ТЕСТОВЫЕ ЗАДАНИЯ / ПРИНЦИП "СПРАВЕДЛИВОСТИ"

Аннотация научной статьи по компьютерным и информационным наукам, автор научной работы — Глушань В.М., Липало Н.Н., Малютин В.А.

Контроль и оценка знаний является одной из важнейших составляющих процесса обучения. Форма проведения этих мероприятий может быть самой различной. Но есть общие этапы, присущие любой форме это процесс составления заданий для обучаемых в виде билетов или тестов. При составлении заданий возникает множество проблем, одной из которых является соблюдение принципа "справедливости". Рассмотрению этого вопроса посвящена данная работа.

i Надоели баннеры? Вы всегда можете отключить рекламу.
iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

Текст научной работы на тему «Оптимизация тестовых заданий при контроле знаний»

презентации. Первый способ - с помощью мастера автосодержания, предлагающего выбрать в качестве исходного материала презентацию с определенным типовым содержанием и оформлением. Другой способ создания презентации состоит в выборе шаблона

оформления, определяющего ее композицию, но не включающего содержание. Можно также начать со структуры, импортированной из другого приложения, такого как Word, а также с пустой презентации, в которой не задано ни оформления, ни содержания. Интерфейс (рабочее окно) программы Microsoft PowerPoint является типичным для Microsoft Office ,что в свою очередь позволяет опустить описание меню и непосредственно приступить к творческой процедуре - создание презентации на основе пустой презентации.

Создание презентации на основе пустой презентации

Запустите программу Microsoft PowerPoint. На экране появиться диалог, с помощью которого вы можете выбрать способ создания новой презентации.

Выберите вкладку «Новая презентация» и нажмите ОК. В новой презентации используются цветовая схема, стиль заголовка и стили текста презентации, принимаемой по умолчанию. В меню создать слайд выберите вкладку титульный слайд. Далее введите на титульном слайде заголовок презентации и прочие сведения. Нажмите на панели инструментов кнопку. Создать слайд. Затем просмотрите все разметки с помощью полосы прокрутки и выберите подходящую разметку для следующего слайда. Добавьте нужное содержимое, затем повторите указанную выше процедуру для каждого из создаваемых слайдов. Для просмотра вида создаваемого показа слайдов либо нажмите кнопку Показ слайдов расположенную в левом нижнем углу окна PowerPoint, либо в меню Показ слайдов выберите пункт Показ.

Вставка текста. Как правило, самый простой способ добавления текста к слайду - ввести его непосредственно в местозаполнитель (т.е. рамки с пунктирным контуром, которые изображаются на создаваемом слайде и обозначают место для размещения таких объектов, как заголовок слайда, текст, диаграмма, таблица и т.д.) на слайде. Чтобы вставить текст вне местозаполнителя или фигуры (например, снабдить рисунки надписями или выносками), можно воспользоваться инструментом Надпись расположенным на панели инструментов Рисование. Чтобы вставить текст без перехода на следующую строку (например, надпись) щелкните по указанной кнопке, затем щелкните в то место, где планируете разместить текст, и наберите текст.

В.М. Глушань, Н.Н. Липало, В.А. Малютин ОПТИМИЗАЦИЯ ТЕСТОВЫХ ЗАДАНИЙ ПРИ КОНТРОЛЕ ЗНАНИЙ

Контроль и оценка знаний является одной из важнейших составляющих процесса обучения. Форма проведения этих мероприятий может быть самой различной. Но есть общие этапы, присущие любой форме - это процесс составления заданий, которые затем предъявляются обучаемым. Задания составляются либо в традиционном виде - билетов с несколькими вопросами, либо в виде тестовых заданий, каждое их которых также состоит их нескольких вопросов и соответствующим образом сформированных ответов на каждый вопрос задания. Причем среди ответов имеются как правильные ответы, так и неправильные. Обычно правильным является только один ответ.

При составлении заданий возникает множество психо лого-педагогических и дидактических проблем. Одной их таких проблем является проблема соблюдения принципа «справедливости». Этот принцип заключается в составлении заданий равной сложности. С проблемой соблюдения этого принципа сталкивается каждый педагог (учитель) при составлении билетов или тестовых заданий для проведения рубежного или итогового контроля по читаемому им предмету.

Указанная проблема возникает, как правило, по двум причинам:

• в связи с различной сложностью вопросов, изучаемых практически в любом предмете;

• с необходимостью рассредоточения вопросов по заданиям, т.е. в каждом задании нежелательно помещать вопросы из одного и того же раздела изучаемого предмета.

Если бы все вопросы были равносложными, а каждый раздел предмета состоял из одинакового числа вопросов, то проблема соблюдения принципа «справедливости» не возникала бы.

Множество психолого-педагогических проблем контроля знаний обострились в связи с широким распространением автоматизированных (компьютерных) средств контроля и обучения. Проблема же принципа «справедливости» перестает быть таковой, и становится относительно легко решаемой задачей. Рассмотрению этого вопроса посвящена предлагаемая работа. Задача формирования вопросов, и соответствующих ответов на них здесь не рассматривается. Найти рекомендации к формированию тестовых вопросов и вариантов ответов можно в [1, 2] и применять их уже по мере необходимости в контексте с предлагаемой работой.

Постановка задачи. Пусть имеется множество вопросов N={1, 2, 3, ..., п}, по которым должны контролироваться знания обучаемых, задана сложность каждого вопроса, выраженная в некоторой ^-бальной системе Н={1, 2, 3, ..., Отношение принадлежности вопросов к одному и тому же разделу (теме) предмета задается матрицей смежности некоторого графа G(N, Я), в котором N - множество вопросов (множество вершин графа), R - множество всех подмножеств Я

ребер графа. Каждое подмножество Я отображает принадлежность вопроса к какой-либо одной

теме (если вопросы принадлежат к одной теме, то в целом графе G(N, Я) они отображаются полносвязным подграфом).

Сформулируем задачу составления оптимальных тестовых заданий (билетов) как задачу

разрезания (разбиения) графа G(N, Я) на подграфы ^ ) •

Исходный граф G(N, Я) необходимо разбить на заданной число К подграфов ^ )

где 1 £ К так, чтобы сложность каждого задания была одинакова и в каждом задании находилось минимальное число вопросов из одной и той же темы.

При этом должны выполняться условия:

О^Д,)^; (1)

адДОПОДД^О; (2)

к

и01(М1Д1) = С(МД); (3)

¡=1

К

(4)

¡=1

Условие (1) означает, что каждый подграф не должен быть пустым (в терминах вопросов и заданий это означает, что каждый вопрос должен быть распределен в какое-то задание); условие (2) означает, что пересечение подграфов должно быть равным нулю, т.е. ни одна вершина не может принадлежать более чем одному подграфу (каждый вопрос должен входить только в одно задание); условие (3) означает, что объединение всех подграфов есть сам граф и, наконец, условие (4) означает, что все вопросы должны быть распределены по заданиям.

Большое разнообразие формулировок графовых задач можно найти в [3-5]. Однако формулировка каждой задачи, несмотря на имеющуюся идентичность, содержит и специфические различия, определяющих алгоритмическую сложность решения индивидуальной задачи. Не исключением является и формулировка приведенной задачи и состоит она в том, что сложность каждого задания должна быть одинакова или, по крайней мере, иметь минимальную дисперсию, и при этом в каждое задание должны входить вопросы из разных тем или, по крайней мере, таких вопросов должно быть минимальное количество.

Указанные особенности формулировки приведенной задачи порождают множество эвристических алгоритмов ее решения. В работе предлагается одна из эвристик, на основе которой

строится алгоритм оптимизации тестовых заданий. Суть этой эвристики состоит в следующем. Каждое тестовое задание формируется последовательно (следовательно алгоритм также будет относиться к классу последовательных), а каждый очередной вопрос помещается в данное тестовое задание, если его оценка является ближайшей к относительной величине разности средней сложности тестовых заданий и суммарной сложности тех вопросов, которые уже включены в данное тестовое задание, к сумме вопросов, которое осталось включить в задание.

Рассматривалось два варианта алгоритмической реализации этой эвристики. В этих вариантах использовались различные модификации эвристики, когда выбор вопроса был затруднен. Например, если возникает такая ситуация, что среди оставшихся нераспределенных вопросов нет таких, которые бы принадлежали разным темам. В этом случае выбирается вопрос, наиболее близкий по бальному значению к необходимой величине, несмотря на то, что в данном задании один или несколько вопросов из одной и той же темы уже есть.

В другом случае в алгоритм, реализующий предложенную эвристику, заранее вводилась дисперсия оценки сложности тестового задания. Исходя из этой дисперсии, осуществлялось распределение вопросов по заданиям.

Ниже в таблице приведены результаты трех серий экспериментов заданий, когда их количество принимало значения 5, 8 и 10; бальная оценка варьировалась в двух диапазонах: 1-5 и 1-10, а вводимая дисперсия устанавливалась равной нулю. Перед началом работы алгоритма генерировался номер вопроса, а его цена, выраженная в балах, устанавливалась случайным образом из заданного диапазона.

Таблица1

Результаты формирования заданий

Цена вопроса Количество вопросов Дисперсия = 0

Количество заданий 5 8 10

Номер эксперта Номер и цена задания 1 2 3 4 5 Номер и цена задания 1 2 3 4 5 6 7 8 Номер и цена задания 1 2 3 4 5 6 7 8 9 10

(1-5) 45 1 25 27 25 26 24 14 15 14 14 14 15 14 12 11 12 11 12 9 11 10 11 12 12

2 25 27 24 27 24 14 17 18 18 17 18 18 16 10 8 12 11 12 8 12 8 10 11

3 26 24 26 25 25 15 15 14 13 16 14 13 16 12 13 11 13 14 13 14 13 14 13

(1-10) 45 1 44 44 44 43 44 - -

2 44 42 47 42 41 - -

3 42 39 40 43 39 - -

(1-10) 90 1 105 99 104 101 98 - -

2 97 95 97 96 94 - -

3 98 98 94 99 92 - -

Другой вариант предложенной эвристики заложен в алгоритм, программно реализованный в среде объектно - ориентированного программирования Borland Builder C++ 6.0. Эта программа практически представляет готовый к употреблению программный продукт. Ее интерфейс, приведенный на рис. 1, представляет дополнительные возможности и для экспериментальных исследований.

Рис. 1. Интерфейс программы формирования тестовых заданий

Главное окно интерфейса разделено на три части. В левой части расположено поле ввода для количества тестовых заданий, подлежащих формированию. Ниже этого поля расположено информационное поле «Данные», являющимися входными для программы. В правой части окна расположено большое поле для вывода сформированных заданий. Самая нижняя часть окна предназначена для вывода диаграммы, позволяющая в наглядной форме показать полученные оценки сложности сформированных заданий, а также оценки теоретически оптимальной сложности.

На вкладке «Данные матрицы смежности» можно посмотреть матрицу смежности для хранящихся в базе данных (БД) вопросов. Эти вопросы можно просмотреть, выбрав пункт меню «Ввод вопросов» в меню «Файл». Вопросы в БД можно редактировать.

На рис. 2 и 3 приведены окна интерфейса с конкретными результатами формирования тестовых заданий.

Рис. 2. Первый пример сформированных тестовых заданий

Рис. 3. Второй пример сформированных тестовых заданий

Из диаграммы, приведенной в окне интерфейса на рис. 2, отчетливо видно, что дисперсия оценки сложности пяти заданий не превышает двух баллов (более светлая полоса) или 4,3 % от теоретической оптимальной (более темная полоса).

Из рис. 3 видно, что оценки сложности заданий от 1-го до 14-го совпадают с теоретически оптимальным значением. Однако среди сформированных заданий в конце работы программы имеются такие (задания 16 и 18), которые отличаются от теоретически оптимальных на 6 баллов, что составляет 54 %. Это связано с особенностью (отрицательной) последовательного алгоритма и может быть объяснено тем, что вопросы с небольшими значениями оценок в БД закончились на 14-м задании, поэтому алгоритм был вынужден выбрать вопросы с оставшимися большими оценками.

Заключение. Анализируя результаты табл. 1 и приведенные на рис. 2 и 3, можно заключить, что результаты (качество) работы разработанного алгоритма зависят от соотношения числа вопросов и числа заданий. Причем, чем это соотношение больше, тем выше качество. Задания, формируемые в конце работы алгоритма, могут иметь довольно значительное отклонение в оценке сложности, что является негативной особенностью последовательных алгоритмов.

Объем разработанной программы составляет 5,33 Мбайт.

БИБЛИОГРАФИЧЕСКИЙ СПИСОК

1. Ерохин А.Л., Кольченко А.В., Патрах Т.Е., Чикина В.А. Программный комплекс для генерации компьютерных тестирующих систем: Сб. науч. тр. VI Междун. конфер. Украинской ассоциации дистанционного образования «Образование и виртуальность». Харьков-Ялта: УАДО, 2002. С. 323-327.

2. Ерохин А.Л., Кольченко А.В., Струкова А.В. Использование тестирующих систем в учебных заведениях и практических подразделениях ОВД // «Право i безпека». № 3. 2002. С. 128-130.

3. Кристофидес Н. Теория графов. М.: Изд-во «Мир», 1978. 432 с.

4. Оре О. Теория графов. 2-е изд. М.: Наука, Главная редакция физико-математической литературы, 1980. 336 с.

5. Алгоритмы и программы решения задач на графах и сетях / Сост. М.Н. Нечипуренко, В.К. Попков, С.М. Майнагашев и др. Новосибирск: Наука, Сиб. отд-ние, 1990. 515 с.

i Надоели баннеры? Вы всегда можете отключить рекламу.