Алгоритмы оптимизации тестовых заданий Текст научной статьи по специальности «Прочие технологии»

Рис. 5.

График отсутствий

Вывод: рассмотренный выше образовательный портал учебного заведения расширяет возможности разработки методов мониторинга эффективности и качества преподавания в вузах, что весьма актуально.

БИБЛИОГРАФИЧЕСКИМ СПИСОК 1. По материалам сайтов http://www. 1 c-bitrix.ru/ и http://internet. gendalf.ru/.

В.М. Глушань, А.Ю. Афанасьев АЛГОРИТМЫ ОПТИМИЗАЦИИ ТЕСТОВЫХ ЗАДАНИЙ

Введение. Итогом любого процесса обучения является контроль знаний обучающихся. Существуют различные виды контроля - промежуточный, рубежный, итоговый. При промежуточном контроле осуществляется контроль знаний по отдельным темам или даже частям тем. Объем контролируемой информации относительно небольшой, поэтому всем обучаемым могут предъявляться все или почти все вопросы изученного материала, то есть проводится сплошной контроль. При рубежном контроле объем контролируемых сведений значительно увеличивается, поэтому для аттестации контрольные вопросы обучаемым могут предъявляться только выборочно. При итоговом контроле объем контролируемой информации увеличивается еще больше. Поэтому предъявляемые обучаемым контрольные вопросы не могут равномерно покрыть все темы и разделы изучаемого предмета или курса. Тем не менее, по таким нерепрезентативным выборкам приходится оценивать знания обучаемых. В этих случаях начинает сказываться доля везения, вероятность попадания в тестовое задание или экзаменационный билет легких вопросов.

Отмеченная ситуация возникает при оценке знаний, например на государственных экзаменах, когда вопросы компонуются из нескольких дисциплин, при поступлении в различные учебные заведения, особенно в высшие и т.п. Поэтому возникает проблема формирования тестовых заданий (билетов) таким образом, чтобы они могли объективно оценивать знания по малым нерепрезентативным выборкам.

Одним из подходов, способствующим решению данной проблемы, является формирование тестовых заданий равной сложности. Такой подход рассматривается в [1], где предложен алгоритм и реализованная на его основе компьютерная программа, а также приводятся экспериментальные исследования этого подхода. Эти исследования показали, что дисперсия сложности тестовых заданий при их формировании по предложенному алгоритму существенно возрастает при формировании одного или нескольких последних тестовых заданий, что является недостатком данного алгоритма.

В настоящей работе предлагаются и экспериментально исследуются и другие алгоритмы формирования тестовых заданий, обладающие лучшими характеристиками.

Наилучший вариант распределения вопросов по билетам можно получить полным перебором всех вариантов. Однако при полном переборе вариантов и оценке их сложности с целью выбора наилучшего могут потребоваться огромные временные ресурсы. Действительно, число вариантов в рассматриваемой задаче должно подсчитываться как число сочетаний из заданного числа вопросов п по числу вопросов т в каждом билете, то есть по формуле С™ =п\/т\(п—т)\■ Несмотря на то, что сами алгоритмы формирования различных сочетаний, их можно найти, например, в монографии [2], известны, их применение в данном случае не представляется возможным. Так, например, при реальном числе вопросов п =100 и числе вопросов в билете т=5 число вариантов будет составлять величину, большую чем 7,5 • 107 • Сформировать и проанализировать такое число сочетаний даже на современном компьютере за приемлемое время не реально. Это говорит в пользу того, что для решения рассматриваемой задачи необходимо применять специальные эвристические алгоритмы.

Алгоритмы компоновки тестовых заданий. Все многообразие алгоритмов распределения вопросов по билетам можно разбить на два класса:

• Класс последовательных алгоритмов;

• Класс параллельных алгоритмов.

Рассмотрим особенности алгоритмов каждого из этих классов.

Суть последовательных алгоритмов состоит в том, что тестовые задания заполняются вопросами поочередно. Сначала происходит подсчет среднего балла вопросов, которые должны быть в билете, а затем начинается распределение вопроса по г-му билету, исходя из его стоимости и стоимости уже распределенных в этот билет вопросов. Этот алгоритм обеспечивает довольно большую скорость распределения, но как показали эксперименты, имеет дов ольно неравномерное распределение вопросов по билетам. Поэтому после завершения распределения вопросов, необходимо дополнительно произвести процедуру улучшения результатов их распределения.

Блок-схема последовательного алгоритма распределения представлена на рис. 1.

Рис. 1

Блок-схема последовательного алгоритма

Основное отличие параллельного алгоритма от последовательного состоит в том, что на каждом шаге его работы все билеты получают по одному вопросу одновременно. Это позволяет, если не полностью избежать, то, по крайней мере, уменьшить влияние на результат распределения того факта, что к концу процесса распределения мы можем остаться с наиболее сложными вопросами, и тем самым общий балл последнего билета (или нескольких) будет значительно превышать расчетный средний балл.

Параллельный алгоритм, в отличие от последовательного позволяет получить более равномерное распределение вопросов по билетам. Однако и здесь приходится прибегать к процедуре улучшения распределения.

На рис. 2 приведена блок-схема параллельного алгоритма распределения.

Рис. 2

Блок-схема параллельного алгоритма

С целью устранения недостатков рассмотренных выше алгоритмов выделим наиболее сильные стороны каждого из этих алгоритмов и используем их для построения усовершенствованного комбинированного алгоритма.

Наиболее сильная сторона последовательного алгоритма - изначальное формирование расчетной сложности, близкой к среднему значению билета. Однако при этом может возникать негативный эффект последних билетов, состоящий в том, что по мере приближения к окончанию процесса распределения последним билетам достается наименее удобная в численном выражении сложность вопросов, которую достаточно сложно распределить оптимально. Поэтому напрашивается идея: сложность следующего вопроса, который войдет в билет не рассчитывать изначально, а брать наибольшую из нераспределенных вопросов. Но при параллельном распределении эту идею реализовать не удастся, потому что стоимость отдельно взятого билета при таком подходе может значительно возрасти. Отсюда следует, что параллельное распределение вопросов следует начинать с самых сложных вопросов и кончая самыми легкими.

Действительно, распределив сначала самые сложные вопросы, затем будет легче варьировать самыми легкими вопросами для достижения сбалансированности суммарной сложности билета. В процессе распределения целесообразно также учитывать, в какой билет нужно распределить самый сложный вопрос на п-м шаге. И, кроме того, после распределения будем сортировать порядок распределения вопросов, по билетам относительно найденного максимального вопроса.

Блок-схема усовершенствованного комбинированного алгоритма приведена на рис. 3.

0 ,

/Начальные данные о £

количестве билетов, я

кол-ве вопросов в я

< Кол-во вопросов Да

билете = макс. Кол-ву?

Сортировка вопросов по записанной разнице уже распределенных элементов, по увеличению разницы билета?

Ищем среди нераспределенных вопросов, вопрос заданной сложности

Да ^^^^^ЗаданнаЯ^^^^^

найдена? Нет

Найденный вопрос закрепляем за текущим билетом Ищем среди нераспределенных вопросов, вопрос максимальной сложности

1 1

Для этого вопро распределения зап вопросов теку са разницу шага исываем как сумму щего билета Найденный вопрос закрепляем за текущим билетом

Для этого вопроса разницу шага распределения записываем как сумму вопросов текущего билета + найденный

Формирование

О

Рис. 3

Блок-схема комбинированного алгоритма

Для более четкого понимания алгоритма рассмотрим его работу на конкретном примере. Пусть имеется произвольный массив вопросов, заданный таблицей 1.

Таблица 1

№№ вопросов 1 2 3 4 5 6 7 8 9 10

Сложность

3 10 7 4 4 7 7 5 2 3

вопроса

Шаг № 1

• Билет № 1: максимальный вопрос стоит 10 баллов. Включаем вопрос № 2 в билет № 10.

• Билет № 2: максимальный вопрос стоит 7 баллов. Включаем вопрос № 3 в билет № 7.

Сортируем билеты по возрастанию суммы распределенных баллов. Таким образом, на следующем шаге первый билет, в который должен быть распределен следующий вопрос, будет билет №2. Получаем таблицу 2.

Таблица 2

№№ вопросов 1 2 3 4 5 6 7 8 9 10

Сложность вопроса 3 10 7 4 4 7 7 5 2 3

Распределен в билет № 1 2

Шаг № 2

• Билет № 2: максимальный вопрос стоит 7 баллов. Включаем вопрос № 6 в билет № 7.

• Билет № 1: максимальный вопрос стоит 7 баллов. Включаем вопрос № 7 в билет № 7.

Сортируем билеты по возрастанию суммы распределенных баллов и получаем таблицу 3.

Таблица 3

№№ вопросов 1 2 3 4 5 6 7 8 9 10

Сложность вопроса 3 10 7 4 4 7 7 5 2 3

Распределен в билет № 1 2 2 1

Шаг № 3

• Билет № 2: максимальный вопрос стоит 5 баллов. Включаем вопрос №8 в билет № 5.

• Билет № 1: максимальный вопрос стоит 4 балла. Включаем вопрос № 4 в билет № 4.

Сортируем билеты по возрастанию суммы распределенных баллов и получаем таблицу 4.

Таблица 4

№№ вопросов 1 2 3 4 5 6 7 8 9 10

Сложность 3 10 7 4 4 7 7 5 2 3

вопроса

Распределен в 1 2 1 2 1 2

билет №

Шаг № 4

• Билет №2: максимальный вопрос стоит 4 балла. Включаем вопрос № 5 в билет № 4.

• Билет №1: максимальный вопрос стоит 3 балла. Включаем вопрос № 1 в билет № 3.

Сортируем билеты по возрастанию суммы распределенных баллов и получаем таблицу 5.

Таблица 5

№№ вопросов 1 2 3 4 5 6 7 8 9 10

Сложность

3 10 7 4 4 7 7 5 2 3

вопроса

Распределен в 1 1 2 1 2 2 1 2

билет №

Шаг № 5

Билет № 2: максимальный вопрос стоит 3 балла. Включаем вопрос № 10 в билет № 3. Билет № 1: максимальный вопрос стоит 2 балла. Включаем вопрос № 9 в билет № 2. Окончательный результат приведен в таблице 6.

Таблица 6

Билет № 1 Билет № 2

2 7 4 1 9 3 6 8 5 10

10 7 4 3 2 7 7 5 4 3

Из таблицы 6 видим, что суммарный балл первого билета равен 26, и суммарный балл второго билета тоже равен 26, то есть мы получили результат, к которому стремились.

Таким образом, мы добились того, что оптимизация происходит не после завершения распределения, а во время самого процесса распределения. Как будет показано ниже в серии экспериментов, подтверждается предположение, что комбинированный алгоритм является более сбалансированным, чем последовательный и параллельный алгоритмы при распределении вопросов разной сложности по билетам.

Результаты экспериментальных исследований алгоритмов. Для установления более объективной оценки надежности (устойчивости) рассмотренных алгоритмов проведем их исследование для различных исходных данных. Под надежностью мы будем понимать именно тот смысл, который вкладывается в этот термин в сложных технических системах, а именно - способность системы сохранять свои характеристики и выходные параметры в установленных пределах при данных условиях эксплуатации. К алгоритмам такое понимание термина надежности вполне приемлемо, поскольку они, реализованные программно, являются составной частью компьютерной системы.

В качестве данных условий эксплуатации в нашем случае будут фигурировать различное число вопросов, различное число билетов, различные оценки сложности вопросов, а также различное число изучаемых тем.

Таблица 7

Кол-во билетов Кол-во вопросов в билете Макс. сложность вопроса Кол-во тем Мат. ожидание Дисперсия результатов для алгоритмов

Последовательный Параллельный Оптимизированный

5 5 5 1 14,4 1,84 0,24 0,24

5 5 5 1 12,4 0,64 0,64 0,24

5 5 5 1 11,4 2,24 0,24 0,24

5 5 5 1 14,6 1,84 0,64 0,24

5 5 5 1 13,6 0,24 0,24 0,24

В таблице 7 и во всех последующих таблицах в явном виде не указывается сложность вопросов. Она формируется программно случайным образом, а в соответствующей графе таблицы (мат. ожидание) указывается лишь математическое ожидание сложности всех участвующих в эксперименте билетов. В последнем столбце всех таблиц приведены результаты дисперсии для комбинированного алгоритма, указанного здесь как оптимизированный алгоритм.

На рис. 4 приведены графические зависимости дисперсии результатов распределения вопросов по билетам, соответствующие исходным данным из таблицы 7.

Рис. 4

Дисперсия результатов по данным таблицы 7

В таблице 8 приведены исходные данные для случая наличия пяти тем и другие значения дисперсии сложности вопросов, а соответствующие графические зависимости приведены на рис. 5

Таблица 8

Кол-во билетов Кол-во вопросов в билете Макс. сложность вопроса Кол-во тем Мат. ожидание Дисперсия результатов для алгоритмов

Последовательный Параллельный Оптимизированный

5 5 5 5 10,8 2,16 1,36 0,16

5 5 5 5 9,8 0,56 0,16 0,16

5 5 5 5 12,6 1,84 0,24 0,24

5 5 5 5 14,2 2,96 0,96 0,16

5 5 5 5 14,6 1,04 0,64 0,24

Рис. 5

Дисперсия результатов по данным таблице 8.

Таблица 9

В таблице 9 приведены исходные данные для случая пяти тем, 15 билетов, 10 вопросов в билете при максимальной сложности вопроса, равной 10. На рис. 6 приведены соответствующие графические зависимости.

Последовательный Параллельный Оптимизи-ро-ванный

15 10 10 5 49,13 4,51 3,44 0,11

15 10 10 5 50,2 4,63 3,22 0,16

15 10 10 5 57 5,86 3,46 0

15 10 10 5 47,8 2,96 2,82 0,16

15 10 10 5 57 3,73 3,2 0

-♦— Посл. Паралл. Оптим.

Рис. 6

Дисперсия результатов по данным таблицы 9.

Выводы и заключение. Проведенные исследования показывают, что последовательный алгоритм распределения вопросов по билетам является, как и следовало ожидать, достаточно быстрым. Но результат его работы приводит к достаточно большой дисперсии сложности билетов. Получение более качественных результатов относительно дисперсии сложности билетов возможно с помощью параллельного алгоритма. Однако она является все еще достаточно высокой. Разработанный комбинированный алгоритм обладает значительно меньшей дисперсией, позволяющей формировать тестовые задания с практически равной сложностью при удовлетворительных временных характеристиках. Это говорит о том, что оптимизированный алгоритм может лечь в основу модуля формирования тестовых заданий, являющегося важной составной частью автоматизированного рабочего места преподавателя.

БИБЛИОГРАФИЧЕСКИЙ СПИСОК

1. Глушань В.М., Липало Н.Н., Малютин В.А. Оптимизация тестовых заданий при контроле знаний. Вестник Таганрогского государственного педагогического института. Естественные науки. Таганрог: Изд-во Таганрог. гос. пед. ин-та, 2007. № 1.

2. Курейчик В.М. и др. Комбинаторные аппаратные модели и алгоритмы в САПР / В.М. Курейчик, В.М. Глушань, Л.И. Щербаков. М.: Радио и связь, 1990. 216 с.

В.М. Глушань, Н.И. Лященко К ВОПРОСУ О СТРУКТУРНОМ СИНТЕЗЕ КОМПЬЮТЕРНЫХ ОБУЧАЮЩИХ