CC BY
47
УДК 519.8
Л. А. Заозерская \ В. А. Планкова 2
Омский филиал института математики им. С. Л. Соболева СО РАН
ул. Певцова, 13, Омск, 644099, Россия E-mail: 1 zaozer@ofim.oscsbras.ru, 2 plankova@ofim.oscsbras.ru
ПРИМЕНЕНИЕ МОДЕЛЕЙ ДИСКРЕТНОЙ ОПТИМИЗАЦИИ ДЛЯ РАЗРАБОТКИ АВТОМАТИЗИРОВАННОЙ СИСТЕМЫ КОНТРОЛЯ ЗНАНИЙ
В работе развивается предложенный авторами подход к формированию оптимальных в соответствии с некоторым критерием тестов контроля знаний, основанный на использовании дискретной оптимизации. Представлены математические модели для задачи определения оптимальной структуры теста и описаны результаты их применения для создания автоматизированной тестирующей системы по линейному программированию.
Ключевые слова: компьютерное тестирование знаний, математическое моделирование, целочисленное программирование.
Введение
Для совершенствования процесса обучения важную роль играет разработка методов объективного контроля знаний. Компьютерное тестирование - один из современных методов контроля знаний, который наряду с традиционными может быть использован для повышения уровня подготовки специалистов различных направлений, в том числе по математическим дисциплинам.
При создании автоматизированной системы контроля знаний возникают вопросы разработки тестовых заданий, формирования теста из базы имеющихся заданий и программной реализации системы. Первый из них решается в рамках теории тестирования и методики преподавания дисциплины. Отметим, что эффективность тестирования зависит не только от качества заданий, включаемых в тест, но и от того, насколько точно полученный набор заданий соответствует поставленным целям. В связи с этим возникает задача формирования эффективного теста, который при минимальных «затратах» позволяет дать объективную оценку знаний студентов по изучаемой дисциплине. Затраты могут измеряться, например, числом заданий в тесте или временем, отведенным на его выполнение.
Одним из подходов к решению задачи минимизации числа заданий в тесте является использование теории IRT (Item Response Theory) [Нейман, Хлебников, 2000], позволяющей реализовать идею адаптивного тестирования, при котором выбор очередного задания зависит от ответа на предыдущее задание. В классической же теории обычно тест состоит из фиксированного числа заданий, каждое из которых выбирается случайным образом из определенного раздела базы данных (БД). Именно такой подход чаще всего используется при разработке компьютерных тестирующих систем по учебным курсам относительно небольшого объема (например, полугодовой курс) в высших учебных заведениях для промежуточного и итогового контроля или самоподготовки студентов. Для математических дисциплин раздел БД естественно рассматривать как набор вариантов типового задания. Поэтому уже на этапе планирования тестирующей системы встает вопрос, какие из потенциально возможных разделов БД следует включить в разрабатываемую систему, чтобы сформированные в результате тесты были эффективными. В данной статье предлагается методика решения этого вопроса на основе применения математических моделей формирования теста из имеющегося множества заданий, отдельные аспекты которой затрагиваются, например, в [Камышников, 2001; Макарова, Макаров, 1996].
ISSN 1818-7900. Вестник НГУ. Серия: Информационные технологии. 2008. Том 6, выпуск 1 © Л. А. Заозерская, В. А. Планкова, 2008
В работе представлен подход к определению оптимальных для некоторого критерия наборов тестовых заданий с использованием моделей дискретной оптимизации, описаны соответствующие модели целочисленного линейного программирования (ЦЛП) и результаты их применения при разработке автоматизированной тестирующей системы по разделу «Линейное программирование» дисциплины «Экономико-математические методы» для студентов экономических специальностей вузов.
Математические модели формирования оптимальной структуры теста
Проблема построения оптимального в некотором смысле теста в предложенном нами подходе [Заозерская, Планкова, 2007а; 2007б; 2007в] решается на основе использования моделей дискретного программирования. В соответствии с этим подходом учебный курс рассматривается как множество элементов знаний, т. е. наиболее значимых понятий, свойств, утверждений и т. п. Тест формируется из тестовых заданий, каждое из которых предназначено для проверки определенной совокупности элементов знаний указанного множества. Специфика естественно-научных дисциплин часто позволяет организовать контроль не только практических навыков, но и теоретических знаний посредством выполнения упражнений и задач. В этом случае отдельный раздел БД составляют типовые задания, различающиеся только исходными данными. Поэтому при автоматизации процесса тестирования удобно тестовое задание рассматривать как реализацию соответствующего шаблона, т. е. общей формулировки задания, включающей как постановку задачи, так и варианты ответов. Тестовое задание получается путем конкретизации числовой, графической и другой информации шаблона. При разработке каждого шаблона выбирается наиболее подходящая для него форма, например: выбор одного ответа из многих, выбор нескольких ответов из многих, установление соответствия, ввод ответа.
В качестве примера шаблона можно рассмотреть задание, состоящее в выборе соответствующей математической модели из нескольких предложенных для задачи определения оптимального плана предприятия. Тогда тестовое задание включает содержательную постановку задачи и варианты математических моделей с конкретными числовыми данными. В автоматизированной системе шаблону соответствует некоторая процедура, результатом работы которой является тестовое задание.
Теперь структуру теста можно определить как набор шаблонов заданий, включенных в тест. Размер теста - число шаблонов заданий, составляющих его структуру. Под оптимальной структурой теста (ОСТ) будем понимать структуру теста, выполнение которого позволяет сделать объективный вывод о степени усвоения обучаемыми рассматриваемой дисциплины и который удовлетворяет определенному критерию оптимальности.
В качестве такого критерия естественно рассмотреть минимизацию числа заданий, включаемых в тест, что является одной из характеристик эффективного теста [Аванесов, 2002]. При условии обязательной проверки всех элементов знаний выделенного множества задача формирования ОСТ приводит к модели построения эффективного теста [Hochbaum, 1995] -задаче о наименьшем покрытии множества [Еремеев и др., 2004], одной из известных NP-трудных задач дискретной оптимизации. Апробация данной модели для задачи определения ОСТ показала, что число включаемых в тест заданий может оказаться достаточно большим для проведения итогового контроля знаний.
Учитывая вышесказанное, нами предложена другая постановка задачи формирования ОСТ, в основе которой лежит разбиение множества элементов знаний на базовое (в него входят ключевые элементы дисциплины) множество и дополнительное (остальные элементы знаний). Теперь задачу формирования ОСТ можно поставить как задачу определения структуры теста фиксированного размера, который обеспечивает проверку знаний всех элементов базового множества и максимального числа элементов дополнительного множества.
Для описания математической модели введем следующие обозначения. Пусть элементам базового и дополнительного множеств соответствуют множества индексов B = {1, ..., m1} и C = {1, ..., m2}. Через n обозначим число разработанных шаблонов тестовых заданий, а через k - количество заданий, включаемых в тест, т. е. его размер. Пусть A - булева матрица размера m1 х n, где a/j = 1, если j-й шаблон предназначен для проверки /-го элемента знаний
из B и aij = 0 иначе; а А - булева матрица размера m2 х n, где aij = 1, если j-й шаблон предназначен для проверки i-го элемента знаний из C и aj = 0 иначе.
Будем считать, что все шаблоны тестовых заданий могут быть разбиты на l групп по определенному признаку (например, аналитические, графические, алгоритмические и т. д.). Обозначим через Jt - множество номеров шаблонов в группе t, t = 1, ..., l.
Введем переменные
11, если j -й шаблон включается в структуру теста, j [0, иначе,
для j = 1, ..., n, а также вспомогательные булевые переменные vi, i = 1, ..., m2. Если в некотором допустимом решении vi = 1, то i-й элемент знаний из C проверяется при выбранной структуре теста.
Рассматриваемая задача формулируется в виде следующей модели ЦЛП:
m2
Z у. ^ max, (1)
i = 1
при условиях
Z xj = k,
j=1 n
Z ajxj ^1,1G B,
j = 1
Z ajxj- v >01 e C >
j = 1
Z Xj ^ 1,
jeJt
Xj ^ {0,1}, j = 1, n,
v G {0,1}, i = 1, m2.
(2)
(3)
(4)
(5)
(6) (7)
Здесь целевая функция (1) состоит в максимизации количества проверяемых элементов дополнительного множества, условие (2) - требование включения в структуру теста k шаблонов, ограничения (3) обеспечивают проверку всех элементов базового множества, а неравенства (4) отражают возможность проверки любого элемента дополнительного множества. Ограничения (5) указывают на необходимость включения в структуру теста хотя бы одного шаблона из каждой группы, что обеспечивает разнообразие теста.
Данная задача относится к числу NP-трудных [Ageev, Sviridenko, 1998], однако при относительно небольшой размерности она может быть решена одним из известных пакетов ЦЛП.
Модель (1)-(7) может быть успешно применена в предположениях, что проверка всех элементов дополнительного множества одинаково важна, а тестовые задания, соответствующие различным шаблонам, считаются равными по трудности или времени, отведенного на их выполнение. Нами рассмотрена также более общая постановка задачи формирования ОСТ, в которой учитываются сложность заданий, важность проверки каждого из элементов дополнительного множества и некоторые другие требования. Соответствующая математическая модель имеет следующий вид:
m2
Z cv ^ max
i = 1
(8)
при условиях
n
h0 -Z Pjxj - К
j = 1
П
Е avxj - b>, i =1 •••’ mi j=i (i0)
n Е avxj- v- 0i =1 m2 j=i (ii)
dt < Е Xj ^ d), t = i, l, (i2)
j^Jt
Xj ^ {0,1}, j = i, n, (i3)
v G {0,1}, i = i, m2. (i4)
Здесь ci - весовой коэффициент, который показывает важность проверки /-го элемента из C, i = i, m2; Pj - сложность задания, соответствующего j-му шаблону, j = i, ..., n; h0, hi -
наименьший и наибольший уровни сложности теста формируемой структуры; bi - наименьшее количество шаблонов в структуре теста, которые направлены на проверку i-го элемента из B, i = i, ..., mi; dД dt - минимальное и максимальное число шаблонов из группы t, включаемых в структуру теста.
Таким образом, в данной задаче ЦЛП формируется структура такого теста, в котором максимизируется суммарная важность проверяемых элементов из дополнительного множества (целевая функция (8)) при следующих условиях. Общая сложность включенных в тест заданий находится в указанных пределах (неравенство (9)), ограничения (10) отражают требование кратной проверки элементов базового множества, а (ii) - возможности проверки элементов дополнительного множества. Условие (12) обеспечивает разнообразие включаемых в тест заданий.
Разработка автоматизированной тестирующей системы
по линейному программированию
Описанные выше модели были применены для определения оптимальной структуры теста по разделу «Линейное программирование» дисциплины «Экономико-математические методы» для студентов экономических специальностей. В соответствии со стандартом курса было составлено множество из 37 элементов знаний, в которое включены, например, такие, как постановка задачи линейного программирования (ЗЛП), допустимое и оптимальное решения ЗЛП, идея симплекс-метода, алгоритм прямого симплекс-метода и др. В базовое множество вошли 10 элементов знаний, а в дополнительное - 27. На основе ряда сборников задач и авторских разработок был подготовлен набор из 35 шаблонов тестовых заданий, которые прошли экспериментальную проверку при проведении зачета. Результаты расчетов для модели (1) - (7) при различных значениях параметра k приведены в следующей таблице:
Число заданий в тесте (k) 7 8 9 i0 ii i2 i3 i4 i5
Количество проверяемых элементов дополнительного множества i3 i6 i9 2i 23 24 25 26 27
Решения задач (1)-(7) были получены с помощью демонстрационной версии пакета OPL Studio. Достаточно интересным, на наш взгляд, является вариант, соответствующий k = 8, который обеспечивает проверку 72 % всего множества элементов знаний, в том числе 62 % элементов дополнительного множества. В оптимальный набор вошли задания по математическому моделированию, на определение формы записи ЗЛП, проверку знания определений оптимального решения ЗЛП и опорного решения канонической ЗЛП, идеи симплексметода и геометрической интерпретации ЗЛП, по применению алгоритма симплекс-метода и экономическому анализу оптимального решения ЗЛП. Как показал вычислительный эксперимент, оптимальное решение задачи (i)-(7), полученное при фиксированном значении k, вообще говоря, не является единственным. Это означает, что оптимальная структура теста может быть выбрана из полученных решений с учетом дополнительных критериев (напри-
мер, предпочтений преподавателя, специальности обучаемых и их уровня подготовки). При изменении базового множества элементов знаний будет получена новая структура теста, т. е. для формирования теста будут использованы другие из разработанных шаблонов.
Ранее для определения ОСТ нами была апробирована модель эффективного тестирования в виде задачи о наименьшем покрытии множества. Ее оптимальное решение соответствует набору из 15 шаблонов тестовых заданий, который оказался достаточно качественным для текущего контроля по указанной теме. При итоговом же контроле по всей дисциплине такое количество заданий с учетом их трудоемкости велико, так как их выполнение займет большую часть отведенного времени.
Одна из сформированных структур тестов положена в основу разработанной нами версии автоматизированной тестирующей системы по линейному программированию дисциплины «Экономико-математические методы» для студентов экономических специальностей вузов. Данная система направлена на оценивание навыков студентов по математическому моделированию экономических задач, их знаний теоретических основ линейного программирования (ЛП) и алгоритмов решения задач ЛП, умения экономически интерпретировать и анализировать полученные результаты.
Отметим, что формирование большинства тестовых заданий происходит алгоритмами, специально разработанными в соответствии с их шаблонами, в момент тестирования, что, безусловно, повышает надежность процесса контроля знаний. При этом исходные данные заданий полностью или частично генерируются случайным образом из некоторых диапазонов.
Данная тестирующая система была успешно применена при проведении зачета у студентов заочного отделения экономического факультета ОмГУ. Кроме того, она может быть использована для тематического контроля знаний студентов математических специальностей, а также для подготовки базы данных при бланковом тестировании и других традиционных формах контроля знаний.
Заключение
В работе развивается подход к созданию автоматизированных систем контроля знаний с применением моделей дискретного программирования. В основе подхода лежит разбиение всего множества элементов рассматриваемого учебного курса на базовое и дополнительное. Для задачи формирования оптимальной структуры теста предложены модели ЦЛП. Описаны результаты применения данного подхода к построению тестов оптимальной структуры по линейному программированию курса «Экономико-математические методы», которые использованы при разработке автоматизированной тестирующей системы.
В дальнейшем предполагается совершенствование данной системы путем расширения числа реализованных шаблонов и включения в нее блока оптимизации структуры тестов на основе предложенных математических моделей. Такая компьютерная тестирующая система позволит формировать тесты в соответствии с текущими целями тестирования, определяемыми преподавателем.
Список литературы
Аванесов В. С. Композиция тестовых заданий. М.: Центр тестирования, 2002. 240 с.
Еремеев А. В., Заозерская Л. А., Колоколов А. А. Задачи о покрытии и их приложения: Материалы междунар. семинара «Вычислительные методы и решение оптимизационных задач». Новосибирск, 2004. С. 70-76.
Заозерская Л. А., Планкова В. А. Создание автоматизированной системы компьютерного тестирования с использованием дискретной оптимизации: Тез. науч.-метод. конф. «Новые информационные технологии в университетском образовании». Новосибирск: ИЭПМСО РАО, 2007а. С. 82-83.
Заозерская Л. А., Планкова В. А. Применение дискретной оптимизации при создании автоматизированной тестирующей системы: Информационный бюллетень Ассоциации математического программирования. Екатеринбург: УрО РАН, 2007б. № 11.
Заозерская Л. А., Планкова В. А. Разработка автоматизированной тестирующей системы по линейному программированию: Российская конференция «Дискретная оптимизация и исследование операций»: Материалы конф. (Владивосток, 7-14 сентября 2007). Новосибирск: Изд-во Ин-та математики, 2007в.
Камышников А. И. Управление в распределенных образовательных системах. Барнаул: Изд-во АГУ, 2001. 248 с.
Макарова Н. В., Макаров В. М. Новая концепция проектирования компьютерных тестов контроля знаний студентов // Изв. СПбУЭиФ. 1996. № 1. С. 133-145.
Нейман Ю. М., Хлебников В. А. Введение в теорию моделирования и параметризацию педагогических тестов. М.: Прометей, 2000. 170 с.
Ageev A. A., Sviridenko M. I. Approximation Algorithms for Some Problems with Cardinality-Type Constraints // Тр. XI Междунар. Байкальской школы-семинара «Методы оптимизации и их приложения». Иркутск, 1998. Т. 1. С. 107-110.
Hochbaum D. S. Approximating Covering and Packing Problems: Set Cover, Vertex Cover, Independent Set, and Related Problems // Approximation Algorithms for NP-Hard Problems / Ed. by S. D. Hochbaum. PWS Publishing Company, 1995. P. 94-143.
Материал поступил в редколлегию 22.03.2008
L. A. Zaozerskaya, V. A. Plankova
Application of Discrete Optimization Models in Development of an Automatic Knowledge Control System
The authors develop further an approach to form optimal knowledge control tests satisfying a given criterion, based on discrete optimization. Mathematical models for determining structure of such a test are presented. Results of applying these models to create an automated testing system in the field of linear programming are demonstrated.
Keywords: computer knowledge testing, mathematical modeling, integer programming.
