CC BY
110
УДК 519.8
Л. А. ЗАОЗЕРСКАЯ щ В. А. ПЛАНКОВА И
Омский филиал Института математики им. С. Л. Соболева СО РАН
МАТЕМАТИЧЕСКИЕ МОДЕЛИ ФОРМИРОВАНИЯ ОПТИМАЛЬНОГО КОМПЛЕКТА СТРУКТУР ТЕСТОВ ДЛЯ КОНТРОЛЯ ЗНАНИЙ__________________________________________
Для решения проблемы определения содержания теста предложен и развивается подход, основанный на применении моделей и алгоритмов дискретной оптимизации. Ранее он был использован нами для формирования оптимальной структуры теста при разработке компьютерной тестирующей системы по одной из учебных дисциплин. В данной работе ставится задача формирования оптимального комплекта структур тестов, позволяющего получить объективную оценку знаний не только отдельного студента, но и оценить усвоение каждого элемента дисциплины группой обучаемых. Предлагаются соответствующие математические модели и приводятся экспериментальные расчеты.
Ключевые слова: контроль знаний, компьютерное тестирование, математическое моделирование, целочисленное программирование.
Статья написана при финансовой поддержке проекта РФФИ № 10-01-00598, Интеграционного проекта СО РАН № 7Б.
Введение. При реализации компетентностного подхода в высшей школе наряду с определением целей образования, отбором его содержания и организацией учебного процесса не менее важную роль играют современные процедуры оценки результатов обучения, к которым относится и компьютерное тестирование. Специфика заданий по математическим дисциплинам, позволяющая генерировать их во время сеанса тестирования в соответствии с некоторыми алгоритмами, и возможность изменения содержания теста в зависимости от текущих целей открывают широкие перспективы для автоматизации процессов создания тестов и непосредственно самого тестирования. Одной из важнейших проблем применения тестов контроля знаний остается определение их содержания, т.е. наилучшего отражения учебного курса в системе тестовых заданий.
В настоящее время разработано достаточно много универсальных компьютерных систем для создания тестов. В большинстве из них содержание теста определяется преподавателем исходя из его опыта и субъективных предпочтений с целью оценки знаний отдельного студента. При значительном объеме учебного курса содержание теста не всегда полностью отражает его материал, а это необходимо для получения объективной информации о результатах обучения и, как следствие, своевременной корректировки учебного процесса.
В [1—8] предложен и развивается подход к определению оптимального содержания теста, основанный на применении дискретной оптимизации. В рамках этого подхода нами введено понятие оптимальной структуры теста (ОСТ), предложены содержательные постановки задачи для определения ОСТ и описаны соответствующие математические модели, в которых учитываются число заданий, включенных в тест, их тип, и т.п. Применение данного подхода при формировании тестов по одной из
тем учебного курса «Экономико-математические методы» показало его перспективность для оценки знаний отдельного студента. Однако использование единственной структуры теста не всегда обеспечивает проверку степени усвоения всего изучаемого материала группой обучаемых. В данной работе для решения этой проблемы ставится задача формирования комплекта структур тестов с необходимыми свойствами.
В первом параграфе работы приводятся краткие сведения о подходе к формированию ОСТ. Во втором параграфе описаны разработанные математические модели для решения задачи формирования оптимального комплекта тестов. В третьем параграфе обсуждаются опыт использования моделей из [4] при разработке компьютерной системы, а также результаты проведенных расчетов для моделей, предложенных в работе. В заключение рассматриваются возможности дальнейшего развития представленного подхода.
1. Формирование оптимальной структуры теста. В соответствии с предложенной нами методикой [2, 4, 6] для проверяемого учебного курса определяются элементы знаний (основные понятия, свойства и утверждения и т.п.). Ключевые элементы дисциплины образуют базовое множество, а остальные — дополнительное, которые обозначим соответственно через B и С Под типовым, тестовым, заданием далее понимается задание, которое направлено на проверку определенного подмножества элементов знаний. Оно включает как формулировку задания в общем виде, так и способы конструирования предлагаемых ответов. При программной реализации типовому тестовому заданию соответствует определенная процедура, с помощью которой в процессе тестирования происходит формирование варианта типового задания. Его исходные данные генерируются случайным образом или в соответствии с неко-
ОМСКИЙ НАУЧНЫЙ ВЕСТНИК № 3 (113) 2012 ФИЗИКО-МАТЕМАТИЧЕСКИЕ НАУКИ
ФИЗИКО-МАТЕМАТИЧЕСКИЕ НАУКИ ОМСКИЙ НАУЧНЫЙ ВЕСТНИК № 3 (113) 2012
торыми правилами. Отметим, что изменение данных не влечет изменения проверяемого подмножества элементов знаний. Структурой теста будем называть набор типовых заданий, включенных в тест, а оптимальной структурой — набор заданий, выполнение которого позволяет сделать объективный вывод о степени усвоения испытуемым рассматриваемой дисциплины и удовлетворяющий некоторому критерию. Таким образом, тест составляют варианты типовых заданий, определенные оптимальной структурой.
В [4] задача формирования ОСТ была поставлена нами следующим образом. Требуется найти набор фиксированного числа типовых тестовых заданий, который обеспечивает проверку знаний всех элементов базового множества и максимального числа элементов дополнительного множества. В постановке задачи размер теста является входным параметром, необходимость введения которого вызвана ограничением времени тестирования. Приведем соответствующую математическую модель.
Пусть п — число разработанных типовых тестовых заданий; I —количество групп, на которые они разбиты по определенному признаку (например, аналитические, графические, алгоритмические и т.д.); Jt — множество типовых заданий в группе с номером t, t=1,..., I; к — количество заданий, включаемых в тест; В={1,.,т1} и С={1,...,т2} — множества индексов базовых и дополнительных элементов знаний; A=(aI/.) — булева матрица размера т1хп , где а. = 1, если задание / проверяет г-ый элемент знаний из B, и а„=0 иначе; А=(а..) — булева матрица размера т2хп, причем й..= 1, если задание/ проверяет элемент знаний с номером г из С, и а.. = 0 иначе.
Введем вектор х основных переменных: х. = 1, если задание/ включено в тест, и х = 0 иначе,/=1,... ,п, и вектор у=(^1,.,ут2) вспомогательных переменных. Равенство ^.' = 1 в некотором допустимом решении (х',у') означает, что г-ый элемент знаний из C проверяется хотя бы одним из тестовых заданий с номером/, для которого х = 1, ]е {1,...,п}. Задача целочисленного линейного программирования (ЦЛП) для формирования ОСТ имеет следующий вид:
Ш2
/(х,^) = £у. -»тах (1)
1=1
при условиях
(2)
М
П
ге=Д (3)
М
(4)
М
(5)
Ху,у,- е{о, 1}, у = 1,...,л, геС. (6)
Здесь целевая функция (1) состоит в максимизации количества проверяемых элементов множества C, условие (2) — требование включения в структуру теста к заданий. Ограничения (3) обеспечивают проверку всех элементов из B, а неравенства (4) отражают возможность проверки любого элемента из С Ограничения (5) описывают необходимость использования в тесте хотя бы по одному заданию
из каждой группы, что обеспечивает разнообразие теста.
Если в матрице A отсутствуют нулевые строки, то существуют значения параметра к, при которых задача (1) — (6) имеет оптимальное решение. Для поиска такого решения могут быть применены известные алгоритмы ЦЛП (в частности, модификация алгоритма перебора 1-классов из [3]).
Опыт применения этой модели показал, что полученные тесты позволяют достаточно объективно оценить знания каждого студента, т.е. они являются нормативно-ориентированными [9]. Следует отметить, что часть элементов дополнительного множества при этом может оказаться непроверенной ни в одном задании теста, а следовательно, преподаватель не получит полную информацию о результатах обучения. В связи с этим в [5] нами был поставлен вопрос о формировании комплекта структур тестов, обеспечивающего полноту проверки усвоения учебного материала группой обучаемых, что соответствует целям критериально-ориентированных тестов [9].
2. Формирование оптимального комплекта структур тестов. Предположим, что оптимальное решение задачи (1) — (6) не является единственным, причем не все элементы множества C проверяются в каждом из таких решений. В этом случае появляется возможность выбора комплекта оптимальных структур тестов, позволяющего не только объективно оценить полученные знания отдельного испытуемого, но и усвоение всего материала учебного курса потоком студентов в целом. Для приближенного решения этой задачи можно построить итерационный процесс жадного типа на основе математической модели формирования ОСТ (1) — (6). Каждая итерация этого процесса состоит в решении задачи (1) — (6), т.е. нахождении очередной оптимальной структуры теста, включении ее в определяемый комплект и исключении из С элементов знаний, которые проверяются данной структурой. Процесс останавливается, когда множество С оказывается пустым. Очевидно, что число итераций не превосходит т2.
Эффективность использования искомого комплекта напрямую зависит от числа входящих в него структур. В частности, при большом числе структур тестов в сформированном комплекте не будет обеспечена необходимая для получения объективного вывода частота проверки каждого элемента знаний из дополнительного множества. Пусть N — число студентов, участвующих в тестировании, а N — мощность комплекта структур тестов, в котором каждый элемент из дополнительного множества проверяется не менее d раз, тогда dNS/NT — гарантированное число студентов, которые участвуют в проверке каждого элемента знаний из этого множества. Для повышения информативности результатов тестирования по всему курсу необходимо максимизировать величину dNS/Nт, что эквивалентно минимизации мощности комплекта структур тестов при фиксированных значениях d и NS или максимизации d при заданных значениях N и N. Отсюда вытекают две постановки задачи формирования оптимального комплекта структур тестов (ОКСТ).
В первой из них требуется найти комплект, минимальной мощности из структур тестов фиксированного размера при условиях, что все элементы, из базового множества проверяются, в каждой структуре комплекта, а любой элемент, из дополнительного множества проверяется, по крайней мере, в заданном количестве структур этого комплекта.
Построим математическую модель для поиска оптимального решения задачи формирования ОКСТ. Будем считать, что задана верхняя граница Т для числа структур тестов в формируемом комплекте, где Т<т2. Введем переменные zt, х. уи, t=1,...,T, /=1,...,п, г=1,...,т2:
zt=1, если структура с номером t сформирована, и zt=0 иначе;
Х/=1, если задание / включено в структуру t, и х. = 0 иначе;
ук=1, если элемент 1 из С проверяется в структуре t, и у. = 0 иначе.
Теперь модель ЦЛП для указанной постановки задачи имеет вид:
Г
(7)
(=1
при условиях
(8)
М
(9)
М
(10)
М
(11)
гг'Уа'хде&1\ t = у = 1,...,л, геС. (12)
Здесь целевая функция (7) минимизирует мощность формируемого комплекта структур тестов. Условия (8) описывают требования включения в структуру с номером t ровно к заданий тогда и только тогда, когда структура с этим номером формируется. Ограничения (9) обеспечивают проверку всех элементов из B в каждой сформированной структуре теста. Неравенства (10) гарантируют, что переменная уи равна единице тогда и только тогда, когда в структуре t найдется хотя бы одно задание, проверяющее свойство г из С. Условия (11) обеспечивают проверку в оптимальном комплекте каждого элемента из С не менее чем d различными структурами.
Рассмотрим другую постановку задачи формирования ОКСТ. Требуется, найти, комплект, структур тестов, который максимизирует гарантированное число проверок любого элемента дополнительного множества при. условиях, что все элементы, базового множества проверяются в каждой структуре комплекта, а число заданий в каждой структуре принадлежит, указанному диапазону. Математическая модель этой задачи имеет вид:
й-япах (13)
при условиях (9), (11), (12) и
(14)
М
(15)
М
Здесь целевая функция (13) максимизирует гарантированное число проверок любого элемента дополнительного множества. Условия (14) описывают требования включения в структуру с номером t не менее к1 и не более к2 заданий, если она формирует-
ся, и в противном случае структура не содержит ни одного задания. Неравенства (15) гарантируют, что переменная у. равна единице тогда и только тогда, когда в структуре t найдется хотя бы одно задание, проверяющее элемент г из С. Заметим, что все рассмотренные задачи ЦЛП относятся к классу NP-трудных.
3. Создание системы компьютерного тестирования на основе моделей дискретной оптимизации.
На основе описанной методики нами в интегрированной среде разработки ЕтЬагс^его Delphi 2010 была создана система компьютерного тестирования EMM_test по учебной дисциплине «Экономико-математические методы» для студентов экономических специальностей [4].
По теме «Линейное программирование» этой дисциплины на основе модели (1) — (6) были получены оптимальные структуры тестов при различных значениях числа заданий в них. Для этого в соответствии со стандартом курса по указанной теме было выделено 38 элементов знаний, 11 из которых включены в базовое множество, остальные — в дополнительное. На основе ряда сборников задач и авторских разработок был подготовлен набор из 35 тестовых заданий, которые прошли экспериментальную проверку при проведении зачета в традиционной форме. Расчеты показали, что для этих данных задача (1) — (6) разрешима при минимальном значении к, равном 7. В этом случае проверяются все элементы знаний базового множества и 13 элементов дополнительного множества. Проверку всех элементов знаний обеспечивают 15 заданий.
Система EMM_test состоит из модуля преподавателя и модуля тестирования. Первый содержит блоки создания файлов заданий, формирования ОСТ, просмотра и анализа результатов тестирования. В блоке формирования ОСТ имеется диалоговое окно, в котором преподаватель задает количество заданий, которые войдут в структуру, и выбирает базовые в списке элементов знаний по заданной теме. В соответствии с полученными данными в системе строится задача (1) — (6), которая решается вариантом алгоритма перебора 1-классов из [3]. Результатом является некоторая оптимальная структура теста. Например, структура теста, состоящая из 12 заданий, при проверке всех элементов базового множества обеспечивает проверку 67% элементов дополнительного множества, что составляет 75% всех элементов знаний. Для проведения итогового контроля знаний по всему учебному курсу имеется дополнительная возможность включения в тест заданий по темам «Транспортная задача», «Задача коммивояжера» и «Динамическое программирование».
Модуль тестирования предназначен для формирования тестовых заданий в соответствии с определенной структурой и предъявления теста студенту. После окончания сеанса тестирования он может ознакомиться с протоколом выполнения заданий. Отметим, что в системе реализовано три подхода к формированию тестовых заданий: генерирование в соответствии с некоторыми алгоритмами с использованием датчика случайных чисел; формирование при помощи специальной утилиты и сохранение в файле; конструирование с использованием имеющегося набора графических файлов.
Опыт применения системы EMM_test на заочном отделении экономического факультета ОмГУ им. Ф. М. Достоевского в течение пяти лет подтвер-
ОМСКИЙ НАУЧНЫЙ ВЕСТНИК № 3 (113) 2012 ФИЗИКО-МАТЕМАТИЧЕСКИЕ НАУКИ
ФИЗИКО-МАТЕМАТИЧЕСКИЕ НАУКИ ОМСКИЙ НАУЧНЫЙ ВЕСТНИК № 3 (113) 2012
дил значительное повышение качества и объективности проверки знаний при сокращении в несколько раз временных затрат преподавателя на подготовку и проведение итогового контроля.
Математические модели, предложенные в данной работе, позволили сформировать оптимальные комплекты структур тестов по теме «Линейное программирование». Для приведенных выше исходных данных была построена задача ЦЛП (7) — (12), которая решалась с помощью пакета 1ВМ ILOG СРЬЕХ. Например, для параметра к, изменяющегося от 8 до 15, и d=1 были получены оптимальные комплекты, содержащие до пяти структур тестов. Интересным является комплект, содержащий две структуры, каждая из которых состоит из десяти тестовых заданий. При равномерном распределении этих структур среди студентов знание любого элемента дополнительного множества будет проверено, по крайней мере, у каждого второго студента, что, на наш взгляд, дает возможность сделать вывод о степени усвоения учебного материала. Использование моделей формирования ОКСТ в системе EMM_test позволяет не только повысить качество контроля знаний, но и совершенствовать процесс обучения.
Заключение. Ранее в [1—6] был предложен подход к формированию оптимальной структуры теста, основанный на применении дискретной оптимизации. Он был использован авторами при разработке системы компьютерного контроля знаний. Опыт ее использования для проведения зачета на заочном отделении экономического факультета ОмГУ показал перспективность описанного подхода. Отметим, что он может быть применен для разработки тестов по другим дисциплинам. Например, в [7, 8] он использован при формировании тестов по курсу «Информатика» для гуманитарных специальностей вузов.
В данной работе поставлена задача формирования оптимального комплекта структур тестов, позволяющего получить не только объективную оценку знаний отдельного студента, но и оценить степень усвоения всего объема учебного курса потоком студентов. Предложены соответствующие математические модели, проведены экспериментальные расчеты.
В дальнейшем предполагается разработка математических моделей для формирования оптимальных комплектов структур тестов с учетом сложности заданий, времени их выполнения и других ограничений, а также применение этих моделей при разработке автоматизированных систем контроля знаний.
Библиографический список
1. Заозерская, Л. А. Об одной автоматизированной системе тестирования знаний студентов по экономико-математическим методам [Текст] / Л. А. Заозерская, А. А. Колоколов,
B. А. Планкова // Moscow Education Online 2010 : сб. тез/ докл. IV междунар. конф. — М. : ООО «Global Conferences», 2010. —
C. 130-133.
2. Заозерская, Л. А. Разработка автоматизированной системы контроля знаний с использованием моделей дискретной оптимизации [Текст] / Л. А. Заозерская, А. А. Колоколов, В. А. Планкова // Moscow Education Online 2009 : сб. тез. докл. конф. — М. : ООО «Global Conferences», 2009. — C. 255-258.
3. Заозерская, Л. А. Разработка алгоритмов перебора I-классов для одной задачи компьютерного тестирования [Текст] / Л. А. Заозерская, А. А. Колоколов, В. А. Планкова // Омский научный вестник. — 2008. — № 1(64). — С. 10—12.
4. Заозерская, Л. А. Применение моделей дискретной оптимизации при разработке автоматизированной тестирующей системы [Текст] / Л. А. Заозерская, В. А. Планкова // Вестник Новосибирского государственного университета. Сер. Информационные технологии. — 2008. — Т. 6 (Вып. 1). — С. 47 — 52.
5. Заозерская, Л. А. Разработка и применение автоматизированной системы контроля знаний по экономико-математическим методам [Текст] / Л. А. Заозерская, В. А. Планкова // Проблемы оптимизации и экономические приложения : материалы IV Всерос. конф. — Омск : Полиграфический центр Кан, 2009. — С. 224.
6. Заозерская, Л. А. Создание автоматизированной системы компьютерного тестирования с использованием дискретной оптимизации [Текст] / Л. А. Заозерская, В. А. Планкова // Новые информационные технологии в университетском образовании : тез. науч.-метод. конф. — Новосибирск : ИЭПМ СО РАО, 2007. — С. 82 — 83.
7. Колоколов, А. А. Разработка и применение моделей дискретной оптимизации при формировании тестов по информатике / А. А. Колоколов, Л. В. Ларина // Вестник Омского университета. — 2011. — № 2. — C. 173— 175.
8. Колоколов, А. А. Формирование проверочных тестов по информатике с использованием дискретной оптимизации [Текст] / А. А. Колоколов, Л. В. Ларина // Применение новых технологий в образовании : материалы XX Междунар. конф. — Троицк : МОО фонд новых технологий в образовании «Бай-тик», 2009. — С. 408 — 410.
9. Ким, В. С. Тестирование учебных достижений : монография / В. С. Ким. — Уссурийск : Изд-во УГПИ, 2007. — 214 с.
ЗАОЗЕРСКАЯ Лидия Анатольевна, кандидат физико-математических наук, доцент (Россия), старший научный сотрудник лаборатории дискретной оптимизации.
Адрес для переписки: e-mail: zaozer@ofim.oscsbras.ru ПЛАНКОВА Валентина Александровна, старший научный сотрудник лаборатории теоретико-вероятностных методов.
Адрес для переписки: e-mail: plankova@ofim.oscsbras.ru
Статья поступила в редакцию 30.05.2012 г.
© Л. А. Заозерская, В. А. Планкова
