CC BY
11УДК 519.8
Разработка компьютерной системы контроля знаний с использованием дискретной оптимизации
А. А. Колоколов, Л. В. Ларина
Описывается разработанная авторами компьютерная система контроля знаний студентов ряда гуманитарных факультетов ОмГУ им. Ф. М. Достоевского по дисциплине «Информатика». В системе использованы предложенные математические модели дискретной оптимизации для решения задач формирования оптимальных тестов. Приведены результаты апробации указанных моделей и системы, показавшие продуктивность их применения в учебном процессе.
Ключевые слова: математическое моделирование, дискретная оптимизация, тестирование, компьютерная система, программный комплекс, контроль знаний, информатика.
1. Введение
Современные компьютерные системы тестирования знаний стали удобным и эффективным инструментом преподавателя, позволяющим более рационально организовывать учебный процесс по сравнению с традиционными методами [1-2]. При этом существенно сокращаются временные затраты на процедуру проверки знаний студентов [3-7].
Тестовые задания могут составляться с использованием разнообразных компьютерных инструментов и возможностей сети Интернет [8, 9]. Однако не во всех имеющихся в свободном доступе программных продуктах преподавателю предоставляется возможность формирования собственных тем и вопросов, т.е. в них отсутствуют способы построения индивидуальных траекторий обучения. Следует также отметить, что множество используемых вопросов в проверочном варианте теста в указанных программах не связано с элементами знаний.
В Омском филиале Института математики им. С. Л. Соболева СО РАН и ОмГУ им. Ф. М. Достоевского на протяжении нескольких лет развивается подход к построению систем компьютерного тестирования знаний студентов, основанный на использовании дискретной оптимизации [5, 6, 8, 10-12]. Создана тестирующая система «EMM-TEST» [8, 15], которая используется на экономическом факультете ОмГУ для дисциплины «Экономико-математические методы». Авторами в рамках указанного выше подхода предложены математические модели формирования оптимального теста контроля знаний и разработана на их основе тестирующая система для экономического и юридического факультетов по дисциплинам «Экономическая информатика» и «Правовая информатика» соответственно [8, 1012].
В соответствии с указанным подходом учебный курс представляется как множество понятий, свойств, утверждений и т.п. (элементов знаний). Тест формируется из заданий, каждое из которых предназначено для проверки определенной совокупности элементов знаний указанного множества.
В случае обязательной проверки всех элементов знаний некоторой дисциплины задача формирования оптимального теста сводится к решению известной задачи о наименьшем покрытии множества или её обобщений [13] и является КР-трудной.
2. Постановка задачи и математические модели
Основной функцией разрабатываемой компьютерной системы является формирование набора тестовых заданий, удовлетворяющего определенному критерию оптимальности, выполнение которого позволяет сделать достаточно объективный вывод о степени усвоения студентами рассматриваемой дисциплины. В данной системе предусмотрено два основных критерия в зависимости от типа контроля знаний (промежуточный, рубежный, итоговый и т.д.). Преподаватель на своё усмотрение может максимизировать суммарную оценку теста (вес покрытия) или минимизировать количество вопросов.
Для решения задачи формирования оптимального теста предложены модели целочисленного линейного программирования (ЦЛП) [8, 10-12]. Для описания этих моделей введем следующие обозначения: п - число вопросов, на основе которых формируется тест, т - число элементов знаний рассматриваемой дисциплины, V - множество вопросов в тестовой форме, Ж - множество элементов знаний, Ъг - кратность проверки ¡-го элемента знаний, 1=1,...,т. Каждому объекту из V приписан вес с, >0, ]=1,...,п. Для определения весов можно применять уровни учебных целей по таксономии Блума: знания, понимание, применение, анализ, синтез, оценка [14]. Элементы из V представлены в различных стандартизированных формах представления тестовых заданий, поэтому разделены на I непересекающихся групп задач Л, к=1,...,1 [15-17].
Пусть далее А - булева (т х п^-матрица с коэффициентами
1,
а,, =
0,
если вопрос, проверяет элемент г,
иначе;
переменные модели:
1, если вопрос , включается в тест,
х, =
»,1и:
0, иначе.
Модель ЦЛП имеет вид:
при условиях
Ес,х, ^тах
1=1
Еал >ь>'1 =
п
Е xJ > 1,к = 1,...Д
(1)
(2) (3)
х =а,
}
х
1
}= 1
е {0,1} з = 1,...,п.
(4)
(5)
п
п
Целевая функция (1) состоит в максимизации суммарной оценки теста, ограничения (2) обеспечивают проверку /-го элемента знаний не менее Ъг раз, 1=1,...,ш. Система неравенств (3) отвечает необходимости выбора из каждой группы Jk не менее одного объекта, к=1,...Х Условие (4) - требование включения в тест а вопросов. Значения Ъг преподаватель может устанавливать отдельно для каждого элемента г в зависимости от его важности, г=1,...,ш.
Следует отметить, что первоначально нами были построены и апробированы некоторые другие модели, описанные в работе [12], где использовалась задача следующего вида:
п
X^ тш (6)
У=1
при ограничениях (2), (5). Целевая функция (6) означает минимизацию числа вопросов, включаемых в тест.
3. Результаты вычислительного эксперимента
С целью апробации разработанной компьютерной системы в учебном процессе ОмГУ были проведены экспериментальные расчеты с использованием различных исходных данных (решено более двухсот задач).
В соответствии со стандартом курса «Информатика» нами было сформировано множество из 30 элементов знаний раздела «MS Excel» указанной дисциплины. Расчеты, выполненные на основе модели (6, 2, 5), показали, что число включаемых в тест вопросов может быть заметно сокращено по сравнению с существующей практикой (ранее использовался тест из 25 вопросов) [8, 10-12]. В случае b^ = 1,i = 1,...,m получено 6 вариантов теста, включавших по 9 вопросов. При увеличении коэффициентов bi по желанию преподавателя число вопросов в тесте возрастало до 13^15.
Для модели (1), (2), (4) были проведены вычислительные эксперименты с различными значениями а, позволившие получить более широкое множество тестов по сравнению с работой [12]. Следует отметить, что для ряда элементов знаний встречалось небольшое число вопросов, с помощью которых они проверялись, поэтому многие из таких вопросов входили в оптимальное решение. Было предложено разбить множество вопросов на непересекающиеся группы (3), тем самым у преподавателя появилась возможность один и тот же элемент знаний проверять вопросами разной формы представления и сложности.
Кроме того, были выполнены расчеты для раздела «MS Word». В этом эксперименте множество элементов знаний состояло из 17 элементов, а число включаемых в тест вопросов сократилось с 25 до 7. При увеличении значений bi число вопросов в тесте возрастало до 10^12. Поиск наилучших значений параметра а для рассматриваемой дисциплины предполагается продолжить в дальнейших исследованиях.
Расчеты проводились с помощью программы ЦЛП в лаборатории дискретной оптимизации ОФ ИМ СО РАН. Те же оптимальные решения получены с помощью разрабатываемой нами компьютерной системы контроля знаний.
Экспериментальные исследования показали, что развиваемый подход является достаточно перспективным для создания компьютерной тестирующей системы по информатике и другим дисциплинам. В настоящее время продолжается разработка алгоритмов решения рассматриваемых задач и их программная реализация.
4. О программном комплексе
В качестве основных при создании программного комплекса выбраны следующие требования:
1. Снижение числа вопросов, предназначенных для проверки всех элементов знаний.
2. Использование сборников вопросов, первоначально выполненных в формате MS Word.
3. Применение технологии «Клиент» - «Сервер».
Первое требование связано с минимизацией числа вопросов, позволяющих проверить все элементы знаний. Этот подход описан выше в данной статье.
В настоящее время в разрабатываемом нами комплексе предусмотрено два критерия оптимальности и два способа выбора вопросов из базы данных.
Второе требование необходимо в связи с тем, что большинство сборников вопросов, используемых в настоящий момент, созданы в редакторе MS Word, поэтому переход от «ручных» процедур, связанных с подготовкой и выполнением тестовых заданий, к автоматизированным будет наиболее простым. Для этого нужно лишь привести сборники вопросов к определённому формату MS Word, базирующемуся на правилах русского языка и дополнительных условиях, обеспечивающих возможность машинной обработки.
Реализация третьего требования позволяет сосредоточить все функции комплекса, связанные с подготовкой и управлением заданиями, а также хранением данных на компьютере или компьютерах с максимальным режимом безопасности, обычно это машина преподавателя или комплект из ЭВМ преподавателя и аппаратного сервера для хранения данных. Функции, связанные с выполнением заданий, возлагаются на ЭВМ учебного класса. Такое распределение предотвращает несанкционированный доступ к сборникам вопросов и ответам к ним, а также любые операции с заданиями для лиц, не имеющих на это прав.
Программный комплекс состоит из трёх отдельных частей - сервер БД, АРМ «Преподаватель», АРМ «Студент».
Сервер БД и АРМ «Преподаватель» могут быть установлены на одной машине, а могут быть разнесены на разные ЭВМ - это определяется сетевой конфигурацией класса. АРМ «Студент» устанавливается на необходимое число компьютеров класса.
Используемый сервер представляет собой реляционную СУБД MySQL. Клиентские приложения АРМ «Преподаватель» и АРМ «Студент» написаны на языке Delphi в среде программирования Embarcadero RAD Studio XE.
Возможности MySQL позволили организовать доступ к данным таким образом, что каждый участник процесса обучения имеет доступ только к тем данным, которые предназначены для него и только в определённое время. Такой подход исключает несанкционированный доступ к данным, например, студентов, а также предотвращает случайное повреждение данных любым участником процесса обучения.
Графические интерфейсы клиентских приложений АРМ «Преподаватель» и АРМ «Студент» позволяют преподавателю и студентам удобно и в соответствии с современным уровнем развития информационных технологий взаимодействовать с программным комплексом в рамках своих задач и прав.
АРМ «Преподаватель» программного комплекса выполняет следующие функции:
- конвертация сборников вопросов, выполненных в формате MS Word, в формат программы;
- создание и редактирование записей об обучающихся;
- создание и редактирование заданий для обучающихся;
- создание и применение шаблонов заданий;
- поиск по критериям в базе обучающихся и заданий;
- хранение результатов выполненных заданий;
- печать результатов выполненных заданий в форме протоколов трёх видов;
- обеспечение безопасности посредством защиты паролем.
АРМ «Студент» программного комплекса выполняет следующие функции:
- предоставление графического пользовательского интерфейса;
- обеспечение выполнения задания в режимах «Обучение» и «Экзамен»;
- предоставление информации о ходе выполнения задания.
Режим «Обучение» позволяет студенту получить максимальную обратную связь от программы в процессе выполнения задания. Информация о том, что обучающийся работает именно с этим режимом, отображается в верхней части окна АРМ «Студент».
Режим «Экзамен» включён в программный продукт по умолчанию. Дополнительная настройка этого режима для АРМ «Студент» осуществляется на АРМ «Преподаватель».
Основное окно АРМ «Студент» в режиме «Экзамен» имеет те же элементы, что и в режиме «Обучение», однако некоторые возможности работы с ними ограничены. Это связано с самим понятием экзамена. В таком режиме обучающийся не получает оперативную информацию о правильности своих ответов и не может просматривать вопросы, на которые ответил ранее.
Модуль формирования базы вопросов.
Позволяет преподавателю (по каждому разделу кодификатора) составлять тестовые задания, каждому из которых приписан вес, совокупность вопросов разбивать на определенное число непересекающихся групп с учетом особенностей рассматриваемой дисциплины.
Модуль формирования варианта теста.
Для поиска оптимального теста использовался специально разработанный алгоритм ветвей и границ. Полученные варианты теста соответствуют требованиям преподавателя, состоят из заданного числа вопросов и имеют максимальный суммарный вес. С их помощью проверяются все элементы знаний изучаемой дисциплины.
5. Заключение
Компьютерная система контроля знаний студентов разработана на основе использования моделей и методов дискретной оптимизации, технологии генерации вариантов проверочных тестов в соответствии с предложенными алгоритмами. Данный программный комплекс планируется использовать на гуманитарных факультетах ОмГУ для контроля знаний по дисциплине «Информатика». Сформированные системой протоколы результатов тестирования существенно повысят эффективность работы преподавателя.
В заключение отметим также, что опыт разработки и апробации рассматриваемого программного комплекса показал перспективность применения развиваемого подхода и создания специализированных систем проверки знаний, а также их использования в процессе обучения.
Литература
1. Васильев В. Н., Стафеев С. К. Единая система компьютерного тестирования: состояние и перспективы // Научно-технический вестник СПб ГИТМО (ТУ). 2001. Вып. 1. С. 5-22.
2. Проскурнин А. А. «Автоматизированная система контроля знаний» [Электронный ресурс]. URL: http://www.philippovich.ru/Projects/RFFI/almanah/ Proskurnin1.pdf (дата обращения 20.08.2015).
3. Калугян К. Х., Щербаков С. М. Компьютерная система тестирования знаний как компонент информационной научно-образовательной среды вуза // Вестник Академии. 2005. № 1 (20). С. 61-66.
4. Ризун Н. О., Тараненко Ю. К. Методика разработки автоматизированной системы управления качеством тестового контроля знаний // Вестник НТУ «ХПИ», Харьков. 2010. Вып. 31. С. 145-152.
5. Заозерская Л. А., Планкова В. А. Применение моделей дискретной оптимизации для разработки автоматизированной системы контроля знаний // Вестник НГУ. Серия: Информационные технологии. 2008. Т. 6, Вып. 1. С. 47-52.
6. Колоколов А. А., Заозерская Л. А., Планкова В. А. Об одной автоматизированной системе тестирования знаний студентов по экономико-математическим методам // Сборник тезисов IV Международной конференции по вопросам обучения с применением технологий e-learning. Москва, 2010. С. 130-133.
7. Тягунова Т. Н. Культура компьютерного тестирования. Культура проектирования тестового задания: монография. М: МГУП. 2006. 300 с.
8. Ларина Л. В. Компьютерные системы тестирования знаний студентов на различных этапах оценки успеваемости // Омский научный вестник. 2013. № 1 (117). С. 43-46.
9. Компьютерное тестирование в образовании (Каталог ссылок на программы разработки тестов и проведения тестирования) [Электронный ресурс] -
URL: http://slmini.narod.ru/linkt .html (дата обращения 20.08.2015).
10. Колоколов А. А., Ларина Л. В. Разработка и применение моделей дискретной оптимизации при формировании тестов по информатике // Вестник Омского университета. 2011. № 2. С. 173-175.
11. Ларина Л. В. Разработка автоматизированной системы контроля знаний по информатике с использованием моделей дискретной оптимизации // Труды ИВМиМГ СО РАН. Сер. Информатика. Новосибирск. 2011. С. 113-118.
12. Колоколов А. А., Ларина Л. В. Формирование проверочных тестов по информатике с использованием дискретной оптимизации // Материалы XIX Междунар. конф. «Применение новых технологий в образовании». Троицк: МОО фонд новых технологий в образовании «Байтик». 2008. С. 326-327.
13. Еремеев А. В., Заозерская Л. А., Колоколов А. А. Задачи о покрытии и их приложения // Материалы международного семинара «Вычислительные методы и решение оптимизационных задач». Новосибирск: ИВМ и МГ СО РАН. 2004. С. 70-76.
14. B. S. Bloom (1956). Taxonomy of Educational Objectives: The Classification of Educational Goals. Handbook 1; Cognitive Domain. New York: David McKay Co. Inc.: pp. 7-8 [Электронный ресурс]. URL: http://www.learnnc.org/lp/pages/4719#noteref1 (дата обращения 20.08.2015).
15. Аванесов В. С. Композиция тестовых заданий. Учебная книга. 3-е изд., доп. М.: Центр тестирования. 2002. 240 с.
16. Челышкова М. Б. Теория и практика конструирования педагогических тестов. М.: ЛОГОС. 2002. 432 с.
17. Ларина Л. В. Разработка заданий для компьютерного тестирования студентов // Вестник сибирского отделения академии военных наук. Омск. 2011. № 4. С. 85-89.
Статья поступила в редакцию 16.02.2016; переработанный вариант — 18.03.2016
Колоколов Александр Александрович
д.ф.-м.н., профессор, заведующий кафедрой прикладной и вычислительной математики Института математики и информационных технологий ОмГУ им. Ф. М. Достоевского, заведующий лабораторией дискретной оптимизации Омского Филиала Института математики СО РАН (644033, Омск, ул. Певцова, 13), тел. (381) 2-236-739, e-mail: kolo@ofim.oscsbras.ru.
Ларина Любовь Викторовна
старший преподаватель кафедры методики преподавания математики ИМИТ ОмГУ им. Ф. М. Достоевского (644077, Омск, пр. Мира, 55а), тел (381) 2-268-422, e-mail: larinalv@omsu.ru.
Computer system development for knowledge testing with the use of discrete optimization A.Ä. Kolokolov, L.V. Larina
In this paper, computer control system for monitoring knowledge of the students of humanitarian faculties of Dostoyevsky OmSU on the discipline "Information sciences" is described. In this system, the proposed mathematical models of discrete optimization for solving the problems of optimum tests formation are realized. The results of testing showing the efficiency of these models and systems in educational process are presented.
Keywords: mathematical modeling, discrete optimization, testing, the automated system, knowledge control.
