CC BY
29
Зайцева Т.В.1, Пусная О.П.2, Васина Н.В.3
белгородский государственный национальный исследовательский университет (НИУ «БелГУ»), г. Белгород, к.т.н., доцент кафедры прикладной информатики и информационных технологий,
zaitseva@bsu . edu. ru
2Белгородский государственный национальный исследовательский университет (НИУ «БелГУ»), г. Белгород, старший преподаватель кафедры прикладной информатики и информационных
технологий, pusnaya @ bsu. edu. ru
3Тульский государственный университет, г. Тула, к.т.н., доцент кафедры начертательной геометрии
и компьютерной графики
РЕАЛИЗАЦИЯ АДАПТИВНОГО ТЕСТИРОВАНИЯ УРОВНЯ ЗНАНИЙ СТУДЕНТОВ С ИСПОЛЬЗОВАНИЕМ ЭКСПЕРТНОЙ СИСТЕМЫ «REXPERT»
КЛЮЧЕВЫЕ СЛОВА
Адаптивное тестирование, экспертная система, уровень знаний студентов, фреймово-продукционная модель, база знаний, база данных, компетентностный подход.
АННОТАЦИЯ
Современные информационные технологии позволяют увеличить эффективность не только получения знаний, но и их контроля. При этом автоматизация контроля знаний позволяет добиться максимальной объективности при минимальных затратах времени. Одним из основных видов такого контроля является тестирование. В статье предлагается использовать для проведения тестирования студентов экспертную систему RExpert.
Данная разработка основана на гибридном продукционно-фреймовом подходе к построению интеллектуальных систем.
Использование данной системы позволяет обеспечивать объективный контроль и разносторонний анализ знаний студентов.
Систему RExpert можно применять для тестирования знаний студентов в рамках отдельных дисциплин, для оценки остаточных знаний, для определения рейтинга студентов, а так же для отбора выпускников для дальнейшего обучения или работы в вузе.
Переход на федеральные государственные образовательные стандарты привел к множественным изменениям в системе высшего профессионального образования. Передача «готовых знаний» от преподавателя к студенту, то есть репродуктивное обучение, постепенно вытесняется подходом сотрудничества всех вовлеченных в образовательный процесс участников, к которым относятся потенциальные работодатели, студенты, преподавательский состав вузов.
Цель компетентностного обучения — формирование профессионально значимых умений и навыков студентов (компетенций), и как следствие — разработка новых технологий преподавания на основе инфокоммуникационных технологий, а так же создание эффективной и объективной системы контроля качества получаемого образования, которая соответствовала бы международным стандартам.
На современном этапе развития высшего образования в мире именно качество образования является главным критерием оценки деятельности учебного заведения. Достигнуть данную цель невозможно без организации эффективного педагогического контроля. Одним из способов такого контроля является тестирование. Тестирование все чаще используется как метод объективного контроля знаний, хотя метод обладает как преимуществами, так и недостатками по сравнению с традиционными методами контроля.
Процесс тестирования чаще всего представляет собой последовательность вопросов с несколькими ответами на каждый из них. При больших количествах вопросов и (или) большом
количестве тестируемых возникает проблема ускорения процесса обработки результатов. Чаще всего этот процесс представляет собой обработку табличных данных, где каждый вопрос имеет некоторый весовой коэффициент, каждый ответ на вопрос может не только быть истинным или ложным, но и также иметь свой весовой коэффициент. В результате несложных вычислений можно получить некоторый общий усредненный, относительно отвеченных вопросов, балл, который отражает знания тестируемого согласно его ответам. В основе этой системы лежит именно усредненное значение, так как по нему нельзя понять какие пробелы в знаниях необходимо восполнить, в каких областях тестируемый наиболее силен. Поэтому, вводя достаточно большую избыточность в структуру вопрос-ответ, обеспечивается возможность полного анализа результатов. То есть, если последовательность вопросов и ответов представляет собой иерархию, где в корне находится один вопрос и в пределах одного уровня все вопросы и ответы одинаковы, то это позволяет выстроить все возможные комбинации ответов на одинаковые последовательности вопросов, а потом в конце тестирования анализировать ответы в полном объеме. При интерпретации результатов тестирования имеется возможность оценить не только всю область знаний, для которой составлен тест, но и отследить где именно находятся пробелы в знаниях.
Сообразно хранимым данным база знаний разрабатывается согласно следующим основным требованиям к экспертной системе:
• в базе знаний должно находиться произвольное количество тем;
• для каждой темы должно иметься свое дерево вопросов, ответов и результатов;
• в корне всегда должен быть один вопрос;
• после каждого вопроса должно быть не менее 1 ответа;
• после каждого ответа должен быть один вопрос или один результат;
• результатом заканчивается опрос и в нем предлагаются рекомендации;
• все тексты должны быть в формате RTF;
• каждый вопрос должен иметь возможность содержать текст, формулу или значение переменной для формулы;
• в базе знаний должна быть возможность хранить историю ответов.
Особенность модели безопасности RExpert состоит в распределении этой функции на 3 составляющие:
• серверную часть, где находится база данных, которая защищена настройками безопасности операционной системы и СУБД FireBird,
• редактора базы знаний, который кроме основного назначения позволяет предоставить доступ к базе знаний,
• клиентское приложение, которое осуществляет чтение базы знаний и запись историй ответов.
Экспертная система представляет собой два приложения RExpertEditor и RExpertClient. RExpertEditor позволяет создавать и редактировать базы знаний. Кроме этого имеется возможность управления результатами использования баз знаний. RExpertClient предоставляет возможности использования базы знаний и регистрацию результатов. Оба приложения могут удаленно подключаться к базе знаний. База знаний реализована в виде базы данных СУБД FireBird 1.5. Реализована фреймово-продукционная модель представления знаний, как наиболее часто применяемая. В базе знаний могут храниться как статические объекты, то есть текст вопросов, ответов и результатов, так переменные и использующие их формулы. Значения переменных пользователь может задавать самостоятельно.
Работа с программой RExpertEditor (рисунок 1) начинается с создания нового файла или с открытия уже существующего. По умолчанию для СУБД InterBase и FireBird логин SYSDBA, а пароль masterkey, но политика безопасности позволяет задать любой другой логин и пароль необходимой сложности. Открытие файла может осуществляться двумя методами: удаленно или локально. После того как файл базы данных был открыт необходимо создать новую тему. Новая тема фактически является новой базой знаний, поэтому для ее создания необходимо ввести название темы, данные, которые будут идентифицировать автора или авторский коллектив; в поле дату создания; можно добавить текст, который будет характеризовать данную тему или вносить какую-то дополнительную информацию, но можно оставить пустым.
Для создания базы знаний надо открыть вкладку «Вопросы» и в окне «Новый текст» внести текст вопроса (рисунок 2). Выбрать источник текста «Новый» и тип вопроса на вкладке «Тип», то есть чем будет вопрос: просто текст, число или некая формула. Если вопрос будет являться формулой, то в окне «Новый текст» формулу необходимо написать в фигурных скобках {}, а иначе она не будет восприниматься как формула, а воспримется интерпретатором как обычный текст. Далее необходимо открыть вкладку «Операции» и нажать на кнопку «Добавить». В окне дерева базы знаний появится значок вопроса с номером вопроса в базе знаний. Чтобы для этого вопроса написать ответы необходимо выделить вопрос в дереве базы знаний, перейти на вкладку «Ответы». Здесь в окне «Новый текст» ввести текст первого ответа, выбрать «Источник текста Новый» и нажать кнопку «Добавить». Аналогично проделать действия с другими ответами. Если необходимо выбрать уже имеющийся текст вопроса, ответа или результата, то на вкладке «Источник текста» выбирается «Весь текст» и с помощью навигатора или поиска нового в имеющемся находится необходимый текст. Но здесь уже необходимо выбрать на вкладке редактирования «Источник текста Имеющийся» и нажать на кнопку «Добавить».
редактирования вопросов
Рис. 2. Вкладка «Вопросы»
Если в тексте вопроса, ответа или результата была допущена ошибка или его просто необходимо заменить другим, то в окно «Новый текст» вносится другой текст, выбирается источник текста «Новый» и нажимается кнопка «Изменить». А если вопрос, ответ или результат необходимо удалить, то в дереве базы знаний выбирается не нужный вопрос, ответ или результат и на вкладке, относящейся соответственно к вопросу, ответу или результату необходимо нажать на кнопку «Удалить». Пример дерева базы знаний представлен на рисунке 3.
Следует отметить, что у вопроса может быть несколько ответов, но после ответа может идти только один вопрос или результат. После результата не может идти ни вопрос, ни ответ.
-
1
- 2
I Б
- "? 3
I э
- ? 4
I 11
: 56
I 12 - ? 5
+ I 14 - I 15 - *? 77
- I 138 I 55 I 139 - 76 - I 137 - 79
к I ± I
I 13
I 10
Рис. 3. Дерево базы знаний
Для рассмотрения ответов пользователей предназначены вкладки Пользователи и История ответов (рисунок 4). На вкладке Пользователи можно найти всех пользователей, которые когда-либо проходили тестирование и балл полученный ими.
Темы | Г опрос | | Испрц
Д«Т4
Рис. 4. Вкладка «История ответов»
На вкладке Истории ответов можно просмотреть, сохраненные истории по номерам, темам или датам, проанализировать ответы, в которых тестируемый силен или слаб. Также можно их удалить.
Для удобства использования экспертной системы предназначены дополнительные элементы интерфейса, которые расположены в главном меню (рисунок 5).
де^ НЕхрег1Ес1|1ог 1.0
Файл Просмотр Запуск Справка Рис. 5. Главное меню экспертной системы
С их помощью историю ответов можно не сохранять, цифры, которые будут в дальнейшем выводиться можно округлить до нужного количества знаков после запятой (рисунок 6).
Запуск Справка Пуск
ч> Сохранять историю Округление чисел
Рис. 6. Подпункты пункта меню «Запуск»
Если пользователь забыл, как нужно пользоваться данной программой, то он может воспользоваться пунктом главного меню Справка. Название экспертной системы, ее версию и автора можно также просмотреть в пункте Справка о программе (рисунок 7).
О программе
ПЕхрегЮеп1
Версия 1.0
Клиентская часть э к.спертнэй системы ЯЕкрег1
ЕЖ
Рис. 7. Справка о программе
Работа с программой RExpertClient подобна работе с программой RЕxpertEditor, но в ней отсутствует возможность просмотра дерева базы знаний и ее редактирование. Программа RЕxpertClient предназначена только для тестирования и просмотра собственной истории. Таким образом совокупность приложений RЕxpertEditor и RExpertClient составляет программный комплекс, представляющий собой экспертную систему RЕxpert 1.0.
Экспертная система RExpert с фреймово-продукционной базой знаний позволяет строить системы контроля знаний на основе тестирования. База знаний представляет собой древовидную структуру. Все знания в ней записаны с помощью правил. При ответе на поставленный вопрос в базе знаний определяется, какое правило будет относиться к данному ответу. База знаний имеет возможность хранить в себе:
• последовательность вопросов задаваемых пользователю;
• соответствующие ответы;
• результаты;
• историю ответов;
• регистрационную информацию.
Экспертная система RExpert разработана в качестве универсального инструмента создания и использования удаленных баз знаний. Базы знаний могут содержать информацию различного вида, в том числе и формулы.
Данная разработка была опробована при тестировании студентов кафедры прикладной информатики и информационных технологий 5 курса специалитета по дисциплинам «Мировые информационные ресурсы» и «Интеллектуальные информационные системы», 4 курса бакалавриата по дисциплинам «Управление информационными системами» и «Интеллектуальные информационные системы». Анализ результатов показал следующее.
Во-первых, при создании тестов необходимо для каждой темы создавать свое дерево вопросов, ответов и результатов, при этом количество тем не ограничивается.
Во-вторых, необходимо предусматривать после каждого вопроса не менее 3-4 ответов, желательно близких по смыслу и имеющих различный уровень правильности.
В-третьих, возможно изменение базы знаний в процессе тестирования, при этом сохраняются все истории ответов студента, что позволяет сделать анализ более полным.
Таким образом, в качестве несомненных преимуществ разработанной системы можно отметить:
Система обеспечивает объективный контроль, субъективизм со стороны преподавателя полностью исключен.
Система позволяет работать нескольким пользователям в режиме реального времени и обеспечивает быструю обработку результатов, что делает тестирование исключительно удобным инструментом мониторинга качества образовательного процесса в рамках системы менеджмента качества;
Система сохраняет все истории сеансов работы с возможностью выборки результатов тестирования по специальностям, курсам, дисциплинам и студентам.
Разработанные тесты охватывают весь теоретический курс дисциплины, что позволяет не только оценивать контролируемый объем знаний, но и осуществлять проверку остаточных знаний.
Тестирование требует гораздо меньше затрат на проведение и проверку, чем экзамен (без учета затрат на разработку самих тестовых заданий, что, как правило, делается один раз).
Литература
1. Применение экспертной системы контроля знаний «RExpert» в учебном процессе / Зайцева Т.В., Смородина Н.Н., Васина Н.В. // Научные ведомости БелГУ Серия Истории Политика Экономика Информатика. 2013. №22(165). Вып. 28/1. С. 231-235.
2. О некоторых подходах к построению самообучающихся экспертных систем / Зайцева ТВ., Нестерова Е.В., Смородина Н.Н., Маматов Р.А., Слободюк А.А. // Научные ведомости БелГУ Серия Истории Политика Экономика Информатика. 2012. №1(120). Вып. 21/1. С. 162-165.
3. Баженов Р.И., Лопатин Д.К. О применении современных технологий в разработке интеллектуальных систем // Журнал научных публикаций аспирантов и докторантов. 2014. № 3 (93). С. 263-264.
