CC BY
84
УДК 519.226.3 + 004.891.3
Сологуб Глеб Борисович
ПОСТРОЕНИЕ И ИСПОЛЬЗОВАНИЕ БАЙЕСОВСКОЙ СЕТИ ДЛЯ МОДЕЛИРОВАНИЯ ЗНАНИЙ СТУДЕНТА В ИНТЕЛЛЕКТУАЛЬНОЙ СИСТЕМЕ ТЕСТИРОВАНИЯ1
Аннотация
Предложена модель знаний студента в виде байесовской сети доверия, имеющей древовидную структуру, с булевскими случайными элементами. Описана методика её построения и использования для анализа и диагностики в интеллектуальной системе тестирования.
Ключевые слова: байесовская сеть, сеть с древовидной структурой, модель знаний студента, диагностика знаний, компьютерное тестирование.
Развитие современных информационных технологий позволяет внедрять в сфере образования инновационные подходы для повышения эффективности обучения и тестирования. К таким разработкам относится создание адаптивных интеллектуальных обучающих и тестирующих систем, важным компонентом которых является модель знаний студента, содержащая представление знаний по учебному предмету [1].
В статье предложена модель знаний студента на основе байесовской сети доверия, которая позволяет представить знания студента на различных уровнях детализации, включая разделы, главы и темы учебного курса (произвольной вложенности), элементарные компетенции, тестовые задания и их семантические элементы.
Описана методика построения структуры, установления параметров и использования предложенной модели для анализа и
© Сологуб Г.Б., 2012
диагностики в интеллектуальной системе тестирования.
1. СЕМАНТИЧЕСКИЕ МОДЕЛИ ЗНАНИЙ В СИСТЕМЕ ТЕСТИРОВАНИЯ
Для моделирования знаний в интеллектуальных обучающих и тестирующих системах используются два вида моделей: модель учебной дисциплины, которая должна определять состав требуемых знаний и взаимосвязи между отдельными фрагментами учебного курса, и модель знаний студента, которая должна отражать представления системы о составе и уровне текущих знаний конкретного студента [1].
В настоящей работе используются положения теории [2], согласно которой обучение представляет собой информационный процесс формирования знаний, знание является активной информацией, способной ге-
1 Статья публикуется в порядке дискуссии.
нерировать новую информацию, а для формального описания моделей знаний можно применить фреймовый аппарат семантического программирования [3].
Вариант семантической модели учебной дисциплины для компьютерной обучающей системы описывается в работе [4]. В нем выделены два типа фреймов: фрагментные и целевые, каждый информационный фрагмент описывается в виде экземпляра фраг-ментного фрейма, детализация ограничивается уровнем параграфов учебного курса.
Для эффективной реализации контроля знаний в компьютерной системе тестирования необходимо включить в семантическую модель учебной дисциплины тестовые задания и элементарные компетенции, которые ими проверяются, а в случае использования составных тестовых заданий, как, например, в системе [5], требуется описать и структуру самих заданий.
В работе [6] предложена такая детализированная фреймовая семантическая модель учебной дисциплины. Состав требуемых знаний представляется в ней в виде иерархической древовидной структуры, включающей темы, элементарные компетенции, задания и их структурные и семантические элементы.
Под темой подразумевается фрагмент знаний [7] произвольной общности (предмет, раздел, глава, параграф и т. п.), выделенный из оглавления учебного курса. Предполагается, что темы могут находиться на произвольной глубине вложенности, у каждой темы может быть не более одной родительской темы, каждая тема может включать любое количество тем и элементарных компетенций.
Древовидная структура, таким образом, описывает отношение включения на множестве тем: более широкая (общая, родительская) тема включает в себя более узкие темы (подтемы).
Под элементарной компетенцией понимается минимальный фрагмент знаний по теме, необходимых для выполнения конкретного типового задания. Предполагается, что каждая компетенция относится только к одной теме, каждое задание проверяет един-
ственную компетенцию, а каждая компетенция может проверяться произвольным количеством заданий.
Задание представляется в виде фрагмента знаний, который может содержать формулировку задачи, указания к способу решения, описание вариантов и/или формы ответа, подсказки и другие структурные элементы.
Кроме того, предполагается, что в каждом задании можно выделить один или несколько семантических элементов [8]. Для каждого семантического элемента задается область возможных значений и верное значение. В процессе тестирования при ответе студента семантические элементы задания принимают верное или неверное значение, являясь, таким образом, базовыми элементами проверки знаний.
Фреймовая семантическая модель знаний для конкретного студента строится на основе семантической модели учебной дисциплины и включает полученные и прогнозные оценки правильности заполнения семантических элементов заданий, а также оценки умения выполнять задания, обладания компетенциями и владения темами [9].
Указанные модели содержат также классификационные и директивные фреймы, описывающие типы фрагментных фреймов и взаимосвязи между ними. Полное формальное описание всех протофреймов этих моделей выполнено в работе [9].
Недостатком указанной модели знаний студента является то, что она предоставляет только декларативное описание состава и уровня знаний, но не отражает механизм построения оценки знаний, то есть процесс диагностики знаний. Для устранения этого недостатка предлагается строить модель знаний студента в виде байесовской сети доверия.
2. ПОСТРОЕНИЕ БАЙЕСОВСКОЙ СЕТИ ДЛЯ МОДЕЛИРОВАНИЯ ЗНАНИЙ СТУДЕНТА
Байесовская сеть [доверия] - это ациклический ориентированный граф, в котором каждый узел представляет случайный эле-
Рис. 1. Представление структурной части семантической модели знаний студента [9] в виде графа
мент (переменную), принимающий два или более возможных значений, дуги обозначают существование непосредственных причинно-следственных зависимостей между соединенными переменными, а сила этих зависимостей количественно выражается в виде условных вероятностей [10].
Байесовские сети являются одним из видов вероятностных графических моделей.
Строгое формальное определение и теория байесовских сетей доверия построены и развиты в трудах [7, 10, 11, 12].
Формирование байесовской сети доверия предлагается осуществлять на основе рассмотренной семантической модели знаний студента [9].
Структурная часть этой модели может быть представлена в виде графа, где Т1,...,ТЫ-темы, С1,...,См - элементарные компетенции, Ql,..,- задания, Е1,...,ЕР - структурные элементы заданий, 51,..., - семантические элементы заданий (рис. 1).
Подграф, содержащий задания и их структурные элементы, описывает семантику человеко-машинного взаимодействия при тестировании, в то время как подграф, содержащий темы, элементарные компетенции, задания и их семантические элементы, отражает семантическую структуру, используемую для анализа и оценивания результатов тестирования.
Второй из указанных подграфов можно использовать в качестве основы для построения структуры байесовской сети.
Узлами (переменными) байесовской сети будут являться булевские случайные элементы, соответствующие фрагментам знания -темам, элементарным компетенциям, заданиям и их семантическим элементам.
Предполагается, что владение общей темой непосредственно влияет на владение подтемами; владение темой непосредственно влияет на обладание компетенциями, которые к ней относятся; обладание компетенцией непосредственно влияет на умение выполнять тестовые задания, которые её проверяют; умение выполнять тестовое задание непосредственно влияет на правильность заполнения семантических элементов этого задания.
Сформированная согласно этим предположениям структура байесовской сети является ориентированным деревом (ордеревом) (рис. 2).
В процессе тестирования система получает свидетельства о том, как студент заполняет значения семантических элементов заданий. Поэтому переменные 5,..., являются наблюдаемыми переменными, а
Рис. 2. Структура байесовской сети для моделирования знаний студента
гх,...,гм,си...,см и д^...,дк - скрытыми
переменными, причем наблюдаемые переменные являются листьями построенного ориентированного дерева.
В этой сети каждый узел, кроме корневого, имеет единственного родителя. Кроме того, все переменные в сети бинарные. Поэтому если сеть содержит п узлов, то для неё требуется задать 2п - 1 параметров: маргинальную вероятность Р(Т1) для корневой темы, а также условные вероятности Р(Хг \ра(Хг)) для каждого из Хг - остальных тем, компетенций, заданий и их семантических элементов в зависимости от значения ра(Хг) - родителя узла Хг . Остальные значения вероятностей однозначно по ним восстанавливаются при помощи соотношений [7]: Р(Т1) = 1 - Р(Т1), Р( Х,.| ра( Х.)) = 1 - Р( Х.\ра( Хг)).
Значения указанных параметров можно получить, используя один из двух принципиально различных подходов.
Первый подход заключается в том, чтобы установить их непосредственно на основе экспертной оценки. Так, в работе [13] условные вероятности правильных ответов на тестовые задания при заданных значениях владения фрагментами знаний вычисляются на основе 1ЯТ-моделей [14], параметры которых определяет преподаватель.
Другой подход основан на использовании одного из методов автоматического обучения параметров байесовской сети по имеющимся статистическим данным [15]. В рассматриваемом случае такими данными будут являться результаты проведенных тестирований, а именно, полученные значения правильности заполнения семантических элементов, а также экспертные оценки умения решать задачи, обладания компетенциями и владения темами для конкретных студентов, проходивших тестирование.
Такой вариант представляется более разумным для рассматриваемой задачи, поскольку в этом случае от преподавателя не требуется задавать ни сами таблицы распределения вероятностей переменных байесовской сети, ни какие-либо другие косвенные параметры нашей модели. Его задача сводит-
ся к стандартной оценке результатов учащегося: владеет/не владеет, обладает/не обладает, умеет/не умеет.
3. ИСПОЛЬЗОВАНИЕ БАЙЕСОВСКОЙ СЕТИ ДЛЯ АНАЛИЗА И ДИАГНОСТИКИ ПРИ ТЕСТИРОВАНИИ ЗНАНИЙ
Цель тестирования знаний - построить оценки владения темами, обладания компетенциями, умения выполнять тестовые задания. В предложенной модели на основе байесовской сети в качестве таких оценок могут выступать условные вероятности для каждой из переменных Т1,...,ТЫ,С1,...,См и дх,...,дк и при полученных значениях переменных 51,...,.
Пусть задана байесовская сеть доверия с булевскими случайными элементами X = {Х1,...,Хп}. Тогда их совместное распределение определяется формулой [10, 11]:
Р(Хи..., Хп) = ПР(Хг|ра(Хг)), (1)
г =1
где ра(Хг) - множество родителей узла Хг, а в случае, если у узла Хг нет родителей, Р(Х. |ра(Х.)) = Р(Х.).
Формула (1) позволяет вычислить маргинальную вероятность любой комбинации значений переменных набора X. Кроме того, при поступлении свидетельства о наборе значений, полученных некоторыми переменными сети, можно вычислить условную вероятность любой комбинации значений других переменных в сети, используя теорему Байеса.
Подсчёт вероятностей по формуле (1) неэффективен в вычислительном плане, поскольку количество строк в таблице совместного распределения переменных в байесовской сети растет экспоненциально в зависимости от количества узлов сети.
Однако для случая байесовской сети, имеющей древовидную структуру, с дискретными переменными, принимающими п возможных значений, разработан эффективный алгоритм вероятностного вывода, линейный по времени и памяти [10]. Его можно применить и в рассматриваемом частном
случае байесовской сети с булевскими случайными элементами.
Этот алгоритм основан на том, что в каждый момент времени каждый узел сети имеет всю информацию, необходимую для вычисления условной вероятности соответствующей переменной, а при получении свидетельства о значении какого-либо узла этот узел отправляет сообщения об этом изменении соседним узлам. Далее эта информация передается по цепочке, и в каждом узле пе-ресчитываются условные вероятности. Таким образом, поступающая информация о значениях наблюдаемых узлов распространяется по байесовской сети, вызывая обновление вероятностей для каждого из оставшихся узлов.
Важная особенность указанного алгоритма состоит в том, что он позволяет использовать не только явные свидетельства о значениях наблюдаемых узлов сети, но и косвенные свидетельства, то есть информацию, полученную вне байесовской сети из других источников.
Это означает, что при использовании этого алгоритма для анализа и диагностики знаний с помощью байесовской сети для конкретного студента можно использовать не только его собственные результаты, полученные при тестировании, но и любые другие косвенные свидетельства. В частности, предлагается использовать в качестве косвенных свидетельств оценки, полученные с помощью коллаборативной фильтрации на основе результатов прошедших тестирований других студентов [16].
В процессе тестирования в систему постепенно поступают свидетельства о значениях наблюдаемых переменных (семантических элементов 51,..., 5ь). Указанный алгоритм позволяет на каждом шаге тестирования обновлять условные вероятности в сети в соответствии с полученными данными и формировать вероятностную картину, характеризующую скрытые переменные байесовской сети (умение решать задачи, обладание компетенциями и владение темами) для тестируемого студента.
Полученное значение условной вероятности р для каждого фрагмента знаний мож-
но интерпретировать, например, следующим образом: если р > р+, то у системы есть уверенность, что студент обладает данным фрагментом знания, если р < р , то есть уверенность, что не обладает, в противном случае у системы нет уверенности (полученных свидетельств недостаточно или они противоречивы).
Конкретные пороговые значения р и р-, такие что 0 < р- < р+ < 1, задаются преподавателем.
Результатом описанного подхода является следующая методика построения байесовской сети для моделирования знаний студентов и последующего использования её для тестирования знаний.
1. Преподаватель с помощью разработанной компьютерной авторской среды [5] формирует структуру учебного курса (темы, подтемы, элементарные компетенции, задания, их структурные и семантические элементы, а также взаимосвязи между ними).
2. Согласно действиям преподавателя автоматически в компьютерной среде строится фреймовая семантическая модель [9].
3. На основе семантической модели в компьютерной среде автоматически формируется структура байесовской сети для конкретной учебной дисциплины.
4. Проводятся пробные тестирования с помощью компьютерной среды, по результатам которых формируются наборы значений семантических элементов для каждого тестируемого.
5. Преподаватель осуществляет экспертную оценку умения выполнять тестовые задания, обладания компетенциями и владения темами для каждого тестируемого.
6. На основе полученных по п. 4 и п. 5. данных в компьютерной среде производится автоматическое обучение параметров байесовской сети.
7. Построенная и обученная байесовская сеть используется в дальнейшем для автоматического построения в компьютерной среде оценок умения выполнять тестовые задания, обладания компетенциями и владения темами для каждого следующего тестируемого.
4. ПРИМЕР ИСПОЛЬЗОВАНИЯ ПРЕДЛОЖЕННОЙ МОДЕЛИ
По предложенной методике в компьютерной среде [5] была построена байесовская сеть для моделирования знаний студентов 2-го курса факультета «Радиоэлектроника летательных аппаратов» Московского авиационного института по предмету «Теория оптимизации и численные методы».
Фрагмент этой сети изображен на рис. 3, некоторые из недетализированных на рисунке фрагментов знаний отмечены многоточиями.
Структура сети включает 43 темы (от крупных разделов «Численные методы» и
«Теория оптимизации» до глав, например, «Метод Ньютона», «Метод простых итераций»), 47 элементарных компетенций (например, «Выбрать начальную точку», «Выполнить итерацию»), 332 задания (как теоретических, - например, выбрать все достаточные условия сходимости метода Ньютона из набора предложенных вариантов, так и практических, - например, проверить, выполняется ли условие сходимости в конкретной задаче), каждое из которых включает один или несколько семантических элементов.
Сформированные задания были включены в набор компьютерных тестов, соответствующих 4-м семестровым проверочным работам и итоговой контрольной работе.
Рис. 3. Фрагмент структуры байесовской сети для моделирования знаний студента по курсу «Теория оптимизации и численные методы»
Были проведены тестирования 62-х студентов из 4-х студенческих групп. В 2-х из них проводились пробные тестирования, оценка обладания фрагментами знаний осуществлялась преподавателем. Для студентов 2-х других групп оценки строились автоматически с использованием сформированной байесовской сети, обученной на пробных тестированиях.
Проверка показала хорошую диагностическую точность модели: в 95% процентах случаев выставленные системой оценки владения фрагментами знаний совпали с выставленными независимо оценками преподавателя.
5. РЕЗУЛЬТАТЫ
Предложенная модель ближе всего по своей структуре к байесовской сети, описанной в работе [13], в которой рассматривается задача моделирования знаний при адаптивном тестировании студентов по заданному предмету А. Структура учебного курса предполагает разбиение предмета на главы Т1,...,Т!!, а каждой из глав Ti, в свою очередь, соответствует набор понятий
СЛ,..,Сп . Тестирование включает набор
i
Рх,...,Рг тестовых заданий, каждое из которых может требовать владения одним или несколькими понятиями. В свою очередь, владение каждым из понятий может быть необходимым для выполнения одного или нескольких тестовых заданий.
Для моделирования знаний в этой работе используется байесовская сеть с булевскими случайными элементами, которая предполагает задание маргинальных вероятностей для каждой из переменных С\\,...,С\п.,...,Сл,...,, а также построение условных вероятностей для перемен-ныхТ1,...,Т и А на основе взвешенных сумм вкладов родительских фрагментов и для пе-ременныхР1,...,Рг с помощью дискретизации модифицированной трёхпараметричес-кой логистической функции [13].
К недостаткам этой модели можно отнести следующие:
1) вложенность дерева фрагментов знания ограничена только 3-мя уровнями: предмет, главы, понятия;
2) моделируются только простейшие виды тестовых заданий с единственным значением верно/неверно;
3) модель не описывает элементарные компетенции, позволяющие выполнять те или иные задания;
4) установление параметров байесовской сети осуществляется непосредственно преподавателем;
5) структура байесовской сети содержит допустимые ненаправленные циклы, которые могут быть смежными по ребрам, - в этой ситуации стандартные методы вероятностного вывода могут оказаться вычислительно неэффективными [11, 12], а предложенные эвристики обесценивают саму идею использования байесовской сети.
Другие исследователи либо вовсе не описывают иерархическую структуру знаний, а моделируют только взаимосвязи между наборами тестовых задач и правил их решения [17], в лучшем случае, формализуя ход решения самих задач [18], либо строят алгоритмы автоматического формирования структуры байесовской сети на основе имеющихся данных [19].
Предложенная байесовская сеть лишена этих недостатков. С одной стороны, она является довольно простой как для построения, так и для использования в системе тестирования; с другой стороны, её структура достаточно детализирована и отражает все непосредственные и косвенные причинно-следственные взаимосвязи между отдельными фрагментами знания.
Байесовские сети в последние годы активно используются в компьютерных обучающих и тестирующих средствах [20]. Однако, в соответствии с преобладающим в мире, но не в России, подходом в компьютерном тестировании знаний на основе Item Response Theory [14], в них моделируются только наборы простейших стандартизованных тестовых заданий, за которые выставляются отметки верно/неверно. В отечественной практике преподавания, в частности, математических дисциплин, применя-
ются гораздо более сложные формы проверочных заданий. Построенная модель знаний адаптирована и к этой особенности.
Среди достоинств предложенной модели можно выделить наглядность и простоту интерпретации наряду с детальностью и формальной строгостью, а также диагностической точностью.
Практический результат от внедрения этой модели в компьютерную систему тестирования заключается в возможности автоматического формирования оценок владения темами, обладания компетенциями и умения выполнять тестовые задания по результатам тестирования.
Следует отметить, что условные вероятности переменных, полученные в процессе тестирования с использованием предложенной модели, нельзя трактовать непосредственно как вероятности владения студентом соответствующими фрагментами знания. Формально, речь идет об оценке вероятности того, что преподаватель по результатам тестирования определит, что студент владеет этими знаниями.
Фактически, в данном случае система тестирования моделирует конкретного преподавателя, а байесовская сеть отражает его методику оценивания знаний.
Несмотря на кажущуюся ограниченность, этот подход представляется разумным способом воплотить многолетний опыт преподавания дисциплин высшего образования в виде интеллектуальной системы компьютерного обучения [2].
Реализованный в компьютерной среде [5] инструментарий преподавателя позволяет визуализировать построенные модели знаний студентов, отображать «срезы» знаний по темам, автоматически формировать рекомендации по устранению пробелов в знаниях для конкретного студента.
К настоящему моменту в этой среде построены байесовские сети для моделирования знаний по 7-ми дисциплинам высшей математики, по 3-м из которых были проведены пробные тестирования студентов с автоматическим обучением параметров сетей. Построенные модели планируется использовать в учебном процессе при компьютерном тестировании знаний.
Литература
1. Advances in Intelligent Tutoring Systems / ed. by R. Nkambou, R. Mizoguchi, J. Bourdeau. Springer, 2010.
2. Семенов B.B. Информационные основы кибернетической компьютерной технологии обучения // Информатика и вычислительная техника. 1997. № 3. C. 37-40.
3. СеменовB.B. Семантическое программирование в САПР систем управления. М.: МАИ, 1983.
4. Летова Т.А., Кондаков B.K. Конструирование компьютерных курсов по математическим дисциплинам. М.: МАИ, 2008.
5. СологубГ.Б. Компьютерная среда создания систем имитационного тестирования знаний // Электронный журнал «Труды МАИ» 2010. № 38 / http://www.mai.ru/science/trudy/.
6. Сологуб Г.Б. Комбинированные семантические модели знаний в интеллектуальной системе тестирования // Труды 4-й Всероссийской мультиконференции по проблемам управления «МКПУ-2011». 2011.С. 159-161.
7. Тулупьев А.Л., Николенко С.И., Сироткин A.B. Байесовские сети: логико-вероятностный подход. СПб.: Наука, 2006.
8. Сологуб Г.Б. Разработка системы имитационного тестирования // Вестник Московского авиационного института. 2009. Т. 16, № 2. С. 28-33.
9. Сологуб Г.Б. Построение фреймовых семантических моделей в интеллектуальной системе тестирования // Информационные и телекоммуникационные технологии. 2012. № 14.
10. Pearl J. Probabilistic Reasoning in Expert Systems: Networks of Plausible Inference. San Francisco: Morgan Kaufmann, 1988.
11. Jensen F. V. Bayesian Networks and Decision Graphs. NY: Springer-Verlag, 2001.
12. Тулупьев А.Л., Сироткин A.B., Николенко С.И. Байесовские сети доверия: логико-вероятностный вывод в ациклических направленных графах. СПб.: Изд-во С.-Петерб. ун-та, 2009.
13. Millan E., Perez-de-la-Cruz J. L. A Bayesian Diagnostic Algorithm for Student Modeling and its Evaluation // User Modeling and User-Adapted Interaction. 2002. № 12. P. 281-330.
14. Hambleton R.K. Principles and Selected Applications of Item Response Theory / Educational Measurement, ed. by R.L. Linn. NY: MacMillan, 1989.
15. Heckerman D. A tutorial on learning with Bayesian networks / Learning in graphical models, ed. by M.I. Jordan. Dordrecht: Kluwer Academic, 1998.
16. Сологуб Г.Б., Пантелеев A.B. Математическое моделирование знаний тестируемого с помощью байесовских сетей и коллаборативной фильтрации // Труды Московской научно-практической конференции «Инновации в авиации и космонавтике - 2012». 2012. С. 251-252.
17. VanLehn K., Niu Z., Siler S., Gertner A. Student modeling from conventional test data: a Bayesian approach without priors // Proc. of 4th Int. Conf. ITS'96. 1996. P. 29-47.
18. Gertner A., Conati C., VanLehn K. Procedural help in Andes: Generating hints using a Bayesian network student model // Proc. of 15th National Conf. on Artificial Intelligence. 1998. P. 106-111.
19. Liu C. A simulation-based experience in learning structures of Bayesian networks to represent how students learn composite concepts // International Journal of Artificial Intelligence in Education. 2008. V. 8, № 3. P. 237-285.
20. AlmondR.G., DiBello L. V., Moulder B., Zapata-Rivera J.D. Modeling diagnostic assessments with Bayesian networks // Journal of Educational Measurement. 2007. № 44. P. 341-359.
Abstract
The model of student knowledge in form of tree-structured Bayesian network with Boolean random variables is presented. The method of building and using of this model for analysis and diagnosis in intelligent testing system is described.
Keywords: Bayesian network, tree-structured network, student model, student diagnosis, computerized assessment.
© Наши авторы, 2012. Our authors, 2012.
Сологуб Глеб Борисович, аспирант факультета прикладной математики и физики Московского авиационного института (национального исследовательского университета), glebsologub@ya. ги
