Подход к сбору и обработке данных автоматизированного контроля знаний Текст научной статьи по специальности «Компьютерные и информационные науки»

Сер. 10. 2010. Вып. 1

ВЕСТНИК САНКТ-ПЕТЕРБУРГСКОГО УНИВЕРСИТЕТА

УДК 519.688

И. А. Карабельников, А. Н. Кривцов

ПОДХОД К СБОРУ И ОБРАБОТКЕ ДАННЫХ АВТОМАТИЗИРОВАННОГО КОНТРОЛЯ ЗНАНИЙ

Введение. В научной литературе последних лет большое внимание уделяется разработке компьютерных средств обучения [1, 2], что обусловлено развитием глобальной вычислительной сети и повышением интереса к дистанционным формам обучения. Но многие аспекты их применения до сих пор остаются нераскрытыми. Так, практически отсутствуют работы, посвященные возможности использования данных автоматизированного контроля знаний в процессах принятия решения на изменение тематического плана прохождения дисциплины с целью повышения качества учебного процесса.

При разработке компьютерных систем контроля знаний значительное внимание уделяется механизмам, представляющим знания о предметной области и об обучаемом. Для этого в состав системы обычно вводят модель предметной области и модель обучаемого.

1. Модель предметной области. Такая модель служит основой для большинства главных компонентов автоматизированных обучающих систем вообще и систем контроля знаний в частности. Предметная область характеризуется сущностями и связями между ними. В качестве сущностей предметной области в обучающих системах можно рассматривать понятия или темы, каждой из которых соответствует единица учебного материала, не требующая деления на подтемы.

Рассмотрим некий учебный курс, состоящий из множества модулей V = {vi}, причем каждый модуль отвечает какой-либо теме курса. Связь между темами i и j подразумевает зависимость между ними, которую можно интерпретировать так: для понимания темы j нужно знать тему i. Таким образом, связи могут определять последовательность изучения тем, иметь различную семантику и взаимозависимости.

Для представления знаний в системах искусственного интеллекта используется большое количество моделей [3]. Модель предметной области применительно к решаемым задачам должна удовлетворять следующим требованиям:

1. Возможность отражать различные типы связей между элементами. Связи между темами могут быть факультативными и обязательными; в случае факультативной связи последовательность изучения тем носит рекомендательный характер.

Карабельников Игорь Анатольевич — кандидат технических наук, преподаватель кафедры военной кибернетики Санкт-Петербургского высшего военного училища радиоэлектроники (Военного института). Количество опубликованных работ: 10. Научные направления: программные системы, компьютерное моделирование. E-mail: kiagtr@mail.ru.

Кривцов Александр Николаевич — кандидат физико-математических наук, доцент кафедры компьютерного моделирования и многопроцессорных систем факультета прикладной математики-процессов управления Санкт-Петербургского государственного университета. Количество опубликованных работ: 30. Научные направления: компьютерная лингвистика, программные системы, компьютерное моделирование. E-mail: a.krivtsov@econ.pu.ru.

© И. А. Карабельников, А. Н. Кривцов, 2010

2. Возможность получения целостного образа знаний.

3. Возможность объединения процедурных и декларативных знаний.

Этим требованиям удовлетворяет семантическая модель представления знаний [4], которая позволяет проводить анализ предметной области по таким параметрам как:

-связность (достижимость любой вершины);

-наличие циклов;

-степень важности конкретной темы (понятия), определяемая количеством тем, зависящих от данной темы.

2. Анализ предметной области. Семантическую сеть применительно к решаемой задаче удобно представлять в виде ориентированного графа с помеченными вершинами и дугами, в котором вершинам соответствуют объекты, а дугам - семантические отношения между ними, что дает возможность использовать для анализа модели предметной области математический аппарат теории графов. В этом случае семантическую сеть О можно рассматривать как двойку вида О = {у,Б}, где V = {у^} - множество вершин (узлов сети), служащих для представления элементов учебного материала, а Б = {djk} - множество дуг, определяющих взаимосвязи между вершинами и задающих последовательность изучения элементов учебного материала (рис. 1).

Рис. 1. Фрагмент семантической сети

Узлы сети служат для представления элементов процесса обучения: теоретического материала по определенной теме курса, лабораторных, практических и контрольных работ, заданий для самоконтроля и т. п. Дуги между элементами определяют взаимосвязи между вершинами и задают последовательность изучения курса.

Для дальнейшего анализа ориентированный граф удобно представлять в матричной форме. Для этого строится матрица смежности М с, элемент а^ которой равен 1, если вершина у непосредственно связана с вершиной Vj ориентированным ребром, и значение 0 - в противном случае. На основании матрицы смежности находится матрица достижимости Мр по следующей формуле:

мп = м0 © м1 © м2 ©... © мп © м%-1,

где М0 - единичная матрица; М1 = М с, М1С - степенные матрицы графа, полученные в результате последовательного перемножения I матриц смежности Мс 0 Мс 0 ... 0 Мс по правилам булевой арифметики.

3. Модель обучаемого. Под математической моделью обучаемого обычно понимается набор параметров, измеряемых во время работы системы с обучаемым и определяющих степень усвоения им знаний по изучаемому предмету, а также набор методов (правил) обработки этого набора.

Модель обучаемого должна включать в себя информацию:

-о цели обучения;

-о знаниях обучаемого в рамках изучаемого курса (текущее состояние процесса обучения);

- об особенностях выбора контрольных заданий и вопросов;

- о правилах изменения модели обучаемого по результатам работы с обучаемым.

Текущее состояние процесса обучения - это фактически проекция знаний обучаемого на модель предметной области. Проекция ограничена рамками заданных обучаемому маршрутов и включает сведения о результатах изучения отдельных тем курса (прохождения вершин сети), которые могут быть представлены как совокупность результатов контроля знаний по данной теме. Поэтому для рассмотрения модели обучаемого можно использовать ориентированный граф той же структуры, что и для предметной области, с той лишь разницей, что каждой вершине графа ставится в соответствие некоторое действительное число, представляющее собой оценку уровня знаний обучаемого по данному модулю. В результате имеем вектор оценок X = {х*}.

Получить такие оценки можно в результате контрольного мероприятия. В самом простом случае они определяются по формуле

э=1

в которой - оценка результата выполнения ,7-го задания г-го модуля, щ - количество

заданий, предъявленных по модулю г. В случае учета сложности заданий

здесь - показатель сложности 7-го задания г-го модуля.

Полученные в результате контроля оценки можно подвергнуть статистической обработке, что позволит в дальнейшем получить рекомендации по внесению изменений в тематический план. Так, для каждого модуля можно определить следующие статистические оценки параметров распределения набранных баллов:

-выборочные средние (позволяют оценить степень усвоения модуля):

здесь К - количество обучаемых, принявших участие в контрольном мероприятии; -выборочные дисперсии (позволяют оценить сложность модуля):

к

I] (х^к - ХВг)2

Овг

К

-выборочные коэффициенты корреляции для связанных тем (позволяют оценить взаимосвязи модулей):

к

~К (*^,& ^Вг){р^з.,к '^Ву')

к= 1

гв “ ~ *Га,*/Ц

Полученные в результате статистической обработки рекомендации по внесению изменений в тематический план можно свести, во-первых, к перераспределению учебного времени между темами подготовки и, во-вторых, к оптимизации последовательности изучения тем.

4. Методы автоматизации управленческих решений. Выработка рассматриваемых управленческих решений может осуществляться автоматизированным способом, в частности решение задачи оптимизации последовательности изучения можно осуществлять с использованием метода динамического программирования [5]. В качестве критерия оптимизации предлагается выбирать критерий максимизации суммы выборочных коэффициентов корреляции для связанных тем, взятых попарно, в результате чего информационно-связанные темы будут изучаться с наименьшими временными разрывами:

N-1

Р =53 ГВи ^ ™П’

г=1

где N - число тем; ^ - порядок изучения тем (номер темы в тематическом плане).

Решение задачи оптимизации порядка прохождения дисциплины удобно начинать с построения дерева возможных путей прохождения дисциплины. В качестве весов дуг в нем используются коэффициенты корреляции распределения набранных баллов для взаимосвязанных модулей. Нахождение оптимального маршрута производится с помощью метода динамического программирования, модифицированного с учетом специфики задачи (множество возможных путей представляет собой дерево: зависимость принимаемого на каждом шаге решения от его предыстории). Для нахождения оптимального маршрута предлагается применять алгоритм.

Построение дерева возможных путей прохождения (шаги 1-4).

1. Устанавливается количество единиц в каждой строке матрицы достижимости, обозначим это множество Nlj.

2. В качестве вершины дерева для первого шага выбирается тема, которой соответствует максимальное значение Nlj. Обозначим ее Тц.

3. Находятся вершины Tlj. Для этого определяется множество тем, не достижимых из Тц,..., Т1^-1. Если такое множество пустое, происходит переход на отбор тем для 2-го шага. Если множество не пустое, то выбирается тема, которой соответствует максимальное значение Nlj. Обозначим ее Т^.

4. Находятся вершины Т^, где г - номер шага, г > 1.

Для последующих шагов, начиная со 2-го, рассматриваемое дерево разбивается на I поддеревьев, где I - число вершин на шаге г — 1. Для каждого поддерева из рассмотрения исключаются темы, уже выбранные в вершины вышестоящих уровней. В остальном выбор выполняется аналогично выбору вершин для 1-го уровня.

Нахождение оптимального маршрута (шаги 5-10).

5. На основании построенного дерева возможных путей определяются изменения

состояния системы S под влиянием управления xi на г-м шаге (в какое состояние она переходит):

S' = & (S,Xi).

6. Вычисляется выигрыш, который приносит на г-м шаге управление xi, если перед этим система была в состоянии S, т. е. записываются функции выигрыша:

^i = fi (S,Xi). (1)

В качестве критерия оптимизации выбран критерий максимизации суммы коэффициентов корреляции, в результате чего информационно-связанные темы будут изучаться с наименьшими временными разрывами, поэтому ui = rss', если ass' = 1, и ui = 0,

если ass' = 0, где ass' - элемент матрицы связности Me.

Рис. 2. Пример оптимизации порядка прохождения дисциплины

7. Записывается рекуррентное уравнение, выражающее условный оптимальный выигрыш (Б) (начиная с 2-го шага и до конца) через уже известную функцию (Б):

Wl (Б ) = швх{Л (Б,хг ) + Wi+1 (Б,хг)}.

8. Производится условная оптимизация последнего (т-го) шага, задаваясь гаммой состояний Б, из которых можно за один шаг дойти до конечного состояния, вычисляя для каждого из них условный оптимальный выигрыш по формуле

Wm (Б) = ш&х{/т (Б,хт)},

(2)

и находится условное оптимальное управление хт (Б), для которого этот максимум достигается.

9. Производится условная оптимизация (т — 1)-го, (т — 2)-го шагов и т. д. шагов по формуле (2) и для каждого шага указывается условное оптимальное управление XI (Б), для которого этот максимум достигается.

10. Производится безусловная оптимизация управления: для этого необходимо взять найденное оптимальное управление на первом шаге х* = х1 (Б0), изменить состояние системы по формуле (1); для нового состояния определить оптимальное управление на втором шаге х2 и т. д. до последнего шага.

Пример нахождения оптимального маршрута при помощи описанного алгоритма для дисциплины, состоящей из семи модулей, представлен на рис. 2.

На нем цифры внутри окружностей, обозначающих вершины, показывают номер модуля, цифры рядом со стрелками - коэффициенты корреляции (для несвязанных тем используется нулевое значение), цифры рядом с вершинами - условные оптимальные выигрыши.

Рис. 3. Реализация системы контроля знаний с применением интернет-технологий

5. Варианты реализации программной модели. Для реализации описанных методов и моделей целесообразно применять возможности, предоставляемые современными персональными ЭВМ. Предлагается применять автоматизированную систему контроля знаний, построенную с помощью архитектуры «клиент-сервер» и представляющую собой веб-приложение. Данные технологии позволяют осуществлять одновременное тестирование большого количества обучаемых с сохранением результатов тестирования в единой базе данных, а также производить централизованную обработку результатов тестирования. На рис. 3 показан пример реализации системы контроля знаний с использованием трехуровневой архитектуры «клиент-сервер» и интернет-технологий.

В настоящее время для реализации сетевой системы контроля знаний была опробована технология ASP.NET, разработанная корпорацией Microsoft для создания веб-приложений, работающих под управлением веб-сервера IIS (Internet Information Services). Для доступа к базам данных в этой системе используются OLE DB и ADO.NET - современные интерфейсы программирования доступа к данным, разработанные Microsoft.

Литература

1. Башмаков А. И., Башмаков И. А. Разработка компьютерных учебников и обучающих систем. М.: Информ.-изд. дом «Филинъ», 2003. 616 с.

2. Хортон У., Хортон К. Электронное обучение: инструменты и технологии / пер. с англ. Ю. В. Алабина; под ред. М. П. Матёкина. М.: Кудиц-Образ, 2005. 640 с. (W. Horton, K. Horton. E-learning Tools and Technologies.)

3. Смолин Д. В. Введение в искусственный интеллект: конспект лекций. М.: Физматлит, 2004. 208 с.

4. Konar A. Artificial intelligence and soft computing: behavioral and cognitive modeling of the human brain. Boca Raton: CRC Press, 2000. 786 p.

5. Вентцель Е. С. Исследование операций. Задачи, принципы, методология: учеб. пособие для вузов. 3-е изд., стереотип. М.: Высшая школа, 2004. 208 с.

Статья рекомендована к печати проф. Л. А. Петросяном.

Статья принята к печати 24 сентября 2009 г.