Модели и алгоритмы для мониторинга и оценки знаний специалистов в компьютерной интеллектуальной обучающей системе Текст научной статьи по специальности «Компьютерные и информационные науки»

ISSNGS6S-5SS6

НАУЧНОЕ ПРИБОРОСТРОЕНИЕ, 2GG1, том 11, № 4, c. S4-S7

ОРИГИНАЛЬНЫЕ СТАТЬИ

УДК 681.3: 519.68 © В. Я. Мамаев

МОДЕЛИ И АЛГОРИТМЫ ДЛЯ МОНИТОРИНГА И ОЦЕНКИ ЗНАНИЙ СПЕЦИАЛИСТОВ В КОМПЬЮТЕРНОЙ ИНТЕЛЛЕКТУАЛЬНОЙ ОБУЧАЮЩЕЙ СИСТЕМЕ

Задача непрерывного обновления знаний специалистов требует новых подходов. Строятся модели и алгоритмы для мониторинга и оценки знаний с помощью компьютерной интеллектуальной обучающей системы. Для реализации мониторинга строится индивидуальная модель обучаемого, описываемая как нечеткий недетерминированный автомат. Оценка знаний осуществляется путем сравнения модели знаний обучаемого с эталонной моделью предмета.

ВВЕДЕНИЕ

К современным компьютерным обучающим системам и тренажерам предъявляются требования не только по представлению знаний обучаемым и обеспечению их тестирования, но и к реализации полноценного обучения даже при отсутствии постоянного контакта обучаемого с преподавателем (инструктором). Последнее возможно осуществить в рамках интеллектуальных обучающих систем (ИОС). Основными отличительными чертами ИОС от традиционных автоматизированных обучающих систем (АОС) является наличие блоков, содержащих знания: о предметной области (ПрО); об обучаемом; о стратегиях обучения;

о том, как применить знания о стратегиях обучения к отдельным обучаемым [1].

Все многообразие моделей представления знаний в ИОС для различных ПрО может быть сведено к двум основным: формальным логическим моделям и эвристическим (сетевые модели, продукционные системы, фреймы) [2]. В терминологии Д. Пойя [3], первые (логические модели) соответствуют доказательным рассуждениям, вторые — правдоподобным рассуждениям. Правдоподобные рассуждения рискованы, спорны и условны, но именно они чаще всего используются в повседневной практике.

ПОСТРОЕНИЕ МОДЕЛИ ОБЪЕКТА ОБУЧЕНИЯ

Для осуществления мониторинга процесса обучения воспользуемся операциональным механиз мом освоения знаний.* Построим предваритель-

*Согласно операциональной теории интеллекта Ж. Пиаже, новые элементы знаний могут легко усваиваться только в составе когнитивной группировки, подвергающейся различным логическим операциям. Поэтому предполагаем, что предварительно учебный ма-

ную модель обучаемого для конкретной (изучаемой) дисциплины, проведя тестирование начальных знаний. Затем с учетом индивидуального психологического портрета формируется индивидуальная модель обучаемого (ИМО), определяются цели обучения. ИМО строится на основе метода моделирования поведения человека-оператора. Метод основан на описании поведения обучаемого нечетким недетерминированным автоматом:

А =< и,X,Т,50,5,а>, (1)

где и = {и1,и 2,...,ит } — множество способов освоения материала (обучения); X = {X1, X 2,..., Хп } — набор модулей, на которые разбивается дисциплина; Т = {Т1,Т2,...,Тр } — множество интервалов

времени на обучение; 50 — начальное состояние; 5: X х и х X ^ [0,1] — функция переходов;

а: X х и х Т ^ Ь — функция выходов, где Ь — расходы, связанные с реализацией выбранного способа освоения материала ик на интервале времени Т].

Способы обучения и состояния модулей, протекающие во времени, будем представлять как нечеткие события на интервале Т], 1 — ] — р. При таком подходе функция переходов может задаваться экспертным путем и отражать уже имеющийся опыт обучения. Для учета личностных особенностей приобретения знаний обучаемым

териал изучаемой дисциплины представлен ориентированным графом О1 = [X;, Г\], где Xг — множество фрагментов (модулей), на которые разбивается дисциплина; Г] — множество дуг графа Ог, описывающих взаимодействие отдельных фрагментов г-й дисциплины; Пг — множество дуг графа Ог, описывающих последовательные связи между отдельными фрагментами г-й дисциплины (например, последовательность в изучении тем дисциплины).

необходимо построить индивидуализированную функцию переходов. С этой целью учитывается исходная информация от обучаемого, заключающаяся в задании прогноза использования того или иного способа освоения материала в зависимости от возможных результатов тестирования в виде функции ц: Xi х ик ^ [0,1], а также прогноза перехода управляемого процесса обучения из исходного состояния 50 на первом шаге решения в зависимости от ограничений на имеющиеся ресурсы. На основе этой информации программируется автоматная модель. Для этого на каждом шаге решается система композиционных уравнений [4] вида

ll(Xl )/ик = »&, ч)/ик_, о Xl )/ик ,

^(ик) = ц(XI-1) о Д(Xl-l,иk),

где ° — знак операции "композиция"; Jw(Xi)/ ик, ик-1 — нечеткие оценки возможности управляемого процесса находиться в состояниях Xi, Xi-1 при применении способов освоения учебного материала ик и ик-1 соответственно; (л(ик) — нечеткая оценка выбора обучаемым способа освоения материала ик . Полученные оценки группируются попарно "способ освоения материала"—"результаты тестирования", исходя из условия ^(ик ) — Xi)/ ик . Формирование

пар по такому принципу согласуется с реальным выбором решения: результату теста с максимальной оценкой возможности должен соответствовать способ освоения учебного материала также с максимальной оценкой применения его обучаемым. Выделение пар позволяет выявить наиболее вероятные связи по способам освоения материала между состояниями модулей курса (подзадач). Одновременно каждый способ освоения материала, маркирующий связь, характеризуется нечеткой оценкой использования его обучаемым в зависимости, например, от времени, расходов ресурсов на обучение, сложности освоения учебного материала (в частности, в режиме дистанционного обучения необходимо учитывать возможные ограничения на используемый трафик в Интернете).

СТРАТЕГИИ ОБУЧЕНИЯ

Особенность модели заключается в выделении индивидуальных стратегий поведения при обучении, а также стратегий, ориентированных на достижение цели обучения:

5д = (5 0, и, X11, и1,..., X*-1, ип_1, X’;: ),

где г1 — возможный результат тестирования, i = 1, п — число результатов 1-го теста. При этом каждую стратегию можно оценить следующим образом:

в(5П) = тт(а( X1), a(X22), ..,a{Xrn), №1)). (3)

Здесь ц(XI) (п = 1,к) — функция принадлежности результата тестирования XП нечеткой цели g: Р(Я) = {м(X1l),..., д(Xk)}, где к — размерность множества Xn, а(X''1) — оценки связей между результатами тестов

а(Гт) = ггах(/(Мип-1X аxя.1,u„-1)), (4)

Тп-1

а /(р(ип-1), аXn l Un1) — операция свертки двух

критериев, по которым оцениваются связи между результатами тестов: оценка перехода из состояния X;;;'--1 в Xnn с использованием данного способа освоения материала и оценка необходимых расходов на обучение. Для каждого критерия задается целевая функция, т. е. некоторое нечеткое множество, ограничивающее допустимые значения соответствующего критерия.

Стратегия, наиболее соответствующая индивидуальному стилю принятия решений обучаемого,

имеет оценку тах(в(5П)), а стратегия с оценкой

ч

тах(^( XП)) соответствует наилучшему результа-

п

ту тестирования. На основании полученных данных можно произвести прогноз деятельности обучаемого. В случае, когда выбранная обучаемым стратегия перестает быть эффективной по отношению к нечетко заданной цели, модель генерирует рекомендации по трансформированию индивидуальной стратегии обучения.

ЗНАНИЯ И УМЕНИЯ

Еще одной важной задачей, связанной с обучением, является оценка системы знаний обучаемого. Под системой знаний будем понимать возможности обучаемого в использовании полученных им знаний при решении практических задач. Модель специалиста отражает конечные цели обучения, т. е., какими знаниями, умениями и навыками должен обладать специалист и какие предметы ему для этого необходимо изучить. Модель представляется в виде ориентированного графа, где терминальные вершины помечаются определенными знаниями, умениями и навыками, а нетерминальные (узлы) помечаются изучаемыми

в рамках предмета темами. Предлагаемая методика позволяет унифицировать подход к оценке качества обучения как в рамках отдельного предмета, так и в целом по специальности. В последнем случае узлы соответствуют изучаемым предметам.

Проиллюстрируем предлагаемый подход на примере оценки системы знаний в рамках изучаемого предмета. Итак, пусть преподавателем разработана структура предмета, отражающая изучаемые темы и взаимосвязи между ними. Модель структуры предмета можно представить в виде ориентированного графа G = (X, U), где множество вершин X = {Xj, X2,.., Xn} — совокупность тем рассматриваемого предмета, U = {U1, U2,.., Um } — дуги, отражающие взаимосвязи между темами. Каждой вершине ставится в соответствие оценка уровня освоения данной темы f^(Xi),

Xi е X, i = 1, n , дуги маркируются значением функции принадлежности связи.

Модель системы полученных обучаемым при обучении знаний и умений представляется как

нечеткий ориентированный граф H = (X , U ), где X с X, U с U. В данном случае оценки fx(xr), xr е X отражают знания обучаемого по теме xr, а оценки ns (xq, xr) дуг Us е U отражают

умения обучаемого использовать полученные по теме xq знания. Оценки принадлежат интервалу

[0, 1]. Вершины и дуги графа H маркируются значениями оценок из базы данных результатов итогового контроля по предмету. Если возникает ситуация, когда знания по теме xi имеют высокую оценку, но у обучаемого отсутствуют умения работы с ними, т. е. оценки использования этих знаний цк (xi, xj) гораздо ниже, то появляется сомнение в достоверности оценки знаний по теме xi . В этом случае встает вопрос о корректировке оценки знаний по теме xi. Здесь могут быть использованы два подхода: 1) оценка знаний по теме xi не должна превышать максимальную оценку

использования этих знаний max [л(xi, x,); 2) зада-

j

ется некоторое пороговое значение 5, ограничивающее разницу между оценкой знаний по теме xi и максимальной оценкой использования знаний max /а(xi, xj). Сформированная таким образом

Любое знание состоит частично из "информации ("частичное знание") и частично из умения (know-how). Умение — это мастерство, это способность использовать имеющиеся у вас сведения для достижения своих целей..." [3].

модель отражает реальные знания и умения обучаемого в рамках изучаемой дисциплины.

ОЦЕНКА СИСТЕМЫ ЗНАНИЙ

Для того чтобы оценить систему приобретенных обучаемым знаний и умений, необходимо сравнить модель системы знаний обучаемого и эталонную модель предмета с целью установления аналогии между ними. Метод нахождения аналогии основан на выделении базовых множеств моделей и определении сходства между ними.

Множество ребер {и1 /Ук}еи графа О(У, и),

инцидентных вершинам Ук е V с V , называется базовым множеством, если в результате удаления ребер {и1 / Ук} происходит разрушение структуры объекта, т. е. по крайней мере любые две несмежные вершины оказываются несвязанными. Очевидно, что V является множеством внешней устойчивости графа. Поэтому выделим базовые множества, используя обобщенный для нечетких графов метод Магу.

Графы и1) и О2(^, и2) с базовыми мно-

жествами {и^ / Ук } с и 1 и {иО2 / Ур } с и2 называются сходными, если выполняется одно из следующих условий:

1) {ио1/vk} с {ио2/Vp} V ({ио2/Ур} с {иС1/Ук});

(5)

2) {ио /Ук} с {ио2 /Ур}&({ио2 /Ур} с {ио1 /Ук})

для всех Ук еК1, Ур еV2.

Аналогия строится на основе операции обобщения вершин базовых множеств и их окрестностей. Если аналогия существует, то вычисляется степень аналогии для определения оценки системы знаний обучаемого в рамках изучаемого предмета. Используем для этого следующую формулу 1р

аАх = 1_ 2 (1 (хр )-Р;(хр )l), (6)

р ч=1

где р — число тем из множеств вершин моделей Н = (X ,и ) и Н = (X , и ), между которыми установлено соответствие. Степень аналогии по дугам определяется по формуле

1 ж

аАи = 1 ~Г2(| Vиг (X , Х] ) -Ри'(Х1 , Х] )|), (7)

5 4=1 "

где 5 — число ребер, инцидентных вершинам графа аналогии. Общую оценку степени аналогии аА определим следующим образом:

а а = тт(«Ах аАи). (8)

Следуя системе рейтинговых оценок, степени аналогии аА е [0.55, 0.70] соответствует оценка "удовлетворительно", аА е [0.70, 0.85] соответствует оценка "хорошо", аА е [0.85, 1] соответствует оценка "отлично". Если аА < 0.55 , то будем считать, что изучаемый предмет нельзя оценить положительной оценкой. В этом случае обучаемому следует повторно изучить материал и пройти итоговый контроль по предмету.

СПИСОК ЛИТЕРАТУРЫ

1. Головина Е.Ю., Чибизова Н.В. О построении интеллектуальной обучающей системы //

Изв. РАН. Теория и системы управления. 1996. № 5. С. 85-92.

2. Искусственный интеллект: в 3-х кн., справочное издание, кн. 2 / Ред. Д.А. Поспелов. М.: Радио и связь, 1990. 304 с.

3. Пойа Д. Математическое открытие. М.: Наука, 1976. 448 с.

4. Змитрович А.Н. Интеллектуальные информационные системы. Минск: НТООО "Тетраси-стемс", 1997. 368 с.

Государственный университет аэрокосмического приборостроения, Санкт-Петербург

Материал поступил в редакцию 31.07.2001.

MODELS AND ALGORITHMS FOR MONITORING AND ESTIMATION OF KNOWLEDGE IN AN INTELLIGENT LEARNING SYSTEM

V. Ya. Mamaev

State University of Aerospace Instrumentation, Saint-Petersburg

The models and algorithms for monitoring and estimation of knowledge in an intelligent learning system are built. To implement the monitoring, an individual model of a person being trained is constructed. It is described by a non-deterministic fuzzy automaton. The estimation of knowledge is implemented by comparison of the model with a reference model of a subject.