Методика контроля понятийных знаний субъекта обучения в обучающей системе Текст научной статьи по специальности «Компьютерные и информационные науки»

Методика контроля понятийных знаний субъекта обучения в обучающей системе # 02, февраль 2009

авторы: Галямова Е. В., Карпенко А. П., Соколов Н.

Рассматривается методика контроля понятийных знаний субъекта обучения в обучающей системе, база знаний которой построена на основе семантической сети. Для формализации представлений субъекта обучения о понятийном составе изучаемой дисциплины используются когнитивные карты.

Ключевые слова: Обучающая система,, семантическая сеть, когнитивная карта, контроль понятийных знаний

http://technomag.edu.ru/doc/115086.html

УДК 519.6

МГТУ им. Н.Э.Баумана, sokolov@bmstu.ru,

karpenko@pk6.bmstu.ru, galiamova@bmstu.ru

1. Введение

Современные обучающие системы представляют собой интеллектуальные системы, построенные на основе парадигмы обработки знаний. При этом формализация онтологии предметной области выполняется в виде базы знаний, которая может быть реализована на основе одной из следующих моделей знаний: продукционная модель; семантическая сеть; фреймовая модель; формальная логическая модель.

В работе полагается, что база знаний обучающей системы построена на основе семантической сети, содержащей понятия предметной области изучаемой дисциплины и отношения между этими понятиями. Указанная семантическая сеть представляется в виде ориентированного графа, вершины которого соответствуют понятиям предметной области изучаемой дисциплины, а дуги (рёбра) задают отношения между ними.

При обучении обычной является ситуация, когда субъект обучения удовлетворительно представляет детали изучаемого курса, но не владеет понятийным составом дисциплины в целом. Такая ситуация, очевидно, не позволяет интерпретировать уровень усвоения

дисциплины как удовлетворительный. Поэтому важной задачей современной обучающей системы является поддержка изучения и контроля усвоения обучаемым понятий предметной области изучаемой дисциплины [].

Для формализации представлений субъект обучения о понятийном составе изучаемой дисциплины в работе предлагается использовать когнитивные карты []. Каждая из этих карт формализует представления обучаемого о некотором понятии в виде графа, в идеале представляющего собой соответствующий подграф семантической сети изучаемой дисциплины. Контроль усвоения обучаемым некоторого понятия предметной области сводится к сравнению указанного подграфа семантической сети и графа, который определяет соответствующая когнитивная карта обучаемого [].

Отметим следующее обстоятельство. Одним из центральных понятий инженерии онтологий [] является понятие «отображение онтологий» (ontology mapping), под которым понимается деятельность по установлению соответствия между несколькими онтологиями или, другими словами, нахождение семантических связей подобных элементов из разных онтологий. Рассматриваемый в работе подход к контролю понятийных знаний субъекта обучения можно рассматривать в контексте проблемы отображения онтологий.

Используемая в работе модель семантической сети обучающей системы рассмотрена в работах [, ]. В данной работе рассматривается модель представлений субъекта обучения о понятиях изучаемой дисциплины в виде соответствующих когнитивных карт, а также некоторые метрики сравнения подграфов семантической сети изучаемой дисциплины и соответствующих графов, которые определяют когнитивные карты субъекта обучения.

Реализация предлагаемой методики предполагается в инструментальной обучающей системе БИГОР [].

2. Постановка задачи

Входным понятием (input concept) данного модуля рассматриваемого учебного курса называется понятие, определение которого дано в некотором другом модуле данного или иного учебного курса. Аналогично, выходным понятием (output concept) данного модуля

называется понятие С, определение которого дано в данном модуле.

Каждое из выходных понятий с1 определяется через входные понятия модуля и/или другие его выходные понятия. Указанные входные и выходные понятия модуля называются информационно связанными с понятием с в широком смысле []. Совокупность всех понятий, информационно связанных с понятием С, включая само этот понятие, обозначается (сг.}. Количество понятий в наборе {с,-} полагается равным П.

Для каждого из понятий cj £ {С} определена его сложность т (с) = т j - 0.

Сложность понятия т j может назначаться конструктором курса или вычисляться обучающей системой, например, на основе мер сложности понятий, предложенных в работе []. Совокупность сложностей всех понятий множества {с} обозначается {т (с )} = {т ,}.

На множестве понятий {сг.} определен набор отношений R0,R1,...,Дг, где Ro -отношение «определяемое понятие - определяющее понятие» []. Набор отношений, связывающих между собой понятия , ск £ {С}, 7 Ф к обозначается

} = R 7,к,о,К],к,\,Rj,к,2,..., где всегда Rj,к о = R0. Совокупность отношений, связывающих между собой все понятия набора {с}, обозначается {Кг-}. Количество отношений в наборе {К,-} полагается равным mi. Заметим, что в число отношений {К,-} не обязательно входят все отношения К0, Д1,.., Дг.

Для каждого из отношений К0,Д1,...,Кг конструктором данного модуля задана мера его «важности» ), формализующая «вес» данного отношения по сравнению с другими отношениями. Полагается, что ) - 0 для любых 7 £ [0 : г]. Совокупность мер важности всех отношений, связывающих понятия с7, ск £ {С}, где 7 Ф к, а также совокупность мер важностей всех отношений {К,-} обозначаются }, {V-}, соответственно.

Семантическая сеть SS(с) = SSj понятия с определяется совокупностью понятий {ci} , мерами сложности этих понятий {ц ^} , множеством отношений {Кг-}, а также мерами их важностями {V-}:

= (к },{т г },{¥1 }>

Семантическая сеть представляется в виде взвешенного ориентированного

мультиграфа без контуров , вершины которого соответствуют понятиям сети 55, ; дуги -отношениям, связывающим эти понятий между собой; веса вершин - сложностям соответствующих понятий; веса дуг - важностям соответствующих отношений.

Ставится следующая задача:

• разработать модель представлений субъекта обучения о заданной семантической сети 55, в виде соответствующей когнитивной карты СМ,;

• предложить метрики сравнения семантической сети 55, и семантической сети, которую определяет когнитивная карта СМ,, формализующие уровень усвоения субъектом обучения понятия с,.

3. Модель когнитивной карты

Первоначально термин «когнитивная карта» возник в психологии в рамках изучения особенностей познания человеком своего окружения. В этом случае под когнитивной картой понимается формализованное некоторым образом субъективное представление человека о пространственной организации окружающего мира [2]. В более широком смысле когнитивная карта не связывается с пространственной ориентацией человека, а формализует его представления о какой-либо проблемной области, т.е. представляет собой некоторый образ внутренних представлений человека об этой предметной области.

Основными элементами когнитивной карты являются базисные факторы (другие названия - факторы, концепты, параметры, переменные) и отношения между ними. Когнитивные карты принято представлять в виде графов, вершины которых соответствуют факторам, а ребра - отношениям между ними.

Определим когнитивную карту СМ,, соответствующую понятию с,, кортежем

СМ, = ({с, },{Я,}

Здесь {с,} - набор понятий, включая понятие с,, которые в когнитивной карте СМ, указаны, как связанные с понятием с,; } - набор отношений из числа отношений R0,R1,...,Rr, которые в когнитивной карте СМ, связывают понятия набора {с,} между собой. Количество понятий в наборе {с,} обозначим п,, а количество отношений в наборе {R,} - т.. Отметим, что, вообще говоря, п, * щ, тг * тг.

Когнитивная карта СМ, представляется в виде ориентированного мультиграфа без контуров о,, вершины которого соответствуют понятиям {с,}, а дуги - отношениям {Ri} .

Предполагается, что указанная информация, содержащаяся в когнитивной карте СМ, тем или иным образом получена от субъекта обучения.

4. Метрики качества обучения

Метрика р (с,, с,) качества усвоения субъектом обучения понятия с, представляет

собой меру близости графа О, семантической сети 55, и графа о. , определяемого когнитивной картой СМ,.

Можно предложить множество таких метрик, как использующих меры сложности понятий {с,} и меры важности отношений {V,}, так и не использующие их.

4.1. Метрики, не использующие мер сложности и важности.

1). Метрика р 1(с,,с,) представляет собой количество понятий пТ из набора {с,}, содержащихся в наборе {с,}, т.е.

Р 1(с,, ) = п, . (1)

Величина р 1(с,, с-) есть ни что иное, как количество понятий, которые верно указанны субъектом обучения в качестве информационно связанных с понятием с-.

2). Метрика р 2(с, с-) есть взвешенная разность между количеством верно указанных

т ¥

понятий ni и количеством ni таких же неверно указанных понятий:

р 2 (с-, с-) =р 2 (а, с-, с -) = п -а п-. (2)

Здесь а £ [0,1] - весовой множитель. Заметим, что в число неверно указанных понятий следует включать, как понятия из набора понятий {с-}, не входящие в набор {с-}, так и

понятия из набора {с-}, не входящие в набор {с} .

Отметим, что метрика (2) и другие аналогичные метрики являются, по сути, двухкритериальными и вещественный весовой множитель а определяет веса соответствующих частных критериев оптимальности.

3). Метрика р з(с,Ci) аналогична метрике р 1(с,,Ci) и является ни чем иным, как количеством верных отношений тт из набора }, содержащихся в наборе } :

р з(С, сi) = ^ . (3)

4). Метрика р 4(с-,с-) аналогична метрике р 2(с,,с-) и представляет собой взвешенную

т

разность между количеством верно указанных отношений mi и количеством таких же

¥

неверно указанных отношений mi :

р 4 (с- , с- ) =р 4(Р , с- , сi ) = т -Ь т . (4)

Здесь, аналогично формуле (2), Ь £ [0,1] - весовой множитель. В число неверно указанных отношений следует включать, как отношения из набора отношений }, не входящие в

набор }, так и отношения из набора }, не входящие в набор № } . Кроме того, в число

неверно заданных отношений следует включать отношения, которые в когнитивной карте связывают неверно заданные понятия.

5). Метрика р 5(с,,с,) является аддитивной сверткой метрик (1) - (4), т.е.

~ ~ 4 ~

Р 5 (с, , с ) = Р 5(« , Р , с, , с, ) = X 1 1 Р 1 (с, , с, ). (5)

1 = 1

Здесь 11 £ [0,1] - весовой множитель.

Значения метрик (1) - (4) имеют, вообще говоря, разные знаки и масштаб. Поэтому в метрике (5) целесообразно использовать нормированные значения указанных метрик

_ ~ Р , (с,, с,) -Р - "(с,, с, )

Р1 (с,,с,) = 1 " / К " / £ [0,1], 1 е [1:4]. (6)

Р 7ах(с,, с,) -Р 71П(с,, с,)

Здесь р 71П(с,, с,), р ^(с, , с,) - минимально и максимально возможные значения метрик (1) - (4) соответственно. Легко видеть, что

р -"(с,,с,) = 0, р -»(с,,с,) = щ ,

р -"(с,,с,) = -ащ, р max(с,,с,) = п,

р min(с,,с,) = 0, р max(с,,с,) = тг, р -"(с,,с,) = -атг, р max(с,,с,) = тг.

На основе нормированных метрик р , (с,, с,), 1 е [1:4] легко построить различные линейные и нелинейные бальные шкалы оценок. К примеру, М-бальная линейная шкала (

М = 5 ) имеет вид, представленный в Табл. 1, где А р = м ■

Таблица 1. К построению 5-бальной линейной шкалы оценок

БаллДиапазон значений р (с., с,) 1 [0, Ар ] =[0,0.2]2 (А р ,2А р ] =(0.2,0.4]3 (2Д р ,3А р ] =(0.4,0.6]4

(ЗА р ,4А р ] =(0.6,0.8]5 (4А р ,5А р ]=(0.8,1.0]

Замечание 1. Можно предложить значительное количество метрик, которые являются модификациями рассмотренных метрик. Так в метрике (2) можно раздельно (с разными

весовыми множителями) учитывать понятия, входящие в набор {с. } , но не входящие в набор

{с--}, а также понятия, не входящие в набор {с.}, но входящие в набор {с-.}. Аналогично, в метрике (4) раздельно можно учитывать три сорта отношений:

• отношения из набора отношений {К.}, не входящие в набор {Д..} ;

• отношения из набора {Д. }, не входящие в набор {К. } ;

• отношения, которые в когнитивной карте связывают неверно заданные понятия•

4.2. Метрики, использующие меры сложности и важности.

6). Метрика р б(с., с-) аналогична метрике (1) и являет собой взвешенное количество верных понятий из набора {с-.}:

рб(с-,с-) = I тс), 7£ ц}т. (7)

7

Здесь {}т - совокупность номеров верных понятий из набора {с-.} (количество таких номеров, очевидно, равно пт ).

7). Метрика р 7(с.,с-) аналогична метрике (2) и имеет смысл разности взвешенных количеств верно и неверно указанных понятий из набора {с-.}:

р 7(с-,с-) = р 7(§,с-,с-) = р б(с-,с-)- §Х т (с-,7), 7£ {7-.}¥ ; (8)

7

§ £ [0,1] - весовой множитель; {}¥ - совокупность номеров неверных понятий из набора {с..} (количество этих номеров равно п¥ ).

8). Метрика р 8(с.,Ci) аналогична метрике (3) и есть ни что иное, как взвешенное количество верных отношений из набора {Д..} :

р 8(с-,с-) = I у(К],к,1), (7,к,/)£ {7,к, /}т . (9)

7 ,к ,1

Здесь {7, к, /}т - совокупность номеров верных отношений из набора {Д]к},

т

количество которых равно mi .

9). Метрика р 9(с.,с-) аналогична метрике (4) и имеет смысл разности взвешенных количеств верно и неверно указанных отношений из набора {Д..} :

р 9(с-, с-) = р 9(У, с-, с-) = р 8(с-, с-) - уХ у(К}-,к,1), (7, к, /) £ {7, к, } . (10)

',к ,1 -

7 ,к ,1

Здесь У £ [0,1] - весовой множитель; если (7, к,/) £ {7, к,/}р, то К] к{ - неверное

отношений из набора {К] к}. Общее количество номеров в наборе {7, к, /}р , где 7 £ {7 },

¥

равно, очевидно, mi .

10). Метрика р (с., с-) является аддитивной сверткой метрик (7) - (10):

р 10(с-, с-) = р 10(§ , У, с-, с-) = Х 1 }р 7 (с-, с-). (11)

7 = 6

Здесь 17 £ [0,1] - весовой множитель.

Как и метрики (1) - (4), метрики (7) - (10) имеют, вообще говоря, разный масштаб. Поэтому и в метрике (11) целесообразно использовать аналогичные (6) нормированные значения этих метрик. В качестве минимальных и максимальных значений мер (7) - (10) следует, очевидно, принять следующие значения:

р Г(с,, с,) = 0, Р ГХ(с,, с,) = X т (с1), 1 е [1: п, ], 1 * (12)

]

р 71П(с,,с,) = -8р ;тах(с,,с,), р ?1ах(с,,с,) = р 7зх(с ,,с,);

р ^(с,, с,) = 0, р Г(с,, с,) = X ), 1, к е [1: п, ], ] * к, I е [0 : г ]; (13)

1 1,к,1

Р 71П (с,, с,) = -ур ;гах (с,, с,), р -ах (с,, с,) = р -ах (с,, с,).

Заметим, что в формуле (12) сумма Х т (с>) представляет собой суммарную

]

сложность всех понятий, входящих в набор {с,} (исключая понятие с,). Аналогично в

формуле (13) сумма Х 1) есть ни что иное, как суммарная важность всех отношений,

1 ,к ,1

связывающих между собой понятия набора {с,} .

Аналогично п. 4.1, на основе нормированных метрик р , (с ,, с,), 1 е [6:9] легко

построить различные М-бальные шкалы оценок, в частности, линейную 5-бальную шкалу, приведенную в таблице 1. По аналогии с п. 4.1 можно предложить значительное количество метрик, которые являются модификациями метрик (7) - (10) (см. Замечание 1).

5. Пример

Рассмотрим в качестве примера модуль «Классификация детерминированных задач оптимизации» учебного курса «Методы оптимизации» []. В этом модуле дано следующее определение понятия «задача линейного программирования»:

«Если в детерминированной задаче оптимизации критерий оптимальности - линейная функция, а множество допустимых значений вектора варьируемых параметров - выпуклый многогранник, то такая задача называется задачей линейного программирования».

Пусть c1 есть выходное понятие «задача линейного программирования»

рассматриваемого модуля; c2, c3, c4, c5 - входные понятия «детерминированная задача оптимизации», «критерий оптимальности», «линейная функция», «множество допустимых значений вектора варьируемых параметров», «выпуклый многогранник», соответственно.

Нам понадобится далее также понятие c7 - «выпуклое множество». Отметим, что входные понятия c2, c3, c5, c7 определены в данном курсе, а понятия c4, c6 - в других курсах.

Понятия c2 - c6 информационно связанны с понятием cj в широком смысле, т.е. Ы = {c. , jе [j:6]} и n = 6. Вычислительные сложности понятий набора {cx} образуют совокупность {m j} . Положим, что

m 2 = 0.9, m 3 = 0.6, m 4 = 0.2, m 4 = 0.7, m 5 = 0.8, m 6 = о.з.

Кроме отношения R0 «определяемое понятие - определяющие понятие» определим отношение Rj - «разновидность» или «a kind of», а также отношение R2 - «часть целого» или «has a part». В этих обозначениях понятия набора {cj} связаны между собой следующими отношениями: понятия cj, c2 - отношениями R0, Rj; понятия cj, c3 и понятия cj, c5 -отношением R0; понятия c3, c4 и понятия c5, c6 - отношениями R0, Rj. Таким образом, mj = 8 и

{R1,2} = {R1,2,0 = Rj,2,j = Rj}, {R1,3} = {R1,3,0 = R0}, {R1,5} = {R1,5,0 = R0},

{R3,4} = {R3,4,0 = R0, R3,4,j = R1}, {R5,6} = {R5,6,0 = ^ R5,6,j = Rj}.

«Важность» отношений R0, Rj, R2 положим равными V(R0) = 0.9, v(R1) = 0.6, v(R2) = 0.5 , соответственно. Тогда имеем:

{Vu} = {0.9,0.6}; {Vj,3} = {0.9}; {Vj,5 } = {0.9}; {V34 } = {0.9,0.6}; {V56 } = {0.9,0.6}.

Итого, семантическая сеть SS (с1) = понятия С1 имеет вид взвешенного ориентированного мультиграфа без контуров G1 (Рис. 1).

Рис. 1. Мультиграф семантической сети

Положим, что в набор понятий {С1}, сформированный субъектом обучения, входят

правильные понятия с2, с3, с5 (понятия из набора {с1}), и неправильное понятие С7 (не входящее в набор {с1}). Другими словами, пусть в когнитивной карте СМ1 заданы понятия

С2 = с2, С3 = Сз, С5 = С5, С6 = С7, так что щ > П1 = 5. Множество правильных номеров понятий {j1 }т при этом имеет вид {2,3,5}, а множество неправильных номеров понятий {jl}F = {4,6}.

Положим также, что субъект обучения задал следующие отношения между указанными понятиями: понятия С1, С2 - правильные отношения R0, R1; понятия С1, С3 -правильное отношение R0 и неправильное отношение R2; понятия С1, С5 - правильное отношение R0; понятия С5, С7 - отношения R0, R1. Это означает, что в когнитивной карте СМ1 определены отношения

{Ки} = {К1,2,0 = К0, кК 1,2,1 = {К1,3} = {К1,3,0 = К0, К1,3,1 = К2}, {К1,5} = {К1,5,0 = К0}

, {К 5,6 } = {К 5,6,0 = К0, К 5,6,1 = К1},

так что т1 > т1 = 7 .

Итого, когнитивная карта СМ 1, соответствующая семантической сети ^, представляется в виде взвешенного ориентированного мультиграфа без контуров ^ (Рис. 2).

Рис. 2. Мультиграф когнитивной карты СМ1

Используем для примера в качестве метрик качества обучения метрику р 7(с.,с1) при а = Р = 1 и метрику р 9(с., с-) при § = У = 1.

Поскольку значения метрики р 7 (с1, с1) вычисляются на основе значений метрики р 6(с1, с1), вычислим прежде значение этой метрики: р 6(с с1) = 0.9 + 0.6 + 0.7 = 2.2. Таким ^ра^м р 7(с1,с1) = 2.2 - (0.2 + 0.3) = 1.7.

Аналогично для метрики р 9(с1,с1) имеем р 8(с1,с1) = 0.9 + 0.6 + 0.9 + 0.9 = 3.3,

р 9(с1, С1) = 3.3 - (0.5 + 0.9 + 0.6) = 1.3.

Легко видеть, что р ^(с^С1) = 0.9 + 0.6 + 0.2 + 0.7 + 0.8 + 0.3 = 3.5. Поэтому р Г(С1,С1) = -р Г(С1,С1) = -3.5, р тах(С1,С1) = р Г(С1,С1) = 3.5 и

р_7(с1,С1) = р 7(С1,С1)-р т'"(с1,С1) = 135±35) » 0.74. ртах(С1,С1)-р7п(с1,С1) 3.5- (3.5)

По линейной 5-бальной шкале (Табл. 1) значению метрики р 7(с1, С1), равному 1.7, соответствует оценка 4.

Аналогично для метрики р 9(с С1) имеем:

р ;тах(с1,С1) = 0.9 + 0.6 + 0.9 + 0.9 + 0.9 + 0.6 + 0.9 + 0.6 = 6.3; р Г(С1, С1) = - 6.3, р тах(с1, С1) = 6.3;

р_9(с1,С1) = 13 - (- 6 3) » 0.603 91 6.3 - (6.3)

Таким образом, по той же 5-бальной шкале значению метрики р 9(с1, С1), равному 1.3, также соответствует оценка 4.

Заключение

В работе предложена методика контроля понятийных знаний субъекта обучения в обучающей системе, база знаний которой построена на основе семантической сети. Приведена формализация семантической сети. Для формализации представлений субъекта обучения о понятийном составе изучаемой дисциплины предложено использовать когнитивные карты. Качество усвоения субъектом обучения понятия предметной области изучаемой дисциплины оценивается мерой близости графа семантической сети и графа,

определяемого соответствующей когнитивной картой. Предложено ряд метрик, формализующих близость указанных графов, как использующих меры сложности понятий и меры важности отношений между ними, так и не использующие их. Рассмотрен конкретный пример, иллюстрирующий предложенную методику.

Литература

1. Калмыков А.А. Системный анализ образовательных технологий. - Пермь: Изд-во Пермского ун-та, 2002

2. Авдеева З.К., Коврига С.В., Макаренко Д.И., Максимов В.И. Когнитивный подход в управлении // Проблемы управления, 2007, №3, с. 2-8.

3. Карпенко А.П., Соколов Н.К. Контроль понятийных знаний субъекта обучения с помощью когнитивных карт // Управление качеством инженерного образования и инновационные образовательные технологии. Сборник докладов Международной научно-методической конференции 28-30 октября 2008 г. -М.:МГТУ им. Н.Э.Баумана, 2008, Ч.2, с. 55-57.

4. Овдий О.М., Проскудина Г.Ю. Обзор инструментов инженерии онтологий, http://www.elbib.ru/index.phtml?page=elbib/rus/joumal/2004/part4/op

5. Карпенко А.П., Соколов Н.К. Оценка сложности семантической сети в обучающей системе // «Наука и образование: электронное научно-техническое издание», www.technomag.edu.ru, ноябрь, 2008.

6. Карпенко А.П., Соколов Н.К. Расширенная семантическая сеть обучающей системы и оценка ее сложности // «Наука и образование: электронное научно-техническое издание», www.technomag.edu.ru, декабрь, 2008.

7. Норенков И.П., Уваров М.Ю. База и генератор образовательных ресурсов // Информационные технологии, 2005, №9, с. 60-65.

8. Карпенко А.П. Методы оптимизации. Учебный курс. //http://bigor.bmstu.ru