Степень соответствия между тезаурусом учащегося и тезаурусом учебного контента как метрика процесса усвоения дистанционного учебного курса Текст научной статьи по специальности «Науки об образовании»



Теория

СТЕПЕНЬ СООТВЕТСТВИЯ МЕЖДУ ТЕЗАУРУСОМ УЧАЩЕГОСЯ И ТЕЗАУРУСОМ УЧЕБНОГО КОНТЕНТА КАК МЕТРИКА ПРОЦЕССА УСВОЕНИЯ ДИСТАНЦИОННОГО УЧЕБНОГО КУРСА

Александр Рыбанов,

Волжский политехнический институт (филиал) ФГБОУ ВПО «Волгоградский государственный технический университет»

rybalex@rambler.ru

В основе мониторинга и контроля за процессом изучения дистанционного учебного курса находится решение задачи выставления обучаемому адекватной интегральной оценки усвоения всего учебного курса. Это делается по результатам тестирования. В качестве интегральной оценки степени усвоения дистанционного учебного курса в статье предлагается использовать степень соответствия между тезаурусом обучаемого и тезаурусом учебного курса.

В статье рассмотрены метрики сложности тезауруса учебного курса, построенные на основе теории графов и теории информации. В качестве метрики сложности тезауруса учебного курса предлагается использовать количество информации, содержащейся в его графе.

Ключевые слова: дистанционное образование, thesaurus, система дистанционного обучения, метрики тезауруса, измерение знаний, контент учебного курса, тестирование знаний.

Hn

измерения

-е-

—i—

Bechhofer, S, Goble C. Thesaurus constructiom through knowledge representation. Data & Knowledge Engineering, 2001. Vol. 37, № 1, p. 25-45.

Soergel D LauserB Liang A Fisseha F. KeizerJ. Katz S.

Reengineering thesauri for new applications: the AGROVOC example. Journal of Digital Information, 2004. Vol. 4, available at ftp://ftp.fao.org/docrep/ fao/008/af234e/ af234e00.pdf.

Abdulmyanova I.R.

Formation of professional personal thesaurus as a goal of the professional education. Tomsk State Pedagogical University Bulletin, 2010, №2, p. 36-39.

Введение

Процесс обучения предполагает целенаправленное воздействие на тезаурус обучаемого. В настоящее время в системах дистанционного обучения отсутствует возможность мониторинга знаний, основанного на степени соответствия между тезаурусом обучаемого и тезаурусом учебного курса. В системе дистанционного обучения процесс изучения учебного курса состоит из последовательности тактов предъявления обучаемому и усвоения им содержания предмета (контента). Такт усвоения обучаемым определённого учебного контента приводит к расширению его тезауруса.

Процесс формирования тезауруса на основе применения методов представления знаний подробно изложен в работе (Bechhofer S., Goble C., 2001)1. Его особенностью является понимание не только признаков объекта тезауруса, но и его связей с другими объектами (Soerge I.D., Lauser B., Liang A., Fisseha F., Keizer J., Katz S., 2004)2.

Понятия

Определение понятия «профессиональный тезаурус личности» приведено в работе (АЬаи1шуапоуа Т.К., 2010)3. Те-

заурус учебного курса — это совокупность объектов учебного курса (понятий, законов, теорем, утверждений и т.п.) с указанием связей между ними.

Тезаурус обучаемого рассматривается как объект измерения учебного контента, усвоенного на семантическом уровне. Оценивается количеством информации, содержащейся в его графе, с учётом коэффициентов усвоения объектов тезауруса.

Пусть система дистанционного обучения по учебному курсу, описываемому тезаурусом I¿, предъявляет учебный контент обучаемому, обладающему тезаурусом 18. Возможность обучаемого воспринимать учебный контент, описываемый с тезаурусом I { с 1Л, определяется следующими вариантами:

1) Если I, с I л, то в процессе обучения никаких изменений в тезаурусе обучаемого не произойдет, т.к. предъявляется уже известная ему информация.

2) ЕслиI, ПI, Ф 0 и ^ с. I, то учебный контент при желании может быть воспринят обучаемым, и как следствие, его тезаурус будет расширен.

Максимальное количество семантической информации обучаемый приобретает при согласовании его тезауруса с тезаурусом контента учебного курса, т.е. если учебный кон-

-e-

тент понятен обучаемому и несёт сведения, отсутствующие в его тезаурусе.

Тезаурусное представление учебного контента, а также текущего состояния знаний обучаемого обеспечивает адаптивный подбор и упорядочение учебной информации.

Проблема

Для количественной оценки сложности тезауруса, представленного в виде графа, могут быть использованы метрики, описанные в работах Bonchev D., Buck G.A.4, а также Gangemi A., Catenacci C., Ciaramita M., Lehmann J.5. Для сравнительного анализа тезаурусов можно использовать метрики, применяемые для онтологий, т.к. тезаурусы можно рассматривать как типы онтологий. Но для сравнительного анализа тезауруса учебного курса и тезауруса обучаемого, метрики сравнения онтологий, описанные в работах (Lozano-Tello A., Gomez-Perez A., 2004)6 и (Maedche A., Staab S., 2002)7 требуют доработки, т.к. результатом сравнения тезауруса обучаемого и тезауруса учебного курса должна быть оценка, характеризующая не только соответствие их структуры, но и степень полноты усвоения учебного курса.

В системах дистанционного обучения степень усвоения

учебного курса оценивается по результатам тестирования обучаемых (Myrick J., 2010)8. В настоящее время большое внимание уделяется повышению точности оценки результатов обучения в системах дистанционного обучения. В работе (Rybanov A.A., 2013)9 для этого предлагается учитывать процесс формирования пользователем конечного ответа на тестовые задания, а в работе (Scalise K., Gifford B., 2006)10 предлагаются инновационные формы тестовых заданий для компьютерного тестирования знаний.

Интегральная оценка качества усвоения дистанционного учебного курса рассчитывается на основе оценок, полученных обучаемым в результате прохождения всех тестов учебного курса. Например, в системе Moodle предусмотрены следующие подходы к вычислению интегральной оценки качества усвоения учебного курса (Nash S.S., Rice W., 2010)11: среднее оценок, взвешенное среднее оценок, простое взвешенное среднее оценок, среднее оценок (с учётом дополнительных баллов), медиана оценок, низшая оценка, высшая оценка, мода оценок, сумма оценок.

Из всех подходов, только «взвешенное значение оценок» учитывает сложность усвоения учебного модуля путем определения весового коэффициента

Bonchev D, Buck, G.A.

Quantitative Measures of Network Complexity. In Complexity in Chemistry, Biology, and Ecology, D. Bonchev and D.H. Rouvray, Eds., Springer, New York, 2005, p. 191-235.

Gangemi A, Catenacci C, Ciaramita M., Lehmann, J. (2005). Ontology evaluation and validation. An integrated formal model for the quality diagnostic task. Technical Report, available at http:// www.loa-cnr.it/Files/ OntoEval4OntoDev_ Final.pdf.

Lozano-Tello A, Gomez-Perez A. Ontometric: A method to choose the appropriate ontology. Database Management, 2004, 15(2), p. 1-18.

Maedche A, Staab S.

Measuring similarity between ontologies. Knowledge Engineering and Knowledge Management. Ontologies and the Semantic Web, 13 th International Conference, EKAW 2002. Siguenza, Spain, Vol. 2473, p. 251-263.

Hn

измерения

-e-

Myrick J. Moodle 1.9 Testing and Assessment. Birmingham: Packt Publishing Ltd., 2010.

Rybanov A.A. Set of criteria for efficiency of the process forming the answers to multiple-choice test items. Turkish Online Journal of Distance Education. 2013.

Vol. 14, No. 1, 75-84.

Scalise K, Gifford B. Computer-Based Assessment in E-Learning: A Framework for Constructing «Intermediate Constraint» Questions and Tasks for Technology Platforms. Journal of Technology, Learning, and Assessment, 2006, Vol. 4(6). Retrieved [date] from http://www.jtla.org.

-n-

Nash S.S., Race W. Moodle 1.9 Teaching Techniques. Birmingham: Packt Publishing Ltd, 2010.

для теста, ассоциированного с этим модулем. Возникает проблема выбора весовых коэффициентов учебных модулей в рамках дистанционного учебного курса. Определение коэффициентов методом субъективного взвешивания, т.е. автором дистанционного учебного курса, приводит к погрешности в значении итоговой оценки.

Тезаурусное представление учебного курса позволит более обоснованно и объективно определять вес каждого объекта тезауруса. Сопоставлением тестовых заданий с объектами тезауруса учебного курса можно определять веса тестов.

На основе тезаурусного представления учебного контента и сравнительного анализа результатов тестирования обучаемых могут быть идентифицированы трудные в усвоении объекты тезауруса. Множество таких объектов тезауруса может быть использовано для более обоснованной стратегии корректировки учебного контента и тестов.

Используя в качестве метрики учебных достижений оценку степени соответствия между тезаурусом обучаемого и тезаурусом учебного курса можно построить более точные кривые обучаемости (рис. 1). Кривые обучаемости лежат в основе классификации обучаемых на экстравертов и интровертов: ин-тровертированные субъекты

имеют вогнутую кривую обучаемости, обусловленную длительной фазой скрытого накопления знаний и навыков.

Основу всех выше указанных направлений мониторинга и контроля за процессом изучения дистанционного учебного курса составляет решение задачи выставления обучаемому адекватной интегральной оценки усвоения всего учебного курса по результатам тестирования. Данная задача может быть решена путем измерения степени соответствия между тезаурусом обучаемого и тезаурусом учебного курса.

Модель тезауруса дистанционного учебного курса

Тезаурус, описывающий систему объектов учебного курса, представим в виде ориентированного графа G = (V, Е), где V — множество вершин (объектов тезауруса учебного курса), Е — множество дуг (ориентированных рёбер, описывающих логику изучения объектов учебного курса). Введем следующие обозначения: п = | V | , т = | Е | .

Рассмотрим множество логических отношений между объектами тезауруса учебного курса. Пусть (vi , V j ) е Е , если VI является непосредственной семантической составляющей Vj. Пусть А — матрица смежности

Рис. 1. Динамика изменения учебных достижений в процессе обучения

графа тезауруса учебного курса G, где элемент матрицы а^ = 1, если (V {, V,) е Е , и а^ = 0, в противном случае. Тогда АЬ — матрица, показывающая, сколько путей длиной в Ь тактов имеется между двумя любыми объек-

I 4Г +1 а^ * 0, Ук = 1, п.

г=, ,=1 (3)

2) В графе тезауруса учебного курса не должно быть контуров, т.е. для любой матрицы АЬ выполняется условие:

тами у

и уг,. Количество этих

и

ЛЬ)

* 1.

(4)

путей определяется цифрой на пересечении г-й строки и ,-го столбца матрицы АЬ. Обозначим элемент матрицы АЬ как

к=1

ац(Ь), тогда:

а(Ь=1) = а-,

г,

п

а(Ь+1) г, =1

а£Ь)а,

к-

(1) (2)

Граф G, описывающий тезаурус учебного курса, должен удовлетворять следующим правилам:

1) В графе тезауруса учебного курса не должно быть изолированных вершин:

3) В графе тезауруса учебного курса не должно быть дублирующих связей между вершинами, т.е. если существуют дуги (у, у), (у, Ук), и (у, у) то дуга (Уг, Ук) может быть удалена, так как она в соответствии со свойством транзитивности дублирует требования к последовательности изучения объектов тезауруса Уг и ук

Входными объектами тезауруса учебного курса назовём все объекты Ук, для которых выполняется условие:

кк

измерения

I «Г = 0.

(5)

Выходными объектами тезауруса учебного курса назовём все объекты V для которых выполняется условие:

,(£=1) _

= 0.

(6)

1=1

При анализе тезауруса предметной области важно знать, какие объекты используются для формирования других объектов, и каких именно. Для описания относительных длительностей формирования объектов тезауруса учебного курса используется матрица достижимости В:

В = 1 А£

няться следующие метрики графов:

1) Порядок графа тезауруса учебного курса: п^) = п.

2) Размер графа тезауруса учебного курса: з^) = т.

3) Диаметр тезауруса учебного курса — длина максимального пути между входным VI и выходным VI объектами тезауруса, выражённая числом дуг, составляющих этот путь:

й1ат^) = шах

(8)

(7)

где ¿ц — элемент матрицы В, который показывает — через какое количество тактов после объекта VI будет сформирован объект V; N — порядок графа тезауруса учебного курса: AN Ф 0, А^=0.

Метрики сложности тезауруса дистанционного учебного курса на основе теории графов

Для описания характеристик тезауруса учебного курса, представленного в виде графа G, могут приме-

4) Структурная избыточность R(G) графа тезауруса учебного курса показывает превышение общего количества связей между вершинами графа G над минимальным количеством связей:

R(G) = —-1. (9)

п -1

5) Реберная плотность Q(G) — характеризует близость графа G к полносвязному графу:

2т

- (10)

п(п -1)

6) Абсолютная глубина графа Н (G):

Р1

Н= 1 ^ер , (11)

1

где — длина 1-го пути, принадлежащего множеству всех путей Р в графе G.

7) Средняя глубина графа ВД:

!=1

к

1 Р

= т^гЦ (12)

IР I 1

Количественные характеристики объектов тезауруса учебного курса могут быть описаны следующими метриками:

1) Вес объекта тезауруса учебного курса, ассоциированного с вершиной Ук, определим как количество всех путей, проходящих через вершину Ук:

щ = ¿4+!**, (13)

г=1 1=1

где — элемент матрицы достижимости D, которая показывает сколько путей, независимо от их длины, существует между вершинами У и У,.

2) Ранг объекта у тезауруса учебного курса — это число, равное количеству дуг, входящих в путь максимальной длины на графе G, от входного объекта тезауруса учебного курса до объекта У,:

Р = Ь при£а(Ь) > 0 и Л а(Ь+1) = 0.

г=1 г=1 (14)

Когда ранги всех объектов учебного курса определены, можно построить граф тезауруса учебного курса, упорядоченный по тактам.

3) Степень объекта тезауруса учебного курса определяется как сумма полустепеней исхода и захода вершины Ук, ассоциированной с объектом тезауруса:

ак =Х ак, +Х агк . (15)

1=1 г=1 Представленные выше метрики позволяют оценить топологическую сложность графа тезауруса учебного курса и дают наглядное представление о степени сложности освоения дистанционного учебного курса.

Метрика сложности тезауруса дистанционного учебного курса на основе теории информации

Метрику сложности тезауруса учебного курса опишем на основе теории информации Шеннона (Shannon C.E, Weaver W., 1949)12. В соответствии с теорией информации, информационная энтропия H(a) сообщения из символов, разделенных согласно некоторому критерию на k групп из Ni, N2, ..., Nk, символов, рассчитывается по следующей формуле: k

H(а) = -Х Рг log2 Рг =

=-К^ (16)

£ N 62 N N

где pi = — вероятность появления символов г-й группы в сообщении.

Граф тезауруса учебного курса задан конечным набором

-е-

Shannon C.E, Weaver W. (1949). The

Mathematical Theory of Communication. The University of Illinois Press, Urbana, Illinois.

измерения

84

элементов (вершин, рёбер, дуг, клик и т.д.). Пусть N — количество элементов графа тезауруса учебного курса. Каждому элементу графа тезауруса учебного курса соответствует его вес шг, г = 1, N .

Общий вес графа тезауруса учебного курса определим следующим выражением:

W = Цщ. (17)

г=1

Вероятность появления в графе тезауруса учебного курса г-го элемента с весом ш^ рассчитывается следующим образом:

= Ш Рг=^'

Элемент 1 2 N

Вес Ш1 Ш2

Вероятность Р1 Р2 РN

Н = - > — 1ое2 ш- + ^ W 2 г

N

ш

+ IШ 1о82 W = 1о82 W -

г=1 ™

3 ' 20 13

1 N --1 Ш- 1о2-

Wíí г

Ш-.

Согласно теории информации Шеннона, количество информации определяется как уменьшение энтропии системы относительно максимальной энтропии, которая может существовать в системе с таким же числом элементов:

I = Н„

н.

(20)

Информационная энтропия графа тезауруса учебного курса принимает максимальное значение при шг = 1 (формула 19), и определяется как:

(18)

Н„

- 1og2W.

(21)

Таким образом, вероятностная схема графа тезауруса учебного курса может быть описана табл. 1.

Таблица 1

Вероятностная схема графа тезауруса учебного курса

Таким образом, выражение для определения количества информации, содержащейся в графе тезауруса учебного курса принимает вид:

1 N

I = —I ш- 1ое2

(22)

Энтропия графа тезауруса учебного курса с общим весом W и весами элементов = 1, N, для заданной вероятностной схемы (табл. 1) определяется следующим выражением:

(19)

Полученное выражение является метрикой сложности тезауруса учебного курса и может быть использовано для оценки степени соответствия между графом тезауруса обучаемого и графом тезауруса учебного курса.

Модель тезауруса обучаемого

Графом тезауруса обучаемого G '=(и, Е') назовём подграф,

порождённый множеством вершин графа тезауруса учебного курса G =( V, Е), где и с V , и Е' состоит из всех тех дуг графа G , у которых оба конца принадлежат и. Каждая вершина графа G ' ассоциирована с изученным объектом дистанционного учебного курса. В качестве количественной характеристики, описывается степенью усвоения Хк е[0;1] учебного материала, связанного с понятием и

Динамику процесса изучения учебного контента, описываемого тезаурусом G = (V, Е), представим конечной упорядоченной последовательностью графов тезауруса обучаемого:

р={ G;,...,G/,...,G'r}

изучения учебного курса происходит расширение понятийной базы тезауруса обучаемого, которое приводит к увеличению отношений между понятиями.

Вес объекта в тезаурусе обучаемого, ассоциированного с вершиной и,, определим как произведение степени усвоения X, а [0;1] обучаемым объекта тезауруса учебного курса на вес этого объекта в графе тезауруса учебного курса:

ш' = X, ш.

(23)

сП 3+1 = G', г = 1, г-1,

П с = с;,

А г+1 = п (с+1) - п (С)

где С'г — подграф порождённый множеством вершин графа С\ +1,и, с иг+1; — подграф, порождённый множеством вершин графа С, иг с V; Аг+1— количество новых объектов, которыми был расширен граф тезауруса обучаемого С '¿.

Множество р описывает процесс изменения тезауруса обучаемого, связанный с усвоением новых объектов тезауруса учебного курса. В процессе

В качестве метрик сложности тезауруса обучаемого можно использовать метрики тезауруса учебного курса.

Степень соответствия 8 (С) между графом тезауруса обучаемого С 'и графом тезауруса учебного курса может быть определена как:

8(С')= ^100* (24)

где I'(С',) — количество информации в графе тезауруса обучаемого С , которое рассчитывается по формуле 22.

Результаты моделирования

Для анализа предлагаемых в работе метрик (формулы: 8-12, 22, 24) был проведён эксперимент, в рамках которого моде-

измерения

лировался процесс изучения учебного контента. Граф тезауруса учебного контента, пред-

ставленный на рис. 2, состоит из 50 объектов.

Рис. 2. Граф тезауруса учебного контента G

Входными объектами тезауруса учебного контента являются объекты №1, №4, №12, №44. Граф тезауруса учебного контента имеет следующие значения метрик: й1аш(0) = 8, п(С) = 50, Я(0) = 0,020, (2(0) = 0,041, И (О) = 809, Н(С) = 3,487, 1(0) = 1796,002.

Цель эксперимента заключалась в том, чтобы проследить изменение метрических характеристик графа тезауруса обучаемого, формируемого в процессе изучения учебного контента.

Исходные данные для проведения эксперимента:

1) Динамика процесса изучения учебного контента, представленного графом тезауруса 0, описывается следующей последовательностью изменения графа тезауруса обучаемого (см. приложение):

р = {01', 02 ,03,04 ,05 ,0б', 07,08,

09,010}

Метрики графов тезауруса обучаемого приведены в табл. 2.

Таблица 2

Теория

Метрики графов тезауруса обучаемого

Граф тезауруса обучаемого дшт(С') п(С) Я(С) Q(С'i) И (С) КС)

1 5 0 .400 4 1.000

С12 3 10 0 .200 26 1.625

С3 3 15 0 .133 39 1.560

4 20 0 .100 77 1.833

С5 5 25 0 .080 157 2.309

5 30 0 .067 204 2.345

С'и 7 35 0 .057 324 2.723

С8 7 40 0 .050 430 2.886

С'в 8 45 0 .044 499 2.970

С¿10 8 50 .020 .041 809 3.487

Метрики (формулы 8-12), основанные на теории графов, не учитывают степень усвоения обучаемым объектов тезауруса учебного контента и, следовательно, будут иметь одинаковые значения для идентичных по топологии графов тезауруса различных обучаемых. Кроме того, процесс расширения понятийной базы тезауруса обучаемого не всегда означает изменение значений метрик йшт(С'¿), Я(С' ) и увеличение метрики к(С') (например, графы тезауруса обучаемого и С'э). Метрики п(С ) Q(G'¿) не учитывают веса объектов тезауруса учебного контента. Как

следствие, степень соответствия данных метрик для тезауруса обучаемого и тезауруса учебного контента линейно зависит от количества объектов, которыми расширена понятийная база тезауруса обучаемого. Метрика И (С) учитывает веса объектов тезауруса учебного контента и может быть использована только для оценки сложности тезауруса учебного курса.

2) Степень усвоения Хк учебного материала, связанного с понятием щ графа тезауруса С учебного курса: Хк е [0; 1], У к = 1, п. Величина Хк описывается следующими категориями усвоения понятия: неудовле-

г"п

измерения

Рис. 3. Динамика изменения степени соответствия метрик п(СД О(С), И')С/), Л(<3'/)анапогичным метрикам графа тезауруса учебного контента

творительно — [0; .61]; удовлетворительно — [.61; .76]; хорошо — [.76; .90]; отлично — [.90; 1]. Поскольку в случае неудовлетворительного освоения понятия учебного курса, все понятия, выходящие из него, не могут быть усвоены, величина X, изменялась в интервале Хк а [0.61; 1].

3) Расширение понятийной базы тезауруса обучаемого осуществляется с шагом А = 5 понятий.

Результаты изменения метрики ), приведены в табл. 3, а степени 8 (С) соответствия в табл. 4.

Сравнительный анализ экспериментальных данных (рис. 4) показал, что:

1) с возрастанием степени усвоения объектов тезауруса учебного контента увеличивается степень соответствия 8 (С) между графом тезауруса обучаемого С', и графом тезауруса учебного контента С;

2) увеличение сложности топологии графа С^, обусловленное расширением понятийной базы тезауруса обучаемого, приводит к увеличению степени соответствия 8 (С ) между графом тезауруса обучаемого

и графом тезауруса учебного контента С;

3) чем больше вес объектов тезауруса учебного курса, усвоенных обучаемым, тем больше приращение А8.

Таблица 3

Теория

-е-

Значения метрики бит

Граф тезауруса обучаемого Хк

[.61;.76) [.61;.90) [.76;.90) [.76; 1] [.90;1] 1

1.675 2.208 3.103 5.009 5.917 6.755

Сг2 28.339 33.437 38.247 47.923 52.808 58.894

Сг3 46.415 57.029 69.461 79.970 91.289 97.400

127.073 166.283 167.941 191.029 220.562 240.865

265.555 276.504 349.899 379.486 425.265 465.161

337.307 389.449 443.160 481.549 540.448 589.141

459.584 551.091 637.198 725.756 767.073 830.528

610.144 690.862 798.965 922.250 996.544 1068.03

677.172 809.849 922.813 1001.127 1121.270 1208.266

С,10 1005.884 1221.713 1353.899 1457.382 1667.390 1796.002

Таблица 4 Значения степени соответствия 5(6';),%

Граф тезауруса обучаемого Хк

[.61;.76) [.61;.90) [.76;.90) [.76;1] [.90;1] 1

С'г1 .093 .123 .173 .279 .329 .376

С'г2 1.578 1.862 2.130 2.668 2.940 3.279

С'г3 2.584 3.175 3.868 4.453 5.083 5.423

С'г4 7.075 9.258 9.351 10.636 12.281 13.411

Сг5 14.786 15.396 19.482 21.129 23.678 25.900

18.781 21.684 24.675 26.812 30.092 32.803

С'г7 25.589 30.684 35.479 40.410 42.710 46.243

С'г8 33.972 38.467 44.486 51.530 55.487 59.467

С'г9 37.704 45.092 51.382 55.742 62.431 67.275

С'г10 56.007 68.024 75.384 81.146 92.839 100

г"п

измерения

Рис. 4. Динамика изменения 6 О^) в процессе расширения тезауруса обучаемого

Данные факты позволяют сделать вывод, что метрика 8(0'), построенная в соответствии с теорией информации, является объективной оценкой степени усвоения дистанционного учебного курса.

Заключение

Сравнительный анализ метрик графа тезауруса учебного контента показал, что для оценки сложности дистанционных учебных курсов может быть использована метрика

И' (О) (формула 11) или 1(0) (формула 22). Для оценки степени соответствия между графом тезауруса учебного контента и графом тезауруса обучаемого рекомендуется использовать метрику 8 (О (формула 24), построенную на основе меры количества семантической информации, т.к. она учитывает степень усвоения обучаемым объектов тезауруса учебного контента. Предлагаемая метрика может быть использована для мониторинга за процессом дистанционного обучения.

Приложение