Модельное обеспечение автоматизированных обучающих систем. Обзор Текст научной статьи по специальности «Компьютерные и информационные науки»

электронное научно-техническое издание

НАУКА и ОБРАЗОВАНИЕ

Эд №ФС 77 - 30569. Государственная регистрация №04Z11000Z5. ISSN 1994-04PS_

Модельное обеспечение автоматизированных обучающих систем. Обзор # 07, июль 2011 автор: Карпенко А. П.

УДК 519.6

МГТУ им. Н.Э. Баумана [email protected]

Введение

Математическое обеспечение автоматизированной обучающей системы (АОС) состоит из математических моделей объектов и субъектов обучения, а также методов и алгоритмов выполнения используемых в АОС процедур. В работе рассматриваются преимущественно указанные математические модели, совокупность которых называется модельным обеспечением АОС.

В процессе обучения учитель использует специальные знания трех основных типов: 1) знания о предмете обучения (чему учить); 2) знания об ученике (кого учить); 3) знания о стратегии и методах обучения (как учить). Кроме того, учителю необходимы, очевидно, не специальные знания, которые обеспечивают его человеческое умение общаться с учениками [1].

В современных интеллектуальных АОС указанные типы знаний явно выделены и представлены с помощью различных моделей, методов, алгоритмов и технологий искусственного интеллекта. На основе этих знаний АОС способна выполнять все основные функции учителя - предоставлять ученику учебный материал, контролировать степень усвоения учеником этого материала, помогать в решении задач, определять причины ошибок ученика и формировать на этой основе соответствующие учебные воздействия.

На верхнем уровне иерархии структуру современной интеллектуальной АОС можно представить в виде совокупности следующих модулей [1]:

- модуль «Эксперт предметной области»;

- модуль «Ученик»;

- модуль «Учитель»;

- модель «Интерфейс».

Основой модуля «Эксперт предметной области» является модель предметной области, включающая в себя фактографические, процедурные и другие знания о

предметной области. Следует подчеркнуть, что структура знаний, которую использует модель предметной области АОС, в значительной мере определяет структуру всего программного обеспечения АОС.

Модуль «Ученик» реализует динамическую модель ученика, которая формализует текущее состояние его знаний, умений и навыков, а также его личностные характеристики. На основании этой модели АОС осуществляет свою адаптацию к каждому из учеников.

Модуль «Учитель» концентрирует в себе знания учителя-эксперта, относящиеся к оптимальной организации и поддержке всех стадий учебного процесса. На основе этих знаний АОС организует управление процессом обучения, реализуя ту или иную стратегию обучения и контроля учебных достижений учеников. Указанные функции модуль реализует с помощью модели процесса обучения, а также модели процесса контроля. Пока цель обучения (выраженная в терминах требуемых характеристик ученика) не достигнута с заданной точностью модуль «Учитель» повторяет следующие действия:

- на основании текущего состояния ученика предоставляет ему очередной фрагмент обучающей информации;

- генерирует тестовые задания для контроля степени усвоения учеником этого фрагмента;

- осуществляет тестовый контроль уровня усвоения учеником данного фрагмента;

- на основе результатов контроля корректирует модель ученика.

Модуль «Интерфейс» строят на основе знаний, необходимых для организации в АОС диалога с учеником. На основе этих знаний модуль предоставляет ученику изучаемый материал в удобной и понятной форме, преобразует запросы и ответы ученика в форму, понятную другими модулями АОС. Поскольку многие современные интеллектуальные АОС поддерживают диалог с учеником на естественном языке, этот модуль должен включать в себя, в общем случае, языковые знания.

Классификация и широкий обзор современных интеллектуальных АОС различных классов представлен, например, в работе [1].

В первом разделе обзора приведена общая модель АОС. Второй - пятый разделы содержат обзоры моделей предметной области, ученика, процесса обучения и процесса контроля соответственно. В шестом разделе кратко рассмотрены прочие модели, используемые в АОС. В заключении сформулированы основные выводы.

Вслед за работой [2], для простоты записи вместо терминов «обучающийся», «обучаемый», «испытуемый» и т.д. в работе использован термин «ученик», а вместо терминов «преподаватель», «эксперт», «обучающий» и т.д. - «учитель». Использована

нумерация формул и рисунков, состоящая из номера раздела и номера объекта в этом разделе.

Обзор подготовлен на основе русскоязычных публикаций.

1. Общая модель системы ученик-АОС 1.1. Общая структура АОС. Задача обучения может быть сформулирована как задача управления [3]. Ученик при этом выступает в качестве объекта управления (ОУ), а АОС выполняет функции устройства управления (УУ) - рисунок 1.1. На рисунке приняты следующие обозначения: ¥ - состояние внешней среды; У - состояние ученика; 1¥ , 1У -соответствующие измерители; ¥', У' - результаты измерения величин ¥, У; X -управляющие (обучающие и контролирующие) воздействия; Пх - ресурсы (ограничения

на управление); 7* - цель управления, состоящая в переводе ученика в требуемое состояние У *.

Рисунок 1.1 - Общая структура АОС [3]

Во введенных обозначениях общее правило функционирования АОС можно представить в следующем виде. АОС, получая на входе информацию о состоянии среды ¥' и ученика У', а также информацию о цели Z* и ресурсах Ох, выдает на выходе допустимое управление

X = а(¥', У', 7* )е Вх,

переводящее ученика из текущего состояния в каком-то смысле близкое к У * состояние. Здесь А - алгоритм управления (процессом обучения).

Положим, что модель ученика, связывающая его наблюдаемые входы и выходы, имеет вид У' = Мь (¥', X) . Тогда задачу синтеза оптимального управления X* формально можно записать в виде

ПИП Дг -Мь (Г', X))= Ду -Мь (Г', X*)), X е Вх ,

где д(*) - символ некоторой меры близости.

Обсудим основные элементы приведенной модели процесса управления.

1.2. Цель управления Z* в самом общем виде может быть формализована в виде набора целей

р = р (Г, у', х) = а, X, =Х] (Г У', X) > ь ,,

щ = Щ (Г', У', X) ^ вхгт,

где ^ (Г', У', X), х (Г', У', X), щ (Г', У', X) - некоторые функционалы над указанными

переменными; аг, Ь, - заданные константы; г,у,к = 1,2,... [3].

Цели-равенства рг = аг могут задавать, например, те достижения ученика,

отсутствие которых недопустимо, а цели-неравенства х > Ь, - аналогичный минимум

достижений. Примером экстремальной цели может служить средний балл ученика по некоторому учебному курсу.

Подчеркнем, что указанные цели обучения в общем случае зависят от индивидуальных качеств ученика и могут меняться в процессе обучения.

1.3. Модель ученика. Вообще говоря, процедура синтеза модели ученика Мь является итерационной и включает в себя этап структурного и этап параметрического синтеза (параметрической идентификации).

На этапе структурного синтеза определяют способы формализации величин Г', У', X и функциональной зависимости У' = Мь (Г', X) . При этом обычно величины Г', У' задают в виде векторов

Г' = (^>2,...), у' = (У1,У2,...),

а величину X = (и,У) - в виде векторов обучающих и = (и1,и2,...) и контролирующих V = (у1, v2,...) воздействий соответственно. Зависимость У ' = Мь (Г', X) обычно представляют в виде некоторой функции ¥ь е ^, определенной с точностью до вектора параметров £ = ^2,...) . Здесь ^ - некоторый класс функций.

Во введенных обозначениях модель ученика приобретает вид

У ' = ^ (Г', X, £), £ е В£,

где В£ - множество допустимых значений вектора параметров £ .

На этапе параметрического синтеза (параметрической идентификации) определяют значения компонентов вектора S, т.е. значения параметров s1,s2,.... При этом может быть использовано три подхода - идентификация в режиме нормальной эксплуатации объекта управления (при отсутствии специальных управляющих воздействий X), идентификация на основе организации специальных экспериментов с учеником, а также комбинированный подход.

Формально задачу идентификации на основе специальных управляющих воздействий можно записать в виде

min \\Y' - Fl (¥, X, S)|| = ||y' - Fl (¥', X, S*)|| = ||y' - FL*(¥, X)||, S e DL , (1.1)

где |*| - некоторая векторная норма, FL*(¥', X) - искомая модель ученика. При решении

задачи (1.1) целесообразно использовать методы теории планирования эксперимента.

1.4. Синтез оптимальных управляющих воздействий [3]. Во введенных обозначениях задачу синтеза оптимальных управляющих воздействий X * можно записать в виде задачи многокритериальной оптимизации

extrH(FL*(¥', X)) = H(FL*(¥', X*)), X e QX, (1.2)

где H = (^j,^2,...) - векторный критерий оптимальности, QX - множество допустимых управляющих воздействий:

Q x =

срг (Fl*(¥', X)) = at, i = 1,2,...,

Xi(F;(r,X)) > bi, j = 1,2,..., (1.3)

X e Dx.

Задача (1.2) может быть решена известными методами решения задач многокритериальной оптимизации, например, методом аддитивной свертки частных критериев [4].

В результате реализации управляющего воздействия X* ученик, как правило, не переходит в требуемое состояние У *. Причинами этого могут быть приближенность модели ¥ъ (¥', X), погрешности измерения величин ¥, У и не стационарность характеристик ученика.

Подчеркнем, что синтез оптимальных управляющих воздействий X* предполагает синтез, как оптимальных обучающих воздействий и *, так и оптимальных контролирующих воздействий V *.

1.5. Адаптация. В силу отмеченной выше не стационарности характеристик ученика, как объекта управления, подсистема управления обучением АОС должна включать в себя, в общем случае, пять следующих контуров адаптации [3].

1) Контур коррекции параметров. В этом контуре адаптация сводится к коррекции значений параметров s1, s2,... модели ученика таким образом, чтобы добиться максимального соответствия модели и эволюционирующего ученика. Примером такой коррекции может служить коррекция объема и скорости предоставления ученику учебной информации в зависимости от результатов выполнения им соответствующих контрольных заданий. АОС с использованием такого механизма адаптации называется АОС с параметрически адаптируемой моделью ученика.

2) Контур параметрической идентификации. Может оказаться, что с помощью рассмотренной коррекции значений параметров модели не удается добиться приемлемого соответствия модели и ученика. В таком случае целесообразно попытаться использовать процедуру параметрической идентификации модели. Естественно, что дополнительные управляющие воздействия (обучающие и контролирующие) при этом должны быть минимальными, поскольку такие воздействия неизбежно нарушают процесс достижения поставленных целей управления.

3) Контру структурной идентификации. Возможна ситуация, когда и параметрической идентификации недостаточно - модель по-прежнему нельзя считать адекватной ученику. Решение проблемы в этом случае может быть найдено на пути изменения класса функций ^, т.е. путем возврата к задаче структурной идентификации модели. АОС с использованием такого механизма адаптации называют АОС со структурно адаптируемой моделью ученика.

4) Контур коррекции ограничений. Если структурная идентификация модели ученика не позволила получить его адекватную модель, целесообразным может быть расширение множества допустимых управляющих воздействий Qх, т.е. расширение множества Вх и/или соответствующая коррекция значений параметров аг, Ь, (см. формулу (1.3)).

5) Контур коррекции целей управления. Последним контуром адаптации является контур, в котором производится изменение тех или иных компонентов цели управления Z*. При этом цели обучения изменяются таким образом, чтобы их достижение стало возможным для данного ученика.

Замечание. Как показано выше, модель контролирующих воздействий является неотъемлемой частью модели системы ученик-АОС, а также основой для реализации

адаптивного управления процессом обучения. Отсюда, а также из того факта, что основным методом контроля в современных АОС является тестирование, следует, что тестирующая подсистема АОС является одним из наиболее важных компонентов этих систем. Это обстоятельство дает основание многим авторам говорить об обучающем тестировании (см., например, работу [5]). Этим же обстоятельством объясняется значительное внимание, которое уделено модельному обеспечению процедуры тестирования в данном обзоре. Наконец, на этом основании в работе термины «контролирующее воздействие» и «тестирование» понимаются как синонимы.

1.5. Пример [3]. Положим, что курс обучения представляет собой совокупность педагогических воздействий, осуществляемых в т этапов т1, т2,...,тт. Если при этом на

этапе Tj ученику предъявляют обучающую информацию (осуществляют управляющее

воздействие Uj), то на этапе Tj+1 - контрольное задание (осуществляют управляющее

воздействие Vj+1), результатом выполнения которого является вектор Yj+1. Не будем далее

для простоты записи учитывать состояния среды ¥.

Пусть обучающая информация разбита на фрагменты, множество номеров которых есть {i1,i2,...,in}, где n - общее число фрагментов. Управляющее воздействие Uj при этом

представляет собой совокупность номеров фрагментов, предъявляемых ученику на этапе Tj. Уровень знаний ученика оценим величиной q (в работе [3], в которой речь идет

об изучении иностранного языка, в качестве этой величины используется словарный запас ученика). Цель обучения при этом приобретает вид

z*=| q>5

[m ^ min,

где 5 - минимально допустимый уровень знаний.

Используем для оценки знаний ученика вероятностную модель вида

P = (РМ ) Pi2(тy2),..., Pn (Tj

где pi (т/), i e [1: n] - вероятность знания учеником фрагмента учебного курса с номером i на этапе обучения т/ , отсчитываемом от этапа, на котором данный фрагмент

изучался учеником. На указанном этапе вероятность знания учеником данного фрагмента полагается равной единице, а с увеличением номера этапа происходит забывание этого фрагмента, т. е. вероятность его знания уменьшается.

На основе результатов Yj+1 контрольного задания, предъявленного ученику на этапе

тj+1, производится преобразование вектора Pj в вектор

Р+1 = ^ (Р} ,и] ,¥]+l, Я, ),

где 8 у = (5/,52,...,5П) - вектор параметров ученика на этапе ту.

Функция Рь в рассматриваемой работе [3] построена на основе формулы

Ру(Т) = 1 ~ ехр(- 5/т/), / е [1: п], где 5. - скорость забывания данным учеником /-го фрагмента учебного материала на этапе обучения т , .

Скорость забывания 5 , уменьшается, если -й фрагмент заучивается, и не изменяется в противном случае, т. е. имеет место рекуррентная адаптационная зависимость

5 у+1 Ш ) /е и,,

' 1 5/, /й и,,

где - неизвестная функция, которая в простейшем случае может быть аппроксимирована линейной функцией [3].

В качестве критерия качества обучения целесообразно использовать величину

J] =£р ($/ к,

/=1

где wi - важность /-го фрагмента обучающей информации. Целью обучения Z* является минимизация указанного критерия качества обучения. В качестве условия окончания процесса обучения целесообразно использовать условие Jу > 8, где 8 - заданная

константа.

Таким образом, оптимальное управляющее воздействие и** в данном случае представляет собой совокупность номеров /1,/2,..., 1Ь фрагментов обучающей информации и находится из следующих условий:

тах р.(тТ)щ = р. (Т К1, / е [1: п];

тах Р/(Т)^ = Р/2 (тТ)^2, /е [1: n], / * /;

тах Р г (Т К = Р г, (Т , е [1: n], / * /1, /2,..., .

2. Модели предметной области 2.1. Классификация знаний. Все знания предметной области можно разделить на две больше группы [6]:

- фактографические (декларативные) знания;

- процедурные знания.

Фактографические знания представляют собой понятия и термины учебного курса, их свойства и составные части, а также классификацию и структуру связей между ними. Процедурные знания определяют, как совокупность теорем, формул, принципов и законов предметной области.

Совокупность фактографических и процедурных знаний называется объектными или предметными знаниями. Умения ученика имеют смысл его возможности оперировать знаниями. В широком смысле умения можно отнести к знаниям, если определить последние как операционные знания.

Некоторые другие классификации знаний приведены, например, в работе [6].

Важнейшим свойством знаний является их структурированность, под которой понимают выявленные и осмысленные закономерности, действующие в данной предметной области. В соответствии с этим выделяют следующие классы знаний:

- хорошо структурированные;

- средне структурированные;

- слабо структурированные.

Часто в том же смысле используют термины хорошо, средне и слабо (плохо) формализованные знания.

Элементы знаний связаны между собой множеством отношений разных типов, из которых основными являются отношения «абстрактное - конкретное», «целое - часть».

Первое из указанных отношений порождает иерархию знаний по уровню их общности, так что на верхних уровнях иерархии находятся элементы знаний, имеющие максимальную степень общности. Говоря более строго, эту иерархию знаний порождают два отношения - отношение «снизу - вверх» (гэ-а) и отношение «сверху - вниз» (а кгпё-о/).

Отношение «целое - часть» также порождает иерархию знаний, но упорядоченных по уровню вложенности. Отношение также является двухсторонним и состоит из отношений «имеет-часть», «одна-из-частей».

Современной тенденцией в создании АОС (в особенности, интеллектуальных АОС) является реализация в них парадигмы обработки знаний. В информационной компоненте такой АОС знания представляют в виде базы знаний. Основные модели знаний в базах знаний можно классифицировать следующим образом:

- продукционные модели;

- фреймы;

- формально-логические модели;

- модели на основе онтологии, включая семантические сети;

- другие модели.

Последовательно рассмотрим указанные модели знаний.

2.2. Продукционные модели. В продукционной модели знания представляют в виде правил - предложений типа

если <условие>, то <действие>. Здесь под условием понимают предложение-образец, по которому осуществляют поиск в базе знаний, а под действием - действия, выполняемые при успешном исходе поиска.

База знаний, построенная на основе продукционной модели, состоит из набора правил указанного вида. Для поиска в базе знаний осуществляют перебор правил, который выполняет специальная программа, называемая машиной вывода. Обычно машина вывода использует прямой вывод (от данных - к цели) или обратный вывод (от цели - к данным). Здесь данные - это исходные факты, формализующие постановку задачи, которую решают с помощью базы знаний [7].

Продукционную модель знаний чаще всего применяют в экспертных системах. Модель привлекает разработчиков своей наглядностью, высокой модульностью, относительной простой внесения дополнений и изменений, простотой механизма логического вывода. Обзор программных средств, реализующих продукционный подход, дан, например, в работах [8, 9].

2.3. Фреймовые модели предложены М. Минским в 70-е годы 20-го века. Структуру фрейма можно представить в следующем виде:

<имя фрейма>: <имя первого слота> : <значение первого слота>, <имя второго слота> : <значение второго слота>,

<имя n-го слота> : <значение n-го слота>.

Важно, что в качестве значения слота может выступать имя другого фрейма. Данное свойство фреймов позволяет создавать сети фреймов. В структуре фрейма могут присутствовать также поля, определяющие тип слота и специальные обрабатывающие процедуры. Различают фреймы-образцы (прототипы), хранящиеся в базе знаний, и фреймы-экземпляры, которые вводят для отображения решаемой с помощью базы знаний задачи. Основным преимуществом фреймов, как модели представления знаний, является способность отражать концептуальную основу организации памяти человека. Достоинствами фреймов также являются их гибкость и наглядность [10].

Разработан ряд языков программирования, предназначенных для представления знаний с помощью фреймов, например, язык FRL (Frame Representation Language). Обзор

«фреймовых» языков представления знаний, а также фреймо-ориентированных информационных систем приведен, к примеру, в работах [8, 9].

2.4. Формальные логические модели. Формальные логические модели основаны на классической логике предикатов первого порядка. Предметная область и решаемая с помощью базы знаний задача описывается в данном случае в виде набора аксиом. Формальные логические модели используют в основном в исследовательских экспертных системах, так как эти модели накладывают сильные ограничения на предметную область [8].

2.5. Модели на основе онтологий. Согласно классическому определению Т. Грубера (Thomas R. Gruber), онтология является точной спецификацией концептуализации [11]. Смысл этого определения, очевидно, зависит, прежде всего, от того, какой смысл придается термину «концептуализация». В контексте проблематики АОС под концептуализацией понимают некоторую абстракцию, т.е. упрощенное представление предметной области.

Более конструктивным является определение онтологии, как формального декларативного представления предметной области, включающего в себя концепты предметной области и логические утверждения, которые описывают то, что собой представляют эти концепты и как они связаны и соотносятся друг с другом.

Компоненты, из которых состоит онтология, зависят от используемой модели онтологии. Обычно онтологию описывают с помощью концептов (понятий, классов, сущностей, категорий), атрибутов концептов (слотов, свойств, ролей), отношений между концептами (связей, зависимостей, функций), а также дополнительных ограничений (аксиом, фасет) [12].

Известным средством описания онтологий является язык OWL (Ontology Web Language) [13], базовыми понятиями которого являются класс, свойство, экземпляр класса, ограничение на свойство, мощность свойства, инверсное свойство и др. Для разработки онтологии предметной области, т. е. для создания иерархии классов, свойств, отношений между классами и их характеристик, могут быть использованы различные программные системы построения онтологий, например, широко известная система Protégé [14].

Отметим следующее обстоятельство. Сущностями предметной области могут быть очень сложные объекты. Например, в дистанционной АОС Favourite Subject, предназначенной для обучения проектированию цифровых устройств на программируемых логических интегральных микросхемах (ПЛИС), такими объектами

являются схемы указанных устройств на специальном языке описания цифровых устройств [15].

2.6. Модели в виде семантических сетей. В базах знаний АОС онтологию предметной области обычно представляют в виде семантической сети [16] (в работе [17] и ряде других работ такие модели называют сетевыми).

Семантическую сеть обычно определяют в виде ориентированного графа, вершины которого соответствуют концептам, а дуги - отношениям между ними. На языке теории систем семантическую сеть представляют множеством вершин C и множеством отношений между ними R. В терминах математической логики вершина семантической сети соответствует элементу предметного множества, а дуга — предикату.

Чаще всего, в семантических сетях используют следующие типы отношений:

- иерархические отношения типа «часть-целое»;

- функциональные отношения («производит», «влияет» и т.п.);

- количественные отношения («больше», «меньше», «равно» и т.д.);

- пространственные отношения («далеко от», «близко от», «за», «под», «над» и т. д.);

- временные отношения («раньше», «позже», «в течение» и т. д.);

- атрибутивные отношения («иметь свойство», «иметь значение» и т. д.);

- логические отношения («и», «или», «не»).

Обычно в семантической сети используют, как минимум, отношения типа «класс-элемент класса», «свойство-значение», «пример элемента класса».

Известно несколько классификаций семантических сетей. Например, по числу используемых типов отношений семантические сети разделяют на однородные сети (с единственным типом отношений) и неоднородные сети (с различными типами отношений). По типам используемых отношений семантические сети разделяют на бинарные сети (в которых отношения связывают два понятия) и n-арные сети (в которых имеются отношения, связывающие более двух понятий).

Основными элементами семантической сети являются понятии (фактографические знания) и суждения (процедурные знания). Детально возможные элементы семантической сети рассмотрены, например, в работе [6].

Известны языки программирования, ориентированные на программирование семантических сетей (например, язык NET). Примеры баз знаний, построенных на основе семантических сетей, приведены, к примеру, в работах [8, 9]. Отметим. что качество построенной семантической сети можно оценить с помощью показателей, используемых для оценки качества данных - достоверность, кумулятивность, непротиворечивость [18].

Понятия в семантической сети могут иметь числовую оценку - вес. Связи между парами понятий также могут иметь аналогичные числовые оценки. Указанные оценки формализуют относительный вклад различных понятий и связей между ними в семантику соответствующей предметной области.

Вариантом семантической сети можно считать когнитивную карту [19], в которой отношения между концептами используют для указания характера и степени влияния одного концепта на другой. Модель предметной области в виде семантической сети с отношением «предыдущий - последующий» становится когнитивной картой, если этим отношениям назначены веса, характеризующие важность знания одного концепта при изучении другого концепта. Эти веса могут быть определены формальными методами [20] или заданы экспертами. В простейшем случае важность концепта может быть оценена степенью соответствующей вершины графа семантической сети, т.е. числом ребер этого графа, связанных с данной вершиной [21].

Еще одним вариантом семантической сети можно считать понятийно-тезисную модель знаний, предложенную в работе [22]. Концептуально, данная модель основывается на том очевидном факте, что основной формой передачи учебной информации ученику в современных АОС является текст, а, точнее говоря, гипертекст и средства мультимедиа. Основой структуры понятийно-тезисной модели являются такие сущности как понятие, предмет обсуждения, объект из предметной области и т. д. С каждой из указанных сущностей в модели связывают некоторое число сведений об этой сущности (некоторое число «тезисов»).

Вариантом семантической сети можно считать также нечеткую семантическую сеть [23]. Такую сеть представляют в виде нечеткого графа, для каждой из вершин и дуг которого заданы соответствующие функции принадлежности.

Одним из достоинств модели знаний в виде семантической сети является наглядность получающегося описания предметной области. Однако это свойство теряется с увеличением размеров и усложнением связей сети. Для сохранения в указанных условиях данного свойства сетевой модели, в работе [24] предложено использовать иерархические семантические сети, в которых на верхнем уровне иерархии располагаются классы понятий, на следующем уровне - обобщенные понятия, а на самом нижнем уровне — конкретные (элементарные) понятия. Число уровней в такой модели знаний зависит от требуемой степени детализации понятий. Отметим, что модель знаний в виде иерархической семантической сети представляет одновременно логическую структуру рассматриваемой предметной области, показывает последовательность изучения учебного материала.

2.7. Прочие модели.

Комбинированная модель. Возможно построение модели предметной области на основе комбинированной фреймо-продукционной модели представления знаний [25]. Учебный курс в этом случае разбивают на фрагменты различных уровней сложности, связанные между собой отношениями «более-простой», «более-сложный». Полагают, что для усвоения данного фрагмента необходимо усвоение всех связанных с ним более простых фрагментов. С каждым из фрагментов связывают контрольные задания высокой, средней и низкой степеней сложности. В свою очередь, с каждым из этих заданий связывают подсказки разной подробности, а также правильные и неправильные варианты ответов.

Модель процесса обучения в этом случае описывает процесс смены стереотипичных ситуаций, каждая из которых связана с освоением учеником одного фрагмента курса и описывается соответствующим фреймом. Действия, которые должны быть выполнены АОС для данной стереотипичной ситуации, определяют процедуры, «присоединенные» к соответствующим слотам указанного фрейма. Каждая такая процедура представляет собой совокупность правил продукций, описывающих алгоритм обработки информации, содержащейся в соответствующем слоте фрейма. Механизм вывода управляет сменой стереотипичных ситуаций и вызовом присоединенных процедур.

Модель в виде И-ИЛИ дерева. Модель знаний в виде И-ИЛИ дерева представляет собой объединение семантической сети понятий и семантической сети фрагментов учебного курса [26]. При этом первую семантическую сеть представляет граф, вершины которого соответствуют понятиям сети, а дуги - отношениям между ними «определяемое понятие - определяющее понятие». В графе второй семантической сети вершинам соответствуют фрагменты курса, а дуга А ^ В имеет место в том случае, если некоторое понятие определено во фрагменте А, а используется во фрагменте В. Отметим, что на основе данной модели знаний удобно строить индивидуальные маршруты обучения (раздел 4.2).

Модель в виде дерева понятий. Дерево понятий включает в себя вершины, соответствующие понятиям или суждениям С = (с1, с2,..., сп), а также связи между этими

вершинами, которые соответствуют отношениям между ними Я = (г/,,/, у е [1: п]) . Здесь

суждения определяют как «инструкции» о некотором объекте предметной области и представляют в виде двух или более связанных между собой понятий.

Формально, дерево понятий представляет собой совокупность вершин С = (с1,с2,...,сп), связанных между собой набором дуг Я = (^ у,/,у е [1: п]) . Могут быть

также заданы веса понятий W = (w1, w2,..., wn). Дерево понятий образует ориентированный

понятийный граф G = (С, R) в виде пирамиды (перевернутого дерева) [9].

Говоря более строго, каждому понятию дерева понятий ставят в соответствие, так называемый CT-фрейм (от Concept Tree), содержащий в себе значения атрибутов этого понятия. Одним из таких атрибутов является номер СГ-фрейма, являющегося родителем данного понятия. Вообще говоря, атрибутами понятия в дереве понятий могут быть числа, математические соотношения, тексты на естественном языке, алгоритмы, программы и т.д. Атрибутом понятия может быть также имя другого дерева понятий, что позволяет создавать «многомерные» сети понятий. Важным свойством модели знаний в виде дерева понятий является наследование свойств понятий, связанных отношением «это-есть» (a-kind-of). Дерево понятий может быть использовано в качестве удобного средства контроля знаний ученика [9].

В виде набора взаимосвязанных деревьев модель предметной области представляют, к примеру, в известной АОС экспертного типа IDEA [27]. Для каждого элемента этой модели может быть задан набор тренировочных и тестовых упражнений, которые будут использованы системой для закрепления или контроля знаний учеником этого элемента.

UML-модель предметной области представляет собой набор диаграмм классов на языке UML. Важно, что при создании такой модели применимы приёмы и стратегии идентификации объектов и отношений, принятые в объектно-ориентированном проектировании [28].

2.8. Примеры.

2.8.1. Детальный пример модели предметной области в виде семантической сети приведен в работе [20]. Использована иерархическая сеть, включающая в себя на нижнем уровне семантические сети модулей. На втором уровне иерархии эти сети объединены в семантические сети некоторого числа библиотек знаний, которые, в свою очередь, на третьем уровне иерархии объединены в семантические сети учебных курсов. Модель использует различные меры сложности понятий, модулей, библиотек модулей и учебных курсов.

Замечание. Здесь и далее, если не оговорено противное, термин «модуль» следует понимать в контексте технологии создания учебных курсов на основе «сборки» их из предварительно разработанных модулей (module) или разделяемых единиц контента (SCO - Shareable Content Object). Такую технологию поддерживает широко известный стандарт SCORM [29], а также оригинальная отечественная разработка, называемая технологий разделяемых единиц контента (ТРЕК) [30]. Отметим, что в отличие от технологии

8С0ЯМ, технология ТРЕК обеспечивает взаимосвязь между модулями путем задания отношений между понятиями, определенными в этих модулях.

2.8.2. В работе [31] в качестве модели предметной области рассмотрена, так называемая, расширенная семантическая сеть, в которой понятия предметной области связаны между собой некоторой совокупностью бинарных отношений, включая отношение «определяемое понятие - определяющее понятие». В графовом представлении расширенной семантической сети соответствует ориентированный взвешенный граф. Для данной сети в указанной работе также предложен ряд мер сложности понятий, модулей, библиотек модулей и учебных курсов.

2.8.3. Модель предметной области, предложенная в работе [32], представляет собой граф семантической сети, в котором вершины соответствуют концептам предметной области, а дуги определяют взаимосвязи между этими концептами. Для решения проблемы инициализации семантической сети (см. раздел 3.3), сеть дополнена узлами, соответствующими тестам для определения начальных знаний ученика, а также аналогичными узлами для оценки уровня усвоения им смежных учебных курсов. Кроме того, для задания информационных связей концептов данной предметной области с концептами других предметных областей, необходимых для изучения данного курса, семантическая сеть дополнена концептами этих предметных областей.

Таким образом, в этом случае в модели предметной области определены три типа концептов - концепты данной предметной области, «тестовые» концепты и концепты смежных предметных областей. Кроме того, в модели определены отношения «зависимость», «объединение», «включение», «принадлежность». Первое из этих отношений определяет стратегию обучения (последовательность изучения концептов данного учебного курса). Второе отношение используют для определения структуры курса (параграфов, разделов, глав и т.д.). Третье отношение предназначено для задания связей с концептами других учебных курсов. Четвертое отношение задает связи концептов изучаемого курса с концептами тестирования.

2.8.4. На концептуальном уровне модель предметной области АОС ГИПЕРТЕСТ [33]

представлена графом семантической сети О = (С,Я), в котором вершинам сопоставлены декларативные и процедурные знания, а дугам - набор семантически окрашенных структурирующих отношений «род-вид», «часть-целое», «класс-экземпляр», «объект-атрибут».

Значительный интерес, на наш взгляд, представляет используемая в системе ГИПЕРТЕСТ модель предметной области на визуальном уровне. Модель представлена

парой Му = (Еу, ¡у), где Еу, 1У - экстенсионал и интенсионал визуализации соответственно. Экстенсионал

Еу ={текст, графика, гиперссылка, апплет, флэш-анимация}

и определяет множество примитивов визуального представления каждого из понятий с е С. Интенсионал формализован двудольным ориентированным графом ¡у = (И, ИЛИ, Яу ,ЖИ ,ШИЛИ ) , где И = ИО и Ис и ИФ - множество вершин, определяющих структуру вариантов визуализации на уровнях объема, сложности и формы визуализации соответственно, ИЛИ = ИЛИО и ИЛИС и ИЛИФ - множество вершин, определяющих

альтернативные варианты на тех же уровня, - совокупность дуг, определяемых отношениями смежности Яу вершин из И и ИЛИ; , - вещественные функции

весов тех же вершин.

3. Модели ученика.

Среди модельного обеспечения АОС наибольшее разнообразие имеет место именно в моделях ученика. Широкий список работ в этой области представлен в публикации [34]. Отметим, что подавляющее число публикаций, посвященных моделированию ученика, посвящено формализации его знаний. Имеется относительно небольшое число работ, представляющих модели личностных характеристик ученика. Известно также небольшое число публикаций, посвященных моделированию умений ученика. Отметим, наконец, что в настоящее время практически отсутствуют исследования, связанные с формированием модели компетенций ученика, отражающей его способности применять знания, умения, навыки и личностные качества для успешной деятельности в конкретной профессиональной области [35].

3.1. Общие сведения. Вслед за работой [36] определим термин «модель ученика» (модель обучаемого) следующим образом: «В самом широком смысле под моделью обучаемого понимают знания об обучаемом, используемые для организации процесса обучения. Это множество точно представленных фактов об обучаемом, которые описывают различные стороны его состояния: знания, личностные характеристики, профессиональные качества и др.». Другими словами, модель ученика содержит всю необходимую для использования в АОС информацию о нем — уровни его знаний, умений и навыков, способности к обучению и выполнению заданий (умеет ли он использовать полученную информацию), личностные характеристики и т. д.

В работе [32] в контексте проблематики адаптивных АОС дано несколько другое определение модели ученика. Под моделью ученика в этой работе понимают модель,

которая хранит некоторую информацию об ученике в виде его характеристик, достаточную для обеспечения адаптации в АОС процесса обучения к этому ученику.

Заметим, что формирование набора указанных характеристик ученика является не тривиальной задачей. В работе [32] выделены следующие такие характеристики:

- цели обучения (изучение полного курса, подготовка к экзамену/зачету, получение навыков практической работы, изучение теории, тестирование);

- начальный уровень знаний учеником изучаемого курса;

- знания ученика в других предметных областях, которые необходимы для изучения данного курса;

- текущие знания учеником изучаемого курса;

- индивидуальные характеристики ученика;

- уровень владения русским языком.

Иной набор характеристик ученика предложен в работе [37]:

- уровень знаний;

- психологические характеристики;

- скорость/стиль обучения;

- процент выполнения заданий;

- способность к обучению;

- уровень умений и навыков;

- выбранные метод/стратегия обучения;

- уровень понимания структуры курса.

В той же работе [37] представлены результаты исследования того, насколько часто указанные характеристики ученика используют в современных АОС. Эти результаты показывают, что уровень знаний ученика используют 100% рассмотренных АОС, способность к обучению - 31%, уровень умений и навыков - 19%, уровень понимания структуры курса - 37%.

Для формирования модели ученика необходим сбор информации о нем. Основным источником такой информации являются результаты тестового контроля знаний ученика. Поскольку в современных адаптивных АОС используют динамическую модель ученика, в процессе тестирования модель ученика уточняют и корректируют с учетом фиксируемых АОС показателей его процесса обучения, например, числа и типа ошибок, времени выполнения заданий, отказов от решения, потребности в самоконтроле и помощи и т.д. [38].

Отметим, что такая современная образовательная концепции, как lifelong education (непрерывное обучение), требует, чтобы АОС поддерживала модель пользователя-

ученика (lifelong user modeling) непрерывно. Эта же концепция требует, чтобы модель ученика представляла собой модель не в рамках одного учебного курса, а в рамках многих курсов из, быть может, существенно разных предметных областей. Таким образом, модель ученика в соответствии с данной концепцией должна «жить» вместе с учеником всю его жизнь, постепенно накапливая и уточняя информацию о нем [39].

Отметим также, что в настоящее время моделирование ученика можно считать самостоятельным направлением развития искусственного интеллекта.

3.2. Классификация моделей учеников. Вероятно, первая русскоязычная попытка классификации моделей ученика принадлежит П. Л. Брусиловскому [40]. Из современных работ, посвященных моделированию ученика и включающих в себя обзоры его моделей, отметим публикации [36, 41].

Аналогично тому, как это сделано в работах [6, 41], выделим прежде три следующие класса моделей ученика, отличающихся своей функциональной направленностью:

- текущая (поведенческая) модель ученика (знания о том, каков он есть);

- нормативная модель ученика (каким мы хотим его видеть);

- прогнозируемая модель ученика (каким мы его можем увидеть).

Текущую модель ученика формируют путем анализа его текущего поведения и называют, поэтому, также поведенческой моделью. Основным способом построения текущей модели ученика является тестирование. Отметим, что текущая модель ученика в момент начала обучения представляет собой исходную модель ученика, а информация о процессе эволюции этой модели является источником важнейшей информации об ученике.

Нормативная модель ученика включает в себя тем или иным образом формализованные требования к личностным качествам выпускника, его профессиональным качествам, требования к умениям, знаниям и навыкам по различным учебным дисциплинам, характеристики физического и психического состояния и т. п. Основные параметры нормативной модели ученика определяет, в конечном счете, стандарт образования [6].

Прогнозируемая модель ученика. Текущая модель ученика, а также вся предыстория ее эволюции образуют траекторию обучения данного ученика. На основе этой информации можно строить прогнозируемую модель ученика, например, к моменту завершения им обучения.

Во введенных терминах цель обучения можно определить следующим образом: перевод ученика из состояния, определяемого его исходной моделью, в состояние, как можно более близкое к нормативному состоянию (определяемому нормативной моделью)

по оптимальной траектории. Самостоятельную проблему при этом представляет задача формирования критериев оптимальности образовательной траектории. Основным таким критерием является, очевидно, минимум отклонений фактической траектории обучения ученика от траектории, которую определяют соответствующие учебные планы (нормативной траектории).

Отметим следующее важное обстоятельство. Отклонение фактической траектории ученика от соответствующей нормативной траектории обусловлено, прежде всего, ошибочными действиями ученика, ошибками, допущенными при формировании нормативной траектории, а также ошибками в организации учебного процесса. Анализ указанных отклонений может быть весьма содержательным, как с точки зрения формирования модели ученика, так и с точки зрения оценки качества учебных планов и организации учебного процесса.

Обычно часть текущей модели ученика, которая формализует его ошибки, выделяют в самостоятельную и специфическую модель ошибок ученика. Построение модели ошибок требует постижения субъективной логики ученика [6].

В соответствии с работой [1] в каждом из представленных выше классов моделей ученика можно выделить следующие компоненты: модель знаний по изучаемой дисциплине; модель общих характеристик ученика, не зависящих от изучаемого предмета; модель отношения ученика к данной учебной дисциплине; модель истории взаимодействия ученика с ОАС. Здесь под общими характеристиками ученика понимаются его психофизические данные (возраст, пол, скорость реакции, способность к абстрактному мышлению, экстравертивность-интравертивность и т. д.), а также социальные данные (уровень образованности, специальность и т. д.).

В работах [6, 41] выделены следующие компоненты знаниевой (предметной) модели ученика, формализующей разные аспекты его знаний по данной учебной дисциплине:

- семантическая модель;

- процедурная модель;

- операционная модель;

- тематическая модель;

- функциональная модель.

Семантическая и процедурная модели ученика. Как указывалось в разделе 2.1, предметные знания подразделяют на фактографические (декларативные) и процедурные, первые из которых представляют собой утверждения о свойствах объектов предметной области и отношениях между ними, а вторые - описывают порядок и характер преобразования объектов предметной области. Фактографические знания определяют

содержательную (семантическую) часть предметных знаний и порождают семантическую знаниевую модель ученика. Процедурная знаниевая модель ученика формализует его процедурные знания [42].

Операционная модель ученика. Знания ученика являются средством формирования его умений, которые в инженерии знаний трактуются как поведенческие (операционные) знания (раздел 2.1). Поэтому подходящую формализацию умений ученика называют его операционной знаниевой моделью.

В работе [6] выделена и раскрыта следующая иерархическая система умений -базовые, методологические; общие, межпредметные, предметные и профессиональные умения. Данная иерархия порождает иерархическую семантическую сеть умений, которая и представляет собой операционную модель ученика. Пример такой модели в области общей физики приведен в той же работе [6].

Тематическая модель. Как отмечалось в разделе 2.1, одним из важнейших свойств знаний является их структурированность. Можно сказать, что «...усвоить определенную порцию учебных знаний - значит установить их место в структуре данного раздела учебного материала» [41]. Тематическая знаниевая модель ученика представляет собой формализацию его представлений о структуре изучаемой дисциплины на тематическом уровне, т. е. на уровне названий тем этой дисциплины. По сути, тематические знания представляют собой знания о предметных знаниях, т. е. являются метазнаниями. Поэтому можно сказать, что тематическая знаниевая модель ученика представляет собой модель его метазнаний.

Функциональная модель ученика. Еще одним аспектом структурированности знаний является их структурирование по функциональности. С этой точки зрения среди фактографических знаний выделяют определения, теоремы, следствия, выводы и т.д., а среди процедурных знаний - методики, методы, алгоритмы и т.д. Функциональную знаниевую модель ученика составляют формализованные представления ученика о функциональной структуре знаний изучаемой дисциплины. Можно сказать, что эта модель ученика, как и его тематическая знаниевая модель, представляет собой одну из моделей его метазнаний.

С «технологической» точки зрения выделим следующие классы моделей ученика:

- оверлейные модели;

- имитационные модели;

- разностные и пертурбационные модели;

- стереотипичные модели;

- прочие модели.

Результаты широкого сравнительного анализа используемых в АОС моделей ученика приведены в работе [37]. Эти результаты показывают, что 46% АОС используют сетевую оверлейную модель ученика, 45% - векторную оверлейную модель и только 9% -прочие модели ученика.

Более широкий, интегрирующий взгляд на классификацию моделей ученика представлен в работе [43], в которой выделены три парадигмы моделирования ученика: парадигма проекций (overlay); парадигма ошибок (ви£); смешанная парадигма. При использовании первой парадигмы знания ученика рассматривают как некоторое подмножество знаний эксперта, формализованных в соответствующей модели предметной области. Вторая парадигма предполагает наличие библиотеки потенциальных ошибок, которые могут быть допущены учеником при изучении соответствующего учебного курса. Третья парадигма приводит к смешанной модели ученика, основанной на объединении моделей проекций и ошибок.

3.3. Оверлейные модели. Оверлейная модель (overlay model) описывает знания ученика как некоторое подмножество всех знаний используемой модели знаний. Модель является частным случаем, так называемой, фиксирующей модели ученика, простейшим вариантом которой является его скалярная модель, представляющая собой некоторую интегральную оценку знаний ученика в какой-либо шкале. Более сложными фиксирующими моделями ученика являются его векторная и сетевая оверлейные модели [1, 6].

Векторная оверлейная модель представляет собой совокупность всех понятий рассматриваемого учебного курса и/или умений, соответствующих этому курсу, каждому из которых поставлено в соответствие значение «знает-не знает» или «умеет-не умеет».

Сетевую оверлейную модель определяют как графовое представление семантической сети предметной области данного учебного курса, в котором каждому узлу и каждой дуге сопоставлена одна или несколько величин, определяющих степень овладения учеником соответствующих понятий и отношений между ними. По способу оценки знаний ученика оверлейные модели разделяют на бинарные («изучено - не изучено»), взвешенные (используется та или иная количественная шкала), вероятностные (оценка рассчитывается на вероятностной шкале) и нечеткие (с использованием нечетких множеств) [32].

Расширением сетевой оверлейной модели можно считать генетическую графовую модель [6]. В отличие от оверлейной модели эта модель содержит не только нормативные понятия и отношения между ними, но и различные уточнения, обобщения, конкретизации и отклонения от нормативной модели, обусловленные особенностями знаний ученика.

Например, с помощью отношения «уточнение» в генетической графовой модели могут быть описаны индивидуальные особенности понимания учеником тех или иных понятий.

Отметим в качестве недостатка оверлейной модели ученика трудность инициализации этой модели [32]. В этой связи в указанной работе в качестве модели знаний предметной области предложено использовать семантическую сеть, содержащую в качестве концептов обучающие элементы изучаемой предметной области, а также тесты для контроля уровня усвоения учениками этих элементов (раздел 2.8.2).

Вариантом сетевой оверлейной модели ученика можно считать модель его знаний, предложенную в работе [44] и названную когнитивной картой ученика.

В работе [45] предложена модель знаний ученика, которую можно считать вариантом бинарной сетевой оверлейной модели. Модель построена на основе идеи о том, что правильное усвоение учеником нового концепта возможно лишь в том случае, если усвоены все концепты-родители данного концепта. В соответствии с этой идеей модель знаний каждого из концептов представляет собой двоичное слово, разряды которого имеют значение 1, если усвоен данный концепт и все концепты-родители, и значение 0 - в противном случае. Отметим, что такая модель знаний ученика оказывается удобной для определения весов концептов и формирования численной оценки уровня знаний ученика.

Оригинальная оверлейная модель знаний ученика в виде набора диаграмм классов на языке ЦМЬ рассмотрена в работе [28].

3.4. Имитационные модели предполагают представление знаний ученика в виде некоторых структур данных, а его умения в виде процедур и механизмов их интерпретации. Имитационная модель ученика, как правило, включает в себя его модели ошибок, ограничений и фальшправил.

Модель ошибок в той или иной форме фиксирует ошибки ученика, совершенные им при тестировании. Хотя модель ошибок традиционно относят к текущей модели ученика, эту модель проектируют заранее и ее, вероятно, следовало бы классифицировать, как нормативную модель ошибок. Ученик в процессе обучения совершает некоторые из ошибок этой модели, перечень которых составляет модель ошибок данного ученика.

Модель ограничений представляет собой совокупность нижних и верхних границ для уровней учебных достижений ученика. Здесь нижняя граница соответствует наиболее конкретным формам понятия или умения, а верхняя граница - их наиболее общим формам.

Модель фальшправил являет собой модель ошибочного поведения ученика.

В целом, имитационные модели знаний в настоящее время находятся в стадии становления и требуют развития соответствующих формальных методов.

3.5. Разностные и пертурбационные модели [46].

Модель разностного типа строят на основе различий между ответами ученика и соответствующими знаниями из базы знаний АОС. Важно, что модель данного типа позволяет учитывать не только отсутствие знаний у ученика, но и искажения этих знаний. С формальной точки зрения, разностную модель можно считать модификацией модели оверлейного типа.

Модель пертурбационного типа основана на предположении, что знания ученика и знания в базе знаний АОС могут частично не совпадать. Важной функцией модели пертурбационного типа является определение причин указанного расхождения знаний. Такими причинами могут быть

- недостаток знаний (ученик не обладает знаниями, достаточными для того, чтобы правильно ответить на то или иное контрольное задание),

- ошибочные знания (знания ученика противоречат знаниям в базе знаний системы),

- неверное использование знаний (ученик владеет необходимыми знаниями, но не умеет их правильно применять),

- случайные ошибки (ошибки ученика в вычислениях или ошибки, порожденные недостаточно внимательным чтением формулировок контрольных заданий и вариантов ответов на них),

- умышленные ошибки (ошибки, возникающие в том случае, когда ученик использует какую-либо «стратегию» ответа на контрольные задания, например, всегда выбирает только первый вариант ответа).

Для классической модели тестирования (раздел 5.2) формальные методы определения некоторых из указанных типов ошибок рассмотрены, например, в указанной выше работе [46].

3.6. Стереотипичные модели (stereotype models). Основная идея этих моделей состоит в выделении некоторого набора типовых (стереотипичных) по своим параметрам учеников. На основе этого набора для данного ученика определют вероятность принадлежности его к каждому из указанных стереотипов. В качестве целевого выбирают стереотип, вероятность принадлежности к которому максимальна. По сравнению с оверлейной моделью данная модель значительно менее мощна, но ею легче управлять и, главное, инициализировать [32].

Согласно типу связей стереотипичных моделей ученика между собой, можно выделить четыре класса этих моделей - луковая (многоуровневая), латуковая, многоядерная модели и модель на основе ориентированного ациклического графа [47].

Отметим, что задача стереотипирования очевидным образом сводится к задаче кластеризации множества параметров учеников и может быть решена, например, с помощью метода ^-средних.

3.7. Прочие модели.

Эвристическая модель. В терминологии работы [24] рассмотренные модели ученика представляют собой логические модели. В указанной работе в качестве одной из альтернатив этим моделям предложена концепция эвристической модели ученика. Модель строят на основе отличного от рассмотренного выше определения семантической сети (раздел 2.6). Вершинам семантической сети здесь ставят в соответствие объекты познания, личность ученика и основные компоненты процесса обучения, а связям между вершинами придают смысл отношений между указанными сущностями.

Нейросетевая модель. В работе [48] предложена модель ученика, построенная с использованием нейросетевых технологий. Строго говоря, данную модель следовало бы, вероятно, отнести к одному из вариантов стереотипичной модели. Мы выделяем эту модель в отдельный класс в силу высокой перспективности, с нашей точки зрения, использования в качестве моделей ученика нейросетевых, нечетких и нейронечетких моделей.

В качестве параметров ученика в данной модели используют тип мышления, воспринимаемую форму представления знаний, свойство уверенности при ответе, уровень усвоения знаний, оптимальность стратегии получения знаний. Эти параметры формализуют в виде кортежей числовых значений. Например, кортеж значений второго из указанных параметров содержит 30 элементов, первые десять из которых соответствуют значению коэффициента для аналитической формы представления знаний, следующие десять - для образной формы и последние десять - для эвристической.

Объединение кортежей, соответствующих всем рассматриваемым параметрам ученика Ц , представляет собой бинарную (п х т) -матрицу , где п - число параметров

модели ученика, а т - длина кортежа значений. В процессе обучения матрица

эволюционирует, так что в каждый данный момент времени описывает текущее состояние ученика.

Стереотипичную модель ученика строят путем объединения всех имеющихся в АОС матриц в некоторое число кластеров, каждому из которых ставят в соответствие один

из стереотипов ученика. Для решения указанной задачи кластеризации используют нейронные сети Хопфилда и Хемминга. Как всегда при использовании нейронных сетей, при этом возникают две следующие основные задачи - задача определения топологии сети

и задача выбора алгоритма обучения сети. Возможные подходы к решению этих задач рассмотрены, например, в работе [49].

Отметим, что в работе [48] подчеркивается перспективность использования нейронных сетей, например, классического многослойного персептрона, для решения в АОС и ряда других задач.

Модель на основе дифференциальных уравнений. В работе [50] предложена знаниевая модель ученика в виде линейного нестационарного обыкновенного дифференциального уравнения, коэффициенты которого отражают индивидуальные способности ученика в соответствующем режиме обучения и при соответствующих параметрах внешней среды. Параметрами модели являются пороговый уровень сложности обучающей информации и минимальный уровень сложности контрольных заданий. Для определения значений указанных параметров используют динамическую параметрическую идентификацию модели.

Замечание. В связи с многообразием моделей ученика возникает задача оценки качества этих моделей (являющаяся составной частью проблемы оценки качества АОС [51, 52]). В качестве критерия качества модели ученика целесообразно использовать критерий, тем или иным образом формализующий степень соответствия информации об ученике в его модели реальным характеристикам ученика [52]. Например, в работе [32] в качестве такого критерия использована мера различия чувствительности модели к изменению значения ее некоторого параметра и реальной чувствительности ученика к изменению той же величины.

3.8. Примеры.

3.8.1. В АОС С-Шог [43] использована составная модель ученика, представляющая собой совокупность следующих компонентов:

- основной профиль ученика;

- таблица уровня знаний;

- индикатор прогресса;

- множество ошибочных знаний.

Компонента основной профиль ученика определяет основную, неизменную информацию об ученике и включает в себя личный номер студента в ОАС, имя (логин), пароль, национальность, родной язык, первая дата регистрации в системе, начальный уровень владения предметом.

Таблица уровня знаний для каждого из модулей знаний, которые ученик должен изучить, содержит идентификатор модуля в АОС, вектор параметров, определяющих уровень соответствующих знаний, умений и навыков ученика, дату, когда данный уровень

знаний, умений и навыков был достигнут. Указанный вектор параметров содержит вероятностные оценки для таких аспектов знаний ученика, как узнавание, понимание, применение и анализ.

Индикатор прогресса включает в себя идентификатор изучаемого модуля знаний, множество предыдущих уровней знаний, оценку текущего уровня знаний.

Множество ошибочных знаний представляет собой перечень всех ошибок, допущенных учеником, а также коэффициенты повторяемости, классы и даты совершения каждой из ошибок. Класс ошибки определяет уровень сложности соответствующего контрольного задания.

3.8.2. В модели ученика, используемой в работе [32], параметрами модели являются

- цели обучения,

- оценка уровня знаний,

- индивидуальные характеристики ученика,

- уровень владения языком диалога с АОС.

Множество вариантов целей обучения включает в себя следующие варианты: изучение полного курса; подготовка к экзамену/зачету; получение навыков практической работы; изучение теории; тестирование.

Оценка уровня знаний состоит из оценки начального уровня знаний (в контексте данного учебного курса), оценки уровня усвоения смежных учебных курсов и оценки уровня текущих знаний данного учебного курса.

Индивидуальные характеристики ученика определяют предпочтения ученика в области интерфейса АОС, а также его стереотип в рамках стереотипичной модели (раздел 3.6).

3.8.3. Оверлейная модель ученика, используемая в АОС ГИПЕРТЕСТ [33], представлена идентификационными данными ученика, множеством оценок его профессионально важных качеств Q (результатов подготовки, способностей, стиля учения), множеством функций полезности, определенных на множестве Q.

3.8.4. В автоматизированной обучающей системе АТ-ТЕХНОЛОГИЯ модель ученика включает в себя такие личностные характеристики ученика, как внимание, воля и темперамент [34]. Значениями параметра «внимание» могут быть, например, переключаемость или рассеянность, параметра «воля» - целеустремленность или инициативность, параметра «темперамент» - сангвиник или холерик.

На основании информации о личностных характеристиках ученика подсистема АОС, которая отвечает за формирование стратегий обучения (раздел 4.1), принимает, например, следующие решения:

- применить обучающее воздействие «презентация» (если параметр «внимание» имеет значение рассеянность, а параметр «темперамент» - значение холерик или меланхолик);

- установить длительность сеанса обучения равной одному академическому часу (если параметр «темперамент» имеет значение холерик а, параметр «воля» - значение целеустремленность или решительность) и т.д.

Для определения значений указанных параметров модели, на этапе выявления начального уровня знаний каждому ученику предлагается пройти тестирование на основе теста Айзенка.

3.8.5. Примером одной из немногих работ, в которых рассмотрена модель профессиональной компетентности ученика, является работа [39]. Модель, предложенная в этой работе, построена на основе кортежа

(С ,V, Е, O),

где C - множество понятий, относящихся к данной компетенции, V - множество соответствующих задач и применений, Е - бизнес-сценарий, O - предметная область. Элементы из множеств C, V представляют собой концепты семантической сети предметной области O. Компетентность ученика определяют числом и успешностью решения задач из набора V, а также числом освоенных понятий из набора C.

4. Модели процесса обучения

4.1. Общие сведения. Способность к обучению представляет собой одно из определяющих свойств любой интеллектуальной системы. Когнитивные (познавательные) процессы человеческого сознания являются предметом раздела психологии, который называется «когнитивная психология». С точки зрения этой науки выделяют три следующие класса моделей обучения: модель, использующая механизм образования условных рефлексов (рефлекторная модель И.П. Павлова); ассоциативная модель, основанная на ассоциативной теории обучения; лабиринтная модель, согласно которой процесс обучения состоит в эвристическом поиске в лабиринте возможных альтернатив и оценивании движения по лабиринту на основе локальных критериев [53].

В педагогике выделяют следующие основные теории обучения [54].

Бихейвиористская теория обучения. В бихевиоризме (от лат. behavior - поведение) не рассматривают внутренние процессы человеческого мышления. Поведение человека трактуют как сумма реакций на какие-либо ситуации. Обучение при этом строят на основе чисто механистических, а не сознательных принципов.

Ассоциативно-рефлекторная теория усвоения. Ассоциацию в данной теории определяют как связь между психическими явлениями, при наличии которой актуализация одного явления вызывает появление другого. Обучение в ассоциативно-рефлекторной теории трактуют как установление связей между различными элементами знания. Методику обучения в этом случае можно представить в виде следующей схемы:

- актуализация ранее усвоенных элементов знания;

- установление связей между ранее усвоенными и новыми элементами знания;

- фиксация и осмысление новых элементов знания;

- закрепление новых знаний;

- обобщение ранее усвоенных и новых элементов знания в единую систему;

- закрепление обобщенного знания.

Теория поэтапного формирования умственных действий (П.Я. Гальперин и его школа). В соответствии с этой теорией процесс обучения должен состоять из следующих этапов:

- создание мотивации для изучения учебного материала;

- формирование ориентировочной основы обучения (например, изучение общей структуры учебного материала);

- материальная или материализованная форма учебной деятельности (непосредственное изучение материальных объектов или их заменителей - макетов, чертежей, схем и т. п.);

- абстрагированная от материальных объектов внешняя речевая учебная работа (проговаривание вслух и/или письмо);

- абстрагированная внутренняя речевая учебная деятельность (речь "про себя");

- учебная деятельность, протекающая в абстрагированной, умственной форме.

Теория алгоритмизации. Основной сферой применения данной теории является

изучение алгоритмов решения задач. Схема учебной деятельности в соответствии в этом случае имеет следующий вид:

- осознание области применения усваиваемых способов;

- ознакомление с алгоритмом решения задачи в целом;

- изучение алгоритма с «внешней опорой» (алгоритм перед глазами);

- изучение алгоритма с эпизодической «внешней опорой» (алгоритма перед глазами нет, но есть возможность заглянуть в его описание);

- изучение алгоритма без внешней опоры.

Трансформационная теория обучения. В соответствии с этой теорией обучение рассматривают, как адаптацию ученика к внешней среде:

- приспособление его к производственным условиям, задачам и функциям;

- освоение передовых приемов труда и новой техники;

- активное, творческое влияние на производственную среду, конструкцию орудий;

- усвоение принятых в обществе норм поведения, идеологии.

4.2. Методы управления обучением. Все современные методы управления обучением исходят из того, что имеется явно или неявно заданная цель обучения, описывающая требования к знаниям, умениям и навыкам ученика, которые он должен приобрести в процессе обучения. Обычно используют явное определение цели обучения в виде какого-либо логического выражения, заданного в терминах модели предметной области изучаемой дисциплины и модели ученика. В конечном счете, это выражение определяет требуемое множество итоговых знаний, умений и навыков ученика (раздел 1).

Кроме того, полагают определенным начальное состояние модели ученика, полученное на основе, прежде всего, предварительного контроля его уровня знаний. Имеется также набор учебных воздействий (предъявление ученику фрагмента учебного материала, контрольного задания и т.п.), которые управляют познавательной деятельностью ученика и модифицируют его текущую модель.

Таким образом, обучение представляет собой управляемый динамический процесс, имеющий целью достижение учеником цели обучения (или максимальное приближение к ней), исходя из текущего состояния его знаний, умений и навыков. Управление этим процессом включает в себя планирование и реализацию на каждом шаге обучения соответствующих учебных воздействий, а также контроль их эффективности.

Классификацию методов управления процессом обучения приведем в соответствии с работой [1]. Отметим, что в этой работе приведено значительное число примеров АОС, использующих рассматриваемые методы управления обучением. Методы управления процессом обучения подразделяют на два следующих больших класса:

- методы, основанные на планах;

- методы, не использующие планы.

Среди методов, основанных на планах, выделяют методы управления, использующие фиксированные и не фиксированные планы. Современные АОС преимущественно используют последние из этих планов. Выделяют два уровня планирования: высокоуровневое планирование, определяющее следующую изучаемую тему данной учебной дисциплины; низкоуровневое планирование, имеющее целью определение следующего подлежащего изучению фрагмента данной темы [32].

К числу методов, не использующих планы, относят, так называемые, реактивные методы и методы, основанные на агенда-механизме.

Реактивный метод управления обучением предполагает анализ ответов ученика на контрольные задания. На этой основе, а также на основе текущей модели ученика ему предъявляют очередной фрагмент учебного материала. Преимуществом реактивного метода является простота его реализации. Из-за того, что данный метод не оперирует с целью обучения, его применение ограничено, в основном, сопровождающими обучающими системами.

Агендный метод управления обучением представляет собой метод управления действиями (в терминах этого метода - задачами) на основе их упорядоченного списка (агенде). Порядок задач в списке определяют на основе эвристических правил. Агенду отличает от плана то, что она представляет собой упорядоченную по приоритету последовательность действий, направленных на достижение некоторой локальной (а не глобальной) цели обучения.

Важнейшим понятием в методах управления обучением является понятие траектории обучения, под которой понимают последовательность изучения учеником модулей курса, определяемая оценками, полученными учеником по результатам контроля знаний на предыдущих этапах. Здесь под модулем понимают совокупность следующих учебных единиц теоретический материал, справочный материал, задания для самостоятельной работы, набор контрольных материалов для самопроверки и получения оценки [55].

4.3. Классификация моделей процесса обучения. Достаточно общая модель процесса обучения приведена в разделе 1. В еще более общем виде формальную модель процесса обучения можно представить следующим образом [53].

Пусть X - множество входных сигналов обучаемой системы (ученика), У -соответствующее множество выходных сигналов этой системы. Обучаемая система осуществляет отображение ¥Ц : (X ^ У) первого из указанных множеств во второе, а учителю (АОС) известно правильное отображение ¥т : (X ^ У). Здесь принято, что ¥Ц е (X х У), ¥Ц е , где ^ - некоторый класс отображений. Задан критерий качества обучения 3 = 3(¥т, ¥Ц), который формализует близость отображений ¥т , ¥Ц . В этих терминах задачу обучения можно поставить следующим образом: добиться такой ситуации, когда отображение ¥Ц максимально близко к отображению ¥т , т.е.

тш 3(¥т, ¥ь ^ ¥ь е .

Разные модели процесса обучения отличают, прежде всего, методы управления процессом обучения (раздел 4.2), на которые они ориентированы. С этой точки зрения выделяют реактивные модели, агендные модели, а также модели на основе

фиксированных и не фиксированных планов. Заметим, что в работе [56] последние планы называют статическими и динамическими стратегиями (сценариями) обучения соответственно.

С «технологической» точки зрения выделим следующие классы моделей процесса обучения [57]:

- модели на основе сетей Петри;

- вероятностные модели;

- модели, основанные на теории конечных автоматов.

Подчеркнем, что модели процесса обучения в значительной мере определяются используемыми в АОС методами формирования учебных воздействий и, прежде всего, методами формирования контролирующих воздействий (контрольных заданий) [58].

Введем следующие обозначения: М0 - модель предметной области; Мь = Мь(£) -

модель ученика, где £ - вектор параметров этой модели; V = (у1,v2,...,Ук) е Бу - набор

контрольных заданий, где Пу - банк всех заданий; а^, qi - ответ ученика на контрольное

задание и оценка этого ответа соответственно; £(■) - некоторая функция случайного

или детерминированного выбора очередного задания.

Различают неадаптивные, частично адаптивные и адаптивные методы формирования контрольных заданий. Среди неадаптивных методов выделим следующие классы методов:

- метод фиксированной последовательности заданий, когда V = (V, i е [1: к]);

- метод случайной выборки заданий, V = (vi, i е [1: к]), vi = £(У);

- комбинированный метод, V = , V},I е [1: п], ] е [(п +1) : к]), vj = £(У) .

Из числа частично адаптивных методов формирования контрольных заданий назовем

- метод случайной выборки с учетом некоторых параметров модели ученика, V = (V., г е [1: к ]), V. =^(МЬ (~)),

- метод выборки на основе ответов ученика, V = (V.,г е [1: п]), Vг = 1;(у[_1, q(vi_1)),

- метод выборки с использованием модели предметной области, V = (vi, I е [1: п]),

vi =то);

- модульно-рейтинговый метод V = (vi, I е [1: п]), vi = %(М0 ) .

Здесь приняты обозначения: £ - некоторый подвектор вектора £; п < к - число контрольных заданий, предлагаемых ученику; М0 - некоторый фрагмент модели М0 .

Из числа адаптивных методов формирования контрольных заданий наиболее известны

- метод выборки на основе модели ученика, V = (vi, i е [1: n]), vi = %(ML ),

- метод выборки с использованием моделей ученика и предметной области, V = (Vi, i е [1: n]), Vi = ^(ML,M0 ).

4.4. Модели в виде сетей Петри. Известно значительное число АОС, использующих модель процесса обучения в виде сети Петри (см., например, обзор АОС, представленный в работе [1]). Известно также большое число теоретических работ, посвященным различным аспектам разработки таких моделей.

4.4.1. Определение и классификация сетей Петри. Вообще говоря, сети Петри представляют собой аппарат для моделирования динамических дискретных систем,

например, систем массового обслуживания, и определяются четверкой ( P, T, In, Out },

где P и T - конечные множества позиций и переходов, а In и Out - множества входных и выходных функций [59]. Сеть Петри обычно представляют двудольным ориентированным графом, в котором позициям соответствуют вершины, изображаемые кружками, а переходам - вершины, изображаемые утолщенными черточками; функциям In соответствуют дуги, направленные от позиций к переходам, а функциям Out - от переходов к позициям.

По сети Петри перемещаются динамические объекты, которые изображают метками (маркерами) внутри вершин (позиций). Распределение маркеров по позициям называют маркировкой. Каждый из переходов сети может «срабатывать» (возбуждаться), в результате чего маркеры из его входных позиций перемещаются в выходные позиции. Такое изменение маркировки называют событием. Полагают, что события происходят мгновенно и асинхронно. Последовательность событий образует моделируемый процесс.

Обозначим ni - число маркеров в i-ой входной позиции данного перехода; ki - число

дуг, идущих от i-ой позиции к переходу; mj - число дуг, связывающих переход с j-ой

позицией. В этих обозначениях правила срабатывания перехода имеют следующий вид: переход срабатывает, если для каждой из его входных позиций выполняется условие ni > k{; при срабатывании перехода число маркеров в i-ой позиции уменьшается на k{, а в

j-ой входной позиции увеличивается на mj. Например, если в некоторый момент времени

распределение маркеров по позициям имеет вид, представленный на рисунке 4.1 (эту

маркировку записывают в виде (2,2,3,1)), то после срабатывания указанного на рисунке перехода маркировка приобретет вид (1,0,1,4).

Для того, чтобы моделировать не только последовательность событий, но и их привязку ко времени, используют модификацию рассмотренной сети - временную сеть Петри. В такой сети каждому из переходов назначают вес - продолжительность (задержку) срабатывания, которая может быть, как статической, так и динамической. Величину задержки определяют в виде функции числа маркеров в соседних позициях, состояния некоторых переходов и т.п. Определенную таким образом сеть называют функциональной сетью Петри.

Часто используют, так называемые, цветные (раскрашенные) сети Петри (Coloured Petri Net - CPN), когда маркеры имеют типы (цвета), определяемые значениями одного или более своих параметров. В таких сетях правила срабатывания переходов зависят от типов маркеров.

Еще одной разновидностью сетей Петри являются ингибиторные сети Петри, в которых имеются запрещающие (ингибиторные) дуги. Наличие маркера во входной позиции, связанной с переходом ингибиторной дугой, означает запрещение срабатывания перехода.

Нам понадобятся также вложенные сети Петри (Nested Petri Nets - NPN), в которых все или некоторые метки являются сложными объектами с сетевой структурой и моделируются сетями Петри нижнего уровня (сателлитными сетями Петри). Структурно такая сеть состоит из системной сети и набора сетей-сателлитов. Принципиальным является то обстоятельство, что между переходами системной сети и переходами сателлитных сетей может быть установлена связь, разрешающая только их совместное срабатывание.

4.4.2. Модели на основе одноуровневой сети Петри [1]. Пусть C1 = (cn,c12,...,c1n) -

множество всех концептов предметной области данного учебного курса. Рассмотрим некоторый концепт c1k е C1. Множество контрольных заданий, предназначенных для

контроля усвоения учеником этого концепта, обозначим Vk, а множество

Рисунок 4.1 - К правилам срабатывания перехода в сети Петри

соответствующих ответов - Qk; к е [1: п]. Совокупность контрольных заданий Ук и ответов на них Qk обозначим ;к = (Ук, Qk), а совокупность всех указанных множеств -

V=}.

Введем также следующие обозначения: С2к ^ С1 - множество концептов, усвоение которых необходимо для усвоения концепта с1,к и знания которых учеником должны быть проконтролированы; С3к ^ С1 - аналогичное множество концептов, усвоение которых

учеником уже проверено.

Модель процесса обучения представляет собой сеть Петри, в которой концептам соответствуют позиции сети, а контролирующим воздействиям - переходы. Начальную маркировку сети определяет уровень знаний ученика до начала изучения им данного учебного курса. Текущая маркировка показывает текущий уровень знаний учеником данного курса. Для каждой позиции сети устанавливают порог, определяемый требуемым уровнем знаний соответствующего концепта. На этой основе осуществляют перемаркировку сети.

Текущее состояние рассматриваемой сети Петри можно интерпретировать, как оверлейную модель ученика (раздел 3.3). На основе этой модели легко оценить текущий уровень знаний учеником всех или некоторых концептов данной предметной области. Модель позволяет также управлять числом и сложностью контрольных заданий с целью обеспечения требуемого уровня знаний учеником заданных концептов. Весьма содержательной с этой точки зрения является история эволюции соответствующей сети Петри.

Развитием рассмотренной модели процесса обучения является модель на основе нечеткой сети Пери, когда множества С2к , С3к формализуют в виде нечетких множеств,

которые определяют степень усвоения учеником соответствующих концептов предметной области и задаются, например, с помощью коэффициентов уверенности в его знаниях [1]. Для перемаркировки сети в этом случае осуществляют переход от нечеткой сети Петри к обычной сети. Для этого для каждой позиции сети устанавливают порог, определяемый требуемым уровнем знаний соответствующего концепта. Отметим, что такая модель позволяет сделать процесс контроля знаний не детерминированным.

В моделях на основе раскрашенной сети Петри цвета маркеров определяются значениями таких параметров, как идентификатор изучаемого учебного курса, номер изучаемого учебного модуля, уровень сложности этого модуля, идентификатор ученика,

время изучения учебного модуля данным учеником и т. д. Правила срабатывания переходов сети зависят в этом случае от значений указанных параметров [55].

4.4.3. Модели на основе вложенных сетей Петри. Модель процесса обучения в виде двухуровневой сети Петри может быть использована в двух вариантах [55, 60].

В первом варианте верхний уровень сети представляет собой модель обучения на уровне всего учебного курса, а нижний уровень - модели изучения каждого из учебных модулей данного курса. Под модулем в этом случае понимают совокупность следующих учебных единиц: теоретический материал; справочный материал; задания для самостоятельной работы; набор контрольных материалов для самопроверки и получения оценки.

Во втором варианте сеть верхнего уровня реализует модель процесса коллективной работы учеников, а сети нижнего уровня - модели процесса обучения каждого из учеников.

4.5. Вероятностные модели процесса обучения чаще всего строят на основе байесовских сетей. Известны также примеры использования с этой целью цепей Маркова.

4.5.1. Байесовские сети и цепи Маркова. Байесовская сеть (байесовская сеть доверия) представляет собой вероятностную модель дискретного случайного процесса в виде множества переменных и их вероятностных зависимостей [61]. Формально, байесовская сеть - это направленный ациклический граф, вершины которого представляют переменные любых типов, а ребра определяют условные зависимости между этими переменными. Байесовские сети, которые моделируют последовательности состояний переменных, называют динамическими байесовскими сетями.

Пусть некоторое ребро байесовские сети выходит из вершины A и входит в вершину B этой сети. Вершину A называют в этом случае родителем вершины B, а вершину B -потомком вершины A. Множество вершин-родителей вершины B обозначим parents ( B ).

Совместное распределение значений переменных at, i е [1: n], ассоциированных с

соответствующими вершинами байесовской сети, выражают через локальные распределения значений этих переменных следующим образом:

P(a1,a2,...,an) = П P( | parents(at)).

i=1

Не совсем строго цепь Маркова (первого порядка) определяют как последовательность случайных событий с конечным или счётным числом исходов, обладающую тем свойством, что при фиксированном текущем состоянии цепи ее будущее состояние не зависит от прошлого состояния [62]. Более строго, последовательность дискретных случайных величин (a;, i > 0} называется простой цепью Маркова (с

дискретным временем i = 0,1,2,...), если имеет место равенство следующих условных вероятностей:

P (i +1 = аг +1 I аг = аг, а.-1 = a¡-1,..., «0 = «0 ) = P (= «г+1 I а. = «i ) .

Здесь а. - значение величины а.. Множество значений случайных величин {аг, i > 0}

называется пространством состояний цепи, а номер i - номером шага.

Из определения модели Маркова первого порядка следует, что модель Байеса обобщает марковскую модель, допуская любые попарные зависимости переменных.

4.5.2. Модели на основе байесовских сетей [32]. Положим, что АОС использует модель предметной области рассматриваемой учебной дисциплины в виде семантической сети {C, R, где C = (ci, i е [1: n]) - множество концептов, а R = (ri j, i, j е [1: n]) -

множество отношений между ними. Связь концептов с., с j отношением r. означает, что

для изучения учеником концепта с j е С необходимо предварительное изучение им

концепта-родителя сi е С. Множество концептов-родителей концепта сi обозначим

p^ems (c)=(c.., j = 1,2,..,n).

Оверлейная модель знаний ученика (раздел 3.3) представляет собой множество Q = (q., i е [1: n]), где qt - «оценочная» переменная, связанная с концептов с. , значением которой является оценка уровня знаний учеником этого концепта. Совокупность всех переменных множества Q, которые соответствуют всем родителям концепта с.,

обозначим parents (qt )=(qi., j = 1,2,..,n.). Переменная qt определена на некоторой шкале

состояний (в терминологии байесовских сетей - гипотез), например, на дискретной шкале со значениями «отлично» - «отл», «хорошо» - «хор», «удовлетворительно» - «уд», «неудовлетворительно» - «неуд». Свидетельствами для подтверждения гипотезы о некотором состоянии в е {" отл"," хор"," уд"," неуд"} переменной qi являются состояния

всех переменных p«^Ms ( qi).

На каждом шаге обучения для всех переменных qt полагают известными

вероятности их возможных состояний P(q. = в), а также условные вероятности

P(q. =в| qi =ej), ej е {"отл","хор","уд","неуд"}, j = 1,2,..,n.. Таким образом, на

текущем шаге обучения состояние байесовской сети, соответствующей данному ученику, определяется совместным распределение

P(q1, q2,..., qn) = nP(q =в)| % =в}.), в} е {"отл"," хор"," уд"," неуд"}, j = 1,2,.., n .

Отметим следующие обстоятельства. Совокупность указанных условных вероятностей определяет вероятность каждого из возможных состояний оценочной переменной qi в зависимости от состояний родительских оценочных переменных

parents ( qi). При получении свидетельства об изменении уровня знаний учеником какого-либо концепта, происходит обновление, вообще говоря, всей его модели знаний. В качестве итоговой оценки уровня знаний концепта ci целесообразно использовать

оценку математического ожидания оценочной переменной qt [32].

Как отмечалось в разделе 3.3, одной из проблем оверлейной модели знаний ученика является проблема инициализации этой модели. В рамках рассмотренной модели процесса обучения, для инициализации модели знаний ученика может быть использован байесовский механизм вывода [32].

Установление факта изменения уровня знаний учеником какого-либо концепта осуществляют путем тестирования, для чего с каждым концептом знаниевой семантической сети (C, R связывают некоторую совокупность тестовых заданий. Кроме

того, для каждого из учеников с каждым из концептов этой сети связывают набор атрибутов, значения которым присваивают в процессе функционирования АОС и которые являются входными данными для алгоритмов высоко- и низкоуровневой адаптации. Множество таких атрибутов может иметь следующий вид: признак «посещения» учеником данного концепта; уровень готовности ученика к изучению концепта; уровень изученности учеником концепта; уровень знаний учеником концепта. Отметим, что каждый из этих атрибутов имеет, вообще говоря, свою шкалу оценки.

Совокупность вероятностей P(qi =#|), ве("отл","хор","уд","неуд"}, i е [1: n], а

также значений указанных атрибутов образуют профиль ученика, который определяет состояние ученика на каждом этапе его работы в АОС. Знание этих параметров позволяет АОС сформировать индивидуальную стратегию обучения ученика.

4.5.3. Модели на основе цепей Маркова. Использование цепей Маркова в качестве модели процесса обучения рассмотрено, например, в работе [55]. Номера позиций в сетях Петри и номера состояний в цепях Маркова взаимно однозначно соответствуют друг другу. Во все марковские цепи добавлены поглощающие состояния для того, чтобы время работы модели было конечным.

4.6. Модели на основе теории конечных автоматов.

4.6.1. Конечным автоматом называют формальную систему, определяемую кортежем

<А, В, £0, К>,

где А, В - конечные входной и выходной алфавиты, £ - конечное множество состояний автомата, К: (£хА)^-(£хВ) - его система команд, £0 - начальная конфигурация автомата.

Иногда конечный автомат представляют в виде аналогичного кортежа,

<А, £ В, Л, />,

где X: (£хА)^£ - функция переходов, / : (£ХА)^-Б - функция выходов.

4.6.2. Основу конечно-автоматной модели процесса обучения составляют автоматные модели ученика Мь и обучающей программы (учителя) Мт. Выходом X автомата Мт (и входом автомата Мь) являются учебный материал и контрольные задания. Выходом У автомата Мь (и входом автомата Мт) являются события, произошедшие в процессе обучения [27].

Задача обучающей программы (управляющего автомата Мт ) состоит в управлении с помощью своего выхода X автоматом Мь таким образом, чтобы за минимальное время привести его в заданное состояние (достичь заданного учебного результата). Задача может состоять также в достижение максимального результата за заданное время или в минимизация числа ошибок на выходе У автомата Мь на некотором интервале времени.

Во всех случаях решение задачи управления обучением может быть разбито на следующие этапы:

1) предъявление ученику очередного фрагмента учебного материала («урока»);

2) составление протокола процесса изучения урока;

3) анализ текущей ситуации;

4) выбор подходящей учебной стратегии;

5) планирование следующего урока.

В соответствии с этим автомат Мт может быть представлен в виде суперпозиции автоматов М1Т , М1,..., М5Т .

Автомат М1Т представляет собой модель интерфейса ученик-АОС. В простейшем случае этот автомат может быть автоматом с одним состоянием.

Автомат Мт отвечает за составление протокола обучения. Множество состояний данного автомата есть декартово произведение множеств £21, £2 2 и £2 3, описывающих

собственно протокол обучения, модель ученика и модель учебной ситуации соответственно.

Автомат МТ занимает в модели процесса обучения центральное место. Задачей этого автомата является принятие решений о действиях, которые следует предпринять в данной учебной ситуации - предъявить ученику контрольное задание, повторно предъявить ему учебный материал урока, вернуться к началу изучаемого раздела курса и т. п.

Для решения указанной задачи может быть использована система продукций, в левой части которых находятся условия на значения входа, а в правой — значения выхода. Более предпочтительным, однако, является решение, основанное на стереотипирование ученика (раздел 3.6). В «автоматных» терминах это решение имеет следующий вид. Полагаем, что автомат Мь представляет собой вероятностный автомат из некоторого

класса М^ = (М|,М2Ь,...,Мкь), где каждый из подклассов М[ соответствует одному из типов ученика. В зависимости от своего состояния автомат МТ относит автомат Мь к одному из подклассов Мгь. Зная этот подкласс, автомат М^ планирует последовательность действий, переводящих автомат Мь в состояние, желательное для данной учебной ситуации.

Автомат МТ4 управляет базой данных учебных стратегий, для которой вход является запросом, а выход — результатом обработки этого запроса.

Аналогично автомат М5 может быть описан как автомат управления базой данных учебных материалов, задача которой — подобрать материал, отвечающий запросу.

4.7. Прочие модели.

Комбинация сети Петри и цепей Маркова. Модель обучения, построенная на основе сети Петри и цепей Маркова, рассмотрена, например, в работе [63]. В качестве собственно модели процесс обучения использована сеть Петри. Цепи Маркова предназначены для получения вероятностных характеристик процесса обучения данного ученика, на основе которых осуществляется адаптивное управление этим процессом.

Модели на основе ПМЬ. В работе [28] для описания модели обучения использован язык иМЬ, точнее говоря, такие средства этого языка, как диаграммы состояний и диаграммы последовательностей или взаимодействий. Достоинством ЦМЬ в этом плане является удобство представления как статических, так и динамических элементов модели. Так, в этом языке объект может включать в себя другие объекты; объект может обладать поведением, в том числе и таким, которое можно представить в виде преобразователей входной информации в выходную информацию; ассоциативную связь между объектами

можно рассматривать как их «контактное» соединение; объекты нижнего уровня могут быть представлены как машины состояний или элементарные агрегаты и т.д.

Модель динамического сценария обучения на основе языка иМЬ предложена в работе [56].

Модель в виде набора продукций. В работе [27] модель процесса обучения представлена в виде набора продукции вида

если <условие> то <действие>. Модель использует специальный механизм оценки «качества» событий, происходящих в АОС (например, событие «оценка уровня знаний ученика»), в виде набора функций, допускающих интерпретацию типа «прогресс», «единичная ошибка», «нарастание усталости» и т.д.

Матричная модель [57]. Информационная модель знаний некоторой группы учеников (вектор знаний) в данной модели формализует распределение учеников по классам знаний и записывается в виде матрицы-столбца Q. Численное значение элемента qi данного столбца показывает долю учеников, имеющих i -й уровень знаний.

Трансформацию вектора знаний в процессе обучения определяет матричная модель обучения вида

Q " = AQ',

где Q', Q" - векторы знаний до и после обучения соответственно, А = (а1 у) - матрица

обучения. Здесь элемент а{ у показывает долю учеников, которые, находясь до обучения в

у-ом классе знаний, после обучения перешли в i -ый класс.

Процесс контроля знаний формализован с помощью диагональной матрицы контроля В, значения элемента которой Ъiравно оценке вероятности успешного

прохождения контроля учениками ьго класса знаний. Векторы знаний учеников после контроля определяют, таким образом, выражения

Q2 = (Е - А^', Qз = BQ', где Q2, Q3 - векторы знаний учеников не прошедших и прошедших контроль

соответственно, Е - единичная матрица.

Полагается, что схема обучения включает в себя п технологических операций обучения и тестирования, и, в общем случае, ученики могут быть направлены на любую операцию этой схемы. Таким образом, уравнение функционирования i-го элемента схемы обучения имеет вид

ВД++...+КГПП^П + Q0 + 0" = 0,

где 0 - вектор знаний на входе элемента с номером у; К/. - квадратная матрица .'-ой технологической операции /-го элемента; К/ - вектор знаний учеников, которые направляются из .'-го элемента схемы обучения в /-й элемент; 0 - вектор внешних знаний.

Система аналогичных уравнений для всех п элементов схемы обучения представляет собой систему п линейных матричных уравнений. Решение этой системы позволяет определить вектор знаний учеников на каждом этапе схемы обучения, а также поставить и решить задачу оптимального управления обучением.

Игровая модель. Как отмечалось, важнейшей составной частью процесса управления обучением является процесс тестирования. Новый класс моделей тестирования образуют модели на основе теории неантагонистических игр [64]. В такой модели игроками выступают тестирующая компонента АОС, с одной стороны, и ученик - с другой стороны. Основная идея подхода состоит в том, что в данной модели значение имеют не столько ответы учеников на контрольные задачи, сколько ход решения ими этих задач.

Когнитивная модель. Когнитивными моделями называют модели на основе когнитивных карт (раздел 2.6). Когнитивная модель передачи знаний учителем (или АОС) ученику рассмотрена в работе [65]. В этой же работе рассмотрена когнитивная модель усвоения знаний учеником.

4.8. Модели адаптации. Составной частью планирования процесса обучения является адаптация. Адаптацию в АОС можно определить как процесс изменения учебных воздействий на ученика, основанный на его текущей модели, с целью оптимального перевода ученика в требуемое состояние.

Задача адаптации включает в себя задачи

- адаптации предоставляемой ученику обучающей информации,

- аналогичную задачу адаптации контролирующих воздействий,

- задачу адаптации формы представления информации.

В задаче адаптации обучающей информации различают высоко- и низкоуровневую адаптацию. Высокоуровневая адаптация призвана выбрать для изучения следующий крупный фрагмент учебного курса (раздел, тему и т.п.), а низкоуровневая адаптация -учебный или тестирующий модуль в рамках выбранного фрагмента. В последнем случае с технологической точки зрения для решения задачи адаптации удобно использовать фреймы (раздел 2.3). В этом случае слоты фрейма, соответствующего данному концепту, содержат варианты его объяснения, ссылки на другие фреймы, разного уровня примеры и т.д.

Задача адаптации контролирующих воздействий. Технологически, для решения данной задачи удобно использовать специальные слоты указанного выше фрейма, содержащие разного уровня сложности тестовые задания для проверки степени усвоения учеником соответствующего концепта.

При организации адаптивного тестирования процесс тестирования можно рассматривать, как эксперимент, который необходимо спланировать таким образом, чтобы при минимальном числе тестовых заданий получить достоверную информацию о знаниях ученика [66]. В такой постановке задача может быть решена методами математической теории планирования эксперимента. В указанной работе с этой целью предложено использовать ортогональные планы типа латинских квадратов.

Для решения задачи адаптации тестовых заданий могут быть использованы также нейросетевые методы. Так в работе [67] для решения этой задачи предложено использовать нейросетевые классификатор и анализатор. Идея состоит в использовании следующего итерационного процесса. Нейросетевой классификатор на основе анализа ответов ученика на тестовые задания выделяет во множестве всех тестовых заданий классы «близких» для данного ученика заданий. Нейросетевой анализатор выбирает в указанных классах самые «расплывчатые» тестовые задания (в смысле степени уверенности в принадлежности их этим классам) и предлагает эти задания ученику.

В той же работе [67] для решения задачи адаптации тестовых заданий предложен метод, основанный на итерационном процессе интерполяции функции сложности заданий. Идея метода заключается в том, что на основе анализа ответов ученика на тестовые задания определяют сложность этих заданий для данного ученика. Затем подходящим образом интерполируют эту сложность на все множество тестовых заданий. На основе анализа поведения интерполирующей функции ученику предлагают задания, в которых эта функция наиболее «нерегулярна».

Адаптация формы представления информации. Основная цель адаптации формы представления информации (управления визуализацией) заключается в том, чтобы определить релевантные текущему профилю ученика объем, сложность и способ визуального представления учебной и иной информации. Некоторые методы решения этой проблемы, например, так называемый, механизм условного текста, рассмотрены в работах [32, 33].

Модель адаптации. В современных АОС в рамках модели процесса обучения выделяют модель адаптации, которая призвана обеспечить решение следующих задач:

- принятие решения о необходимости адаптации формы представления информации, а также содержания предоставляемой учебной информации или тестовых заданий;

- планирование действий, которые должны быть выполнены системой для реализации требуемой адаптации.

Известно несколько методов решения задачи адаптации, основанных, как правило, на различных механизмах логического вывода.

Отметим следующее обстоятельство. В настоящее время отчетливой является тенденция индивидуализации обучения, под которым понимается обучение в темпе и на уровне трудности, выбранными самим учеником. Индивидуальному обучению адекватна дистанционная адаптивная АОС, позволяющая ученику выбирать объем изучаемого материала, скорость обучения, уровень обучения, а также время и место обучения. В такой системе ученик, будучи объектом управления, одновременно становиться управляющим объектом по отношению к самому себе. Таким образом возникает эффект самоуправления или самоорганизации [63].

Одним из подходов к адаптации является подход на основе эталонных моделей, таких как HAM (Hypertext Abstmct МасЫт), модель Треллиса и Декстера, модель Халаса и Шварца, формальная модель Ланга, объектно-ориентированная модель Тауэра [32]. Данные модели, однако, описывают поведение системы на концептуальном уровне, а разработка конкретных механизмов адаптации остается за проектировщиком АОС.

Модели адаптации могут строиться также на основе нейронных сетей, «шаблонов навигационных путей ученика», фреймов и т.д. [32].

4.9. Примеры.

4.9.1. В системе дистанционного обучения ГИПЕРТЕСТ модель процесса обучения реализована в виде сети Петри, формальное описание которой имеет вид кортежа

< P, T, Я, Г, I- >,

где P - множество позиций сети, T - иерархически структурированное множество переходов; Я: ( P х L ) ^ )- функция разметки позиций сети, I ( P х T ),

I- ^ (P х T ) - бинарные отношения инцидентности на множествах P, T; L - множество учеников, ) - вероятностное распределение оценки на множестве исходов [33].

С точки зрения семантики, позициям сети P ставят в соответствие оценки

0 = (в1,в2,...), а переходам T - учебные TU и контролирующие модули TV. По

отношению к модулям TU, TV оценки 0 выступают в роли предусловий, наличие которых необходимо для освоения материала модуля, и постусловий, являющихся

следствием изучения элементов знаний модуля. Разметку сети интерпретируют как текущее состояние профиля знаний ученика.

По отношению к каждому из учеников данный учебный модуль может находиться в одном из трех статусов: «рекомендован»; «изучен»; «не рекомендован». Статус модуля определяют на основе следующих правил:

- если все элементы знаний, сопоставленные выходным позициям модуля, изучены, то модуль приобретает статус «изучен»;

- если модуль не изучен, но все его предусловия выполнены, то статус модуля принимает значение «рекомендован»;

- если хотя бы одно из предусловий модуля не выполнено, то статус модуля принимает значение «не рекомендован».

Говоря более строго, на каждом шаге обучения АОС вычисляет значения параметров всех постусловий. Если оценка знаний ученика для всех предусловий рассматриваемого модуля не меньше заданного порога Ап, то этот модуль классифицируют как рекомендованный для изучения. Аналогично, если оценка его знаний для постусловий рассматриваемого модуля не меньше порога Асш(, то этот модуль полагают изученным.

4.9.2. Вероятностная модель процесса обучения рассмотрена в работе [68]. Модель использует формализацию предметной области в виде семантической сети. Принято, что множество знаний образует домен знаний С = {с1,с2,с3,...,сп}, где сi, i е [1: п] -

элементарное знание. Если элементарное знание сi е С таково, что овладение его

учеником требует также овладения элементарным знанием су е С , то говорят, что знание

prereq

с , является пререквизитом для знания сi, и пишут с , ^ сi. Совокупность элементарных

знаний С и отношений между ними prereq образует семантическую сеть предметной области.

Во введенных обозначениях некоторая совокупность (состояние) знаний С е С называют возможной, в том и только в том случае, если для всякого элементарного знания сi е С множеству С принадлежат также все его пререквизиты

____prereq _

С е С о Ус. е С,Ус, е С,с, ^ сг ^ с, е С .

' ] ] . ]

Каждому возможному состоянию с е С ставят в соответствие априорную оценку вероятности Р(с) того, что ученик овладел этим знанием. После того, как ученику было предъявлено контрольное задание на знание им элемента с. и оценена правильность ответа на это задание, осуществляют переоценку вероятностей состояний

P(q), P(с2),..., P(cn). Если ответ на указанное задание был верным, то оценку вероятности P(ci ) увеличивают, а оценки остальных вероятностей уменьшают.

4.9.3. Use case модель процесса обучения предложена в работе [28]. Модель основана на следующей итерационной схеме обучения. АОС предлагает ученику для изучения некоторый фрагмент учебного курса, с которым связана соответствующая часть эталонной модели предметной области MO и набор тестовых заданий к нему. После завершения учеником изучения этого фрагмента, АОС предоставляет ему набор тестовых заданий, для каждого из которых он должен выбрать один из предложенных вариантов ответа. На основе этих ответов АОС строит или уточняет модель рассматриваемого фрагмента предметной области в представлении ученика МО. Далее АОС определяет

«разность» ДО моделей MO, M1Q и на этой основе строит набор ссылок на те части

рассматриваемого фрагмента учебного курса, которые требуют повторного изучения. Кроме того, на основе этой «разности» АОС формирует набор тестовых заданий, которые необходимо предъявить ученику после повторного изучения выделенных частей курса. Указанные шаги повторяют для данного фрагмента учебного курса до тех пор, пока для этого фрагмента не будет достигнуто условие ДО < 8, где 8 - пороговое число неусвоенных элементов предметной области.

5. Модели контроля

Напомним, что под контролем понимается процедура оценки учебных достижений ученика. С самой общей точки зрения задача такой оценки представляет собой задачу распознавания [58].

5.1. Классификация методов и моделей контроля. Методы оценки достижений ученика можно классифицировать с нескольких точек зрения - по цели контроля, по моменту времени формирования оценки, по способу вычисления оценки и т.д. [59]. К предмету данной работы относится только последняя из указанных классификаций.

По способу вычисления итогового балла, методы оценки достижений ученика разделяют на следующие классы:

- методы количественных критериев;

- методы вероятностных критериев;

- методы классификационных таблиц.

Методы количественных критериев основаны на вычислении значения некоторой величины q, которое затем сравнивается с предварительно заданными граничными

значениями этой величины ai, i е [1: (да -1)]. Другими словами, в методах этого класса оценка в определяет формула

1, q < a1,

2, a, < q < a2,

e = j ' 1 2 m q > am-1,

где да - максимально возможная оценка. При вычислении значения оценки в могут учитывать дидактические характеристики контрольных заданий, а также характеристики выполнения этих заданий учеником (время выполнения, число правильно выполненных заданий, число попыток выполнить задание и др.).

В основе методов вероятностных критериев лежит та или иная гипотеза о зависимости вероятности правильного ответа студента от уровня его подготовленности и параметров задания (см. разделы 5.2, 5.3).

Методы классификационных таблиц используют специальную процедуру вычисления степени близости распознаваемой строки (совокупности признаков ученика) к строкам, принадлежность которых к классам заранее известна.

Модель контроля можно определить, как одну или несколько функциональных зависимостей, связывающих подлежащие определению характеристики (параметры) ученика и контрольных заданий с такими величинами, которые реально проявляются в результате выполнения соответствующего контрольного задания (например, с вероятностью правильного выполнения данным учеником данного контрольного задания определенной трудности) [69].

Основными подходами к построению моделей контроля является подход на основе классической теории тестов (Classical Test Theory - CTT) и подход на основе современной теории моделирования и параметризации педагогических тестов (Item Response Theory -IRT). До настоящего времени тестирующие системы, в своем большинстве, используют первую из указанных моделей [46].

5.2. CTT-модели. Классическая теория тестов доминировала в тестологии до 60-х годов 20-го века, т.е. до появления IRT. В основе CTTлежит следующая модель контроля:

- эмпирический тестовый балл в i-го ученика является суммой его истинного (неизвестного) балла в и независимой (неизвестной) ошибки измерения 6 , т.е.

в=в+6;

- оценкой балла в является оценка математического ожидания величины в по множеству контрольных заданий;

- истинные баллы 0 не коррелируют с ошибками измерений 2, т.е. коэффициент корреляции указанных величин по множеству учеников равен нулю;

- ошибки измерения 22, 22 двух любых тестов не коррелируют между собой;

- ошибка измерения одного теста 22 не коррелирует с истинным баллом любого другого теста в? .

На основе СТТ-модели контроля построена теория надежности контрольных заданий, в соответствии с которой надежность задания оценивают величиной

V2

г = 1 —2, V2 °в

где ^ - оценки дисперсии ошибок измерения и дисперсии истинных баллов

соответственно. СТТ-модель позволяет построить и другие статистические критерии оценки качества контрольных заданий, например, их валидность [2].

Первичной информацией при контроле учеников с помощью СТТ-модели являются их первичные баллы. Достоинством этой оценки является ее простота и наглядность. Проблема заключается в том, что, в действительности, первичный балл ученика является не абсолютной, а относительной оценкой. Другими словами, этот балл, на самом деле, представляет собой индикатор подготовленности ученика, а не меру этой подготовленности - первичный балл ученика существенно зависит от трудности контрольных заданий и на других заданиях может оказаться иным. Кроме того, сама трудность контрольных заданий зависит от всего контингента учеников [70].

5.3. ШТ-модель. Нам понадобится далее термин «латентный (скрытый) параметр», под которым понимают свойство ученика, недоступное для прямого наблюдения. Латентными параметрами являются, например, уровни знаний, умений и навыков ученика. О значении латентного параметра приходится судить по значениям его некоторых индикаторов (индикаторных переменным), которые доступны для прямого наблюдения и измерения. Например, значение латентной переменной «уровень знаний» некоторого учебного материала может быть получено путем определения значения такой индикаторной переменной, как «оценка за выполнение контрольного задания» (соответствующего, конечно, данному материалу).

Приведем основные допущения 1ЯТ [71]:

- существуют латентные параметры личности, недоступные для непосредственного наблюдения, основными из которых являются уровень подготовленность ученика и уровень трудности контрольного задания;

- существуют индикаторные переменные, связанные с латентными параметрами, которые доступны для непосредственного наблюдения и по значениям которых можно судить о значениях латентных параметров;

- рассматриваемые латентные и индикаторные параметры являются скалярными. Основные преимущества IRT-моделей контроля перед классическими моделями

заключаются в следующем [71]:

- IRT-модели превращают измерения, выполненные в дихотомических и порядковых шкалах, в линейные измерения;

- меры измерения параметров IRT-моделей является линейными, что позволяет использовать широкий спектр статистических процедур для анализа результатов измерений;

- оценка трудности контрольных заданий не зависит от выборки учеников, на которой она была получена;

- оценка уровня подготовленности учеников не зависит от используемого набора контрольных заданий;

- неполнота данных (пропуск некоторых комбинаций ученик - контрольное задание) не является критичной.

Многие авторы отмечают, что IRT-модель обладает и рядом существенных недостатков. Например, для того чтобы получить надежную и не зависящую от учеников шкалу свойств, требуется провести контроль большой выборки учеников (не менее 1000). Могут иметь место значительные расхождения между предсказаниями IRT-модели и эмпирическими данными [70].

IRT-модель устанавливает связь между значениями латентного параметра di, представляющего собой уровень подготовленности i-го ученика, и значениями латентного параметра ßj, характеризующего трудность j-го контрольного задания; i е [1: n],

j е [1: m]. Указанную связь определяет функция P(0i ,ßj), представляющая собой оценку

вероятности правильного ответа ученика в зависимости от значений параметров di, ßj [71].

Известно несколько IRT-моделей, отличающихся видом функции P(dt ,ßj).

5.3.1. Чаще всего используют, так называемую, однопараметрическую модель Г. Раша (G. Rasch), в которой функция P(dt, ßj) представляет собой логистическую

функцию вида

Здесь 5 - нормирующий множитель, в качестве значения которого обычно используют величину 5 = 1,7, обеспечивающую совместимость модели Г. Раша с известной моделью A. Fergusson [71].

Величины в, ß измеряют в логитах

1в = ln —, ß = ln

в w ß W

где ~, w - доли правильных и неправильных ответов, полученных данным учеником по

результатам выполнения рассматриваемого контрольного задания; R, W - суммы правильных и неправильных ответов всех учеников при выполнении этого задания.

Итерационная процедура оценки значений величин 1в, lß (параметрическая

идентификация модели) детально рассмотрена, например, в работах [71, 72]. Данная процедура включает в себя вычисление оценок средних значений уровня подготовленности учеников и трудности заданий, а также дисперсий и стандартных отклонений этих оценок. Процедуру обычно строят на основе метода наибольшего правдоподобия Р. Фишера. Однако могут использоваться и другие, более эффективные методы нахождения устойчивых оценок значений указанных латентных параметров

[71, 72].

Исследование объективности результатов тестирования, полученных с помощью модели Г.Раша, выполнено, например, в работе [73]. В этой же работе исследованы некоторые дополнительные возможности модели Г.Раша, обусловленные наличием указанного свойства модели, например, свойство обнаружения искажений в измерениях.

5.3.2. Двухпараметрическая модель А.Бирнбаума. Если тест содержит задания с различной дифференцирующей способностью [2], то модель (5.1) не может адекватно описать результаты выполнения учениками таких заданий. Для преодоления этой трудности А. Бирнбаум (A. Birnbaum) ввел в формулу (5.1) еще параметр a (item discrimination parameter), который определяет крутизну характеристической кривой j-го задания:

ехр(5.(в -ßi))

P(ei,ßj) =- V }П V. (5.2)

1 + exp(j(в -ßj)) ' '

Увеличение значений параметр aj приводит к увеличению крутизны указанной кривой и, тем самым, к увеличению дифференцирующей способности задания.

5.3.3. Трехпараметрическая модель А.Бирнбаума. Для обеспечения еще лучшего соответствия теоретических и экспериментальных результатов контроля, А. Бирнбаум предложил модифицировать формулу (5.2) путем введения в нее параметра угадывания Ь:

Легко видеть, что увеличение значения параметра Ь, приводит к пропорциональному

смещению характеристической кривой ,-го задания вверх.

5.3.4. Четырехпараметрическую модель В.Аванесова [70] можно считать развитием модели (5.3) за счет добавления параметра у,, которому придается смысл внутренней валидности задания:

5.4. Прочие модели. Среди прочих моделей контроля упомянем модель А. Фергасона (А. Fergusson), в которой вероятность правильного ответа на контрольное задание выражена интегралом нормального распределения. Это обстоятельство позволяет использовать вместо логистических кривых вида (5.1) хорошо изученную интегральную функцию нормированного нормального распределения [71].

Отметим также модель Гутмана, которая, в отличие от рассмотренных моделей, оперирует с детерминированными константами, а не вероятностями [71].

В работе [74] предложена модель контроля на основе нечисловой статистики. В основу данного подхода положены следующие соображения. Значение уровня сложности задания зависит от качества преподавания, степени подготовленности ученика, наличия у него навыков выполнения сходных заданий, а также многих других факторов. Все эти факторы, равно как и сам уровень сложности задания, не могут быть выражены количественно. Поэтому практически невозможно построить модель контроля, которая учитывала бы все перечисленные факторы и позволяла определить точный уровень сложности задания для каждого конкретного ученика. Вследствие этого для построения модели контроля целесообразно использовать приближенные методы, в качестве одного из которых предложен метод на основе рассматриваемой модели. В указанной работе утверждается, что результаты, полученные с помощью этой модели примерно на 15% ближе к результатам независимой экспертной оценки, чем результаты, полученные с помощью классической модели.

(5.3)

(5.4)

6. Прочие модели

6.1. Метамодели АОС. Известен класс моделей, которые можно интерпретировать, как метамодели АОС. Например, в работе [52] предложена и реализована интегральная модель АОС, предназначенная для сравнительной оценки качества автоматизированных обучающих систем. В основе модели лежит стохастическая раскрашенная временная сеть Петри, так что процесс обучения описывается кортежем

< Р, Т, Я, Ь, Л1, р, 2>.

Здесь приняты следующие обозначения: Р - множество позиций, каждая из которых

соответствует этапу процесса обучения; Т - множество переходов, соответствующих обучающим заданиям (срабатывание перехода интерпретируется как выполнение

обучающего задания); Я=( Р х Т) ^ (Т х Р ) - отношение инцидентности, определяющее множества дуг, направленные от позиций к переходам и от переходов к позициям; Ь -множество цветов сети Петри, каждый из которых соответствует моделируемому ученику;

Л1:( Р ^ Ь0) и Я2:( Р ^ Ь ) - функции, задающие начальную разметку и раскраску дуг сети Петри; р : (Я х К) ^ [0,1] - функция, определяющая вероятность развития процесса

обучения в зависимости от текущей разметки сети; К = Р х Ц - множество всех

возможных разметок сети; 2: (2 х Т) ^ (- да,+да) - функция, задающая значения статистических атрибутов 2 каждого из переходов сети.

В число атрибутов цвета Ь/ кроме идентификатора ученика, входят параметры,

характеризующие оценки уровня изученности данным учеником соответствующего концепта: математическое ожидание и среднеквадратическое отклонение продолжительности изучения концепта; математическое ожидание и среднеквадратическое отклонение уровня получаемых при изучении концепта знаний; коэффициент корреляции между продолжительностью изучения концепта и уровнем получаемых при его изучении знаний и т.д.

Метамодель позволяет идентифицировать недостатки обучающего курса, а также качество используемых в АОС механизмов принятия решений.

6.2. Модели учителя. Кроме рассмотренных моделей предметной области, ученика, процесса обучения и контроля знаний, АОС может включать в себя в явном виде модель учителя (АОС) [27]. На основе комплекса всех указанных моделей можно оптимизировать процесс обучения с учетом взаимной настраиваемости учителя и ученика. Отметим, что в указанной работе в качестве моделей учителя и ученика используют адаптивные автоматы

(раздел 4.6.2), так что модель процесса обучения представляет собой итеративное взаимодействие этих автоматов. Автомат-«учитель» на каждой итерации процесса обучения выбирает оптимальный, с его точки зрения, объем предоставляемой автомату-«ученику» обучающей информации. Критерий оптимальности строят на основе того, как «усвоил» на предыдущих шагах обучения такую информацию автомат-«ученик».

6.3. Модели целей обучения. Известно относительно небольшое число работ, посвященных формализации целей обучения. В работе [34] отмечено, что данное обстоятельство обусловлено слабой разработкой таких проблем, как построение педагогических и психологических теорий получения знаний, формирования понятий, построения умозаключений. Обзор некоторых подходов к построению моделей целей обучения приведен в указанной работе.

6.4. Модели объяснения. Модель объяснения используется при контроле умений ученика и включает в себя следующие компоненты [34]:

- модель генерации объяснений, содержащих использованные правила, а также ошибки, допущенные учеником в ходе выполнения контрольного задания;

- модель предоставления ученику дополнительной информации об объектах предметной области и их связях;

- модель детализации объяснений и предоставляемой информации в зависимости от уровня знаний ученика.

6.5. Модели стилей учения. Вообще говоря, каждый ученик обладает индивидуальным познавательным стилем. Не совпадение этого стиля с познавательным стилем, на который явно или неявно ориентирована АОС, может существенно снизить эффективность и качество обучения. Отсюда следует необходимость поддержки в АОС моделей различных познавательных стилей учеников. Обзор наиболее известных моделей этих стилей приведен, например, в работе [75]. В этой же работе в качестве метода создания таких моделей предложено использовать метод на основе теории интеллектуальных агентов.

К задаче построения моделей познавательных стилей примыкает задача моделирования способов мышления учеников [75].

6.6. Модели диалога и модели забывания. Для формирования модели диалога с учеником могут быть использованы специальные языки описания сценариев диалога [34]. Модели забывания являются составными частями модели обучения и используются, в частности, при планировании временных интервалов контроля. Одна из моделей забывания приведена в разделе 1. Близкая модель рассмотрена в работе [27]. Некоторые другие модели забывания рассмотрены, например, в работе [76].

Заключение

В работе дан обзор основных классов математических моделей, используемых в современных АОС. Рассмотрены модели знаний предметной области, модели ученика, модели процесса обучения, модели контроля учебных достижений ученика, а также некоторые другие модели. Рассмотренные классы моделей не исчерпывают, однако, все многообразие моделей, которые находят применение в АОС.

На основании обзора можно сделать следующие выводы.

1). В настоящее время практически отсутствуют исследования, связанные с формированием модели компетенций ученика, отражающей его способности применять знания, умения, навыки и личностные качества для успешной деятельности в конкретной профессиональной области [34, 75]. В связи с интенсивным внедрением в образование компетентностного подхода, разработка таких моделей представляется весьма актуальной.

2). Важнейшей составляющей компетентности специалиста является его способность эффективно работать в коллективе. В то же время лишь немногие современные АОС поддерживают групповое обучение. В связи с этим актуальной задачей является разработка модельного (а также методического и алгоритмического обеспечения) ОАС, ориентированного на поддержку такого обучения. Модельное обеспечение таких АОС должно поддерживать синергетические технологии обучения, обеспечивая погружение учеников в ситуацию формирования эффекта умножения знаний, инсайтного озарения и т.д. [35, 76].

3). В значительной мере качество функционирования АОС зависит от использованных в ней моделей целей обучения. Однако известно относительно небольшое число работ, посвященных формализации этих целей. Поэтому актуальной является задача разработки новых моделей целей обучения [34].

4). Основную цель автоматизированного обучения можно сформулировать, как перевод ученика из состояния, определяемого его исходной моделью, в состояние, как можно более близкое к нормативному состоянию (определяемому нормативной моделью) по оптимальной образовательной траектории (индивидуальной для каждого ученика). Очевидным критерием оптимальности образовательной траектории является минимум отклонений фактической траектории обучения ученика от траектории, которую определяют соответствующие учебные планы (нормативной траектории). Однако можно предложить большое число других критериев. Таким образом, даже если говорить только об одной указанной цели обучения, задача формирования оптимальной образовательной траектории оказывается многокритериальной. В настоящее время известны работы, посвященные однокритериальным подходам к решению этой задачи (см., например,

работу [26]). Актуальной, на наш взгляд, является задача разработки многокритериальных методов решения задачи оптимизации образовательной траектории.

5). Типичной можно считать ситуацию, когда цели обучения ученика не полностью совпадают с целями обучения, на которые ориентируется АОС. Более того, возможны ситуации, когда эти цели являются, по крайней в некоторой своей части, антагонистическими. Поэтому актуальной задачей является разработка моделей обучения на основе теории неантагонистических и коалиционных игр. В настоящее время известны лишь немногие работы в этом направлении. Так в упомянутой в разделе 4.7 работе [64] модель этого класса использована в качестве модели тестирования.

6). С самой общей точки зрения, современную АОС (в особенности, АОС, поддерживающую групповое обучение) следует, на наш взгляд, считать много объектной многокритериальной конфликтно управляемой динамической системой [78]. Объектами такой системы являются ученики и модель учителя, которую, в конечном счете, реализует АОС. Критерии оптимальности управления образуют многоуровневую иерархическую систему и представляют собой формализацию целей учеников и учителя-АОС. Принадлежность системы к классу конфликтно управляемых систем вытекает из отмеченной выше возможной антагонистичности, по меньшей мере, некоторой части критериев оптимальности управления. Система является динамической поскольку динамическими являются, по сути, все ее основные компоненты - ученики, учитель и система критериев. Актуальной представляется задача разработки модельного обеспечения АОС (а также соответствующего методического и алгоритмического обеспечения), исходя из представления АОС в виде такой много объектной многокритериальной конфликтно управляемой динамической системой.

7). Весьма существенными особенностями АОС является значительный уровень случайных внешних возмущений на нее, а также высокий уровень неопределенности статических и динамических характеристик ее элементов. Этим условиям адекватны нейросетевые, нечеткие и нейронечеткие модели указанных элементов. В то же время известно относительно небольшое число работ, посвященных разработке таких моделей (см. например, работы [48, 49]). Таким образом, можно констатировать актуальность разработки моделей компонентов АОС в нейросетевом, нечетком и нейронечетком базисах.

8). Весьма актуальной в настоящее время является проблема мониторинга качества обучения, составной частью которой является проблема оценки качества АОС [79, 80]. Остроту последней проблемы повышает тот факт, что в настоящее время на рынке имеется более сотни отечественных и зарубежных АОС и список этих систем быстро

расширяется. Решение проблемы оценки качества АОС требует разработки метамоделей АОС, предназначенных для многокритериальной сравнительной оценки таких систем. В качестве методологической основы построения метамоделей АОС может быть использован предложенный в работе [51], так называемый, многослойный подход. Применение данного подхода требует решения следующих задач: определение набора слоев; формирование набора критериев для оценки качества каждого из выделенных слоев. Для решения указанных задач могут быть использованы рекомендации работы [52].

9). По аналогии с рассмотрением АОС как системы автоматического управления учеником (раздел 1), актуальной, на наш взгляд, является задача построения формальной модели автоматизированной системы управления образовательным процессом учебного заведения (АСУ ОП), как модели соответствующей системы автоматического управления. Объектом управления такой системы является учебный процесс, системой управления -управляющий модуль АСУ ОП. Управление осуществляется на основе постоянного мониторинга всех аспектов качества обучения с помощью специального модуля АСУ ОП. Важно подчеркнуть, что АСУ ОП является частью иерархической системы, верхним уровнем которой является АСУ учебного заведения, а нижним уровнем -автоматизированные обучающие системы конкретных предметных областей.

Автор выражает благодарность Добрякову А. А. за ценные рекомендации и советы, имеющие отношение к предмету данного обзора.

Работа выполнена в рамках Государственного контракта №16.740.11.0407.

Литература

1. Ивлева Е.В. Разработка и исследование интеллектуальных контролирующих систем с настраиваемой нечеткой экспертной подсистемой выставления оценок: Диссертация к.т.н.: 05.13.11 / Е.В. Ивлева Е.В.- Рязань, 2004.- 173 с.

2. Белоус В.В. Тестовый метод контроля качества обучения и критерии качества образовательных тестов. Обзор / В.В. Белоус, А.С. Домников, А.П. Карпенко А.П. // Наука и образование: электронное научно- техническое издание, 2011, №4. (http://technomag.edu.ru/doc/184741.html).

3. Растригин Л. А. Адаптация сложных систем. Методы и приложения / Л,А. Растригин.- Рига: Зинатне, 1981. -375 с.

4. Штойер Р. Многокритериальная оптимизация. Теория, вычисления и приложения / Р. Штойер.- М.: Радио и связь, 1992.- 504 с.

5. Углев В.А. Системный подход к процессу обучающего компьютерного тестирования / В.А. Углев, В.А. Устинов, Б.С. Добронец // Информационные технологии, 2008, №4, С. 81 - 87.

6. Атанов Г.А. Обучение и искусственный интеллект, или основы современной дидактики высшей школы / Г. А. Атанов, И.Н. Пустынникова.- Донецк: Изд-во ДОУ, 2002. - 504 с.

7. Тарасов В.Б. Логико-лингвистические модели в искусственном интеллекте -прошлое, настоящее и будущее / В.Б. Тарасов. (http://posp.raai.org/data/posp2005/Tarasov/tarasov.html).

8. Информационные технологии. Искусственный интеллект. (http://www.ssti.ru/kpi/informatika/Content/biblio/b1/inform_man/gl_16_1.htm).

9. Пущин М.Н. Разработка Concept Tree представления и контроля знаний, обеспечивающий заданный уровень функционирования человеко-машинных систем управления: Дис. ... канд. техн. наук: 05.13.01 / М.Н. Пущин.- Москва, 2003.- 184 с.

10. Атанов Г.А. Фреймовая организация знаний в интеллектуальной обучающей системе / Г.А. Атанов, В.В. Локтюшин. // Educational Technology & Society, 2000, №4(1), С. 137 - 149.

11. Gruber T.R. Toward principles for the design of ontologies used for knowledge sharing / Thomas R. Gruber // International Journal of Human-Computer Studies, V. 43, N. 5-6, 1995, P. 907-928.

12. Карпенко А.П. Методы отображения онтологий. Обзор / А.П. Карпенко, Р.С. Сухарь // Наука и образование: электронное научно- техническое издание, 2009, №1. (http://technomag.edu.ru/doc/115931.html).

13. OWL Web Ontology Language Overview. (http://www.w3.org/TR/owl-features/).

14. Protege is an ontology editor and a knowledge-base editor. (http://protege.stanford.edu/).

15. Деменкова Т. А. Favourite Subject - система дистанционного обучения (разработка, исследование и методика применения) / Т.А. Деменкова // Educational Technology & Society, 2004, №7(3).

16. Хорошевский В.Ф. Базы знаний интеллектуальных систем: Учебник для вузов / В.Ф. Хорошевский, Т.А. Гаврилова.- СПб.: Питер, 2000.- 384 с.

17. Булкин В.И. О некоторых вопросах идентификации знаний в интеллектуальных системах / В.И. Булкин, Н.В. Шаронова // Информационно-измерительные системы, 2005, №1(15), С.106 -112.

18. Усачев Ю.Е. Проектирование интеллектуального учебника. (http://www.e-joe.rU/sod/00/4 00/щ.Мт1)

19. Сиговцев Г.С. Моделирование учебных ресурсов для e-Learning / Г.С. Сиговцев, И.О. Семенов // Сборник трудов V Международной научно-практической конференции «Современные информационные технологии и ИТ-образование» (г. Москва, 8 ноября 2010 года).- М: МГУ им. Ломоносова, С. 239 - 244.

20. Карпенко А. П. Меры сложности семантической сети в обучающей системе /

A.П. Карпенко, Н.К. Соколов // Вестник МГТУ им. Н.Э. Баумана, серия «Приборостроение», 2009, №1(74), С. 50-66.

21. Краснова Т. Д. Мониторинг качества обучения с использованием современных технологий / Т.Д. Краснова // Сборник трудов одиннадцатого симпозиума «Квалиметрия в образовании: методология, методика, практика» (г.Москва, 16-17 марта 2006 года).- М: МГТУ им. А Н. Косыгина, Часть 3, С. 43 - 48.

22. Титенко С.В. Практическая реализация технологии автоматизации тестирования на основе понятийно-тезисной модели / С.В. Титенко, О.О. Гагарин. (http://co11ege-dress.ru/-quest-view-eq-Tytenko_Virt06_demo).

23. Парамонов А.И. Интенсиональные представления в виде нечеткой гибридной модели знаний / А.И. Парамонов // Штучний штелект, 2008, №4, С. 605 - 611.

24. Шихнабиева Т.Ш. Об использовании семантических сетей в обучении и контроле знаний по информатике / Т.Ш. Шихнабиева.

(http://www.ito.su/main.php?pid=26&fid=6858&PHPSESSID=d12d7b5d09fc001d24).

25. Бабенко В.Э. Экспертная система качественного контроля знаний / В.Э. Бабенко, О.Н. Егорышева, Г. Л. Кулешова // Системы и средства информатики. Вып. 3.- М.: Наука, 1992, С. 214 - 225.

26. Норенков И. П. Синтез индивидуальных маршрутов обучения в онтологических обучающих системах / И.П. Норенков, Н.К. Соколов. // Информационные технологии, 2009, №3, С. 74 - 77.

27. Алисейчик П. А. Моделирование процесса обучения / П. А. Алисейчик, К. Вашик, Ж. Кнап, В.Б. Кудрявцев, А.С. Строгалов, С.Г. Шеховцов // Интеллектуальные системы, 2006, т. 10, вып. 1-4, С. 189-270.

28. Литвинов В.В. Моделирование в обучающих системах / В.В. Литвинов,

B.Ю. Жигульская // Математичш машини i системи, 2009, № 4, С. 38 - 51.

29. SCORM. (http://ru.wikipedia.org/wiki/SCORM).

30. Норенков И. П. Технология разделяемых единиц контента для создания и сопровождения информационно-образовательных сред / И.П. Норенков // Информационные технологии, 2003, № 8, С. 4-15.

31. Карпенко А.П. Расширенная семантическая сеть обучающей системы и оценка ее сложности / А.П. Карпенко, Н. К. Соколов // Наука и образование: электронное научно-техническое издание, 2008, №12. (http://technomag.edu.ru/doc/111716.html).

32. Шабалина О. А. Модели и методы для управления процессом обучения с помощью адаптивных обучающих систем: Дис....канд. техн. наук: 05.13.10 / О.А. Шабалина.- Астрахань, 2005.- 158 с.

33. Пантелеев Е.Р., Шмелева И. А. Персональная адаптация программ методической WEB-поддержки автоматизированного проектирования / Е.Р. Пантелеев, И.А. Шмелева // Вестник ИГЭУ, Вып. 4, 2005, С. 1 - 7.

34. Рыбина Г.В. Обучающие интегрированные экспертные системы: некоторые итоги и перспективы / Г.В. Рыбина // Искусственный интеллект и принятие решений, 2008, №1, С. 22 - 46.

35. Добряков А.А. Экспертно-аналитический метод оценки качества образовательных систем на основе нечетко-множественного подхода / А.А. Добряков, В.М. Милова // Качество. Инновации. Образование, 2007, №1.- С. 36 - 41.

36. Коляда М.Г. Виды моделей, обучаемых в автоматизированных обучающих системах / М.Г. Коляда // Искусственный интеллект, 2008, №2, С. 28-33.

37. Буль Е.Е. Сравнительный анализ моделей обучаемого / Е.Е. Буль. (http://www.ict.edu.ru/ft/003576/tm2003-D.pdf).

38. Латышев В. Л. Интеллектуальные обучающие системы: контроль знаний и психодиагностика / В. Л. Латышев. (http://nit.miem.edu.ru/2004/plenar/9.htm).

39. Гиря И.А. Понятийный граф как основа ведения модели знаний / И.А. Гиря // Educational Technology & Society, 2010, №13(4).

(http://ifets.ieee.org/russian/periodical/V 134 2010EE.html).

40. Брусиловский П. Л. Построение и использование моделей обучаемого в интеллектуальных обучающих системах / П. Л. Брусиловский // Техническая кибернетика, 1992, № 5, С. 97-119.

41. Атанов Г.А. Моделирование учебной предметной области, или предметная модель обучаемого / Г. А. Атанов // Educational Technology & Society, 2001, №4(1), P. 111124. (http://ifets.ieee.org/russian/depository/v4_i1/html/4.html).

42. Представление и использование знаний: Пер. с япон., под ред. Х. Уэно, М. Исидзука.- М.: Мир, 1989. -220 с.

43. Лиу Янг. Моделирование образа обучаемого и алгоритм построения проверочных вопросов в интеллектуальных обучающих системах C-TUTOR / Янг Лиу // Тезисы докладов Всероссийской научно-практической конференции «Информационные технологии в образовании и науке "ИТОН-2006" (Москва, 4-5 февраля 2006 года). (http://iton.mfua.ru/2006/1 4.php).

44. Карпенко А.П. Контроль понятийных знаний субъекта обучения с помощью когнитивных карт / А.П. Карпенко, Н.К. Соколов // Сборник докладов Международной научно-методической конференции «Управление качеством инженерного образования и инновационные образовательные технологии» (Москва, 28-30 октября 2008 г.).- М.:МГТУ им. Н.Э.Баумана, 2008, Ч.2, С. 55-57.

45. Пустобаев В.П. Формализация элементов диагностики знаний учащегося /

B.П. Пустобаев, М.Ю. Саяпин // Информатика и образование, 2005, №7, С. 120 - 123.

46. Кузнецов А.В. Методика тестирования знаний и устранение случайных ошибок / А.В. Кузнецов // Educational Technology & Society, 2007, №10(1), P. 271 - 275.

47. Батуркин С.А. Адаптация и оценка ее эффективности управления учебным процессом / С.А. Батуркин // Дистанционное и виртуальное обучение, 2011, №2, С. 102 -116.

48. Кольцов Ю.В. Нейросетевые модели в адаптивном компьютерном обучении / Ю.В. Кольцов, Н.Ю. Добровольская // Educational Technology & Society, 2002, № 5(2). (http://ifets.ieee.org/russian/periodical/V_52_2002EE.html).

49. Короткин А.А. Математические модели искусственных нейронных сетей. Уч. Пособие / А. А. Короткин.- Ярославль, 2000.- 168 с.

50. Рубан А.И. Адаптивное управление с идентификацией / А.И. Рубан.- Томск: Изд-во томского университета, 1983.- 134 с.

51. Brusilovsky P. Adaptive hypermedia / P. Brusilovsky //User Modeling and User-Adapted Interaction, 2001, Vol 11, P. 87-110.

52. Воробкалов П. Н. Метод управления качеством электронных обучающих систем / П.Н. Воробкалов // Системы управления и информационные технологии, 2008, №3.2(33),

C. 238-243.

53. Классификация моделей обучения. Формальная модель обучения. (http://iasa.org.ua/lections/tpr/studying/classification.htm).

54. Горбов А. Методы обучения / А. Горбов, В. Овсянникова. (http://stunix.uni.udm.ru/~collor/sem_htm/EdSy_t.shtml).

55. Доррер А.Г. Моделирование интерактивного адаптивного обучающего курса /

A.Г. Доррер, Т.Н. Иванилова // Современные проблемы науки и образования, 2007, № 5, С. 52-59. (www.science-education.ru/18-547).

56. Курзыбова Я.В. Проектирование алгоритма функционирования адаптивных обучающих модулей в нотации иМЬ /Я.В. Курзыбова // Открытое образование, 2011, №1, С. 16 - 21.

57. Комлев В. В. Экономико-математические модели, структурно-параметрическая оптимизация и управление качеством технологий обучения. Автореферат диссертации на соискание ученой степени кандидата экономических наук. Специальность 08.00.13 /

B.В. Комлев.- Иваново, 2006, 19 с.

58. Прокофьева Н.О. Стратегии и методы проведения контроля знаний в компьютерном обучении / Н.О. Прокофьева. (http://ifets.ieee.org/russian/depository/v13_i1/pdf).

59. Сети Петри. (http://ru.wikipedia.org/wiki/Сеть Петри).

60. Доррер А. Г. Моделирование процесса обучения с помощью вложенных сетей Петри / А.Г. Доррер, Г. А. Доррер, Г.М. Рудакова. (http://library.krasu.ru/ft/ft/_articles/0112313.pdf).

61. Байесовская сеть доверия. (http://ru.wikipedia.org/wiki/Байесовская сеть доверия).

62. Цепь Маркова. (http://ru.wikipedia.org/wiki/Цепь_Маркова).

63. Дорофеев А.С. Индивидуализация процесса обучения с использованием обучающей системы /А.С. Дорофеев. (http://ito.edu.ru/2010/Arkhangelsk/II/II-0-34.html).

64. Нехаев И.Н., Власов А. А. Интеллектуальная система адаптивного тестирования уровня усвоения знаний / И.Н. Нехаев, А. А. Власов // КИИ-2010. Двенадцатая национальная конференция по искусственному интеллекту с международным участием (20 - 24 сентября 2010 г., г. Тверь, Россия). Сборник трудов.- М.: Физматлит, 2010, Т.3,

C.257-263.

65. Герасимова И.Б. Системный анализ процессов передачи и усвоения знаний на основе когнитивного моделирования / И. Б. Герасимова // Информационные технологии, 2010, №9, С. 70 - 75.

66. Маклакова Г.Г. Оптимизация процесса тестирования знаний методами комбинаторного планирования эксперимента / Г.Г. Маклакова // УСиМ, 2007, №2, С. 56 - 62.

67. Гагарина Л.Г. Теоретические основы интеллектуального тестирования / Л.Г. Гагарина, И.С. Фоминова, И.С. Калинников // Информационные технологии, 2008, №8, С. 64 - 70.

68. Арифов А.О. Математическая модель электронной системы адаптивного тестирования / А.О. Арифов.

(http://fivt.fizteh.ru/conf/in_prac_08/In_prac_fupm/m_3rhhxj.html).

69. МОДЕЛЬ ТЕСТИРОВАНИЯ. НАЦИОНАЛЬНАЯ ПСИХОЛОГИЧЕСКАЯ ЭНЦИКЛОПЕДИЯ.

(http ://vocabulary.ru/dictlonary/4/word/).

70. Лаврухина Н.А., Абасова Н.И. Методы оценки качества тестов по результатам

тестирования / Н. А. Лаврухина, Н.И. Абасова // Информационные технологии и проблемы математического моделирования сложных систем.- Иркутск: ИИТМ ИрГУПС, 2010, Вып. 8, С. 124 - 134.

71. Ким В.С. Тестирование учебных достижений. Монография / В.С. Ким.-Уссурийск: Издательство УГПИ, 2007, 214 с.

72. Олейник Н.М. Тест как инструмент измерения уровня знаний и трудности заданий в современной технологии обучения. Учебное пособие /Н.М. Олейник.- Донецк: ДГУ. (http://opentest.com.ua/test-kak-instrument-izmereniya-urovnya-znanij/).

73. Карданова Е.Ю., Карпинский В.Б. Специальные методы анализа результатов тестирования , основанные на свойстве объективности модели Раша / Е.Ю. Карданова, В.Б. Карпинский // Информационные технологии, 2008, №4, С. 72 - 80.

74. Кинцель Д.А. Нечисловой подход к моделям тестирования и оцениванию параметров тестов / Д.А. Кинцель, А.В. Кузнецов // Educational Technology & Society, 2007, №10(1), С. 276 - 281.

75. Добряков А. А. Тенденции и современные подходы к компетентностной подготовке специалистов технического профиля (Концептуальные положения, модели, методы, принципиальные схемы и комментарии к ним) / А.А. Добряков // Труды Всероссийской научно-практической конференции с международным участием «Информационные технологии в обеспечении нового качества высшего образования (1415 апреля 2010 г., Москва, НИТУ «МИСиС»)».- М.: Исследовательский центр проблем качества подготовки специалистов, 2010. - 56 с.

76. Кравченко Ю. А. Моделирование познавательных стилей на основе свойств интеллектуальных агентов / Ю.А. Кравченко // Сборник трудов V Международной научно-практической конференции «Современные информационные технологии и ИТ-образование» (Москва, 8 ноября 2010 г.).- М.: МГУ им. Н.В.Ломоносова, 2010, С. 85 - 95.

77. Строганов В.Ю. Формализованная модель учебного плана в задаче оптимизации индивидуальной образовательной траектории / В.Ю. Строганов, Д.В. Строганов, А.Б. Николаев // Тезисы докладов Международной научно-методической конференции

«Управление качеством инженерного образования и инновационные образовательные технологии» (28 октября 2008, г.Москва).- М.: МГТУ им. Н.Э.Баумана, 2008, Ч.2, С. 54 - 58.

78. Воронов Е.М. Методы оптимизации управления многообъектными многокритериальными системами на основе стабильно-эффективных игровых решений: Учебник для вузов / Е.М. Воронов.- М.: Изд-во МГТУ им. Н. Э. Баумана, 2001,- 549 с.

79. Панченко В.М. Компьютерные технологии обучения. Мониторинг качества обучения в техническом ВУЗе на основе ретроспективного экспертного комплекса / В.М. Панченко, М.И. Шорохов - М: Изд-во МГИРЭА, 2006 - 156 с.

80. Нечаев В.В. Концептуальное метамоделирование структур / В.В. Нечаев // Международная Академия информатизации; Отделение "Математическое и компьютерное моделирование". - М.: Международное изд. "Информация", 1997.- 52 с.