Персональная адаптация программ методической Web-поддержки автоматизированного проектирования Текст научной статьи по специальности «Компьютерные и информационные науки»

УДК 004.31

ПЕРСОНАЛЬНАЯ АДАПТАЦИЯ ПРОГРАММ МЕТОДИЧЕСКОЙ WEB-ПОДДЕРЖКИ АВТОМАТИЗИРОВАННОГО ПРОЕКТИРОВАНИЯ

Пантелеев Е.Р., канд. техн. наук., Шмелева И.А., асп.

Рассматриваются методы персональной адаптации программ Web- поддержки автоматизированного проектирования (АП), реализованные в системе дистанционного обучения ГИПЕРТЕСТ. Описаны информационная модель, лежащая в основе предложенных методов адаптации, и методика оценки их эффективности, которая использует гипотезу статистической зависимости между результатами подготовки и интенсивностью использования механизмов адаптации.

Актуальность персональной адаптации1 программ Web- поддержки АП определяется необходимостью настройки структуры и содержания информационных ресурсов поддержки в соответствии с профессиональными потребностями и уровнем подготовки проектировщиков. Эти характеристики изменяются в достаточно широких пределах. Молодые специалисты, обладая необходимыми навыками использования информационных технологий, не имеют опыта проектирования, в то время как проектировщики с большим стажем практической работы часто испытывают проблемы с применением компьютеров в профессиональной сфере.

В коммерчески распространяемых системах Интернет-обучения (ОРОКС [1], Прометей [2], Доцент [3], WebCT [4], eLearningServer [5]) механизмы адаптации не предусмотрены, что делает их непригодными для обеспечения методической поддержки САПР. Наличие адаптации является отличительным признаком интеллектуальных обучающих систем AHA, Interbook [6], ELM-ART [7]. Адаптация позволяет разумно построить работу с системой, заранее предупреждая пользователя о попытках обращения к материалу, к изучению которого он не готов, либо ограничивая объем материала, если знания пользователя достаточны.

Методы адаптации структуры программ Web-обучения принято называть адаптивной навигацией, а методы адаптации содержания - адаптивной визуализацией [8].

Адаптивную навигацию можно рассматривать как специфичный для гипермедиа механизм адаптации, способствующий ориентации пользователя в гиперпространстве с целью поиска оптимального маршрута подготовки. Механизмы адаптивной навигации используются, в частности, для сортировки, аннотирования или ограничения доступности ссылок, неявно определяя, таким образом, выбор очередного фрагмента учебного или контролирующего материала.

Первые подходы к управлению навигацией представляли собой выбор оптимального статического маршрута прохождения программы Web-поддержки из предопределенного набора вариантов [9]. Позднее были предложены методы дина-

мической сортировки, аннотирования и сокрытия ссылок, реализующие собственно адаптивные подходы.

Навигационная адаптация чаще всего представлена в форме аннотированных2 ссылок, которые в некоторых случаях (ELM-ART II) дополнены рекомендациями по выбору следующего шага. В качестве следующего шага может быть выбран либо незавершенный тест, либо первый раздел, к изучению которого пользователь в данный момент подготовлен. В некоторых системах пользователь получает информацию не только о статусе раздела (рекомендован, не рекомендован, изучен), но и о степени его изученности (INSPIRE, NavEx).

Адаптивная визуализация преследует цели тонкой настройки формы и содержания учебного материала в соответствии с целями подготовки, уровнем знаний и другими профессиональными качествами, поддерживаемыми моделью пользователя. В системах с адаптивной презентацией страницы учебного материала динамически конструируются из примитивов в соответствии с оценками профессиональных качеств пользователя. Например, возможна настройка степени детализации материала в зависимости от уровня подготовки слушателя или выбор вербальной или визуальной формы представления материала в зависимости от персональных особенностей его восприятия. В существующих системах адаптивная визуализация представлена логическим включением / выключением объектов (ELM-ART II [7], AHA! [6]). Механизмы адаптивного представления других систем, например ELM-ART и Interbook, отображают только сообщения о недостатке знаний пользователя для изучения соответствующего раздела.

Оценки персонального уровня подготовки, на которые опирается навигационная и визуальная адаптация, могут быть сформированы либо путем явного контроля знаний при помощи тестов, либо косвенно, путем анализа журнала активности пользователя в среде Web-обучения.

Недостаток большинства известных методов адаптации (например, реализованных в системах NavEx, WebEx [10], ELM-ART, AHA!) заключается в том, что они основываются на анализе статистики действий пользователя, которая не является достаточно достоверным свидетельством знаний. Например, многократное посещение той или иной страницы

1 Под персональной адаптацией понимается динамическая настройка структуры и содержания программ WEB- поддержки в соответствии с оценками профессиональных качеств пользователя

Под аннотированием ссылки понимается снабжение ее рекомендациями по посещению соответствующего раздела.

может быть обусловлено различными причинами (в том числе чисто техническими). В других аналогах (ELM-ART II) динамическая модель пользователя содержит информацию не только о посещении страниц, но и об уровне его подготовки, на основании оценок которого и выполняется адаптация. Однако этот подход ориентирован на конкретную область предметных знаний. В данном случае - на обучение программированию.

Таким образом, можно выделить два основных требования к методам адаптации материалов Web-поддержки АП: универсальность адаптационных механизмов и достоверность оценок, на которых они базируются. Как видно из приведенного анализа, ни одна из рассмотренных реализаций не покрывает этих требований в полном объеме. Поэтому данная статья посвящена вопросам разработки информационных основ адаптации, а также реализации методов адаптации, которые позволяют преодолеть отмеченные недостатки, в системе методической поддержки АП ГИПЕРТЕСТ [11].

Информационная основа алгоритмов адаптации

Информационную основу адаптации в ГИПЕРТЕСТ составляет интегрированная информационная модель (ИИМ), объединяющая модели пользователя, содержания и структуры программ методической Web-поддержки.

Оверлейная модель пользователя [12] представлена тремя атрибутами:

Obj = (Key, PQ,U).

Здесь Key - идентификационные данные; PQ = LR u LA u LS - множества оценок профессионально важных качеств (результатов подготовки LR, способностей LA, стиля учения LS), U

- множество функций полезности, определенных на множестве PQ.

Модель обеспечивает информацией алгоритм управления параметрами методического материала в функции оценок PQ.

На концептуальном уровне модель содержания представлена семантической сетью

EK = (N, A,S)

v , вершинам которой сопоставлены

декларативные знания D(понятия) и процедурные

знания ®2, где N = D u&2, а дугам A £ D * D,

- набор семантически окрашенных структурирующих отношений S ■ A ^ {род/вид, часть/целое, класс/экземпляр, объект/атрибут}. Примером единицы декларативных знаний может служить определение любого понятия. Например, понятие «Единая модель проекта» из курса «Автоматизация проектирования систем контроля и управления в среде AutomatiCS» определяется как «Структурированное описание предметной области, вместе с определенными на этом описании правилами выбора вариантов (фреймами) и последовательностью принятых проектных решений, представляет собой единую модель проекта».

На визуальном уровне модель содержания

представлена парой нал визуализации

OV = (EV ,IV)

. Экстенсио-

EV =

{текст, графика, гипер-

ссылка, апплет, флэш-анимация} определяет избыточное множество примитивов визуального

представления понятия ^6 ^. Интенсионал формализован двудольным ориентированным

графом: I" = (И, ИЛИ, Р И^М,), где ИЛИ = О и С и Ф - множество вершин, определяющих альтернативные варианты на уровнях объема, сложности и формы визуализации; И = ИО и ИС и ИФ - множество вершин, определяющих структуру вариантов; Р - отношение смежности вершин из И и ИЛИ; W1, W2 - вещественные функции веса вершин И/ИЛИ, используемые правилом выбора:

М : ИЛИ х Ц(РО) ^ Ш , которое определяет вес ИЛИ-вершины с учетом полезности профессиональных качеств обучаемого 11(РО);

) = £м2(или),

или 6 Я - (и)

которое определяет вес И-вершины как сумму весов дочерних ИЛИ-вершин,

Я- (и) = {и | Я(и, или)}. Выбор доминирующего

3

варианта определяется правилом

3(или) = АгдМахЩ(и))

ибЯ - (или)

Последовательное применение правила к ИЛИ-вершинам из О, С, Ф позволяет определить

Е' с Б"

подмножество — элементов визуального представления понятия с1 в функции текущих значений профессионально важных качеств пользователя и создает информационную основу метода персональной адаптации содержания.

Модель структуры программ МвЬ-поддержки представлена в виде сети Петри (1_Р -

сеть): LP = (Р,Т,р,1 + ,1-). Здесь Р - множество

позиций 1_Р - сети; Т = Т' и Тс - иерархически структурированное множество переходов; р: Р х ' ^ р(0,-) - функция разметки позиций сети, где 1_ - множество пользователей САПР, Р(@1) =< Р($/ I к) | к = 1..П > - вероятностное распределение оценки на множестве исходов; I Р х Т,1 Т х Р - бинарные отношения инцидентности на множествах Р и Т.

Семантика модели заключается в сопоставлении

позициям сети Р целей подготовки ®2 (реквизитов), а переходам Т - модулей теоретического материала

т-' -гС

Т и модулей оценки результатов подготовки Т .

По отношению к модулям цели выступают в роли предусловий, наличие которых необходимо для освоения материала модуля, и постусловий, являющихся следствием прохождения модуля. Разметка 1_Р-сети интерпретируется как текущее состояние профиля знаний пользователя.

Наличие явно декларированной связи между структурой и содержанием методического материала на уровне информационно-целевых пред- и постусловий создает информационную основу для адаптивного управления навигацией на основе динамически вычисляемой оценки пред- и постусловий:

е I ± (р±, (): ) • к >Д(р±).

к=1

Если взвешенное по вероятности значение оценки персональных знаний для любого из контролируемых пред- (пост-) условий не меньше заданного порога Д, модуль классифицируется как рекомендованный для изучения (изученный).

Примером модулей могут служить разделы учебного курса (например, разделы «Терминология агрегативно-декомпозиционного (АД) проектирования» и «АД-технология автоматизации проектирования» из курса «Автоматизация проектирования систем контроля и управления в среде АиЬта^СЭ»). Выходной интерфейс модуля «Терминология АД-проектирования» включает элемент знаний «АД-терминология», который одновременно является входным элементом знаний для модуля «Компоненты АиЬта^СЭ». Следовательно, чтобы приступить к изучению этого раздела, необходимо успешно сдать тест по разделу «Терминология АД-проектирования».

Методы навигационной адаптации

Адаптация ссылок на модули учебного материала ГИПЕРТЕСТ предусматривает три рекомендательных статуса (рекомендован - Я(^), изучен - -(?), не рекомендован - N(t)), которые определяются в соответствии со следующими правилами:

• если все элементы знаний, сопоставленные выходным позициям модуля, изучены, то модуль маркируется как изученный:

(Уру- е I - (р-, 0 : £ рф]к) • к > Д(ру)) ^ -(?); к=1

• если родительский модуль в древовидной структуре модулей программы изучен, то изучены и все его дочерние модули (правило наследования);

• если модуль не изучен, но все пред - условия выполнены, то модуль маркируется как рекомендованный:

(Ур+ е I + (р+, ?): £ рфк) • к > Д(р+)) ^ ^);

к=1

• если хотя бы одно из предусловий не выполнено, модуль маркируется как не рекомендованный

(Эр + е I + (р+, ?): £ рфк) • к < Д(р+)) ^ ).

к=1

Как показано на рис. 1, после успешного прохождения теста по теме «АД-терминология» раздел «Терминология АД-проектирования» получил статус пройденного, а следующий раздел «Компоненты АиЬтайСЭ», входным интерфейсом которого является элемент знаний «АД-терминология», получил соответственно статус рекомендованного к изучению.

В ГИПЕРТЕСТ поддерживается еще один режим адаптивной навигации, объектом которой является множество ссылок на элементы предметных знаний (глоссарий). Каждый пункт глоссария - это название элемента знаний, которое интерпретируется как локальная ссылка в пределах модуля, где этот элемент знаний определяется, т.е. сопоставлен одной из его выходных позиций (рис. 1, б).

Адаптивная маркировка элементов знаний глоссария осуществляется по следующим правилам:

• если элемент знаний входит в профиль программы (т.е. оценивается тестом и имеет регламентированное минимально допустимое значение), то проверяется текущая оценка пользователя по данному элементу знаний. Если оценка выше минимально допустимого значения, то элемент знаний маркируется как изученный;

• если элемент знаний не изучен или не входит в профиль программы, то маркировка осуществляется в соответствии с маркировкой модуля, в выходном интерфейсе которого присутствует данный элемент знаний. Т.е. если модуль изучен - маркируем элемент знаний как изученный, если рекомендован - как рекомендованный, а если не рекомендован - как запрещенный.

Как и в случае с маркировкой модулей, при прохождении теста по теме «АД-терминология» (рис. 1, б, в) элемент знаний «АД-терминология» и все элементы знаний, относящиеся к этой теме (такие, как «Агрегирование», «Внешний контакт» и др.), маркируются как пройденные. А элементы знаний из раздела «Компоненты АиЬтайСЭ» («Базы данных», «Базовые шаблоны табличных документов») получают статус рекомендованных.

Для модулей, маркированных как «не рекомендованные», по щелчку мыши на соответствующей пиктограмме автоматически генерируется аннотация, содержащая список модулей, изучение которых должно предшествовать освоению материала данного модуля. В список включаются только те модули, успешное освоение которых не подтверждено результатами тестов.

Адаптивная визуализация

Основная цель управления визуализацией заключается в том, чтобы ограничить объем материала Web-страницы теми сведениями, которые релевантны профилю обучаемого, например, за счет исключения примеров, процедур доказательства и т.п., и сократить время обучаемого на прохождение курса.

Метод персональной адаптации основан на использовании И / ИЛИ-модели визуального материала (рис. 2). Его отличает каскадное применение правила ^ фильтрации материала на ИЛИ-уровнях, определяющих его объем О, сложность С и способ визуального представления Ф. Связь между значениями составляющих персонального профиля (результатов обучения 1_Р, способностей 1_А, стиля учения 1_А) и управляемыми характеристиками методического материала (весами иЛи - вершин) модели описывается матричным уравнением Wi (ИЛИ) = и-х • -X, где W¡ (.) - вектор весов ИЛИ-вершин на уровне I; и(.) - матричные функции полезности и, и-А , и1-3 ; элемент и-х определяет конкретный тип

зависимости (монотонная, экстремальная или константная) между 1-й персональной характеристикой и весом ]-й визуальной группы.

Содержание

В -^.Автоматизация проектирования систем контроля и управления в среде Automatics

Общие сведения ¡■Jl Структур но сложные системы В НЙАгрегативно-декомпозиционная технология проектирования сложных систем 0 Терминология АД-

проектирования Н Компоненты Automatics El База данных и

знаний В - Язык описания типовых структур Ш АД-технология автоматизации проектирования

■' Изучено

Рекомендовано :! Не рекомендовано

а). адаптивная разметка ссылок

б). адаптивная разметка глоссария

в). состояние персонального профиля

мой учебной информации, и вычисленных значений «весов» этих групп3.

Корреляция между оценками способностей и весами визуальных групп понятия «векторно-матричная модель САУ» описывается при помощи функций полезности у=1(х), где х - числовое значение параметра персонального профиля.

Табл. 1

Корреляция между визуальными группами понятия «векторно - матричная модель САу» и

Рис. 1. Адаптивная разметка ссылок на модули программы

Адаптация представляет собой каскадную процедуру отсечения доминируемых в смысле значения функционала вариантов визуализации. Процедура отсечения применяется к тем узлам И/ИЛИ-модели, корни которых соответствуют доминируемым вариантам И ф И , а терминальные и внутренние вершины не входят в иерархию доминирующей альтернативы

н = (У сЛ(ру) | Р1 = И*}, где сЛ(ру) - множе-

]

ство дочерних вершин р. Последовательное применение отсечения на уровнях, определяющих объем, сложность и визуальную форму представления методического материала, позволяет однозначно определить оптимальный набор визуальных элементов.

Рассмотрим реализацию метода визуальной адаптации, использующую экспертные оценки коэффициентов зависимости между составляющими результатов подготовки по программе «Автоматизация функционального проектирования сложных динамических объектов» и визуальными группами, обеспечивающими вариации содержания концепта «Векторно-матричная модель систем автоматизированного управления (САУ)» (рис.2,3, табл. 1). Оценки коэффициентов определены на пятибалльной шкале (5 - сильная корреляция, 4 - выше средней, 3 - средняя, 2 - ниже средней, 1 -слабая, 0 - корреляция отсутствует). Отдельная строка этой таблицы содержит взвешенные коэффициентами значимости учебных целей оценки уровня подготовки. Значения приоритетов визуальных групп показаны в правом столбце табл. 2. Она содержит результаты измерения уровня развития этих качеств, экспертных оценок их корреляционной зависимости с визуальными группами, определяющими уровень сложности предъявляе-

Визуальные группы / компоненты профиля уровня подготовки Состояние системы (a) Уравнения состояния (b) Матрица состояния (с) Вес визуальной группы

Эталонный профиль знаний (5) 2.5 2.5 2.5

Персональный профиль знаний (а) 5 0 3

Введение 4(5-а) 3(5-а) 5(5-а) -1

Определение 5(5-а) 5(5-а) 5(5-а) 2.5

Пример 1 3(5-а) 5(5-а) 4(5-а) 6

коэффициенты функций полезности выбраны из условий нормировки значений этих функций в диапазоне -0,5..0,5

Табл. 2

Корреляция между визуальными группами понятия «векторно-матричная модель САУ» и профилем

способностей (фрагмент)

Визуальные группы / компоненты профиля способностей Интеллект (а) Память(Ь) Работоспособность (с) Вес группы для Профиля 1 Вес группы для Профиля 2

Профиль 1 0,5 0,1 0,5

Профиль 2 0,5 0,9 0,5

Понятие ВММ 0 2 -1,5 Ь +1 0 0,32 -0,45

Роль ВММ 2 -1,5 а +1 0 с - 0,5 -0,17 -0,17

Постановка задачи 0 2 -1,5 Ь +1 0 0,32 -0,45

Вывод уравнений 0,5 -(а - а5)2 0,25 0 с - 0,5 0,5 0,5

Результат 0 2 -1,5 Ь +1 0 0,32 -0,45

На уровне оценки стиля учения профиль клиента и параметры матрицы корреляции имеют вид, представленный в табл. 3. Здесь параметры персонального профиля пересчитаны с использо-

С =

ванием соотношений:

Я - 5 Я -С

Я =

Я -С

где 1_, Р- соответственно, левая и правая границы шкалы; 1_", Р - мера проявления качества, соответ-

ствующего левой и правой границе, Э - измеренное значение показателя. Например, мера проявления качества «визуальный» по шкале «визуальный-вербальный» вычисляется как нормированное расстояние от правой границы шкалы:

с =11 -(-7)

22

0,8

ч

о

я

о

ш

N

| Гиперссылки 1 Видео | Звук | Анимация | Графика | Текст | Профиль Визуальные группы / компоненты стиля учения

СП О о о СП о СП о о ю СП о Сенситивный

ю СП СП о СП о о СП о СП о - Интуитивный

О о о ю СП о со о ю СП о оо Визуальный

О оо о о о СП о ю СП ю СП о ю Вербальный

О о о -ч о о о о о Последовательный

ю СП со о СП о СП о о о - Глобальный

СП о 1 176 I СП о СП СП I 167 I I 125 I Вес визуальной группы

о ^

ф

о ч

ш ^

о

о ф

Е

ф

0 -О

тз

О) ч

1 ф ^ "О

Е ¿2

ш 5

О) о

» 5

и

I 2

ч ь

ш

о „

О ф

"О Ч

ф л

0 о)

ш

0) ч

1 ^

I ш

О 0) о

-с

ш ф

1 ч

ш

О 0)

"О 0)

сг

о ф ь 1

о

о - ?

О и

2» 8 -Ь 0)

ф I

■с

>

0) I Ь 0)

0) ь

=1 о

о *

о

0) о

и

03 Ф

■§ н

= 8

О ^

° о сг °

I 5 о

я ф

03 I ^ ы 03 н сг

"О ф

^

о ф

■ ■ 03

н

X 2 0) Ф

ф ^

н о 5 = ^

^ ^ о

" ^ Н

I

£ 8 I

ф

ф "О

ш

о о ч

"О ф

о\

0 ш 0)

1 I

о о

Ч =1

ТЗ о

ф ^

о\ 0)

о "

ш Ш

0) ^

0) X Ь 03

0) тз 3 т

-■= -й ^ тз

о ^

сг о X Е

I Ч ^ ф

^

о тз

тз ф

ь а

й го

| 8

Е §

п> ш

=1 ^

-О " 03

Ё §

а и к:

Г5 03

ф ь

I сг г

0) ь

сг о Е

5 х

Ь 03

о\ ь х: ф

Ф 2

0) о\

о о

ш

^

-§ I

м

5 §

5 ¡г

X

"О п-Ф Н и ^

=1 -С

° Й §3

Ф тз

0) 03

я ш =1 сг

о тз ^

о-в- 20

1= ф т

тз 0)

0) о\

СО-о 0)

г; о

5 ф

I

0)

ф

I I

е

X

0)

ф

ш | I ° ^ ^ н 5

X и ф -П

I 2

тз

03 ^

о;

ь о о н

0)

о о

Е

ь

о тз

^ п>

0) и

н ^ 3

^ о

о

о

Н 0)

° Е ф

о оз

н ь

о" "5

ф 5)

51

Я -

н 2

о $

а 5 ч

о

о\тз

я ф

е; со

11 3 СГ

г

0)

03 О ч

ч и п I

ф

ф

ь ^ 0)

ТЗ I Ф 03

о

-в

=,03

©

тз 0)

тз о

■а

а

ы ^

I

0)

р

=1 тз

г л> тз й) ь

л

I

о

и

и й) с

0) о

тз

0 ш 0)

1 I СГ

0) ь

СГ I

г Хс

и

ь

ф

ф

ш Е ш

0 ь

тз 0) ш

1

ф

it

-a-'S.

ft:

S I ■gj

■э- ^

'T.: £ "T. S

ÏS5

,Í3

il ■г tr-!

£

О) Л

О)

О) J=

о а

ш

CD

О ТЗ

0) H тз s X I 0) а

о ь

CD сг

Щ

ill

!П

l!ï

J ü

IS i

¡1 I:

r

6 r

oo □u CD fci CD

n:

f í

а Я

II

H

-I If

^ H

в в

? ï

+ +

? F

ii-Èi

о и

+

L#

В таком случае коэффициент корреляции для выборки из N пользователей (на примере ссылочной адаптации) определится выражением

гао -'

1

X (АМ - Ам )(О' - О )

i-1,n

N -1

X (АМ - Ам )2 X (Оi - О )2

i-1,n

i-1,n

Знак гАО относительно нуля характеризует

влияние предлагаемых механизмов адаптации на качество подготовки проектировщиков, однако эта характеристика требует дополнительной проверки путем вычисления доверительной оценки истинно-

го

значения

гй

вероятностью

rAO tNa

1 - r

AO - rAO - rAO + tNa

1 - rA

AO

а

где

N N

tNа -коэффициент Стьюдента. Если границы полученного доверительного интервала не охватывают ноль, выявленная корреляция (положительная или отрицательная) существует с доверительной вероятностью а.

Эксперимент, проведенный с группой студентов-дипломников кафедры «Системы управления» ИГЭУ по программе «Автоматизация проектиро-

вания систем контроля и управления в среде А^отайСЭ», показал наличие умеренной положительной корреляции между результатами подготовки и степенью использования адаптационных механизмов ИП МАП (ГА0 = 0,44; а=0,95; А=0,06 - ширина доверительного полуинтервала) рис. 4.

Выводы и результаты

На основе интегрированной информационной модели, объединяющей описания пользователя, структуры и содержания методической поддержки АП, предложены и реализованы методы ссылочной и визуальной адаптации. Предложенные методы отвечают требованиям универсальности адаптационных механизмов и достоверности оценок профессиональных качеств пользователя, на которых они базируются.

В дальнейшем предполагается развитие рассмотренных методов адаптации в направлении учета целевых приоритетов пользователя путем приоритетного ранжирования ссылок на модули учебного материала, что должно способствовать оптимизации траектории профессиональной подготовки.

с

Рис. 4. Оценка эффективности ссылочной адаптации

Список литературы

1. Игнатова И.Г., Резонтов К.В., Радзевич Д.С. Возможности сетевой оболочки ОРОКС для поддержки процесса дистанционного обучения через Интернет (http://ito.edu.rU/2001/ito/III/1/III-1-15.html, 2001).

2. Прометей: Тест-система (http://www.prometeus.ru/ products/test/).

3. Богданов В., Прохоров А. Системы дистанционного образования // Компьютер Пресс. - 2001. - № 8. - С. 138-142.

4. Сайт WebCT (http://www.webct.com).

5. Агапонов С.В., Кречман Д.Л., Кузьмина Е.А. Система управления обучением eLearning Server 3000 v2.0 // Educational Technology and Society. - 2003. - № 6(4). - С. 177-185.

6. Creating Adaptive Textbooks with AHA! In: E-Learn 2004 World Conference on E-Learning in Corporate, Government, Healthcare, & Higher Education / edited by Janice Nall & Robby Robson. - P. 2588-2594.

7. Brusilovsky, P., Schwarz, E., and Weber, G. ELM-ART: An intelligent tutoring system on World Wide Web. In Fras-son, C., Gauthier, G., and Lesgold, A., eds. Proccedings of the Third International Conference on Intelligent Tutoring Systems, ITS-96. - Berlin: Springer, 1996. - Р. 261-269.

8. Brusilovsky P. Adaptive Educational Systems on the World Wide Web: A Review of Available Technologies (http://manic.cs.umass.edu/~stern/webits/itsworkshop/brusilo vsky.html)

9. Dagger, D., Wade, V., Conlan, O. A Framework for Developing Adaptive Personalized eLearning. In Nall, J., Robson, R., eds. Proceedings of World Conference on E-Learning in Corporate, Government, Healthcare, and High Education: E-Learn 2004. - Washington DC, USA. - Р. 2579-2586.

10. Brusilovsky, P., Sosnovsky, S., Yudelson, M. An

Adaptive E-Learning Service for Accessing Interactive Examples. In Nall, J., Robson, R., eds., Proceedings of World Conference on E-Learning in Corporate, Government, Healthcare, and High Education: E-Learn 2004. - Washington DC, USA. - Р. 2556-2561.

11. Пантелеев Е.Р. Среда разработки программ дистанционного обучения и профильного тестирования ГИПЕРТЕСТ: логистическая модель и архитектура // Информационные технологии. - 2001. - № 5. - С. 30-36.

12. Петрушин В.А. Интеллектуальные обучающие системы: архитектура и методы реализации (обзор) // Техническая кибернетика. - 1993. - № 2. - С.164-189.