Модели обучаемого и преподавателя для мультиагентной обучающей системы Текст научной статьи по специальности «Науки об образовании»

УДК 00768.51-007.001 33(075.8) Е.Н. Давыдова, А.П. Сергушичева

ВАК 05.13.01 (13.00.02) п I-I j *

РИНЦ 28.23.25

Модели обучаемого и преподавателя для мультиагентной обучающей системы

В статье рассматриваются вопросы построения агентов обучаемого и преподавателя в структуре мультиагентной обучающей системы и обсуждаются полученные экспериментальные результаты. Анализ характеристик обучаемого позволяет прогнозировать результаты обучения и корректировать траекторию обучения.

Ключевые слова: мультиагентная обучающая система, агент обучаемого, агент преподавателя, модель обучаемого, модель преподавателя, адаптивное обучение.

MODELS OF A STUDENT AND A TEACHER FOR THE MULTI-AGENT TRAINING SYSTEM

This paper considers an issue of a student agent and a teacher agent building inside of the multiagent training system structure and discusses the received experimental results. The student's characteristics analysis allows to predict training results and to correct a training trajectory.

Keywords: Multi-Agent training system, the teacher agent, the student agent, student modelling, teacher modelling, adaptive training.

Введение

В условиях интенсивного развития техники и технологий существует потребность эффективной передачи знаний, опыта, умений и навыков старших поколений молодежи, постоянного обновления знаний специалистов. Открытое образование невозможно без компьютерных средств обучения. За последние десятилетия разработано большое количество автоматизированных обучающих систем, инструментальных средств и сетевых сред дистанционного обучения, конструкторов мультимедийных учебников и курсов, компьютерных тестирующих систем. Ведутся работы по созданию интеллектуальных обучающих систем, которые лучше других учитывают потребности обучаемых и наиболее соответствуют принципам открытого образования. Об актуальности проблемы свидетельствует значительное количество диссертаций, рассмат-

ривающих различные аспекты решения данной задачи (например, [1], [2]). Вопросы методологии построения интеллектуальных агентно-ориентированных учебных комплексов рассматриваются в работах В.А. Кудинова, М.В. Цуканова, Ю.Р. Кофтана, В.А. Остапенко и других.

Представителями основных участников образовательно-

го процесса в мультиагентной обучающей системе (МАОС) являются интеллектуальные

агенты (ИА) обучаемого и преподавателя. Назначение агента, обучаемого - отражать потребности и возможности каждого конкретного обучаемого в приобретении знаний, информировать о них систему и доставлять подобранный контент и сценарий обучения студенту. Агенты преподавателя берут на себя все множество типичных задач, поддающихся формализации и позволяют разгрузить его от рутинной работы.

1. Структура и основные функции МАОС

В гибридной агентно-ориен-тированной архитектуре МАОС можно выделить различные группы интеллектуальных агентов. Административные агенты обеспечивают исполнение стандартных административных функций (регистрация пользователей, авторизация и аутентификация, открытие и завершение сеансов работы, запуск стандартных служб и т.д.) и управляют согласованной совместной работой ИА. Процесс управления знаниями обеспечивают агенты управления знаниями, взаимодействующие с агентами семантического поиска информации. Агенты человеко-машинного взаимодействия принимают на себя все функции взаимодействия программных моделей с различными клиентами, управляют процессами подключения новых видов клиентов и модернизации существующих клиентских приложений.

Елена Николаевна Давыдова, к.т.н., доцент кафедры Автоматики и вычислительной техники Тел.: (8172) 72-84-10 Эл. почта: [email protected] Вологодский государственный университет www.avt.vstu.edu.ru

Elena N. Davidova,

Candidate of Engineering Sciences, Associate Professor at the Department of Automatics and Computer Sciences Tel.: (8172) 72-84-10 E-mail: [email protected] Vologodskiy State University www.avt.vstu.edu.ru

Анна Павловна Сергушичева, к.т.н., доцент кафедры Автоматики и вычислительной техники Тел.: (8172) 72-84-10 Эл. почта: [email protected] Вологодский государственный университет www.avt.vstu.edu.ru

Anna P. Sergushicheva,

Candidate of Engineering Sciences, Associate Professor at the Department of Automatics and Computer Sciences Tel.: (8172) 72-84-10 E-mail: [email protected] Vologodskiy State University www.avt.vstu.edu.ru

Основную нагрузку в процессе функционирования МАОС несут базовые агенты, которые обеспечивают возможности адаптивного обучения студентов и управления обучающими материалами со стороны преподавателей (создание и модификация учебных курсов, анализ качества обучения и т.д.). Базовые ИА исполняют свои функции по запросам пользовательских агентов. Пользовательские агенты (ИА обучаемых и преподавателей) реализуют логику взаимодействия с пользователем в зависимости от его роли в МАОС. Наличие собственного агента для каждого обучаемого позволяет организовать индивидуализированное адаптивное обучение студентов на основе динамически пополняемой модели обучаемого. Агенты преподавателей, являясь индивидуальными помощниками преподавателей, для преподавателей-тьюторов служат поддержкой в принятии решений по стратегии и тактике адаптивного обучения (при этом обеспечивают автоматическое выполнение некоторых функций обучения) и создают комфортные условия преподавателям-экспертам в процессе управления знаниями предметных областей и подготовке обучающих материалов.

2. Модель преподавателя

В большинстве источников модель преподавателя (тьютора, обучающего) рассматривается с

точки зрения предъявляемых к нему квалификационных требований (совокупность профессиональных и личностных качеств) и используется в системе профессиональной переподготовки педагогических кадров. Например, в работах [3]-[4] выделяется 30-40 качеств и компетенций, необходимых преподавателю вуза для успешной работы. В МАОС преподаватель, рассматривается как активный субъект, взаимодействующий с системой и использующий ее для автоматизации своей педагогической деятельности. Преподаватель помогает студентам вырабатывать свое собственное понимание материала курса, решать реальные, практически значимые проблемы. Кроме педагогической составляющей, деятельность преподавателя включает и научно-исследовательскую работу, результаты которой должны быть доступны студентам в составе мультиагентной обучающей системы, например, с помощью персональных страничек каждого преподавателя или тематических форумов в областях научных интересов преподавателей (в рамках исследовательской модели обучения). Исходя из решаемых задач в процессе использования МАОС, можно провести классификацию преподавателей, представленную на рис. 1.

1) Преподаватель-тьютор (электронный преподаватель) обладает ограниченными правами.

Рис. 1. Иерархия преподавателей в ИОАУК

Он производит обновление учебного материала, добавляет тестовые задания к существующему электронному учебнику, осуществляет настройку тестов. Преподаватель-тьютор может выступать в двух ипостасях: а) виртуальный преподаватель или аватар, б) индивидуальный помощник преподавателя-тьютора по ведению учебного процесса. Аватар в процессе работы подключается к определенному сценарию обучения. Он позволяет студентам слушать голосовые лекции преподавателя и видеть «живого преподавателя» не общаясь с ним физически в данный момент времени, облегчает процесс восприятия информации. Индивидуальный помощник преподавателя-тьютора отвечает за обучение, отслеживает процесс обучения, анализирует выходные данные (оценки обучаемых, объем изученного материла), организует и проводит дистанционные семинары, управляет сценариями обучения на основании компетенций, регистрирует обучаемых, создает их профиль.

2) Преподаватель-эксперт изменяет сценарий работы со студентами внутри отдельной дисциплины; осуществляет планирование сценариев проведения занятий; добавляет электронные учебники по новым предметам; удаляют существующие в системе электронные учебники;

3) Главный преподаватель-эксперт осуществляет планирование и изменение сценариев работы студентов внутри направлений; автоматизированную генерацию учебных объектов ИОАУК различной структуры и назначения в зависимости от целей и задач обучения. В его функции входит осуществление адаптивного интерактивного взаимодействия пользователей с системой, позволяющего добиться высокой эффективности процесса обучения при различных индивидуальных характеристиках обучаемого.

Модель преподавателей в разрабатываемом МАОС может быть представлена следующим многокортежным набором :

Н = (Р, S, П, М, С, О, А, Р, и, V, О, F, В, R, Т, Ы, Е, I, К, X),

где:

Р - множество сценариев обучения; S - множество аватаров; П - множество индивидуальных помощников преподавателя-тьютора; М - множество требований к регистрации преподавателей; С - множество требований к регистрации обучаемых; О - множество преподавателей экспертов и преподавателей-тьюторов; Р - множество требований к знаниям и умениям;

и - множество требований к компетенциям;

V - множество требований к результатам освоения основной образовательной программы;

0 - множество требований по профи-

лю подготовки; F - множество требований к знаниям по направлениям;

1 - множество требований к норматив-

ным документам; К - множество виртуальных миров; В - множество нормативных документов;

Х - множество требований к дидактическим единицам.

Каждый агент главного преподавателя-эксперта взаимооднозначно может быть представлен следующими элементами: тип сценариев обучения di е Р (/' = 1, 2, ..., а) а -количество сценариев обучения; требованиям к компетенции иь е и (Ь = 1, 2, ..., п) П - количество компетенций, и требования к результатам освоения основной образовательной программы V2 е V ^ = 1, 2, ..., в), в - количество требований к знаниям, а также требования к дидактическим единицам хi е Х (/' = 1, 2, ..., р) и требования к знаниям и умениям рф е Р (ф = 1, 2, ..., в), р - количество дидактических единиц, в - количество требований к знаниям и умениям; gч е О (ч = 1, 2, ., ц), ц - количество преподавателей экспертов и преподавателей-тьюторов; кя е К (я = 1, 2, ..., е), е - количество виртуальных миров;

Каждый агент преподавателя-эксперта (управляет сценариями обучения) взаимооднозначно может быть представлен параметрами: тип сценариев обучения di е Р О' =1, 2, ..., а) а - количество сценариев обучения; требованиям к компетенции иЬ е и (Ь = 1, 2,

..., п) П - количество компетенций, и требования к результатам освоения основной образовательной программы v2 е V (2 = 1, 2, ..., в), в - количество требований к знаниям, а также требования к дидактическим единицам х е Х (/' = 1, 2, ., р) и требования к знаниям и умениям рф е Р (ф = 1, 2, ..., в), р -количество дидактических единиц, в - количество требований к знаниям и умениям; iж е I (ж = 1, 2, ..., % - количество требований к нормативным документам;

Каждый агент преподавателя-тьютора взаимооднозначно может быть представлен характеристиками: тип сценариев обучения di е Р (/' = 1, 2, ..., а) а - количество сценариев обучения; требования к знаниям и умениям рф е Р (ф = 1, 2, ., в), в - количество требований к знаниям и умениям; е S (I = 1,

2, ..., д), д - количество аватаров; пл е П (л = 1, 2, ..., у), V - количество индивидуальных помощников преподавателя-тьютора;

Определение приведенных выше параметров производится экспертами и специалистами, осуществляющими разработку системы МАОС для конкретного учебного заведения.

3. Модель обучаемого

Цель создания агента обучаемого - построить процесс обучения таким образом, чтобы при минимальных затратах времени добиться максимальной эффективности обучения. Индивидуализация обучения в компьютерных средств обучения реализуется обычно применением той или иной модели обучаемого. Авторами проанализировано современное состояние проблемы разработки моделей и профилей обучаемого в МАОС[5]. Большое число публикаций об исследованиях данного направления свидетельствует об актуальности тематики

Для построения модели обучаемого в МАОС требуется решить множество задач:

- выбор модели ученика, определение множества необходимых и достаточных для работы МАОС характеристик и способов получения персональных данных;

- определение способов оценки адекватности модели обучаемого и способов ее автоматической коррекции в МАОС;

- выбор математического аппарата для построения модели обучаемого и определение способов ее внутреннего в МАОС представления и использования;

В числе знаний, которые должны интегрировать интеллектуальные обучающие системы для реализации высококачественных обучающих курсов, находятся знания о психологических особенностях обучаемого и его учебных достижениях, которые приобретаются системой в процессе работы с конкретными обучаемыми. Создание, сохранение и применение этих знаний является одной из сложных задач не только для интеллектуальных обучающих систем, но и для «живого» преподавателя. Индивидуальные особенности и знания обучаемых практически всегда оцениваются и учитываются педагогами (существует множество приемов для активизации внимания, ускорения запоминания и т.п.).

Можно выделить три группы информации, о студенте и в соответствии с этими группами представим обучаемого в МАОС тремя моделями: 1) коммуникативной, 2) психолого-когнитивной и 3) моделью достижений:

1) Коммуникативная модель студента SMC включает данные, необходимые для однозначной идентификации студента, обеспечивающие общение с ним: имя, домашний адрес, адрес электронной почты, логин, пароль, язык общения и т.д.

SMC = ({Reg}, {Purp}, {Opp}).

На данном этапе построения МАОС ограничимся следующим набором персональных данных:

{Reg} = (Name, {Pasp}, Adrs,

Email, Lgn, Psw);

{Purp} = (Spec, {Ints});

{Opp} = ({Qual}, Lang, Sght,

Hrng),

где Name - фамилия, имя отчество обучаемого, {Pasp} - его паспортные данные, Adrs, Email Lgn, Psw - его домашний адрес, адрес электронной почты, логин и пароль соответственно; Spec -

выбранное направление подготовки или специальность; {Ints} - персональные интересы; {Qual} - информация о предшествующем образовании;, Lang-язык общения; Sght, Hrng - зрение и слух ученика.

2) Опираясь на данные, составляющие психолого-когнитивный портрет обучаемого, обучающие агенты могут построить процесс обучения индивидуума в соответствии с его потребностями и возможностями; Предлагается представлять психолого-когнитивную модель студента (SMP) состоящей из трех компонент когнитивного {Abil}, регулятивно-деятельност-ного {Act} и эмоционально-волевого {Emt}:

SMP = ({Abil},{Act}, {Emt}).

В состав компонент включаем следующие характеристики: общие способности (интеллект) GInt, способность к запоминанию MMR, внимание Attn, способности к логическому мышлению Loge, творческие способности AbCr, трудолюбие Dlg, работоспособность Wrk, инициативность Init, добросовестность Cnsc, мотивацию к обучению Motv, способности к целеполаганию AbPur, планированию AbPln, решению проблем AbDec.

{Abil} = (GInt, MMR, Attn, Loge,

AbCr);

{Act} = (Dlg, Wrk, Init, Cnsc });

{Emt} = (Motv, AbPur, AbPln,

AbDec).

3) Модель достижений ученика SMACH отражает информацию о профессиональных и общекультурных компетенциях, исходных и приобретенных в ходе обучения. Она позволяет судить об успешности образовательного процесса и, в случае необходимости, обеспечивает возможность его корректировки. Профессиональные компетенции выражаются через множество знаний и умений студента. Таким образом, модель достижений обучаемого примет вид:

SMACH = ({KnwACH}, {SklACH}, {CltACH}),

где {KnwACH} - множество знаний студента, проявленных им в ходе тестирования (или других методов контроля

знаний), ^ЫАСН} - множество умений, которыми он овладел, {С11АСН} -множество приобретенных общекультурных компетенций.

Эффективность обучения может и должна определяться путем сравнения реальных достижений ученика с нормативной моделью специалиста (бакалавра, магистра), Нормативная модель строится в соответствии с образовательным стандартом и включает весь перечень дисциплин (и дидактических единиц) в нем перечисленный для конкретного направления подготовки. Она распадается на две составляющие - входную и выходную. Входная отражает необходимый багаж знаний для изучения конкретной дисциплины, выходная - идеал, к которому следует стремиться. Модель достижений должна показать насколько близко ученик приблизился к идеалу. Нормативная модель студента может быть выражена множеством: 8МЫ= ({К™>, {Бк1}),

где {К^} - множество знаний, ^к1} -множество умений. Общекультурные компетенции не учитываем, ввиду сложности их оценки. Соответственно входная и выходная нормативные модели:

8МЫШ = ({К^Ш>, {БЫШ}) БМШЦТ = ({КпиЮЦТ}, {БкЮЦТ})

4. Методика построения модели обучаемого в МАОС

За отслеживание личностных и психологических параметров ученика отвечает психологический агент. Построение модели достижений, выявление отклонений от нормального (запланированного) хода обучения и компетентное реагирование на отклонения - задача профессионального агента. Коммуникативный агент обучаемого инициирует общение с МАОС и создает коммуникативную модель обучаемого.

Процесс построения и поддержки модели обучаемого в МАОС является перманентным. Если коммуникативная информация обучаемого остается более-менее постоянной, то психоэмоциональное состояние студента меняется от сеанса к сеансу. Обновление инфор-

Рис. 2. Алгоритм построения и корректировки модели обучаемого в МАОС

Таблица

Зависимость результатов сессии от разных параметров

Параметр Коэффициент корреляции

Результаты вступительных экзаменов 0, 65

Результаты теста на внимание 0, 56

Результаты теста на интеллект 0, 44

Результаты теста на творческие способности 0,33

Результаты теста на память -0,04

Знание информационных технологий -0,07

мации о приобретенных знаниях также ведет к корректировке модели. Предлагаемый алгоритм (рис. 2) позволяет вносить изменения в модель по мере необходимости. Когнитивные характеристики определяются специализированными тестами, играми, головоломками в произвольном порядке (возможно, в паузах между занятиями) и исключительно на добровольной основе. Предметные тесты являются обязательными. Их результаты приоритетны для построения и корректировки траектории обучаемого [6] и формирования функции прогноза обучения [7].

5. Результаты экспериментов

Информация о степени зависимости результатов обучения от когнитивных особенностей обучаемого, приобретенных им ранее знаний, умений и общекультурных компетенций практически отсутствуют. Авторами данной работы выполнен ряд экспериментов по оценке влияния на успешность обучения психолого-когнитивных особенностей обучаемого и имеющихся у него знаний, умений и навыков, а также по определению эффективности адаптивного обучения.

В первом эксперименте [8] участвовали студенты одной из групп первого курса электроэнергетического факультета Вологодского государственного технического университета (ВоГТУ). В качестве критерия качества обучения приняты экзаменационные оценки. Уровень довузовской подготовки характеризуют результаты единого государственного экзамена. Когнитивные параметры студентов получены путем группового тестирования. Для выявления уровня компьютерной грамотности применены собственные тесты. Уровень интеллекта определен тестом Айзенка, внимание - методом «Корректурная проба»; память исследовалась по методике Лезера, творческие способности - по методике Туник.

Для анализа результатов использовались вариационные ряды, гистограммы, стратификация, корреляционный анализ. На рис.3 представлена одна из полученных диаграмм рассеяния. Величины коэффициента корреляции, выражающие зависимость результатов экзаменов от разных параметров приведены в таблице. Наибольшую корреляцию с успеваемостью показали уровень довузовской подготовки (65%). и внимание (56%), студентов.

В другом эксперименте в сентябре 2011 года участвовали три группы студентов (2-4 курс, 34 человека). Параметры внимания определялись методом «Корректурная проба». Точность рассчитывалась, как отношение количества правильно отмеченных символов к числу искомых символов в просмотренном за указанное время фрагменте текста. Для контроля

Рис. 3. Диаграмма влияния среднего балла по ЕГЭ на результаты сессии

Балл за выходной тест

♦ ♦

♦ ♦

♦ Пар аме - тр в нима - ния - (точ нос" - гь)

0,84

0,88

0,92

0,96

1,0

Балл за выходной тест

♦

♦

*

♦ ♦ *

♦

♦

Балл за входной тест

0 2,0 4,0 6,0 8,0 10,0 12,0

Рис. 4. Зависимость результатов выходного теста от внимания и начального уровня знаний обучаемых

знании входной и выходной тесты по изучаемой теме предъявлялись перед началом лекции и после нее соответственно. Коэффициент корреляции результатов выходного теста с точностью внимания по отдельным группам колебался от 0, 38 до 0,57; с итогами входного теста - от 0,33 до 0,85. При переходе к усредненным значениям (например, точность в интервале от 0,90 до 0,92 имеют 2 студента, их средний балл за выходной тест равен 8) коэффициенты корреляции увеличились до 0,90 и 0,78 соответственно. Представленные диаграммы (рис. 4) показывают, что наблюдается существенная корреляция между исходными параметрами и результатами выходного теста.

В эксперименте по адаптивному обучению участвовали студенты 1-4 курсов (141 человек). На первом этапе были определены когнитивные (уровень интеллекта, внимания, памяти) и компетент-ностные (входной тест, Т0) характеристики студентов. На втором этапе студенты изучали матери-

ал среднего уровня сложности по теме «Системы единиц физических величин», включающий и определения, и примеры, и обобщения, и элементы формализации. На третьем этапе уровень сложности предлагаемого учебного материала (1, 2, 3-й) зависел от результатов входного теста и когнитивных особенностей студентов. Тема урока - «Измерительные шкалы». Материалы первого уровня сложности включают понятия шкалы и ее элементов, описание видов шкал, примеры. На втором уровне сделаны обобщения. В материалах третьего уровня приводится математическое описание шкал и их элементов. Все предложенные учебные материалы имеют примерно одинаковый объем (количество строк текста).

Результаты обучения оценивалась по 10 бальной шкале тестами: Т1 - на втором и Т2 (набор из трех тестов Т2.1, Т2.2 и Т2.3, различающихся по уровню сложности) -на третьем этапе. Эффективность адаптивного обучения определялась как разность усвоения учебного материала на третьем и втором этапах эксперимента в процентном отношении (рис 5). Из таблицы видно, что наибольший эффект (17,8%) достигнут в самой многочисленной группе студентов, изучавшей предложенные материалы первого уров-

ня сложности. Примерно такой же результат получен в эксперименте по внедрению адаптивного обучения в Аризонском университете в 2011 году: «Предварительные итоги эксперимента показали, что результаты улучшились на 18%»[9] (порядок проведения опытов в данном источнике не описан).

Заключение

Разработанные модели являются основой для принятия архитектурных и программных решений по построению агентов обучаемого и преподавателя в структуре МАОС. С учетом характеристик текущего состояния студента и его пожеланий, отраженных в модели обучаемого, осуществляется настройка траектории обучения, формируется план реализации сеанса обучения (последовательность освоения учебных единиц и контрольных мероприятий с указанием отведенного на них времени), строится прогноз его результатов. По итогам контрольных мероприятий выявляются отклонения текущих результатов обучения от ожидаемых и проводится соответствующая корректировка траектории обучения. Проведенные эксперименты подтверждают целесообразность такого подхода.

Уровень Количество участников, которым присвоен Результаты выполнения предметных тестов Процент усвоения учебного материала Эффективность, %

уровень Т0 Т1 Т2 Эксп. 2 Эксп. 3

1 66 2,57 2,95 4,73 29,5 47,3 17,8

2 47 3,43 4,87 4,32 48,7 47,6 -1,2

3 28 3,32 6,83 5,29 68,3 63,5 -4,8

Всего 141 2,81 4,75 4,73 47,5 56,7 9,2

Рис. 5. Эффективность изучения отдельных разделов дисциплины

метрология

Литература

1. Шнайдер И. В. Инновационное развитие системы профессиональной подготовки управленческих кадров на основе интеллектуальных систем обучения: автореферат дис. канд. эконом. наук: 08.00.05 / И.В. Шнайдер -Москва , 2013 [Электронный ресурс] - Режим доступа: http://www.dslib.net

2. Власенко А.А. Разработка адаптивной системы дистанционного обучения в сфере информационных технологий: диссертация канд. техн. наук: 05.13.17 / А.А. Власенко. - Воронеж, 2014. - 123 с. [Электронный ресурс] - Режим доступа: http://www.dslib.net

3. Гринкруг Л.С. Человеческий потенциал вуза: потребности и возможности развития: монография / Л.С.Гринкруг, Б.Е.Фишман. - Биробиджан: ДВГСГА, 2011. - 226 с.

4. Томилин О.Б. Компетенции академического и административного персонала университета и инновационная деятельность /О.Б.Томилин, П.Н. Кочугаев, Л.А. Сухарев, Н.Н. Массерова // Университетское управление. - 2007. - № 1. - С. 53-61.

5. Сергушичева А.П. Проблемы построения модели ученика для интеллектуального агентно-ориентированно-го учебного комплекса Нейроинформатика и общество: труды науч. конф. / Под ред. В.Л. Дунина-Борковского, А.Н.Швецова. - Вологда, ВоГТУ, 2011. - С. 61-70.

6. Сергушичева А.П. Построение и корректировка траектории обучения в интеллектуальных агентно-ориен-тированных учебных комплексах. - Труды межд. науч.-практ. конф. «Информатизация инженерного образования» - ИНФ0РИН0-2014 - М: Изд. дом МЭИ, 2014. - С. 563-566.

7. Сергушичева А.П., СергушичеваМ.А. Анализ характеристик обучаемого и формирование функции прогноза результатов обучения в адаптивной обучающей системе. - Вузовская наука - региону: мат-лы 11-ой всерос. науч.-техн. конф. - Вологда: ВоГТУ, 2013. - С. 325-327.

8. Сергушичева А.П., Жаров Д.В. Анализ факторов, влияющих на качество обучения Управление и экономика: опыт, традиции, инновации. Мат-лы науч.-практ. конф. (г. Вологда 9-10 апреля 2010 г.) - Вологда: Легия, 2010. - С. 275-287.

9. Адаптивное обучение, или несколько слов о Knewton. - 2014. [Электронный ресурс] - Режим доступа: http:// habrahabr.ru/company/npl/blog/244539/