CC BY
552
СОЦИАЛЬНЫЕ ТЕХНОЛОГИИ И ПРОЦЕССЫ
DOI 10.26425/1816-4277-2018-1-149-155
ИНТЕЛЛЕКТУАЛЬНЫЕ ОБУЧАЮЩИЕ СИСТЕМЫ
Аннотация. В статье проанализированы существующие виды интеллектуальных обучающих систем, созданных с целью применения в конкретных профессиональных областях, дано заключение по результатам сравнения систем. Рассматриваются компоненты, из которых состоят интеллектуальные обучающие системы, а также принципы их построения. Анализируется состав и назначение классов интеллектуальных обучающих систем. Излагается информация по современному этапу развития данных систем, способам их интеллектуализации. Приводится пример интеллектуальной обучающей системы, дается ее характеристика и способ работы. Ключевые слова: искусственный интеллект, интеллектуальные обучающие системы, классы интеллектуальных обучающих систем, модель обучаемого, модельный интерфейс, неэквифинальность.
INTELLIGENT TRAINING SYSTEMS
Annotation. The article analyses existing types of intellectual training systems that were made for the purpose of application in specific professional fields, and a conclusion on the results of a comparison of systems is given. The components of which intellectual learning systems are composed, as well as the principles of their construction, are considered. It is a question of the composition and assignment of classes of intellectual training systems. The information on the current stage of these systems' development, the methods of their intellectualization are presented. The example of an intellectual training system is given, its characteristics and mode of work are given.
Keywords: artificial intelligence, intelligent learning systems, classes of intellectual training systems, student model, model interface, non-equivalence.
Современные методы обучения предполагают не только очное присутствие обучающегося по какой-либо конкретной дисциплине, но и возможность получения образования дистанционным образом. Как правило, многие из тех, у кого уже есть высшее профессиональное образование, желают углубить свои знания по интересующей их дисциплине, расширить компетенции в смежной профессиональной области деятельности и получить новые навыки и знания, дающие возможность занимать более успешные позиции в профессиональной среде.
Первое упоминание о понятии интеллектуальных обучающих систем было определено в 1970 г. Дж. Карбо-неллом [12]. Спустя более 10 лет появились реально работающие системы интеллектуального обучения. Отличие интеллектуальной обучающей системы от автоматизированной заключается в том, что автоматизированная система представляет собой консолидированную базу знаний, по результатам работы с которой система выдает обучающемуся результаты по верно и неверно отвеченным вопросам. В свою очередь, интеллектуальная система обучения направлена на процесс диагностики обучения, его корректировку. Суть работы такой системы заключается не просто в диагностике ошибок обучающегося, но и в выдаче советов на основе заранее предопределенных стратегий дистанционных занятий.
На сегодняшний день в соответствии со стандартом ГОСТ Р 56846 дистанционное обучение принято определять как установление соединений между людьми и ресурсами с помощью коммуникационных технологий в образовательных целях [1]. Процесс передачи образовательных материалов при дистанционном обучении выглядит следующим образом. Система дистанционного обучения состоит из системы дистанционного обучения инструктора, которая используется носителем изучаемого контента для показа презентационных материалов,
© Алешева Л.Н., 2018
УДК 004.896 Алешева Л.Н.
Alesheva Liliya
глобальной вычислительной сети и систем дистанционного обучения пользователей. Посредством сети коммутационных каналов и сети с коммутацией пакетов данных, то есть глобальной вычислительной сети, происходит передача контента в системы дистанционного обучения пользователей. При передаче контента используются два режима связи: интерактивный и режим с промежуточной буферизацией. Интерактивный режим имеет особенность передачи контента в реальном времени (например, при использовании технологии реального времени).
Существенными частями системы дистанционного обучения являются обучающие и информационные технологии, которые применяются посредством использования интеллектуальных систем. Интеллектуальные обучающие системы обеспечивают учебный диалог с пользователем на очень высоком уровне. Именно по этой причине интеллектуальные обучающие системы сами являются обучающимися. В сердце интеллектуальной обучающей системы лежит база знаний изучаемой предметной области. База должна содержать в себе как объективные знания, представленные содержанием учебной области, так и субъективные знания экспертов, которые аккумулируют в себе методы обучения и уникальный опыт конкретного преподавателя-эксперта. Интеллектуальные обучающие системы должны быть представлены в виде таких систем, которые обладают уникальной последовательностью обучения в соответствии с заданными критериями индивидуальных особенностей обучаемого [9].
В. А. Петрушин придерживается следующего мнения: «В общем случае обучающие программы считаются интеллектуальными, если они обладают способностью: генерировать учебные задачи; решать задачи, предъявляемые обучаемому, используя методы представления знаний об изучаемой дисциплине; определять стратегию и тактику ведения диалога; моделировать состояние знаний обучаемого; самообучаться на основе анализа результатов взаимодействия с обучаемыми. Однако на практике многие обучающие программы, называемые интеллектуальными, обладают только некоторыми из приведенных выше способностей [5, с. 196].
Интеллектуальные системы обучения состоят из трех компонентов. Первым из них является модель обучаемого. Данная модель представляет собой блок с информацией об обучаемом, выбранной им стратегии обучения и совершаемых ошибках. Второй компонент представляет собой модель процесса обучения. Она задает форму подачи информации обучаемому и тип оценки качества деятельности обучаемого. В этот блок входит процесс тренировки студента курса, а также установление перечня тестовых испытаний. Кроме того, сюда входят итоговые процедуры контроля по изучаемой теме. Модельный интерфейс является связующим звеном между экспертным блоком интеллектуальной обучающей системы и другими ее блоками [4].
Существуют определенные принципы построения интеллектуальных систем обучения. Эти принципы включают принцип прагматичной диагностики, принцип сопоставления текущей модели обучаемого с моделью идеального обучаемого, принцип «порождающих интерфейсов», неэквифинальности обучения и принцип необходимого разнообразия обучающих воздействий. Принцип сопоставления текущей модели обучаемого с моделью идеального обучаемого подразумевает включение диагностики и сопоставление учебного плана с перечнем заданий, выполненных пользователем. Принцип прагматичности диагностики подразумевает создание каркаса учебного плана и структуры подчинения системы диагностики ошибок студента курса системе менеджмента обучения. Принцип «порождающих интерфейсов» подразумевает подбор и корректировку разных по содержанию элементов учебного процесса в зависимости от конкретных потребностей обучающегося и его знаний на момент подбора. Принцип неэквифинальности обучения говорит о различных подходах к представлению обучающего процесса на основе различного уровня знаний студента определенного курса. Принцип необходимости разнообразия обучающих воздействий говорит о том, что преподаватель должен иметь глубокие знания о вариантах воздействия на обучающегося [14].
Используя принципы и назначение интеллектуальных систем обучения, можно выделить следующие классы знаний: предметные, стратегические, педагогические, эргономические и метазнания. Предметные знания имеют отношение к определенному предметному курсу. Стратегические и методические знания относятся к организации и менеджменту процесса подготовки обучающихся. Педагогические знания относят к управлению деятельности обучающихся. Эргономические знания относятся к грамотной организации интерфейса обучающего лица и обучающегося. Метазнания представляют класс знаний о способах интеграции перечисленных выше знаний [6].
Классификация интеллектуальных обучающих систем делит их на 4 типа, различающихся по составу и назначению [7]. К первому классу относят консультационные интеллектуальные системы. Они предназначены для консультирования при решении задач и поиске информации по обучению. Данная интеллектуальная обучающая система состоит из двух сред: учебной справочной и системы объяснения. Ко второму классу относится диаг-
ностическая система обучения. Она предназначена для диагностики ошибок во время решения задач. В данную систему входят интерфейс, экспертная система по решению задач и система по диагностике ошибок и модели обучаемого. Данная система может рассматриваться в качестве дополнения консультирующей интеллектуальной системы. Третий класс представляют управляющие системы. Такие интеллектуальные обучающие системы используются для управления познавательным процессом деятельности студента курса. Система такого типа представляет собой расширенную диагностическую интеллектуальную обучающую систему с базой знаний о целях функционирования системы и стратегиях обучения по ней. Четвертым классом интеллектуальных систем считают сопровождающие системы, которые нужны для отслеживания деятельности пользователя, а также оказания ему необходимой помощи в случае, если система обнаружит ошибки в его действиях [7]. Сопровождающая и управленческая интеллектуальные системы являются одними из наиболее сложных интеллектуальных систем обучения. Отличительными характеристиками сопровождающей системы является то, что данная система не имеет представления о цели деятельности обучаемого, и у нее есть задача прогнозировать эту деятельность. Также данная система менее склонна к коммуникации, что позволяет пользователю меньше на нее отвлекаться.
На данном этапе развития интеллектуальные обучающие системы сочетают в себе сразу несколько свойств систем, о которых упоминалось выше. Такие интеллектуальные обучающие системы позволяют пользователю направлять запросы по всем уровням обучения. Также данные интеллектуальные системы имеют возможность использоваться носителями обучающих материалов совершенно различных профессиональных категорий. Интеллектуальные системы по обучению нового поколения обладают характерными чертами. Создание такой системы дает возможность произвести переход от управляемого только системой процесса обучения к обучению, управляемому как системой, так и обучаемым. Это ключевой момент, который дает такого рода системам огромный потенциал. Студент-пользователь курса при работе с такой интеллектуальной системой обучения вступает с ней в диалог, может задавать свои вопросы, приближая взаимодействие к настоящему общению с реальным учителем [3]. Это ведет к кастомизации образования для пользователей. Интеллектуальная система обучения нового поколения также на основе общения с пользователем может сформировать новую модель общения и выработать наиболее подходящий способ обучения с учетом его поведенческих особенностей и черт характера. Такого рода системы могут самостоятельно решать задачи, предназначенные для пользователей. Это дает консультирование высокого качества, глубокий анализ результатов обучающегося и возможность дальнейшего упрощения подготовки тестовых задач для него. В интеллектуальных системах обучения нового класса наиболее полно применяется набор современной дидактики. Соответственно, наиболее эффективно реализовывается процесс управления обучением. Такого рода системы обладают интерфейсом, который более приближен к естественному уровню взаимодействия. Так как обучающиеся не всегда владеют языковой грамотностью, то интерфейс необходимо реализовывать в соответствии с их текущим уровнем и дальнейшим уровнем развития по сроку обучения [8].
Современные интеллектуальные обучающие системы имеют различные алгоритмы интеллектуализации. Цель их использования - проведение процесса обучения естественно-научным предметам. Они имеют функциональную возможность оценки шага процесса решения пользователя по критерию «правильно» и «неправильно». Кроме того, такие интеллектуальные обучающие системы дают возможность подсказки с указанием на неправильность шага пользователя либо на его дальнейшие действия. Неотъемлемой функцией таких систем является то, что они выставляют оценки по итогам обучения курса. При работе системы такого класса проводят проверку процесса решения пользователя на критерии завершенности и правильности. Эти критерии проверяют методом сравнения шагов решения пользователя и шагов, которые заданы в системе по умолчанию.
Примером такой системы является Andes Physics Tutor. Данная система была разработана в Университете штата Аризона и Университете Питтсбурга при поддержке Питтсбургского научного центра обучения [15]. База знаний этой интеллектуальной обучающей системы включает информацию в области физики. Посредством подкрашивания шагов обучающегося данная система дает понять, верен ли шаг. Кроме того, она отображает подсказки для студента. Сами разработчики системы дают следующий путь решения задач в предложенной ими системе: проверить правильность введенной формулы по заданной задаче, после этого провести измерение прогресса шага решения обучаемого. Информация о прогрессе в решении используется этой системой в момент формирования подсказок и проставления обучающемуся оценки за решение. Проверка правильности осуществляется по определенному алгоритму. В введенную студентом-пользователем формулу необходимо подставить числовые значения содержащихся в ней переменных.
Если в результате подстановки получается тождество, то формула корректна. Предположим, что пользователь ввел формулу с = f + 2. Из условий задачи следует, что с = 4, f = 2. Так как 4 = 2 + 2, то формула, введенная пользователем, является корректной. Произвести расчет прогресса в решении задачи существенно сложнее. В данном случае наиболее простым способом измерения прогресса в решении будет являться способ представления известных программе решений задачи в виде списков формул и сравнения формул, которые ввел пользователь интеллектуальной системы обучения, с формулами из этих списков. В таком случае для измерения прогресса будет обязательным условие сперва осуществить выбор одного из известных программных решений, являющихся наиболее близким и подходящим к решению обучаемого, а затем провести обзор того, какой процент содержащихся в нем формул содержится в шагах решения пользователя-студента. Чем больше этот процент, тем больше прогресс в решении обучаемого. Минусом применения такого относительно несложного способа хранения и обработки информации о решениях задач является необходимость внести в интеллектуальную систему обучения достаточно большое множество возможных решений, которые отличаются друг от друга одной, двумя или несколькими формулами.
В связи с этим разработчики Andes Physics Tutor решили действовать иначе. В данной интеллектуальной системе обучения информация о всех возможных решениях задач хранится в виде малого списка уравнений базового уровня. Шаги, которые проходит пользователь в момент решения, также идентифицируются как уравнения задачи. Чтобы определить, какие уравнения базового уровня были использованы студентом-пользователем для ввода своего шага решения, в системе применяют определенный алгоритм. В момент запуска алгоритма осуществляется решение систем уравнений и происходит вычисление частных производных.
Стоит заметить, что данный алгоритм справляется не со всеми шагами решения пользователей. Сложность состоит в том, что чем больше заменено в шаге решения пользователя переменных на числовые значения и чем более вычислительно свернутой она является, тем труднее понять, какие уравнения базового уровня были использованы студентом-пользователем при вводе своих последовательных шагов решения конкретной задачи. Допустим, в процессе решения задачи пользователю необходимо вычислить величину k, которая может быть найдена двумя способами: k = p + s, k = g/2. В случае, если пользователь введет k = 6, необходимо определить, какой способ он использовал. Кроме того, есть пользователи, которые стараются обмануть систему. Допустим, студенты при работе с обучающей системой имели возможность услышать подсказку от другого пользователя системы о том, что k = 6 и зависит от p. Пользователи, зная, что p = 2, введут, например, шаг решения k = 8 - p. В таком случае алгоритм сработает так, что по итогам измерения прогресса будет сделан вывод о том, что пользователь ввел формулу, использовав один из двух вышеуказанных способов. Безусловно, можно придумать алгоритмы решения задачи, которые будут позволять прояснять ситуацию в некоторых случаях, но все случаи учесть нельзя. На данном этапе развития интеллектуальных систем обучения нет возможности утверждать, что разработанные алгоритмы проверки решений обучающих интеллектуальных систем смогут с полной уверенностью распознать любой из предложенных шагов решения обучаемого. Более вероятно, что разработчикам таких систем удастся добиться того, чтобы обучающие системы могли с высокой степенью вероятности корректно распознать большую степень шагов решений пользователей для определенных классов задач по отдельным естественно-научным дисциплинам [13].
Необходимо также упомянуть еще один способ интеллектуализации обучающих систем. Этот способ подразумевает применение моделей обучаемого. Моделью обучаемого называются инструменты для измерения характеристик обучаемого, существенных для управления процессом обучения, а также результаты измерения этих характеристик. Модели обучаемых отражают величину знаний и умений обучаемого. Кроме того, есть модели обучаемых, которые характеризуют психическое состояние обучаемого в момент выполнения заданий в обучающей системе. Для типизации уровня знаний и умений обучаемых обычно используются оверлейные модели. При использовании такой оверлейной модели предполагается, что представление знания, которым обладает эксперт, совпадает с представлением обучаемого. Исключение составляет менее полный объем знаний обучаемого. Экспертные знания делятся на элементарные и мелкие составляющие. Обучаемый либо имеет знания в какой-либо области, либо наблюдается нехватка этих знаний. На данный момент оверлейные модели обычно реализуются в виде иерархических структур. Такие иерархические структуры включают совокупность понятий конкретного учебного курса либо умений, соответствующих данному курсу. Оверлейная модель представляет собой подмножество моделей предметных областей, то есть подграф. Смысл оверлейной модели состоит в том, чтобы изобразить знание конкретного пользователя как перекрытие (overlay) модели предметной области. Оверлейные модели являются мощным и гибким механизмом.
Такие модели имеют возможность осуществлять независимое измерение уровня знаний студента системы по различным темам. Во многих интеллектуальных системах обучения модель обучаемого представляет собой именно оверлейную модель знаний. В процессе обучения система руководствуется моделью, которая представляет собой разность между моделью предметной области и моделью пользователя [10]. Ядро оверлейной модели умений обучаемого представлено в виде вектора
р (к) = [Р1 (к), Р2 (К),..., Р. (к),..., р. (к)],
где Р. (к) - вероятность правильного применения операции .-го типа, вычисляемая по результатам решения учебной задачи на к-м шаге обучения. Выдача обучаемому релевантного учебного материала по результатам решения учебной задачи обеспечивается установлением взаимосвязи операций и концептов [2].
Затрагивая управление учебным процессом с использованием моделей обучаемого, необходимо определить, в какие именно моменты времени требуется включить менеджмент процесса обучения. Также существует необходимость определить способы воздействия на пользователя интеллектуальной системы обучения. На первом шаге требуется скрупулезно подходить к подбору учебного материала (включая теоретический материал, задачи для решения, тестовые задачи) для занятий с учетом знаний и умений пользователя интеллектуальной системы, зафиксированных в конкретной модели. Вторым шагом является создание процесса интерактивной поддержки процесса решения задачи в интеллектуальной обучающей системе. Разработанный алгоритм менеджмента сможет осуществлять выбор таких критериев, как время появления и частоту действий интеллектуальной программы. Это может быть реализовано в виде интерактивного помощника с различными итоговыми функциями. Например, такой помощник может выдавать небольшие подсказки в виде текста по следующему этапу прогнозируемого шага конкретной задачи или давать ссылку на теоретический материал по решаемой задаче. Интерактивный помощник может отказать в помощи по запросу студента или дать рекомендации другой учебной базы. Например, предложить решить задачу полегче, если обучаемый не справляется с текущей задачей. Работа интерактивного помощника может также заключаться в предоставлении рекомендаций по завершению работы с программой, чтобы напомнить о необходимости отдыха обучаемого. Кроме того, интерактивный помощник может показывать различные мотивирующие сообщения (например, «Вы уже почти решили эту задачу»).
В какой степени упорным и твердым должен быть такой алгоритм решения? Как показывают работы Б. де Бу-лея (под руководством которого было выполнено немало исследований по автоматизированному управлению эмоциями студентов во время работы в обучающей программе), студенты технических специальностей имею склонность к негативному отношению к автоматизированному управлению процессом обучения [11]. Это часто выявлялось в тех случаях, когда студенты сталкивались с отказом в предоставлении помощи. Некоторые из наиболее рассерженных поведением программы студентов, принимавших участие в экспериментах Б. де Булея, обращали негативное внимание на то, что алгоритмы работы системы слишком интеллектуальны.
Можно заметить, что успешность автоматизированного управления учебным процессом сильно зависит от степени веры обучаемого в интеллектуальность программы. Эта вера существенно зависит от того, насколько хорошо программа понимает его действия. Алгоритм автоматизированного управления обучением должен носить рекомендательный характер. Также должна существовать возможность его отключения по запросу обучаемого. Между тем, в случаях нерационального поведения пользователей (например, злоупотреблении студентами краткими текстовыми подсказками во время решения задач) необходимо включать влияние на процесс обучения с привлечением дополнительных преподавателей изучаемых предметов. Подводя итог, можно сказать, что интеллектуальные обучающие системы могли бы существенно облегчить процесс обучения студента и преподавателя, но в случае желания студентов обмануть систему и неправильной мотивации (неинтересно изучать предмет, но интересно получать хорошие оценки) без участия преподавателя обойтись все равно будет сложно [10].
Библиографический список
1. Национальный стандарт Российской Федерации ГОСТ Р 56846/^0/^ 160:2004. Информатизация здоровья. Взаимодействие систем дистанционного обучения. - Первое издание 2016-11-01.
2. Аванский, С. М. Представление модели пользователя и предметной среды обучения / С. М. Аванский, А. В. Затылкин, Н. К. Юрков // Труды Международного симпозиума «Надежность и качество». Общие и комплексные проблемы естественных и точных наук. - 2007.- С. 66-67.
3. Гаврилова, Т. А. Человеческий фактор и модель пользователя в интеллектуальных обучающих системах / Т. А. Гаврилова // IV национальная конференция с международным участием «Искусственный интеллект - 94». Сб. науч. тр. - В 2-х т. - Рыбинск, 1994. - Т. 1. - С.99-103.
4. Голенков, В. В. Виртуальные кафедры и интеллектуальные обучающие системы / В. В. Голенков, В. В. Емельянов, В. Б. Тарасов // Новости искусственного интеллекта. - 2001. -№ 4. - С. 3-13.
5. Петрушин, В. А. Экспертно-обучающие системы / В. А. Петрушин. - Киев : Наукова думка, 1982.
6. Петрушин, В. А. Экспертно-обучающие системы / В. А. Петрушин. - Киев : Наукова думка, 1992.
7. Петрушин, В. А. Интеллектуальные обучающие системы: архитектура и методы реализации (обзор) / В. А. Петрушин // Известия Академии наук. Техническая кибернетика. - № 2. - С. 164-190.
8. Поспелов, Д. А. Искусственный интеллект. Кн. 2. Модели и методы: Справочник / Д. А. Поспелов. - М. : Радио и связь, 1990.
9. Янушко, Д. Ю. Интеллектуальные и экспертные системы дистанционного обучения в системе повышения квалификации / Д. Ю. Янушко. - М. : Институт правоведения, 2010.
10. Интеллектуальное управление процессом обучения. Анализ и проектирование систем [Электронный ресурс]. - Режим доступа: https://habrahabr.ru/post/194240/ (дата обращения: 20.11.2017).
11. B. de Boulay, Soldato T. Implementation of motivational tactics in tutoring systems. Via de Marini: Journal of Artificial Intelligence in Education, 1995. - Pp. 387-420.
12. Carbonell J.R. AI in CAI: an Artificial Intelligence Approach to Computer-Aided Instruction/IEEE Transactions on Man-Machine Systems. Vol. MMS-11. №4, San Mateo, CA: 1970. - Pp. 190-202.
13. Joel A. Shapiro An Algebra Subsystem for Diagnosing Students' Input in a Physics Tutoring System. 3 изд. Pittsburgh: Learning Research and Development Center University of Pittsburgh, 2004. - Pp. 205-220.
14. Ohlson S. Some Principles of Intelligent Tutoring/Artificial Intelligence and Education. Vol.1. Learning Environments and Tutoring Systems/ Ed. by R.W. Lawler, M. Yazdani. Norwood: Ablex Publ. Corp. 1987. - Pp. 203-238.
15. The Andes Physics Tutor [Электронный ресурс]. - Режим доступа: http://www.andestutor.org/ (дата обращения: 15.11.2017).
References
1. Nacional'nyj standart Rossijskoj Federacii GOST R 56846/ISO/TS 160:2004 [National Standard ofthe Russian Federation GOST R 56846/ISO/TS 160:2004]. First edition 2016-11-01.
2. Avanskij S. M., Zatylkin A.V., Jurkov N.K. Predstavlenie modeli pol'zovatelja i predmetnoj sredy obuchenija // Trudy Mezhdun-arodnogo simpoziuma «Nadezhnost' i kachestvo» [Presentation of the user model and the learning environment / Proceedings of the International Symposium «Reliability and Quality». General and complex problems of natural and exact sciences] // Obshhie i kompleksnye problemy estestvennyh i tochnyh nauk [General and complex problems of natural and exact sciences], 2007, pp. 66-67.
3. Gavrilova T. A. Chelovecheskij faktor i model' pol'zovatelja v intellektual'nyh obuchajushhih sistemah [Human Factor and User Model in Intelligent Learning Systems] // IV nacional'naja konferencija s mezhdunarodnym uchastiem «Iskusstven-
nyj intellekt - 94» [IVNational Conference with International Participation "Artificial Intelligence - 94]. Rybinsk, 1994. Vol. 1, pp.99-103.
4. Golenkov V. V., Emel'janov V.V, Tarasov V.B. Virtual'nye kafedry i intellektual'nye obuchajushhie sistemy [Virtual Chairs and Intelligent Learning Systems] // Novosti iskusstvennogo intellekta [News of artificial intelligence], 2001, I. 4, pp. 3-13.
5. Petrushin V. A. Jekspertno-obuchajushhie sistemy [Expert-training systems]. Kiev: Naukova dumka, 1982.
6. Petrushin V. A. Jekspertno-obuchajushhie sistemy [Expert-training systems]. Kiev: Naukova dumka, 1992.
7. Petrushin V. A. Intellektual'nye obuchajushhie sistemy: arhitektura i metody realizacii (obzor) [Intellectual training systems: architecture and implementation methods (overview)] // Izvestija Akademii nauk. Tehnicheskaja kibernetika [Academy of Sciences Bulletin. Technical cybernetics], 1993. pp. 164-190.
8. Pospelov D. A. Iskusstvennyj intellekt. Kn. 2. Modeli i metody: Spravochnik [Artificial Intelligence. Vol. 2. Models and methods. Handbook]. Moscow, Radio i svjaz', 1990.
9. Janushko D. Ju. Intellektual'nye i jekspertnye sistemy distancionnogo obuchenija v sisteme povyshenija kvalifikacii [Intellectual and expert systems of distance learning in the system ofprofessional development]. Moscow, Institute of law studies, 2010.
10. Intellektual'noe upravlenie processom obuchenija. Analiz i proektirovanie sistem [Intelligent management of the learning process. Analysis and design of systems]. Available at: https://habrahabr.ru/post/194240/ (Accessed: 20 November 2017).
11. B. de Boulay, Soldato T. Implementation of motivational tactics in tutoring systems. Via de Marini: Journal of Artificial Intelligence in Education, 1995. Pp. 387-420.
12. Carbonell J.R. AI in CAI: an Artificial Intelligence Approach to Computer-Aided Instruction/IEEE Transactions on Man-Machine Systems. Vol. MMS-11. №4, San Mateo, CA: 1970. Pp. 190-202.
13. Joel A. Shapiro An Algebra Subsystem for Diagnosing Students' Input in a Physics Tutoring System. 3 izd. Pittsburgh: Learning Research and Development Center University of Pittsburgh, 2004. Pp. 205-220.
14. Ohlson S. Some Principles of Intelligent Tutoring/Artificial Intelligence and Education. Vol.1. Learning Environments and Tutoring Systems/ Ed. by R.W. Lawler, M. Yazdani. Norwood: Ablex Publ. Corp. 1987. Pp. 203-238.
15. The Andes Physics Tutor. Available at: http://www.andestutor.org/ (Accessed: 15 November 2017).
