CC BY
66
УДК 021.8 + 025.1 ББК 78.34
ОПЫТ ПОСТРОЕНИЯ МОДЕЛИ ПСИХИЧЕСКОГО
СОСТОЯНИЯ ОБУЧАЕМЫХ ПО ИСТОРИИ ИХ РАБОТЫ В СЛЕДЯЩЕЙ ИНТЕЛЛЕКТУАЛЬНОЙ ОБУЧАЮЩЕЙ СИСТЕМЕ
Смирнова Н. В.1
(ФГБУН Институт проблем управления РАН, Москва)
Представлены результаты по построению модели психического состояния обучаемого по истории его работы в интеллектуальной обучающей системе. Данная модель может задейст-воваться алгоритмом управления учебным процессом во время решения задач обучаемым. Для построения модели использовались известные методы машинного обучения. Полученные результаты могут быть полезными не только для моделирования обучаемых, но и для моделирования пользователей любого программного обеспечения, в котором логируются действия пользователя.
Ключевые слова: автоматизированная обучающая система, интеллектуальная обучающая система, модель обучаемого, машинное обучение, модель пользователя.
1. Введение
В последние годы задачи автоматизированного выявления психического состояния пользователя вызывают все больший интерес исследователей в области человеко-машинного взаимодействия. Наименее инвазивным для пользователя2 источником
1 Наталия Викторовна Смирнова, научный сотрудник ([email protected]).
2 То есть не приводящим к возникновению у пользователя чувства слежения за его действиями и не требующим наличия дополнительного оборудования
получения данных для подобного анализа является история работы пользователя в прикладном программном обеспечении. Перечислим несколько основных применений мониторинга состояния пользователей ПК.
Актуальными являются такие применения мониторинга психического состояния пользователей, как оценка новых программных продуктов с точки зрения их удобства использования и интеллектуализация пользовательских интерфейсов программ. При выявлении негативного эмоционального состояния пользователя можно перестроить интерфейс программы на более простой, предложить ему посмотреть подходящий справочный материал или отложить действия, которые могут вызвать раздражение у пользователя (например такие действия, как предложение обновить программу). При выявлении ситуаций, когда неадекватное поведение пользователя может нанести существенный ущерб, можно наложить временные ограничения на использование некоторых функций программы или даже запретить доступ к программе. Мониторинг психического состояния пользователя применим и для реализации здоровье сберегающих информационных технологий, позволяющих пользователю контролировать уровень стресса (см. например, технологию для мобильных устройств AndroidRemoteSensingApp (AIRS) [21]).
Наконец, мониторинг состояния пользователей необходим для интеллектуального управления учебным процессом в обучающих системах, в частности, для управления процессом выполнения заданий обучаемыми.В качестве управляющих воздействий можно выделить следующие: рекомендация другого задания или временного прекращения работы в системе (отдыха); предоставление необходимого справочного материала. Модель психического состояния обучаемого также может за-действоваться инструментами генерации отчетности для преподавателя, позволяющими выявить плохо проработанные места учебного курса, выделить студентов, которым следует уделить более пристальное внимание на экзамене или зачете, и т.д.
Результаты статьи получены в рамках моделирования обучаемых в следящих интеллектуальных обучающих системах1, но могут быть полезны и в других, перечисленных выше случаях.
2. Постановка задачи
Для построения моделей, позволяющих выявить психическое состояние обучаемого по истории его работы, требуется прибегать к методам машинного обучения, в частности, решать задачи классификации [2], постановка которых выглядит следующим образом. Психическое состояние студента трактуется как один или несколько процессов Р,, г = 1, ..., п, состояния которых можно описать с помощью конечных множеств М, значений некоторых нечетких переменных (например, «злость», «усталость», «радость», «обычное состояние»). Для построения модели собираются экспериментальные данные, включающие истории работы обучаемых и экспертные оценки динамики их психического состояния в ходе работы с обучающей системой. На основе экспериментальных данных для каждого процесса формируется конечная совокупность пар <состояние обучаемого, метка>. Состояние обучаемого задается посредством вектора значений некоторых показателей (в литературе эти показатели называют признаками [2]).Метка соответствует одному из значений М,. Предполагается, что существует некоторая зависимость между метками и значениями признаков, но она неизвестна. На основе экспериментальных данных требуется восстановить эту зависимость, т.е. построить алгоритм, способный любому новому описанию психического состояния обучаемого (т.е. вектору значений признаков) достаточно точно присвоить метку.
Несмотря на достаточное количество работ, посвященных диагностике психического состояния обучаемого по истории его работы, эта проблема еще до конца не решена. Критическим
1 Следящими интеллектуальными обучающими системами называются системы, обеспечивающие интерактивную поддержку процесса решения задач обучаемым и автоматизированную оценку его решений.
местом моделей такого рода является трудоемкость процесса сбора экспертных оценок. К примеру, для построения модели на основе историй работы хотя бы 30 студентов необходимо затратить около 30 часов работы времени экспертов. В качестве экспертов, как правило, задействуются преподаватели, осуществляющие оценивание без отрыва от основной работы. Исходя из того, что 1) один эксперт имеет возможность отсматривать не более 3 видеозаписей в неделю длиной не более 1,5 ч1; 2) необходимо дополнительное время на процедуру предварительного согласования оценок экспертов, при участии 2 экспертов на сбор экспертных оценок потребуется не менее месяца.
Кроме того, сбор экспертных оценок осложняется тем, что в течение сеанса работы обучаемого происходит достаточно много событий, которые могут свидетельствовать об изменении его психического состояния. Возникает вопрос о том, в какие моменты времени эксперт должен выставлять оценки в ходе наблюдения за работой обучаемого, насколько точными должны быть эти оценки и т.д., т.е. необходимость создания правил, регулирующих экспертную деятельность. При разработке таких правил необходимо учитывать тот факт, что увеличение требований к эксперту ведет к возрастанию усталости эксперта и, как следствие, снижению надежности выставляемых им оценок, а понижение требований - к меньшей информативности и количеству экспертных оценок и, как следствие, к затруднениям при формировании совокупности пар<состояние студента, метка>. Поэтому правила, регулирующие экспертную деятельность, должны сопровождаться соответствующей методикой формирования совокупности пар <состояние обучаемого, метка>на основе экспериментальных данных.
Как будет показано далее, совершенствование таких правил и сопутствующих им методик формирования данных для построения модели является наиболее перспективным направлением улучшения существующих подходов к диагностике психического состояния обучаемых по истории их работы. В статье
1 Оценка получена из опыта общения с экспертами в ходе исследований по данному вопросу.
предлагаются правила сбора и обработки экспертных оценок, включающие:
• инструкцию для эксперта по выставлению оценок, определяющую моменты времени выставления оценок и другие предъявляемые к ним требования;
• методику формирования совокупности пар <состояние обучаемого, метка> на основе экспериментальных данных.
Далее в статье приводится более подробный обзор известных подходов и обосновывается выбор направления их улучшения (раздел 3); описываются применявшиеся в исследовании известные методы и технологии машинного обучения (п. 4.1); предлагаются правила сбора и обработки экспертных оце-нок(п. 4.2); описываются условия и результаты эксперимента, проведенного для апробации предлагаемых правил (п. 5.1-5.3). Также приводятся описания выделенных в результате проведения эксперимента признаков (п. 5.4), мало зависящих от интерфейса и возможностей обучающей системы, использование которых привело к повышению качества модели. Эти признаки могут быть полезны при построении подобных моделей в обучающих системах других типов, отличных от рассмотренного.
3. Известные результаты
Исследования различных аспектов поведения обучаемых по истории их работы в обучающей программе были начаты еще в 90-е годы прошлого века. Исследования проводились для обучающих систем различной направленности: следящих обучающих систем, содержащих курсы по предметам естественнонаучного цикла [8, 9], для автоматизированных систем обучения программированию [4, 20], виртуальных лабораторий [14], систем для обучения иностранному языку [15], гипертекстовых обучающих сред с тестами по различным предметам [12] и т.д. (более подробный обзор см. в [6]).
К наиболее часто выделяемым исследователями компонентам психического состояния обучаемого относятся «Самостоятельность» [8, 20, 22] и «Усилия» [4, 15, 22]. Ряд работ посвящен детектированию нерационального поведения студента в обу-
чающей среде (см. исследования в соавторстве с R.S.J.D. Baker, например, [9]).
Исследователями были предложены различные списки формулировок «значимых» для оценки психического состояния обучаемых событий и способы вычисления значений признаков на их основе. Наиболее часто используются признаки, характеризующие взаимодействие обучаемого с подсистемой выдачи подсказок ([8, 9, 18, 20]) и подсистемой автоматической проверки фрагментов выполняемого задания [8, 9, 14, 15, 18, 20, 22]. Методы построения моделей варьируются (например, в [20] компоненты психического состояния представляются в виде линейно изменяющихся величин с эмпирически заданными коэффициентами прироста, а в [14] и [18] - в виде байесовских сетей).
Как отмечалось выше, проблема диагностики психического состояния обучаемого по истории его работы еще до конца не решена. Направления улучшения существующих подходов включают:
1) совершенствование процедур подбора экспертов и согласования их оценок;
2) добавление новых признаков;
3) выбор наиболее подходящего алгоритма машинного обучения (например, логистическая регрессия, метод опорных векторов, байесовский классификатор и т.д.);
4) совершенствование правил сбора и обработки экспертных оценок (подробнее см. предыдущий раздел).
Обсудим перспективность работ по каждому из перечисленных направлений улучшения.
Процедуры отбора, проверки компетентности и формирования группы экспертов, а также генерации совместных экспертных оценок на основе индивидуальных достаточно хорошо исследованы в рамках области принятия решений (см., например, [3, 5]) и могут быть использованы и в рассматриваемом случае.
На формирование признаков влияют как возможности обучающей системы, так и удобство ее интерфейса. Действительно, при работе в простом гипертекстовом учебнике с тестами поведение студента менее вариативно, чем в следящей обучающей
системе, в которой студент может вводить фрагменты своего решения, проверять их на правильность, брать подсказки и т.д. Недостатки интерфейса способствуют проявлению поведения, кажущегося хаотическим и нецеленаправленным, но таковым не являющимся. Например, студент, боясь потерять результаты своей работы, на всякий случай может держать открытыми одновременно несколько окон программы, и иногда, в поисках нужного окна, быстро осуществлять последовательность действий переключения между ними. Поскольку архитектура и возможности обучающих систем со временем изменяются, то выделение новых признаков, более точно характеризующих состояние студента в той или иной обучающей системе, имеет кратковременное скорее практическое, нежели научное значение. Некоторый интерес может представлять выделение признаков, применимых для ряда обучающих систем и слабо зависящих от особенностей интерфейса конкретных обучающих систем из этого ряда.
Как известно, в случаях, когда исследователю доступно большое количество данных, выбор того или иного алгоритма машинного обучения не играет большой роли [17]. В противном случае рекомендуется сначала построить первоначальный вариант модели, используя простой алгоритм, а затем в случае недостаточного качества модели стараться улучшить качество моделиспомощью различных способов, в том числе и путем подбора наиболее подходящего алгоритма машинного обучения. Поскольку на результаты работы любого алгоритма машинного обучения влияет не только количество данных, но и их степень зашумленности, которая может существенно варьироваться между различными экспериментами, представляется целесообразным рассматривать подбор подходящего алгоритма машинного обучения как один из этапов построения моделей для конкретных обучающих систем, а не как направление улучшения существующих подходов.
Как отмечалось ранее, проблема совершенствования правил сбора и обработки экспертных оценок для построения модели психического состояния студентов особенно актуальна: требуется уменьшить трудоемкость процесса сбора экспертных оценок, не снижая обоснованность и информативность результатов
экспертной деятельности. При этом под трудоемкостью понимается не только количество часов работы экспертов, но и степень когнитивной нагрузки на них.
Рассмотрим два известных варианта правил сбора и обработки экспертных оценок [9, 10]. Первый вариант, согласно упоминаниям в статьях по рассматриваемому вопросу, соответствует наиболее часто используемым исследователями правилам. Второй вариант был предложен в качестве решения проблемы уменьшения трудоемкости сбора экспертных оценок.
В [9] эксперты наблюдали за работой студентов в режиме реального времени и оценивали поведение студентов только в те моменты, когда, по их мнению, оно существенно изменялось. Для сопоставления векторов признаков, формируемых на основе истории работы студентов и оценок экспертов, использовались «временные окна». Например, при 2-минутном «временном окне» для формирования пары <состояние обучаемого, метка> использовались действия, произошедшие не ранее чем за 1 минуту до ¿0 и не позднее чем за 1 минуту после ¿0, где ¿0 -время фиксации экспертной оценки. Данный подход имеет следующие недостатки. Затрудняется оценивание качества работы экспертов: возникают вопросы о том, достаточно ли оценок выставлено экспертами. От экспертов требуется внимательно следить не только за тем, в каком состоянии находится обучаемый, но и как можно более точно фиксировать точное время изменения этого состояния, что зачастую невозможно из-за недостаточной быстроты работы эксперта и приводит к его быстрой утомляемости.
В [10] для повышения эффективности сбора экспертных оценок предлагается предоставлять экспертам для оценивания не видеозаписи работы студентов, а некоторое множество избранных фрагментов истории их работы в системе. Множество избранных фрагментов формируется почти случайным образом, при этом для каждого фрагмента справедливо следующее: чем больше действий обучаемого в нем зафиксировано, тем больше вероятность того, что он будет выбран для экспертной оценки. Данный подход имеет следующие недостатки. Отдельные фрагменты истории работы обучаемого зачастую не содержат всю необходимую эксперту информацию: теряется информация о
жестах, выражении лица обучаемого, его действиях вне обучающей системы, которые, как будет показано далее, могут соответствовать как полезному, так и вредному с точки зрения учебного процесса психическому состоянию. Теряется контекст: эксперт не успевает получить общее впечатление об обучаемом. Между тем, при сравнении поведения обучаемого в текущий момент времени с поведением в предыдущие моменты эксперт может рассматривать часть его действий как малозначительные, если они характерны для большинства периодов работы обучаемого, или, наоборот, при появлении одного-двух, казалось бы, незначительных, но не характерных для обучаемого действий, сделать выводы об изменении психического состояния обучаемого.
Из вышесказанного следует, что проблема усовершенствования правил сбора и обработки экспертных оценок для построения модели психического состояния обучаемого является актуальным и наиболее перспективным направлением улучшения существующих подходов.
Далее в статье предлагаются правила, при использовании которых эксперты оценивают динамику состояний обучаемых на основе видеозаписей их работы через одинаковые промежутки времени. При этом в качестве оценки каждого компонента психического состояния обучаемых эксперты предоставляют только одно (максимум 3) наиболее частых, т.е. превалирующих значений этого компонента в течение рассматриваемого промежутка времени. Исследуется несколько возможных вариантов формирования совокупности пар <состояние обучаемого, мет-ка>на основе экспериментальных данных, собранных с использованием предлагаемых правил.
На данном этапе исследований сравнение с другими подходами не представляется возможным, поскольку построение модели психического состояния обучаемого необходимо осуществлять на основе данных, собранных в разные дни с участием разных групп студентов, а процесс сбора экспертных оценок даже для одной группы обучаемых, работавших в системе в течение одного занятия, трудоемок. Насколько известно автору, единственными исследованиями по рассматриваемому вопросу, которые удовлетворяют этому требованию, является ряд иссле-
дований R.S.J.D. Baker и др.[9, 10], в которых отмечается неустойчивость полученной модели. Так как в данной статье описываются результаты разового эксперимента, проведенного с участием одной группы студентов, то сравнение с известными исследованиями не проводится. Вместо этого, исходя из оценки качества полученной модели, делаются выводы о применимости предлагаемых правил сбора и обработки экспертных оценок.
4. Модель психического состояния обучаемого
Прежде чем переходить к описанию предлагаемых правил сбора и обработки экспертных оценок, вкратце опишем возможности следящей интеллектуальной обучающей системы «Волга» (в рамках этого проекта разрабатывалась модель психического состояния обучаемого), а также саму модель.
4.1. ВОЗМОЖНОСТИ СЛЕДЯЩЕЙ ОБУЧАЮЩЕЙ СИСТЕМЫ «ВОЛГА»
На рис. 1 представлен скриншот «трудного» интерфейса ввода решения задачи в следящей обучающей системе «Волга».
В обучающей системе «Волга» обучаемый в качестве шага решения вводит формулу в LaTeX-подобном синтаксисе в специальное поле. Далее он нажимает на кнопку «Проверить шаг». Если он ввел правильный шаг решения, то поле ввода очищается, а введенная формула появляется в поле «Решение». В противном случае форма ввода шага решения окрашивается в красный цвет.
В обучающей программе доступен также «легкий» интерфейс ввода решения (см. рис. 2).
В «легком» интерфейсе после выбора типа шага в диалоговом окне в форму ввода шага подгружается шаблон формулы с пропусками. Обучаемый заполняет пропуски, вводя цифры с клавиатуры, а обозначения - перетаскивая из окна «Обозначения». Обучаемый может в любой момент решения задачи сменить «легкий» интерфейс на «трудный», и наоборот.
■ Полученные подсказки
Обозначения
О Подсказка по плану решения I ✓ Получить оценку
Расстояние между векторами
Даны два вектора евклидова пространства: а —
Шаг 1, тип: расстояние м/у векторами а и Ь через длину с,
р(а,Ь) = |с|
О Подсказка по шагу I О I
и = у
переключить на легкий интерфейс
Обозначения X
Обозначение Код Значение
»1 а вектор а
(21 а_1 первая координата вектора а.
а 2 а_2 вторая координата вектора а
ал а_3 третья координата вектора а
а4 а_4 четвертая координата вектора о
н Ь вектор Ь
Ьх Ь_1 первая координата вектора Ь
£»2 Ь_2 вторая координата вектора Ь
Ьа Ь_3 третья координата вектора Ь
£>4 Ь_4 четвертая координата вектора Ь
р(а,Ь) | Р<а,Ь> расстояние между векторами а и Ь
с с вектор с — а — Ь
С1 с_1 первая координата вектора с
С2 с_2 вторая координата вектора с
сз с_3 третья координата вектора с
С4 с_4 четвертая координата вектора с
М |с| длина вектора с -»-
Рис. 1. «Трудный» интерфейс ввода решения задачи в следящей обучающей системе «Волга»
Рис. 2. «Легкий» интерфейс ввода решения задачи в следящей обучающей системе «Волга»
Таким образом, под шагом решения обучаемого (далее, для краткости, иногда просто шагом) понимается часть решения, которую может проверить на правильность обучающая система, при этом в «трудном» интерфейсе шаг представляет собой одну формулу в специальном синтаксисе, а в «легком» - часть решения, введенную с помощью одного шаблона.
«Следящей» обучающая система «Волга» называется потому, что алгоритм проверки решения обучаемого сравнивает каждый шаг решения обучаемого с шагами решений, имеющихся в системе.
Обучаемый может получить подсказку, нажав на одну из кнопок: «Подсказка по плану решения» или «Подсказка по шагу». В любой момент времени он может просмотреть полученные ранее подсказки, нажав на кнопку «Полученные подсказки». Для того чтобы почитать теоретический материал, обучаемый должен нажать на кнопку «Оглавление».
В процессе работы обучаемого с системой в режиме реального времени сохраняется история его работы (см. рис. 3). На основе этой истории будут вычисляться текущие значения компонент психического состояния обучаемого после построения соответствующей модели.
Рис. 3. Фрагмент истории работы обучаемого
В фрагменте на рис. 3 зафиксированы следующие события:
• обучаемый редактировал шаг решения с переисправлениями в течение 16 с;
• обучаемый запросил теоретическую подсказку;
• система предоставила теоретическую подсказку по запросу обучаемого.
В обучающей системе действует следующий простой алгоритм управления учебным процессом. Этот алгоритм запускается один раз в 5 мин, если в браузере есть активная вкладка с интерфейсом решения задачи. В таблице 1 приведены виды предлагаемой системой помощи в зависимости от прогресса обучаемого в решении задачи.
Таблица 1. Виды предлагаемой системой помощи в зависимости от прогресса обучаемого в решении
№ Кол-во правильно введенных шагов за последние 5 мин Последний правильный шаг введен Предлагаемая помощь
1 2-3 > 2 мин назад Предложить перейти к теоретическому материалу
2 1 <= 2 мин назад Предложить взять помощь (теоретическую или схематическую) по текущему шагу или по плану решения
3 1 > 2 мин назад
0 1. Предложить переключиться на легкий интерфейс. 2. Предложить конкретную подсказку. 3. Предложить перейти к теоретическому материалу. 4. Предложить перейти к более простой задаче.
В таблице 1 под теоретической и схематической помощью понимаются
• краткие текстовые подсказки, подводящие обучаемого к нужному шагу (например, «Скалярное произведение вектора на самого себя равно сумме квадратов его координат»);
• подсказки части внешнего вида формулы (например, «Подсказка части внешнего вида формулы: (с, с) = ...*...+...*...+...*...);
• ссылки на релевантный теоретический материал (вида «Посмотрите теоретический материал»);
• предложения перейти к более простой задаче, являющейся подзадачей по отношению к решаемой (вида «Вы можете сначала решить более простую задачу).
Под конкретными подсказками понимаются подсказки вида «Вам нужно ввести следующую формулу ...», непосредственно указывающие на то, каким должен быть текущий шаг решения.
Отказ в помощи происходит в силу следующих ограничений:
• интервал между выдачей конкретных подсказок должен составлять не менее 2 минут;
• если студент получил 4 любые подсказки по своему запросу меньше чем за минуту, то при запросе пятой подсказки вводится ограничение на получение подсказок на 2 минуты.
4.2. МОДЕЛЬ ПСИХИЧЕСКОГО СОСТОЯНИЯ СТУДЕНТА И ЕЕ ПОСТРОЕНИЕ
Для построения модели был выбран известный метод логистической регрессии, так как этот метод сочетает простоту реализации и вычислительную эффективность.
Предполагается, что совокупность важных для управления учебным процессом в обучающей системе компонент психического состояния студента включает «Самостоятельность», «Усилия» и «Фрустрационное поведение». Психолого-педагогические основы построения модели психического состояния студентов разработаны при участии Шварц А.Ю. (см. Приложение 1)1
1 Н.с. психологического факультета МГУ.
Текущее значение каждой компоненты психического состояния обучаемого определяется вектором вида
(1) (/в,(Х), /д,,( X), /д,„ (X)).
Координаты вектора вычисляются с помощью логистической функции с соответствующим набором регрессионных коэффициентов (в1, в" или в'") и выражают вероятности того, что уровень текущего значения компоненты подпадает под одну из категорий: «высокий», «средний», «низкий». Логистические функции в качестве аргумента используют переменную со следующей структурой:
(2) г = в0 +в X +в2 Х2 + ... + вkXk.
В (2) х, ] = 1, ..., k,— признаки модели, которые могут принимать любые вещественные значения, а в,, ] = 1, ..., £,— регрессионные коэффициенты.
Значения признаков формируются на основе сведений о произошедших «значимых» событий в истории работы обучаемого в течение соответствующего «временного окна». «Значимые» события могут быть одномоментными (например, проверка фрагмента решения на правильность) или длительными (например, чтение справочного материала). В качестве признаков в случае одномоментных событий используются сведения об их количестве, а для длительных - значения различных характеристик, например, средняя длительность, совокупная длительность и т.д. Также могут использоваться и другие признаки, не связанные со «значимыми» событиями, например, объективная сложность решаемой задачи. В приложении 2 приведены формулировки признаков, использовавшихся в модели в начале ее построения, а также формулировки признаков, полученных в результате построения модели.
Регрессионные коэффициенты подбираются следующим образом. Выборка (т.е. совокупность пар <состояние обучаемого, метка>) делится на две части - обучающую и контрольную. На обучающей выборке происходит настройка алгоритма (с использованием численных методов оптимизации решается задача минимизации функции ошибок, отражающей величину расхождений между метками алгоритма и метками эксперта), а на тестовой выборке - оценка качества алгоритма. В данном
случае, так как каждая компонента психического состояния обучаемого измеряется посредством нечеткой переменной, имеющей 3 возможных значения, при построении модели для каждой компоненты психического состояния студента необходимо найти 3 набора регрессионных коэффициентов и, соответственно, решить 3 задачи минимизации функции ошибок.
Модель считается хорошей, если значения ^-мер:на тестовой выборке достаточно высоки и существенно не отличаются от соответствующих значений на обучающей выборке (в противном случае имеет место недообучение или переобучение, см. [1]).
В данном исследовании для подбора коэффициентов логистических функций используется программный пакет scikit-learn [13]. Для минимизации функции ошибок в программном пакете используется «Trust region newton method» - метод доверительных областей [11]. Основная идея метода заключается в том, что для нахождения минимума функции fx) можно осуществлять итеративно, при этом на каждой итерации f аппроксимируется посредством более простой функции q, которая достаточно правдоподобно отображает поведение f в окрестности N точки x. Достоинством метода является возможность использования в оптимизационных задачах большой размерности.
5. Предлагаемые правила сбора и обработки экспертных оценок
Для оценки поведения обучаемого эксперту предоставляется текстовое описание поведения и успехов студента во время обучения интерфейсу программы и видеозапись, на которой зафиксирован процесс решения задач. Видеозаписи предварительно обрабатываются таким образом, чтобы эксперту были одновременно доступны как запись с экрана обучаемого, так и запись его лица с веб-камеры. Каждая видеозапись заранее делится на 5-минутные фрагменты. После окончания каждого
1 F-мера - гармоническое среднее точности и полноты классификации, принимает значения из [0, 1].
5-минутного фрагмента видеозапись останавливается, для того чтобы эксперт внес оценки (см. рис. 4).
Ниже приведена часть инструкции эксперта, регламентирующая выставление оценок после просмотра очередного 5-минутного фрагмента.
Рис. 4. Рабочее место эксперта во время оценки психического состояния обучаемого
«Если в течение 5-минутного фрагмента
• значение компоненты психического состояния существенно не изменялось, укажите ее превалирующее значение. Например: Н (т.е. значение преимущественно было низким);
• существенно изменялось один раз, укажите ее превалирующее значение ближе к началу, середине и концу 5-минутного фрагмента. Например: НСН (в начале значение параметра было низким, ближе к середине - средним, к концу -опять низким);
• существенно изменялось более одного раза, напишите МН. Этот фрагмент будет в дальнейшем просмотрен с другим экспертом или исключен из рассмотрения при подборе коэффициентов модели.»
Перед тем как переходить к оцениванию основного набора видеозаписей, эксперты согласовывают свои оценки на неболь-
шом наборе видеозаписей. Видеозаписи для согласования оценок должны давать представление о том, как решают задачи в обучающей системе студенты из разных групп. Деление студентов на группы осуществляется с помощью показателя «% неза-считанных шагов», равного отношению количества незасчитан-ных системой шагов (т.е. фрагментов решения) к общему количеству проверенных шагов решения студента.
Соотнесение оценок эксперта вида Х1Х2Х3 с действиями обучаемого во время 5-минутного фрагмента для формирования совокупности пар <состояние студента, метка>может быть реализовано несколькими способами. Рассмотрим два наиболее очевидных способа.
Первый способ заключается в огрублении экспертных оценок путем преобразования оценок вида Х1Х2Х3 в оценки вида Х1-3с использованием некоторого набора эвристических правил (например, оценка «НСС» преобразуется в «С», а оценка «ВСВ» в «В» и т.д.). В этом случае на основе данных по каждому 5-минутному фрагменту формируется только одна пара <состояние обучаемого, метка>, причем в качестве метки используется оценка Х1-3.Для краткости будем называть этот способ формирования точек обучающей выборки «огрублением».
Второй способ заключается в том, что 5-минутный фрагмент делится на 3 «временных окна» длительностью 100 с. В этом случае формируются 3 пары вида <состояние обучаемого, метка>, причем в качестве меток выступают оценки Х1Д2, Х3 соответственно (этот способ будем называть «равномерным разбиением»).
6. Апробация предлагаемых правил сбора и обработки экспертных оценок
6.1. УСЛОВИЯ ПРОВЕДЕНИЯ ЭКСПЕРИМЕНТА
В качестве участников эксперимента были задействовано 23 студента, изучавших курс линейной алгебры. Им было предложено пройти обучение интерфейсу программы, а затем попытаться решить задачи в системе. Студентам предлагалось решить одну задачу высокой сложности или одну задачу средней сложности и одну простую задачу. Во время работы студентов,
помимо фиксации их деятельности в журнале действий системы, осуществлялась запись видео с экрана студента, а также видео с веб-камеры ноутбука студента. Для интерактивного оценивания видеозаписей использовался программный продукт ELAN v.4.4.0 [16, 19].
Перед экспериментом, на основе оценок студентов за домашние работы в течение семестра, множество участников было разбито на 3 группы: «сильные», «средние» и «слабые» студенты. Условия работы с участниками, входящими в каждую группу, варьировались: так, некоторым участникам предлагались предположительно слишком трудные или слишком легкие задачи, а также иногда предоставлялась ложная информация о трудности их задач. Получение инструкции того или иного типа зависело от того, к какой группе относится студент и каким по очереди он подошел к столу с инструкциями. Варьирование условий эксперимента осуществлялось с целью повышения разнообразия поведения и динамики проявления и смен психических состояний участников эксперимента.
Во время эксперимента в ИОС «Волга» был включен простой алгоритм управления учебным процессом, запускавшийся раз в 5 мин и предлагавший студентам различные подсказки в зависимости от их прогресса в задаче (подробнее см. [7]). Поскольку в случае успешного решения задач в системе студенты имели право получить предварительную оценку за экзамен, а оценка за решение задач снижалась за использование большого количества подсказок, то большинство студентов старались использовать подсказки только в самом крайнем случае. Поэтому показатель «Самостоятельность» был исключен из списка показателей, для которых будет осуществлен подбор коэффициентов.
К оценке видеозаписей были привлечены два эксперта (преподаватели психологического факультета). Эксперты участвовали в процедуре согласования оценок два раза: перед началом оценивания видеозаписей и после того как оценили половину видеозаписей (в последнем случае потребовалось повторное согласование оценок, так как в силу жизненных обстоятельств пришлось изменить первоначальную политику распределения видеозаписей по экспертам). С целью минимизации денежных и
временных затрат большинство видеозаписей были оценены только одним из экспертов. Экспертами было оценено 215 5-минутных фрагментов. Как видно из рис. 5, в обеих задачах классификации имеет место проблема смещенных классов (англ. skewed classes) .Например, для показателя «Усилия» превалирующими являются оценки ^(«высокий уровень»), а для показателя «Фрустрационное поведение» - оценки ^(«низкий уровень).
Рис. 5. Распределение количеств экспертных оценок, соответствующих высокому/среднему/низкому/неопределенному уровню компоненты «Усилия» и компоненты «Фрустрационное поведение».
6.2. ПОДБОР КОЭФФИЦИЕНТОВ ДЛЯ КОМПОНЕНТЫ «УСИЛИЯ.»
Сначала было проведено сравнение двух упомянутых выше способов формирования совокупностей пар <состояние обучаемого, метка>на основе экспериментальных данных. Оценки качества модели, полученной каждым способом, вычислялись с помощью процедуры стратифицированного 10-кратного скользящего контроля. Вкратце суть данной процедуры заключается в следующем. Исходная выборка данных для обучения делится на обучающую и контрольную несколькими возможными способами, а оценка качества модели вычисляется как средняя оценка качества модели по всем разбиениям. Требование стратифици-рованности означает, что в обеих частях каждого разбиения исходной выборки количество элементов каждого класса (т.е. с одинаковой меткой) должно быть пропорционально количеству элементов этого класса во всей выборке данных для обучения.
Построение модели осуществлялось с помощью класса sklearn.Hnear_modeLLogisticRegression пакета scikit-leam со следующими значениями параметров: fitintercept = True, penalty = 72', C = 100, classweight = 'auto'. Поясним роль этих параметров. Параметр fit_intercept указывает на то, должна ли присутствовать в величине z константа, т.е. слагаемое в0. Penalty и С влияют на степень регуляризации (регуляризация приводит к уменьшению всех регрессионных коэффициентов и позволяет избежать переобучения модели). Параметр class_weight изменяет функцию ошибок, повышая относительную значимость правильного определения тех или иных классов по сравнению с другими классами. Использование процедуры стратифицированного ^-кратного скользящего контроля и настройка параметра class_weight = ^ио'позволяют до некоторой степени решить проблему смещенных классов.
Результаты сравнения двух различных способов формирования совокупности пар <состояние обучаемого, метка> представлены в таблице 2.
Таблица 2. Обобщающие способности различных алгоритмов формирования совокупности пар <состояние обучаемого, метка> на основе экспериментальных данных
Способ формирования данных для обучения F-мера на обучающей выборке F-мера на тестирующей выборке
Уровни компоненты «Усилия» выс. ср. низ. выс. ср. низ.
«Равномерное разбиение» 0,74 0,43 0,42 0,69 0,27 0,29
«Огрубление» 0,81 0,71 0,64 0,67 0,29 0,34
Как видно из таблицы 2, оба способа формирования данных для обучения показывают примерно одинаковые результаты. Для построения модели был выбран способ «огрубление».
Далее был осуществлен анализ ошибок, проведена беседа с экспертами. Была сформирована вторая версия набора признаков логистических функций для компоненты «Усилия».
Затем было апробировано несколько эвристических правил преобразования оценок X\X2X3 в оценкуХ1-3. Наилучшие результаты дали следующие правила:
1) Xi_3 равно той оценке, которой соответствует наибольшая частота в XiX2X3. Если же такой оценки нет, то Xi_3 = Н (F-мера на тестирующей выборке [0,75; 0,42; 0,42]);
2) Xi_3 равно В, если частота В в XiX2X3 > 2, иначе Xi_3 равно С (т.е. «не-В», низкий или средний уровень).
Для дальнейшей работы было выбрано правило 2). После отбрасывания незначимых признаков и поиска комбинации параметров алгоритма машинного обучения, обеспечивающих наиболее высокое качество модели, была выбрана комбинация параметров fitintercept = False, penalty = 71', C = 100, classweight = {0: 0,2; 1: 0,8} со следующими F-мерами на обучающей и контрольной выборках: [0,75; 0,66], [0,75; 0,65].
6.3. ПОДБОР КОЭФФИЦИЕНТОВ ДЛЯ КОМПОНЕНТЫ«ФРУСТРАЦИОННОЕ ПОВЕДЕНИЕ»
Перед формированием набора признаков логистических функций была проведена беседа с экспертами, которые предположили, что в истории действий студента фрустрационное поведение может быть мало выражено. При оценке уровня фрустрационного поведения эксперты в большой степени ориентировались на изменения выражения лица и невербальных жестов студентов. При этом «хаотическая деятельность» в системе1, которая предположительно сопутствует высокому уровню фрустрационного поведения, встречалась редко. Чаще всего фрустрационное поведение возникало после неуспешной проверки фрагмента решения и выражалось в том, что студент прекращал работу в системе и пытался получить помощь у соседей или экспериментаторов (средний уровень фрустрацион-ного поведения), или впадал в ступор (высокий уровень фруст-
1 Такой деятельности могут соответствовать совокупности возникающих через короткие промежутки времени актов нецеленаправленного выбора и просмотра различных элементов интерфейса программы.
рационного поведения). Также эксперты отметили, что фруст-рационное поведение длилось недолго (не более чем 100 с) и сразу же прекращалось после того, как студенту помогали соседи или преподаватели.
С учетом результатов п. 4.2 формирование совокупности пар <состояние обучаемого, метка> осуществлялось методом «огрубление». Наилучшие результаты дало следующее правило преобразования оценок XXX в оценку Xi_3: если в оценке ХХ2Х3нет оценок В и/или С, то Xi_3 = Н, иначе Xi_3 = С. Таким образом, 5-минутные фрагменты разделились на 2 группы: те, в которых было зафиксировано повышение уровня фрустрацион-ного поведения, и те, в которых повышения не было. Процедура отбрасывания незначимых признаков не привела к повышению качества модели.
Наилучшей оказалась следующая комбинация параметров алгоритма fitintercept = False, penalty = 71', C = 200, class_weight = {} со следующими F-мерами на обучающей и контрольной выборках: [0,79; 0,69], [0,72; 0,61].
6.4. ВЫДЕЛЕННЫЕ ПРИЗНАКИ ДЛЯ ДИАГНОСТИКИ ПСИХИЧЕСКОГО СОСТОЯНИЯ СТУДЕНТА ПО ИСТОРИИ ЕГО РАБОТЫ
Опишем способы измерения признаков, которые привели к повышению качества модели хотя бы одной компоненты психического состояния студента и удовлетворяют следующему условию: малая зависимость от особенностей интерфейса обучающих систем.
Выделим несколько групп возможных действий обучаемого в системе:
• поисковые (просмотр полученных подсказок, обозначений, введенного решения, поиск нужного параграфа в оглавлении и т.д., обозначается буквой «s»);
• диалоговые (проверка введенного фрагмента решения, запрос подсказки и т.д., обозначается буквой «а?»);
• редактирование фрагментов решения (обозначается буквой «e»);
• чтение теоретического материала (обозначается буквой «г1»);
• бездействие (т.е. отсутствие действий из вышеупомянутых групп, обозначается знаком «-»).
Предлагается разделить 5-минутный фрагмент на т интервалов (в данном случае т = 10) и поставить в соответствие фрагменту вектор с обозначениями групп действий, превалирующих на соответствующих интервалах. Поскольку события «редактирование фрагментов решения» и «чтение теоретического материала» являются длительными событиями, то для сравнения с одномоментными событиями были получены их количества путем деления длительности события на некоторое число (10 и 30 с соответственно). Примером такого вектора является
вектор «eestttt---», который расшифровывается следующим
образом: в течение первой минуты студент преимущественно редактировал фрагмент решения, в течение следующих 30 с он преимущественно осуществлял поисковые действия, в течение следующих 2 мин. студент преимущественно был занят чтением теоретического материала и т.д.
Для описания вектора превалирующих групп действий обучаемого р используются следующие признаки:
• количество встречающихся в нем обозначений «5»;
• количество обозначений <^»;
• количество обозначений «1» и «е» на позициях 0-2, 3-6, 79 (т.е. в начале, середине и конце вектора);
• количество обозначений «-» на позициях 0-2, 3-6, 7-9.
Также на основе данного вектора вычисляется значение признака «рваность (непоследовательность) действий обучаемого» по следующей формуле:
Например, для вектора «ееееееееее»значение этого признака будет равно 0, а для вектора «etetetetet» - 1.
Также оказались важными события «Бездействие дольше 7 с».Эксперты отметили, что появление таких событий может свидетельствовать как о понижении «Усилий» и/или повышении
«Фрустрационного поведения» (студент слишком часто отвлекается на посторонние звуки, на диалоги с соседями или впадает в ступор после неуспешной проверки шага решения), так и о повышении «Усилий» и/или понижении «Фрустрационного поведения» (студент что-то вычисляет с помощью листа бумаги и ручки перед вводом следующего шага).
Поэтому было решено отдельно учитывать «хорошие» и «плохие» периоды бездействия: хорошим предшествует успешная проверка фрагмента решения, а «плохим» - неуспешная. Для обеих компонент психического состояния обучаемого оказались полезными признаки, отражающие количество «хороших» и «плохих» периодов бездействия длительностью [7, 25) с, [25, 50) с, > 50 с.
7. Выводы
В статье изложен опыт решения задач классификации, возникающих при построении модели психического состояния обучаемого по истории его работы. Апробирован оригинальный протокол сбора и обработки экспертных оценок, при использовании которого эксперты каждой компоненте психического состояния обучаемого должны давать оценки вида ХХ2Х3 каждые п секунд (в статье п = 300). Показано, что в этом случае перспективным способом формирования совокупности пар <состояние обучаемого, метка> является способ «огрубление», когда на основе каждого 5-минутного фрагмента формируется одна пара с оценкой Х1-3, полученной в результате преобразования оценок ХХ2Х3 с помощью некоторого набора эвристических правил.
В ходе решения вышеописанных задач классификации предложено несколько признаков, которые могут быть полезными для любых автоматизированных обучающих сред.
Предложенный протокол сбора и обработки экспертных оценок может быть использован для построения модели психического состояния обучаемого по истории его работы. При его использовании будут классифицированы 2 градации уровня показателей «Усилия» («высокий уровень» и «средний или низкий уровень») и 2 градации уровня показателя «Фрустраци-
онное поведение» («зафиксировано повышение уровня» и «повышения уровня не было»).
Для повышения качества построенной модели требуется больше данных. Поскольку существуют временные и денежные ограничения на затрачиваемое экспертами время, рекомендуется включать в выборку больше данных от тех студентов, у которых показатель «% незасчитанных шагов» (см. п. 4.1) имеет более высокое значение. Такие студенты демонстрируют более вариативное поведение. Поскольку в большинстве случаев при оценке каждой компоненты психического состояния студента в течение 5-минутного фрагмента эксперты давали более одной оценки, то может оказаться полезной следующая модификация протокола: вместо 5-минутных фрагментов просить экспертов давать оценки показателям МВК каждые 100 с.
Приложение 1
Ниже представлен фрагмент из инструкции для экспертов, в котором перечисляются теоретические соображения по измерению компонент психического состояния обучаемых.
«Самостоятельность» увеличивается, когда обучаемый
• отказывается от помощи;
• переключается на «трудный» интерфейс;
• вводит шаг решения правильно (в зависимости от вида интерфейса и полученных ранее подсказок);
• читает теоретический материал по собственному желанию.
«Самостоятельность» уменьшается, когда обучаемый
• просит подсказку;
• соглашается на помощь, предложенную обучающей системой.
«Усилия» увеличиваются, когда обучаемый выполняет любые продуктивные действия:
• редактирует шаг решения;
• просматривает обозначения;
• читает теоретический материал;
• просматривает полученные подсказки или введенное решение.
«Усилия» уменьшаются, когда обучаемый
• получает подсказки (особенно конкретные);
• смотрит, что есть в «легком» интерфейсе;
• бездействует в обучающей системе.
Уровень «Фрустрационного поведения» увеличивается, когда обучаемый осуществляет «хаотичную» деятельность:
• во время редактирования шага много раз и быстро переисправляет введенную информацию;
• несколько раз проверяет введенный шаг, а система его не засчитывает как правильный;
• нецеленаправленно обращается то к одному, то к другому элементу интерфейса, переключается между окнами.
Уровень «Фрустрационного поведения» понижается, когда
• обучаемый вводит шаг правильно;
• с течением времени, если отсутствуют проявления хаотичной деятельности.
Приложение 2
Ниже приведены формулировки признаков модели психического состояния обучаемого, использовавшихся в начале построения модели.
Таблица 3. Признаки модели психического состояния обучаемого (перед началом построения модели) для компоненты «Усилия»
Признак Код
Обучаемый почитал релевантный теоретический материал не по интерфейсу программы > 30 с Е1
Обучаемый выполнил шаг правильно в подзадаче или задаче, помогающей освоить правила ввода данных в Системе Е2
Признак Код
Обучаемый получил конкретную подсказку Е3
Обучаемый редактировал шаг'>5 с Е4
Обучаемый просмотрел обозначения или введенное Решение Е5
Обучаемый посмотрел доступные типы для ввода текущего шага решения в «легком» интерфейсе Е6
Обучаемый просмотрел полученные ранее подсказки Е7
Обучаемый почитал теорию по интерфейсу программы > 10 с Е8
Обучаемый проверил шаг (в основной задаче) шаг оказался правильным «трудный» интерфейс Е9
«легкий» интерфейс Е10
шаг оказался неправильным Е11
Обучаемый бездействует > 3 мин. Е12
Обучаемый вернулся к работе Е13
Таблица 4. Признаки модели психического состояния обучаемого (перед началом построения модели) для компоненты «Фру-страционное поведение»
Признак Код
Обучаемый сбросил данные «легкого» интерфейса F1
Обучаемый отредактировал шаг с переисправлениями F2
Обучаемый столкнулся с ограничениями на помощь (по конкретным подсказкам) F3
Обучаемый столкнулся с ограничениями на помощь (по получению любых подсказок) F4
Обучаемый последовательно открыл 4 или более нерелевантных теоретических раздела F5
Обучаемый проверил шаг, шаг оказался правильным F6
Обучаемый проверил шаг, шаг оказался неправильным, после предыдущего действия проверки... прошло < 30 с F7
прошло > 30 с F8
Обучаемый поменял интерфейс на «трудный» F9
Обучаемый поменял интерфейс на «легкий» F10
1 Если между действиями редактирования прошло < 10 с, то они считаются одним действием редактирования.
Признак Код
Обучаемый заново начал решать задачу F11
Обучаемый бездействует > 3 мин. F12
Обучаемый вернулся к работе F13
Обучаемый последовательно выполнил 8 или более действий из списка (между этими действиями не должно быть действий редактирования шага и потери фокуса окна) менее чем за 1,5 мин. Список действий: просмотреть решение, просмотреть подсказки, провести мышкой по окну решения задачи, прокрутить окно, просмотреть обозначения, посмотреть на типы шагов, переключиться между интерфейсами F14
В результате построения модели для компонент «Усилия» и «Фрустрационное поведение» наборы используемых для вычисления их текущих значений признаков были скорректированы (см. таблицу 5). Также в результате построения модели были получены наборы регрессионных коэффициентов, которые здесь не приводятся, поскольку в силу недостатка данных для построения модели не имеют практической ценности. Отметим, что в построенной модели «единицей времени» является 5-минутный фрагмент, т.е. психическое состояние обучаемого оценивается каждые 5 мин.
Таблица 5. Признаки модели психического состояния обучаемого после ее построения
№ Признак Описание
1 dnum Признаки, характеризующие вектор превалирующих действий (см. раздел 6.4)
2 snum
3 еШит0 2
4 еШит3 6
5 еШит7 9
6 тит0 2
7 тит3 6
8 тит7 9
9 пШеогу Кол-во событий Е1 (см. таблицу 3)
№ Признак Описание
10 nedit Кол-во событий Е4 (но вместо 5 с исп. 10 с, см. таблицу 3)
11 Бтит Кол-во событий Е5-Е7, а также действий просмотра обозначений/типов шага в «легком» интерфейсе, щелкания мышью по узлам дерева, представляющего собой оглавление курса, см. таблицу 3
12 рге^е8йт Оценка состояния обучаемого в течение предыдущего 5-минутного фрагмента, вычисляется по правилу: если в течение предыдущего фрагмента итоговое значение компоненты соответствовало высокому уровню, то 1, иначе 0
13 пит_азк5 Кол-во запросов помощи в течение этого и предыдущего 5-минутных фрагментов
14 num_wrong Кол-во проверок шага (шаг признан неправильным) в течение этого и предыдущего 5-минутных фрагментов
15 bad7 25 Признаки, характеризующие количество «хороших» и «плохих» периодов бездействия (см. раздел 6.4)
16 bad25 50
17 badb50
18 good7 25
19 good25 50
20 goodb50
21 num_correct Кол-во проверок шага (шаг признан правильным) в течение этого и предыдущего 5-минутных фрагментов
22 бЬЙ Рваность действий обучаемого (см. раздел 6.4)
Для диагностики текущего значения компоненты «Усилия» были выбраны признаки с номерами 3, 7-10, 12-14, 17-18, а для компоненты «Фрустрационное поведение» - все перечисленные в таблице 5 признаки.
Литература
1. ВОРОНЦОВ К.В. Комбинаторный подход к оценке качества обучающих алгоритмов // Математические вопросы кибернетики. Т. 13. - Москва: Физматлит, 2004. - С. 5-36.
2. ВОРОНЦОВ К.В. Математические методы обучения по прецедентам (теория обучения машин). Курс лекций ВМК МГУ и МФТИ. - [Электронный ресурс]. - URL: http://www.machinelearning.ru/wiki/images/6/6d/V oron-ML-1 .pdf (дата обращения: 18.12.2013).
3. ЛИТВАК Б.Г. Экспертные оценки и принятие решений. -Москва: Патент, 1996. - 271 с.
4. НИКИФОРОВ А.Ю., РУСАКОВ В.А. Модель студента в программном комплексе поддержки лабораторных занятий // Научная сессия МИФИ-2005. Сборник научных трудов. - Т. 2. - С. 79-80.
5. ОРЛОВ А.И. Экспертные оценки. Учебное пособие. - Москва, 2002. - 31 с.
6. СМИРНОВА Н.В., ШВАРЦ А.Ю. Мотивационно-волевой компонент модели обучаемого в следящих интеллектуальных системах // Искусственный интеллект и принятие решений. -2012. - Часть 1, Т. 1, №1. - С. 65-80.
7. СМИРНОВА Н.В., ШВАРЦ А.Ю. К вопросу об измерении и параметрической идентификации мотивационно-волевого компонента модели обучаемого // Информационно-технологическое обеспечение образовательного процесса государств-участников СНГ, сборник докладов Международной интернет-конференции. Минск: БГУ, 2012. -[Электронныйресурс]. - URL: http://elib.bsu.by/handle/123456789/27772 (дата обращения: 18.12.2013).
8. ALEVEN V. Toward Meta-cognitive Tutoring: A Model of Help-Seeking with a Cognitive Tutor // International Journal of Artificial Intelligence in Education. - 2006. -№16. - P. 101-130.
9. BAKER R.S.J. D., CORBETT AT., ROLL I.et al. Developing a Generalizable Detector of When Students Game the System // User Modeling and User-Adapted Interaction. - 2008. - Vol. 18, №3. -P. 287-314.
10. BAKER R.S.J.D, CARVALHO A.M.J.B. DE. Labeling Student Behavior Faster and More Precisely with Text Replays // The ^International Conference on Educational Data Mining. Montreal, Quebec, Canada. Proceedings.- 2008. - P. 38-47.
11. CHIH-JEN L., WENG R.C., KEERTHI S.S. Trust Region Newton Method for Large-Scale Logistic Regression // Journal of Machine Learning Research. - 2008. - №9. - P. 627-650.
12. COCEA M., WEIBELZAHL S. Disengagement detection in online learning: validation studies and perspectives // IEEE Transactions on Learning Technologies. - 2011. - Vol. 4,№2. - P. 114-124.
13. PEDREGOSA F., VAROQUAUX G., GRAMFORT A. Scikit-learn: Machine learning in Python // Journal of Machine Learning Research. - 2011. - Vol. 12. - P. 2825-2830.
14. HERNANDEZ Y. NOGUEZ J., SUCAR EA Probabilistic Model of Affective Behavior for Intelligent Tutoring Systems // MICAI 2005. LNAI 3789 Berlin: Springer-Verlag Berlin Heidelberg, 2005. - P. 1175-1184.
15. HERSHKOVITZ A., NACHMIAS R. Developing a Log-based Motivation Measuring Tool // Interdisciplinary Journal of E-Learning and Learning objects.- 2008- Vol. 5. - P. 197-214.
16. LAUSBERG H., SLOETJES H. Coding gestural behavior with the NEUROGES-ELAN system // Behavior Research Methods, Instruments & Computers. - 2009 -Vol. 41, №3.-P.841-849.
17. MANNING CD., RAGHAVAN P., SCHÜTZE P. Introduction to Information Retrieval // Cambridge University Press. - 2008. -496 P.
18. MAVRIKIS M. Data-driven Modelling of Students' Interactions in an ILE // Proc. 1st International Conference on Educational Data Mining. Montreal, Canada, 2008. - P. 87-96.
19. ELAN T.N. A professional tool for the creation of complex annotations on video and audio resources. -Max Planck Institute for Psycholongvistics, The Language Archive,Nijmegen. -[Электронный ресурс]. - URL: http://tla.mpi.nl/ tools/tla-tools/elan/ (дата обращения: 31.05.2013).
20. SOLDATO T., BOULAY B. DE. Formalization and Implementation of Motivational Tactics in Tutoring Systems //
Journal of Artificial Intelligence in Education. - 1995. - Vol. 6,№4. - P.337-378.
21. TROSSEN D., PAVEL D. AIRS: A Mobile Sensing Platform for Lifestyle Management Research and Applications // Lecture Notes of the Institute for Computer Sciences, Social Informatics and Telecommunications Engineering. -2013. - Vol. 65. -P. 1-15.
22. YUSOFF M., BOULAY B. DE. Integrating Domain-Independent Strategies into an Emotionally Sound Affective Framework for an Intelligent Learning Environment. - [Электронный ресурс]. -URL: http://www.cogs.susx.ac.uk/ users/bend/papers/aisb2005.pdf (датаобращения: 09.07.2011).
STUDENT'S PSYCHOLOGICAL STATE MODEL BASED ON LOGS OF HIS/HER ACTIVITY IN A MODEL-TRACING INTELLIGENT TUTORING SYSTEM: CONSTRUCTION EXPERIENCE Natalia Smirnova, Institute of Control Sciences of RAS, Moscow, researcher (smirnovanatalia2008@gmail. com). Abstract: We employ machine learning techniques to develop a mathematical model, which predicts student's psychological state basing on logs of his/her problem-solving activity in an intelligent teaching system. The suggested model can be extended to predict the state of a user of any information system, which stores user activity logs.
Keywords: intelligent teaching system, student model, machine learning, user model.
Статья представлена к публикации членом редакционной коллегии М.В. Губко
Поступила в редакцию 18.12.2013.
Опубликована 31.05.2014.
