CC BY
714
Интернет-журнал «Науковедение» ISSN 2223-5167 http ://naukovedenie. ru/
Том 9, №4 (2017) http://naukovedenie.ru/vol9-4.php
URL статьи: http://naukovedenie.ru/PDF/15TVN417.pdf
Статья опубликована 14.07.2017
Ссылка для цитирования этой статьи:
Белоножко П.П., Карпенко А.П., Храмов Д.А. Анализ образовательных данных: направления и перспективы применения // Интернет-журнал «НАУКОВЕДЕНИЕ» Том 9, №4 (2017) http://naukovedenie.ru/PDF/15TVN417.pdf (доступ свободный). Загл. с экрана. Яз. рус., англ.
Работа выполнена при финансовой поддержке прикладных научных исследований Министерством образования и науки Российской Федерации (уникальный идентификатор проекта RFMEFI57714X0135)
УДК 004.8:519.25:37.012.4
Белоножко Павел Петрович
ФГБОУ ВО «Московский государственный технический университет им. Н.Э. Баумана (национальный исследовательский университет)», Россия, Москва1
Старший научный сотрудник Доцент кафедры «САПР» Кандидат технических наук E-mail: byelonozhko@mail.ru
Карпенко Анатолий Павлович
ФГБОУ ВО «Московский государственный технический университет им. Н.Э. Баумана (национальный исследовательский университет)», Россия, Москва
Профессор кафедры «САПР» Доктор физико-математических наук E-mail: apkarpenko@mail.ru
Храмов Дмитрий Александрович
Институт технической механики Национальной академии наук Украины и Государственного космического
агентства Украины, Украина, Днепропетровск Старший научный сотрудник Кандидат технических наук E-mail: dkhramov@mail.ru
Анализ образовательных данных: направления и перспективы применения
Аннотация. Развитие систем электронного обучения и внедрение цифровых технологий в традиционный образовательный процесс приводит к появлению больших информационных массивов, исследованием которых занимается анализ образовательных данных (АОД) - научная дисциплина, связанная с применением методов интеллектуального анализа данных к информации, производимой образовательными учреждениями. В статье рассматриваются методы АОД и их особенности в сравнении с методами интеллектуального анализа данных. Анализируются направления приложения АОД и те преимущества, которые дает его использование всем участникам образовательного процесса. Разбираются стоящие перед АОД проблемы и вызовы, а также перспективные направления исследований.
1 105005, г. Москва, 2-я Бауманская ул., д. 5
Ключевые слова: электронное обучение; анализ образовательных данных; аналитика обучения
Введение
Широкое распространение систем электронного обучения (e-learning) дает исследователям значительно больший объем информации по сравнению с традиционным образовательным процессом. Связано это как с активным использованием в электронном обучении различных технологий сбора данных, так и с большим масштабом аудитории электронных образовательных сред (ЭОС). Рост объема данных способствовал появлению в начале 2000-х годов нового направления в области искусственного интеллекта - анализа образовательных данных [1].
Анализ образовательных данных (Educational Data Mining) (АОД) - это направление исследований, связанное с применением методов интеллектуального анализа данных (Data mining)2, машинного обучения и статистики к информации, производимой образовательными учреждениями. АОД разрабатывает и совершенствует методы обработки образовательных данных, которые зачастую имеют несколько уровней смысловой иерархии, для того чтобы лучше понять, как люди учатся и как сделать процесс обучения более эффективным.
АОД пытается извлечь закономерности из данных, генерируемых в процессе обучения. Эти данные могут быть весьма обширны и содержать большое число подробностей. Так, некоторые системы управления обучением (learning management system) отслеживают информацию о том, когда студент получил доступ к тому или иному учебному объекту3, сколько раз студенты обращались к этому объекту и сколько минут объект отображался на экране компьютера студента, в какой последовательности выполнялись тестовые задания и т.п. Уровень подробности этих данных таков, что даже короткий сеанс работы с ЭОС может произвести большой объем данных для анализа.
Другие данные могут содержать гораздо меньше подробностей. Например, электронная зачетная книжка студента содержит упорядоченный во времени список курсов, которые прослушал данный студент, оценки, которые он получил за тот или иной курс и т.п. АОД использует оба этих типа данных, чтобы обнаружить закономерности в учебе студентов. Так, изучая данные ЭОС, можно установить связь между учебными объектами (темами), которым студент уделял внимание во время прохождения курса, и итоговой оценкой этого студента.
Методы АОД могут помочь в проектировании образовательной среды, в организации материалов учебных курсов и управлении образовательными ресурсами. Эти методы дают возможность оценить влияние учебных стратегий, внедренных в тех или иных учебных заведениях. Кроме того, АОД способствует развитию теории обучения, разрабатываемой специалистами в области психологии образования.
АОД тесно связан с аналитикой обучения (Learning analytics). Цели и задачи исследований у этих дисциплин во многом совпадают. Ряд специалистов [1, 2] видят различие между двумя направлениями в том, что АОД сосредоточен на автоматизации выявления закономерностей в образовательных данных, тогда как аналитика обучения больше нацелена
2 Далее для краткости мы будем говорить об "анализе данных", имея в виду как традиционные методы анализа данных, так и более новые методы, связанные с развитием Data mining.
3 Учебный объект - сборник материалов, упражнений и тестовых заданий, объединенных единой учебной целью. Похож на параграф учебника с теорией, примерами и упражнениями для (само)контроля.
на подготовку данных в виде, пригодном для их анализа человеком. В дальнейшем мы сосредоточимся на том, что объединяет оба направления. Подробный обзор современного состояния аналитики обучения приведен в [3].
В последние годы электронное обучение в России развивается весьма активно. Тем не менее наблюдается некоторый барьер во взаимодействии специалистов разных профессий. С одной стороны, работники сферы образования не всегда готовы к интерпретации обширных данных, предоставляемых ЭОС. С другой стороны, специалисты в области анализа данных не знают, что, как и почему необходимо измерять в образовании. Цель нашей работы заключалась в том, чтобы по возможности уменьшить этот барьер, дав краткий анализ основных направлений развития АОД и показав, чего можно ожидать от его методов сейчас и в ближайшем будущем.
Статья структурирована следующим образом. История появления АОД рассмотрена в разделе 1. Особенности АОД в целях, данных и методах исследований по сравнению с традиционным анализом данных описаны в разделах 2-4. Направлениям применения методов АОД посвящен раздел 5. Наиболее популярные программные средства, используемые в АОД, рассмотрены в разделе 6. Раздел 7 рассказывает о преимуществах, которые предоставляет АОД всем участникам образовательного процесса. В разделе 8 рассматриваются стоящие перед АОД проблемы и вызовы. Наконец, раздел 9 посвящен направлениям будущих исследований.
1. История появления АОД
Систематические работы по сбору и изучению образовательных данных, представленных в электронной форме, начались еще в 1980-х гг. в связи с развитием в США направления на создание интеллектуальных обучающих систем (intelligent tutoring system) -обучающих программ, способных не только распознать ответ, но и оценить ход рассуждений обучаемого при выполнении задачи [4]. Такие программы отслеживают действия обучаемого и заносят собранные данные в электронный журнал (лог) для последующего анализа.
Распространение Интернета и развитие на рубеже 2000-х гг. систем электронной коммерции привело к накоплению больших массивов данных о поведении клиентов таких систем. Поиск в этом поведении закономерностей, позволяющих увеличить продажи, вызвал бурный рост интереса к методам анализа больших массивов данных - методам Data mining^.
Параллельно развивались системы электронного дистанционного обучения. Так, первая версия популярной системы управления обучением Moodle была выпущена в 2002 г. Подобные технологии дали возможность получать весьма подробные сведения о поведении учащихся, не укладывающиеся в рамки традиционной образовательной статистики. В то же время на международных конференциях по использованию методов искусственного интеллекта в образовании (International Conference on Artificial Intelligence in Education, International Conference on Intelligent Tutoring Systems и др.) [5] начинают проводится регулярные семинары, посвященные развитию методов анализа этого нового типа образовательных данных.
С другой стороны, происходит электронизация традиционного образовательного процесса, связанная с введением электронных журналов, зачетных книжек и т.п. Появление публичных репозиториев, таких как Pittsburgh Science of Learning Centre's DataShop и National Center for Education Statistics, сделало образовательные данные более доступными для анализа и существенно расширило круг исследователей, работающих в этом направлении [1].
В 2008 г. группа ученых организовала в Монреале первую международную конференцию EDM'08, целиком посвященную АОД. Впоследствии эти конференции стали ежегодными.
Новый импульс развитию направления придало появление массовых общедоступных онлайновых курсов (МООК) с огромной аудиторией и широкими возможностями по сбору данных, таких как Академия Хана, Coursera, edX, Udacity и др. [6, 7].
С 2009 г. начал издаваться Journal of Educational Data Mining, направленный на популяризацию и распространение результатов исследований - первый из журналов, целиком посвященных АОД (сейчас их уже несколько). В 2011 г. было основано Международное общество анализа образовательных данных (International Educational Data Mining Society).
Активно развивается и аналитика обучения: существует общество, объединяющее исследователей в этой области - Society for Learning Analytics Research, издается журнал Journal of Learning Analytics.
Таблица 1
Курсы, посвященные АОД и аналитике обучения на крупнейших МООК
(составлено авторами)
Название курса Преподаватели Организация
Big Data in Education R. Baker, E.Y. Wang, L. Paquette Teachers College, Columbia University
Practical Learning Analytics T. McKay University of Michigan
Data, Analytics and Learning G. Siemens, C. Rosé, D. Gasevic, R. Baker University of Texas at Arlington
Особенности АОД по сравнению с интеллектуальным анализом данных заключаются в: целях, данных и методах исследований.
2. Цели
Развитие методов АОД так или иначе направлено на совершенствование образовательного процесса. Бэйкер (Baker) и Яцеф (Yacef) в [8] выделяют четыре цели АОД:
1. Прогнозирование поведения студентов в процессе обучения. Цель достигается созданием модели студента, включающей детальную информацию о его познавательных возможностях, знаниях, поведении и мотивации к учебе.
2. Разработка новых моделей и способов представления знаний в предметной области. Необходимо подбирать такие формы подачи учебного материала, которые бы соответствовали разнообразным стилям обучения и познавательным возможностям, выявленным у студентов при помощи методов АОД.
3. Изучение эффектов взаимодействия "преподаватель-студент" или более широко - "система обучения-студент". То есть: адаптивная выработка рекомендаций студентам; обеспечение обратной связи, подсказывающей преподавателю как выстроить изложение материала; изучение эффектов от помощи, которую оказывает образовательная среда в процессе обучения на результаты этого обучения.
4. Развитие знаний о самом феномене обучения и психологии обучаемых.
Интернет-журнал «НАУКОВЕДЕНИЕ» Том 9, №4 (июль - август 2017)
http://naukovedenie.ru publishing@naukovedenie.ru
3. Данные
Вторая особенность АОД заключается в исследуемых данных. Они могут иметь сложную структуру (иерархические, семантические), что представляет собой трудности для анализа традиционными методами. Существенно и то, что это могут быть данные, с которыми работники сферы образования обычно не имеют дела.
Так, анализ логов (журналов использования сайта/базы данных образовательной системы) может дать информацию о [5]:
• числе посещений и числе посетителей страницы (сайта электронной образовательной системы);
• через какую страницу студенты заходят на сайт образовательной системы, и через какую покидают сайт;
• наиболее посещаемых страницах;
• браузерах, которые используют студенты;
• частоте посещений тех или иных страниц во времени (в виде временного ряда -для сайта в целом и для отдельной страницы);
• происхождении посетителей (географического расположения места, откуда они входят в систему);
• числе посещений и их длительности для отдельного студента за определенный период времени;
• наиболее популярных ключевых словах для поиска информации в системе;
• числе просмотров/скачиваний учебных материалов;
• числе различных страниц, просмотренных студентом за сеанс работы или за более продолжительный период времени;
• статистических индикаторах общения на форуме образовательной системы (числе постов, среднем объеме поста, популярности поднятой темы, количестве обращений с вопросами к другим студентам по сравнению с общением "студент-преподаватель");
• списке электронных ресурсов, использованных (посещенных, скачанных, прочитанных) студентом (и соответствующий временной ряд);
• объёме учебного материала, который студент изучает перед выполнением задания.
Подобные данные может предоставить, в частности, система Moodle. В работах [9, 10] описан опыт сбора данных из этой системы управления обучением.
4. Методы
В АОД широко используются методы традиционного Data mining, основными из которых являются: классификация, кластеризация, поиск связующих правил, поиск последовательных шаблонов, а также интеллектуальный анализ текстов (text mining). В [5] показано какой метод и в каких именно задачах чаще всего используется.
Все эти методы можно разделить на три большие группы.
4.1. Методы традиционного data mining Прогнозирование
Цель прогнозирования заключается в том, чтобы разработать модель, предсказывающую значение интересующей величины (выходной переменной) по значениям, которые приобретают независимые переменные (предикторы).
Если выходная переменная принимает непрерывные значения, то мы имеем дело с регрессией - поиском зависимости между входными и выходной переменными. Если выходная переменная имеет конечный дискретный набор значений (классов), то говорят о задаче классификации - когда в зависимости от значений входных переменных выходная переменная будет отнесена к тому или иному классу.
Прогнозирование предполагает, что часть данных размечена, то есть для них известны значения входных переменных и соответствующие им значения выходной переменной. "Научившись" на этом наборе данных, алгоритм регрессии или классификации позволяет предсказать значение выходной переменной для новых (неразмеченных) данных.
Например, основываясь на данных по обращению к учебным материалам (длительности сеансов работы, числе просмотров и т.п.) и итоговой оценке, полученной студентом на экзамене у реального преподавателя, можно спрогнозировать оценку, которую получит на экзаменах студент со сходной учебной активностью.
Обнаружение структуры
Алгоритмы обнаружения структуры (structure discovery) пытаются выявить в данных структуру, без использования каких-либо априорных представлений о ней. Наиболее известной группой подобных алгоритмов являются алгоритмы кластеризации. Кластеризация является логическим продолжением идеи классификации. Особенность ее состоит в том, что классы объектов изначально не предопределены, тогда как при классификации прежде чем перейти к созданию модели необходимо разметить некоторое подмножество данных. Результатом кластеризации является разбиение множества объектов на группы близких в каком-либо смысле объектов.
Выявление взаимосвязей
Цель выявления взаимоотношений (relationship mining) состоит в том, чтобы установить взаимосвязи между переменными в наборе данных с большим числом переменных. Например, можно попытаться определить, какие переменные сильнее всего связаны с интересующей или в какой из пар связанных переменных связь сильнее, чем в других. Выявление взаимоотношений в АОД чаще всего используется в форме поиска связующих (ассоциативных) правил (association rule mining) или поиска последовательных шаблонов (sequential pattern mining).
В поиске связующих правил целью является найти правила вида "if-then", указывающие на то, что если (if) одни переменные принимают какое-то множество значений, то (then) другая переменная будет иметь определенное значение. Например, если в транзакции встретился набор товаров A, то можно сделать вывод, что в этой же транзакции должен появиться набор товаров B.
Поиск последовательных шаблонов является дальнейшим развитием поиска связующих правил и предназначен для выявления взаимоотношений между проявлениями
последовательных во времени событий (если пользователь приобрел товар А, то впоследствии он приобретет товар B).
4.2. Методы, специфичные для АОД
Наряду с традиционными для анализа данных методами, в АОД используются специфические методы: открытие с помощью моделей (Discovery with Models) и перегонка4 данных для принятия решений человеком (Distillation of Data for Human Judgment) [1].
Открытие с помощью модели предполагает, что создание прогнозной модели является не целью работы, а промежуточным звеном в решении другой проблемы. Например, у студента может возникнуть желание обмануть обучающую систему, используя слабости в ее устройстве. Нередко "хитрость" является вынужденной и связана с плохим знанием материала конкретной темы. Знания же можно косвенно оценить по другим признакам (по частоте и длительности обращения к учебным материалам и т.п.) и построить модель, прогнозирующую оценку, которую студент получит по итогам тестирования. Результаты, предсказанные с помощью модели оценки успеваемости, становятся независимыми переменными для новой модели в которой определяется уже вероятность мошенничества со стороны студента. Таким образом, прогнозная модель служит промежуточным звеном, позволяя оценить скрытые величины (оценку успеваемости) и связать вероятность обмана системы со значениями доступных для измерения параметров (характеристикам работы с учебным материалом).
Перегонка данных для принятия решений человеком означает, что данные должны быть преобразованы и представлены в виде, способствующем восприятию их человеком. Эта группа методов нацелена на использование преимуществ визуального способа представления информации, предварительно обработанной методами анализа данных (например, для сокращения размерности данных). Покажем, как это выглядит на примере, заимствованном из [11].
На рис. 1 приведена таблица средних баллов (GPA) гипотетических студентов за четыре последних года учебы в школе двенадцатилетнего обучения. Оценке А американской шкалы оценивания знаний соответствует 4, B - 3, C - 2, D - 1 и F - 0. Сделать какой-либо вывод из представленных таким образом данных затруднительно, особенно если принять во внимание, что на практике количество студентов будет гораздо больше.
GPA at Grade Level
Student # 9 10 11 12
Student 1 0 1 1 1
Student 2 1 1 1 1
Student 3 4 4 3 4
Student 4 2 0 0 0
Student 5 4 4 4 4
Student 6 0 1 1 1
Student 7 4 3 •у 3 3
Student 8 2 3 4 4
Рисунок 1. Таблица средних баллов (GPA) студентов за 9-12 годы обучения в школе двенадцатилетнего цикла (составлено авторами)
4 Термин "перегонка" (дистилляция) введен Бэйкером в [1]. Напомним, что перегонка применяется для разделения и рафинирования сложных веществ.
Результаты перегонки этих данных представлены на рис. 2. Отметим их особенности:
• данные кластеризованы - студенты, имеющие сходную успеваемость, сгруппированы друг с другом;
• результаты выделены цветом (более теплые цвета соответствуют более высоким баллам), что улучшает визуальное восприятие информации и позволяет легче отличать "отличников" от "двоечников" даже при большом числе студентов;
• добавлена информация о продолжении образования: оставил ли студент учебу (dropout) или сдал тест для поступления в колледж/университет (ACT).
-С
Grade Year -S-
9 10 11 12 <D v
Student 3 Student 7 H ■
Student 5 ■
Student 4 ■
Student 8 ■
Student 6 ■
Student 1 ■ ■
Student 2
4 3 2 1 0
Рисунок 2. Результат иерархической кластеризации данных о средних баллах, отображенный на тепловой карте [11]
Ясно, что последний способ представления данных гораздо более информативен и способен облегчить процесс принятия управленческих решений.
5. Приложения методов АОД
Процесс применения методов АОД, как правило, состоит из пяти следующих этапов.
1. Предварительная обработка данных.
2. Выявление закономерностей в данных тем или иным методом data mining.
3. Проверка (валидация) обнаруженных закономерностей.
4. Применение найденных закономерностей для прогнозирования будущих событий в обучающей среде.
5. Использование построенных прогнозов при поддержке принятия решений и выработки образовательной политики.
Этапы 1-3 относятся к традиционному анализу данных, а этапы 4 и 5 представляют специфику АОД.
Ромеро и Вентура [5] выделяют следующие направления приложений АОД (рис. 3).
1. Анализ и визуализация данных.
2. Обеспечение обратной связи для поддержки работы преподавателей.
3. Рекомендации студентам.
4. Прогнозирование успеваемости.
5. Моделирование студентов.
6. Выявление нежелательного поведения студентов.
7. Разделение студентов на группы.
8. Анализ социальных сетей.
9. Разработка концептуальных карт.
10. Организация образовательного контента курса.
11. Планирование и составление расписаний.
Планирование и составление расписаний Организация образовательного контента курса Разработка концептуальных карт Анализ социальных сетей Разделение студентов на группы Выявление нежелательного поведения студентов Моделирование студентов Прогнозирование успеваемости Рекомендации студентам Обеспечение обратной связи для поддержки работы преподавателей
Анализ и визуализация данных
Ф Ф
н-Г
5 6
~~I-1-1-1-1-Г
10 11 12 13 14 15
Доля в общем числе публикаций, %
Рисунок 3. Распределение по направлениям публикаций в области АОД, вышедших до 2009 года (по данным [5])
Рассмотрим эти направления более подробно.
5.1. Анализ и визуализация данных
Значительное число работ в области АОД посвящено статистическому анализу данных логов (журналов регистрации действий пользователя и программы) систем управления обучением и на поиски связи между измеряемыми величинами и традиционными для системы образования показателями, в частности, успеваемостью.
В силу своей природы электронное обучение более формализовано по сравнению с обучением, предполагающим личное общение преподавателя и студента. Традиционные для
ЭОС тестовые задания, как правило, содержат вопросы множественного выбора, вопросы-определения, задачи и задания на вычисления, а также могут содержать задания, моделирующие ситуации профессиональной деятельности [12]. Проверка уровня понимания материала в таких системах имеет некоторые ограничения. Например, при множественном выборе существует возможность подбора решения, а в вопросах открытого типа, направленных на получение конкретного числового результата, это значение может быть либо подобрано, либо опущен ход его получения, который зачастую содержит больше информации об уровне знаний обучаемого, чем полученное в итоге значение. В этой связи представляет интерес развитие систем проверки успеваемости, которые не оставляли бы возможностей для подбора варианта решения, что принуждало бы обучаемого к полностью самостоятельным рассуждениям. Такие системы должны позволять оценивать как ход решения задачи, так и поведение обучаемого в процессе решения. Это позволило бы в полной мере оценить навыки мышления более высокого уровня, скрытые от традиционных систем тестирования. Задача разработки моделей оценки "скрытых знаний" (hidden knowledge) является одним стержневых направлений развития интеллектуальных обучающих систем. В частности, подобные модели применяются в системе Cognitive Tutor (коммерческая разработка компании Carnegie Learning, США), которая используется в преподавании курсов алгебры в старших классах средних школ США наряду с традиционными учебниками с начала 1990-х гг. [13].
Большое число работ посвящено совершенствованию способов представления сложных и многомерных данных в понятном для человека виде, в частности, различным способам визуализации данных. Краткий обзор этих работ приведен в [11]. К этому направлению относятся работы по развитию методов перегонки данных (см. п. 4.2).
5.2. Обеспечение обратной связи для поддержки работы преподавателей
Преподаватели дистанционных курсов особенно остро нуждаются в обратной связи со стороны студентов для того, чтобы организовать материалы курса и домашних заданий по уровням сложности, выявить "темные" места в изложении, сделать его более доступным для понимания.
Источниками данных для обратной связи могут служить: поведение студентов, изучаемое по логам ЭОС, результаты опросов, тестов, тексты студенческих работ и т.п. Каждый из этих источников имеет свою специфику применения методов анализа данных. Однако в данном случае важны не сами методы, а те выводы и закономерности, которые удается извлечь из анализа собранных данных. Чаще всего, для решения этой задачи используется поиск связующих правил, который находит интересные взаимоотношения между переменными в больших массивах данных и представляет их в форме правил "if-then".
Кроме того, множество исследований посвящены сравнению эффективности использования различных методов анализа данных для обеспечения обратной связи [14].
5.3. Рекомендации студентам
Для выработки рекомендаций студентам используются, главным образом, поиск связующих правил, кластеризация и поиск последовательных шаблонов.
Поиск последовательных шаблонов, то есть повторяющихся последовательностей событий, применяется для выработки персонализированных рекомендаций по выбору учебного контента на обучающем ресурсе, основанных на стиле обучения и выявленных привычках использования ресурса. В частности, в [15] изучались движения глаз, чтобы
определить места учебного материала, на которых фокусируется студент и те, которые он "пробегает".
Теми же методами исследовались шаблоны поведения, которые могли бы свидетельствовать о проблемах с обучением, чтобы помочь студенческим командам в раннем выявлении проблем [16].
Заметим, что сравнению эффективности применения различных методов анализа данных для выработки рекомендаций и анализу эффекта от использования этих рекомендаций студентами в настоящее время посвящено мало работ. По-видимому, это связано с тем, что такие работы требуют проведения долговременных исследований.
5.4. Прогнозирование успеваемости
Целью прогнозирования является получение оценки некоторой величины, которая характеризуют успеваемость студента. Чаще всего речь идет о дискретной величине, измеряемой в баллах, и прогнозирование сводится к решению задачи классификации.
Прогнозирование успеваемости - одна из старейших и наиболее популярных задач АОД, для решения которой используются самый широкий спектр методов: нейронные сети; байесовские сети; системы, основанные на правилах; методы регрессионного и корреляционного анализов.
Существуют сравнения результативности использования различных методов прогнозирования успеваемости на данных, собранных в LMS Moodle [5].
5.5. Моделирование студентов
Целью моделирования студентов является разработка модели студента (обучаемого), обеспечивающая учет его навыков и декларативных знаний5 при оценке учебно-познавательной деятельности.
В этой связи методы АОД применяются для автоматизации учета характеристик обучаемых: их мотивации, удовлетворенности, стиля обучения, аффективного статуса и т.п. Выполнялись также сравнения различных методов анализа данных для определения ментальных моделей студентов в интеллектуальных системах обучения [5].
Возможности современных ЭОС в общем случае анализа типологии форм поведения обучаемых весьма ограничены, ввиду ограниченного спектра инструментов для сбора данных (логи серверов, опросы). Поэтому целесообразно поставить вопрос о том, какими средствами фиксации данных о поведении пользователей должна обладать ЭОС, чтобы провести исследование типов поведения пользователей, более полно соответствующее современному уровню развития психологии.
В ближайшие годы, по-видимому, следует ожидать ускорения развития алгоритмов типологии форм поведения пользователей, благодаря более широкому использованию в обучении смартфонов и планшетных компьютеров, обладающих большим числом датчиков и позволяющих собрать более подробную информацию о состоянии пользователя. Развитие методов обработки текстов на естественных языках также может положительно сказаться на совершенствовании рассматриваемых алгоритмов.
5 Декларативное (дескриптивное) знание - такое знание о мире, к которому человек имеет осознанный доступ и которое он может изложить с помощью языковых средств (т.е. декларировать).
5.6. Выявление нежелательного поведения студентов
Целью исследований здесь является выявление студентов, имеющих проблемы в обучении (и не сообщающих об этих проблемах), студентов с низкой мотивацией, пытающихся обмануть систему тестирования и т.п. При этом нежелательное поведение не обязательно является преднамеренным. Особенно это касается обучения в ЭОС, где студенты в силу непривычной обстановки могут не знать, как и кому сообщить о своих проблемах. Важно выявлять таких студентов своевременно, до того, как их проблемы скажутся на успеваемости. Обучающая система может рассылать таким студентам предупредительные сообщения о грядущих проблемах в обучении. Так, в частности, работает проект Purdue Signals, развиваемый в Университете Purdue (США) [17].
5.7. Разделение студентов на группы
Целью является создание групп учащихся в соответствии с их индивидуальные особенностями, личностными характеристиками и т.д. Основными методами исследования являются классификация и кластеризация.
Как правило, группы предполагается организовывать из студентов, близких по индивидуальным особенностям и результатам учебы. В то же время мало работ, посвященных формированию команд, то есть групп, нацеленных на решение конкретных задач и состоящих из взаимодополняющих друг друга индивидов.
5.8. Анализ социальных сетей
Для исследования взаимоотношений между людьми, в том числе тех, что возникают в коллективе во время обучения, применяются методы анализа социальных сетей (social network analysis, SNA) [18]. Под социальной сетью понимается организация или группа людей, связанных теми или иными социальными отношениями (семья, дружба, трудовой коллектив и т.п.).
В частности, анализ социальных сетей используется для выявления закономерностей в академическом сотрудничестве в целях оказания помощи директивным органам по организации и поддержке исследований, основанных на определенных моделях сотрудничества. Выявив некоторые закономерности успешной работы ряда исследовательских коллективов, организация-заказчик исследований может выдавать рекомендации соискателям, а также отслеживать те или иные проблемы в их работе.
Следует отметить, что анализ социальных сетей вскрывает структуру возникающих в ходе обучения взаимоотношений, но не проясняет характера этих отношений и не может оценить степень влияния возникших взаимосвязей на конечный результат обучения. Поэтому анализ социальных сетей целесообразно использовать совместно с другими методами анализа, который позволили бы лучше объяснить закономерности, выявленные при помощи SNA. Так, исследование поведения коллектива пользователей ЭОС, возникающего как результат действий отдельных пользователей по некоторым правилам, может проводиться методами агентного моделирования [19]. Правила поведения агентов могут формироваться на основе результатов изучения типов поведения пользователей в данном ЭОС. В настоящее время, судя по публикациям [20, 21] это направление исследований делает свои первые шаги.
5.9. Разработка концептуальных карт
Концептуальная карта представляет собой граф, узлы которого отображают понятия (концепты) предметной области, а соединяющие эти узлы дуги выражают отношения (связи) между понятиями, например, "является", "имеет свойство" и т.п. [22].
Разработка концептуальной карты подразумевает структурный анализ взаимосвязей между отдельными понятиями учебного курса. Концептуальная карта студента помогает выявить возможные пробелы в образовании, а ее сравнение с концептуальной картой курса позволяет оценить уровень освоения предмета [23]. Кроме того, такая карта может использоваться в качестве иллюстративного материала.
Автоматизация создания концептуальных карт достигается применением методов поиска связующих правил и интеллектуального анализа текстов.
5.10. Организация образовательного контента курса
Автоматизация организации образовательного контента позволяет создавать из набора учебных материалов курс, настроенный под потребности той или иной группы обучаемых. Для решения этой задачи используются, в частности, методы коллаборативной фильтрации [24], позволяющие ранжировать учебные объекты (темы) по уровню интереса к ним, проявленному со стороны обучаемого.
5.11. Планирование и составление расписаний
С одной стороны, это направление является дальнейшим развитием автоматизированной выработки рекомендаций студентам (п. 5.3). В данном случае речь идет о рекомендациях по выбору будущих курсов, которые необходимы студенту для восполнения пробелов в знаниях или дальнейшего развития в выбранной специальности, а также о составлении рекомендуемого распорядка прохождения этих курсов. С другой стороны, эти же вопросы, рассматриваемые с точки зрения администрации учебных курсов, предполагают создание инструментов, облегчающих процесс распределения нагрузки и формирования расписания занятий.
6. Развитие программных средств
Одним из факторов, способствовавших развитию АОД, стало совершенствование программных инструментов для анализа данных, что позволило вовлечь в проведение исследований специалистов, не имеющих большого опыта в программировании.
По данным [1] большая часть статей, опубликованных в журналах Artificial Intelligence in Education, Intelligent Tutoring Systems и User Modeling and Adaptive Personalization, а также докладов на конференциях по АОД и аналитике обучения используют такие свободно распространяемые пакеты как: RapidMiner, R, Weka, KEEL (Knowledge Extraction based on Evolutionary Learning) и SNAPP. Эти пакеты включают в себя алгоритмы, реализующие описанные выше методы анализа данных, обеспечивают импорт и поддержку предварительной обработки данных для использования в рамках этих методов. Они также обеспечивают поддержку проведения статистической проверки адекватности модели и визуализацию данных.
Некоторые из этих пакетов распространяются с открытым исходным кодом, что позволяет исследователям разрабатывать модули, расширяющие базовые возможности пакета.
Так, популярный инструмент для статистического анализа данных R в настоящее время насчитывает около 10000 пакетов-расширений. Среди них - интерфейсы к другим популярным пакетам анализа данных. В свою очередь, Weka и RapidMiner обладают расширениями, позволяющими использовать возможности R. Открытость кода платформ, таких как R и Weka, дает возможность детально изучить методы и алгоритмы, используемые другими исследователями.
7. Что дает АОД участникам образовательного процесса
Рассмотрим преимущества, которые может дать применение АОД участникам образовательного процесса.
Для студентов образовательная среда, использующая методы АОД, позволит адаптировать изучаемый курс под их возможности (текущий уровень знаний, особенности восприятия и обработки информации). Для этого ЭОС собирает детализированную информацию о том, какой контент студент использует чаще всего (задания, видео, текст), с учетом продолжительности и частоты его просмотра. Полученная информация обрабатывается и на ее основе формируется модель обучения. Так, если ЭОС "видит", что студент затрачивает мало времени на прохождение тестов и домашних заданий, быстро пролистывает учебный материал, то такому студенту могут быть предложены сокращенные пути прохождения курса: более сложные задания, прохождение на более сложную ступень при сдаче экзамена и пр. Анализ собранных данных позволяет ЭОС сгенерировать адаптированную подсказку. Так, если у студента возникают проблемы с какой-либо частью курса (это можно понять на основе анализа ошибок в тестах, домашних заданиях и по заданным на форуме вопросам), то система может дать рекомендацию по изучению дополнительного материала или перенаправить студента на соответствующую главу. Кроме того, используя рекомендательные алгоритмы [24], ЭОС может предложить студенту новый курс для изучения.
Для школьников АОД может информировать родителей о прогрессе в обучении их детей, а также сигнализировать о возможных проблемах.
Преподавателям АОД дает возможность получить информацию, которая позволит улучшить содержание курса. Так, на основе данных о частоте и распределении ошибок, которые совершают студенты (а также дополнительной информации, включающей просмотренные темы, предыдущие оценки и т.п.), можно будет понять причины возникновения этих ошибок и внести коррективы в курс. Таким образом можно получить обратную связь даже в тех случаях, когда студент бросил курс без каких-либо объяснений, выявив причину его затруднений и устранив или предупредив ее. Интегральная оценка работы студентов над курсом (число выполненных тестов, домашних заданий и т.п.) позволяет в динамике следить за процессом обучения. У преподавателя появляется возможность классифицировать обучающихся по группам, например, по успеваемости, активности, предварительной подготовке и пр. Он может адаптировать материал под нужды конкретных студентов, основываясь на данных, собранных ЭОС по результатам прохождения ими других курсов. Преподаватели могут также выявить собственные новые индикаторы (показатели), которые показывают степень удовлетворенности студента, его вовлеченность в освоение материала курса и позволяют осуществлять мониторинг процесса обучения [25].
Администрации ЭОС анализ данных позволит оценить структуру контента курса, его эффективность в общем образовательном процессе. Перед их глазами находится полная картина всего того, что происходит на электронном образовательном ресурсе. В их интересах оставлять и улучшать успешные курсы, подбирать лучший способ подачи материала.
Например, основываясь на психометрических данных о преподавателях и студентах, можно подбирать наилучшие комбинации "студент-наставник", что позволит создать синергию в обучении и повысить уровень освоения учебного материала. Можно будет автоматически вырабатывать рекомендации конкретным студентам по дальнейшему обучению (образовательные траектории) и составлять расписание учебного процесса. Кроме того, администратор получает новые инструменты для оценки преподавателей, учебных планов и того, как эффективнее использовать имеющиеся ресурсы (преподавателей, материалы). Факультетское руководство может отслеживать студентов, у которых есть риск быть отчисленными по их поведению задолго до проведения экзаменов. В настоящее время методы АОД находят все более широкое применение в управлении образованием [26].
8. Проблемы и вызовы
Применение АОД связано с необходимостью решения ряда проблем.
1. Какие данные собирать? Как отмечается в [27], решение вопроса о том, какие именно данные необходимо собрать зачастую затягивает и делает более затратной и трудоемкой начальные этапы исследований с применением АОД.
2. Техническая сторона дела. Если собранных данных много, то хранение и управление ими может потребовать дополнительных затрат. Различные пакеты для анализа данных могут не всегда легко интегрироваться друг с другом и со вспомогательными средствами, например, с пакетами визуализации данных.
3. Конфиденциальность. На всем протяжении исследований необходимо озаботиться соблюдением приватности и этических норм. Администраторы учебных курсов, использующих АОД, должны предварительно информировать пользователей о том, как и кем будет использоваться предоставляемые пользователями данные.
4. Специфичность. Результаты в области АОД тесно связаны с учебным заведением, где выполнялись исследования и временем их проведения. Полученные с их помощью рекомендации нельзя без существенных оговорок переносить на другие учебные заведения и периоды времени. Так, Бэйкер и Яцеф в [8] высказали предположение, что поскольку большая часть исследований по АОД проведена в Северной Америке и Западной Европе, то полученные в них результаты могут существенно отличаться от тех, что будут получены в странах с иными культурными традициями. Во всяком случае, этот вопрос нуждается в дальнейшем изучении.
9. Направления будущих исследований
1. Инструменты АОД должны быть достаточно просты и удобны, чтобы их могли использовать работники сферы образования. Эти инструменты должны быть интегрированы в ЭОС и предоставлять интерфейс для доступа к данным.
2. Стандартизация моделей и данных. Инструменты для сбора образовательных данных должны хранить их и описывать полученные модели единообразно, чтобы можно было переносить модели и данные между различными ЭОС.
3. Методы анализа данных должны быть адаптированы для их применения к образовательным данным. В частности, они должны уметь работать с семантической информацией.
4. Использование популярных социальных сетей (social media), таких как Facebook и ВКонтакте, для сбора образовательной информации сталкивается с проблемой неполноты собираемых данных. Дело в том, что интерфейсы прикладного программирования (API) соц. сетей - основной способ сбора данных из них - предназначены скорее для управления учетной записью пользователя, чем для исследования его образовательной активности, как это происходит в системах управления обучением вроде Moodle. Здесь видится два встречных направления движения. Популярные МООК могут со временем превратиться в платформы для общения и приобрести часть функций соц. сетей. С другой стороны, традиционные соц. сети могут интегрировать в свой состав образовательные возможности. В обоих случаях необходимо, чтобы получившаяся комбинированная система предоставляла исследователям интерфейс для мониторинга образовательного процесса.
ЛИТЕРАТУРА
1. Baker R., Siemens G. Educational Data Mining and Learning Analytics [Электронный ресурс]. Режим доступа: http://www.columbia.edu/~rsb2162/BakerSiemensHandbook2013.pdf (дата обращения: 18.11.2016).
2. Siemens G., Baker R. Learning Analytics and Educational Data Mining: Towards Communication and Collaboration // Proceedings of the 2nd International Conference on Learning Analytics and Knowledge, 2012. [Электронный ресурс]. Режим доступа: http://www.columbia.edu/~rsb2162/LAKs%20reformatting%20v2.pdf (дата обращения: 26.01.2017).
3. Ferguson R. The State Of Learning Analytics in 2012: A Review and Future Challenges // Technical Report KMI-12-01, Knowledge Media Institute, The Open University, UK. [Электронный ресурс]. Режим доступа: http://kmi.open.ac.uk/publications/techreport/kmi-12-01 (дата обращения: 28.11.2016).
4. Интеллектуальное управление процессом обучения [Электронный ресурс] // Хабрахабр [Интернет-портал] URL: https://habrahabr.ru/post/194240/ (дата обращения: 26.01.2017).
5. Romero C., Ventura S. Educational Data Mining: A Review of the State of the Art // IEEE Transactions on Systems Man and Cybernetics. Part C (Applications and Reviews). 2010, V. 40, № 6. P. 601-618. doi: 10.1109/TSMCC.2010.2053532.
6. Sitikhadijah M., Zaidatun T. Educational Data Mining: A Review [Электронный ресурс]. Режим доступа: https://www.researchgate.net/publication/275542685 (дата обращения: 18.11.2016).
7. Castro F., Vellido A., Nebot A., Mugica F. Applying Data Mining Techniques to e-Learning Problems [Электронный ресурс]. Режим доступа: http://sci2s.ugr.es/keel/pdf/specific/capitulo/ApplyingDataMiningTechniques.pdf (дата обращения: 18.11.2016).
8. Baker R., Yacef K. The state of educational data mining in 2009: A review and future visions // Journal of Educational Data Mining. 2009. V. 1, N 1. P. 3-17. [Электронный ресурс]. Режим доступа: http://www.educationaldatamining.org/JEDM/index.php/JEDM/article/download/8/2 (дата обращения: 18.11.2016).
9. Romero C., Ventura S., Garcia E. Data mining in course management systems: Moodle case study and tutorial // Computers & Education. 2007. doi:10.1016/j.compedu.2007.05.016.
10. AlAjmi M.F., Khan Sh., Zamani A.S. Using Instructive Data Mining Methods to Revise the Impact of Virtual Classroom in E-Learning // International Journal of Advanced Science and Technology. 2012. V. 45, N 8. P. 125-134. [Электронный ресурс]. Режим доступа: http://www.sersc.Org/journals/IJAST/vol45/9.pdf (дата обращения: 26.01.2017).
11. Bowers A.J. Analyzing the longitudinal K-12 grading histories of entire cohorts of students: Grades, data driven decision making, dropping out and hierarchical cluster analysis // Practical Assessment Research and Evaluation, 2010. V. 15, N 7. P. 1-18.
12. Шевелева Н.Е., Козлов В.И., Прокопов С.В., Бекирова М.Г. Концепции мониторинга успеваемости в рамках естественнонаучного цикла дисциплин // Современные наукоемкие технологии. 2016. № 5 (часть 2). С. 404-407. URL: http://www.top-technologies.ru/pdf/2016/5-2/35924.pdf (дата обращения: 20.11.2016).
13. Koedinger K.R., Corbett A.T. Cognitive tutors: Technology bringing learning sciences to the classroom // The Cambridge handbook of the learning sciences. New York: Cambridge University Press, 2006. [Электронный ресурс]. Режим доступа: http://leamlab.org/uploads/mypslc/publications/koedingercorbett06.pdf (дата обращения: 29.11.2016).
14. Shen R., Han P., Yang F., Yang Q., Huang J. Data mining and case-based reasoning for distance learning // International Journal of Distance Learning Technologies, Special Issue on Web-based Learning Systems. 2003. V. 1, N 3. P.46-58.
15. Nesbit J.C., Xu Y., Winne P.H., Zhou M. Sequential pattern analysis software for educational event data // 6th International Conference on Methods and Techniques of Behavioral Research "Measuring Behaviour", 26-28.08.2008, Maastricht, Netherlands, P. 1-5.
16. Kay J., Maisonneuve N., Yacef K., Zaiane O.R. Mining Patterns of Events in Students' Teamwork Data // Proceedings of Educational Data Mining Workshop. 2006, Taiwan. [Электронный ресурс]. Режим доступа: http://www.educationaldatamining.org/ITS2006EDM/Kay_Yacef.pdf (дата обращения: 26.01.2017).
17. Signals at Purdue University [Электронный ресурс] // Studio by Purdue [Офиц. сайт]. URL: http://www.itap.purdue.edu/studio/signals/ (дата обращения: 30.11.2016).
18. Freeman L. The Development of Social Network Analysis. Empirical Press, 2006.
19. Макаров В.Л., Бахтизин А.Р. Новый инструментарий в общественных науках -агент-ориентированные модели: общее описание и конкретные примеры // Экономика и управление. 2009. № 12. С. 13-25.
20. Harbouche K., Djoudi M. Agent-Based Design for E-learning Environment // Journal of Computer Science. 2007. V. 3, N 6. P. 383-389.
21. Artemenko V. Agent-based modeling of the e-learning users' behavior // International Journal of Computing. 2014. V. 13, N 1. P. 61-69.
22. Гаврилова Т.А., Лещева И.А., Страхович Э.В. Об использовании визуальных концептуальных моделей в преподавании // Вестник Санкт-Петербургского университета. Серия 8. Менеджмент. 2011. №4. URL: http://cyberleninka.ru/article/n/ob-ispolzovanii-vizualnyh-kontseptualnyh-modeley-v-prepodavanii-1 (дата обращения: 26.01.2017).
23. Гаврилина Е.А., Захаров М.А., Карпенко А.П., Смирнова Е.В. Онтологический подход к тестированию уровня владения обучающимся метапредметными понятиями // Наука и образование. 2015. № 2. doi: 10.7463/0215.0756631.
24. Сегаран Т. Программируем коллективный разум. СПб: Символ-Плюс, 2008. 368 с.
25. Enhancing Teaching and Learning Through Educational Data Mining and Learning Analytics: An Issue Brief. U.S. Department of Education, Office of Educational Technology. 2012. URL: https://tech.ed.gov/wp-content/uploads/2014/03/edm-la-brief.pdf (дата обращения: 26.01.2017).
26. Huebner R.A. A survey of educational data-mining research. [Электронный ресурс]. Режим доступа: http://www.aabri.com/manuscripts/121328.pdf (дата обращения: 26.01.2017).
27. How Can Educational Data Mining and Learning Analytics Improve and Personalize Education? [Электронный ресурс] // EdTechReview [Интернет-портал] URL: http://edtechreview.in/trends-insights/insights/389-data-mining-and-learning-analytics-improving-education (дата обращения: 26.01.2017).
Belonozhko Pavel Petrovich
Bauman Moscow state technical university, Russia, Moscow
E-mail: byelonozhko@mail.ru
Karpenko Anatoliy Pavlovich
Bauman Moscow state technical university, Russia, Moscow
E-mail: apkarpenko@mail.ru
Khramov Dmitriy Aleksandrovich
Institute of Technical Mechanics NASU and SSAU, Ukraine, Dnepropetrovsk
E-mail: dkhramov@mail.ru
Algorithm of rangovy optimization of access to data in information system
Abstract. The development of e-learning systems and implementation of digital technologies in the traditional educational process leads to the appearance of large datasets, that Educational Data Mining (EDM) is studied. EDM is the scientific discipline associated with the application of data mining techniques to data, produced by educational institutions. This article examines the EDM and its characteristics in comparison with the data mining. Analyzes the direction of the EDM applications and the benefits that it gives to all participants of the educational process. Consid-ered facing EDM problems and challenges, and described future research directions.
Keywords: electronic learning; educational data mining; learning analytics
REFERENCES
1. Baker R., Siemens G. Educational Data Mining and Learning Analytics. URL: http://www.columbia.edu/~rsb2162/BakerSiemensHandbook2013.pdf.
2. Siemens G., Baker R. Learning Analytics and Educational Data Mining: Towards Communication and Collaboration // Proceedings of the 2nd International Conference on Learning Analytics and Knowledge, 2012. URL: http://www.columbia.edu/~rsb2162/LAKs%20reformatting%20v2.pdf.
3. Ferguson R. The State Of Learning Analytics in 2012: A Review and Future Challenges // Technical Report KMI-12-01, Knowledge Media Institute, The Open University, UK. URL: http://kmi.open.ac.uk/publications/techreport/kmi-12-01.
4. Intellektual'noe upravlenie protsessom obucheniya [Intelligent control of the learning process]. URL: https://habrahabr.ru/post/194240/ (in Russian).
5. Romero C., Ventura S. Educational Data Mining: A Review of the State of the Art // IEEE Transactions on Systems Man and Cybernetics. Part C (Applications and Reviews). 2010, V. 40, № 6. P. 601-618. doi: 10.1109/TSMCC.2010.2053532.
6. Sitikhadijah M., Zaidatun T. Educational Data Mining: A Review. URL: https://www.researchgate.net/publication/275542685.
7. Castro F., Vellido A., Nebot A., Mugica F. Applying Data Mining Techniques to e-Learning Problems. URL: http://sci2s.ugr.es/keel/pdf/specific/capitulo/ ApplyingDataMiningTechniques.pdf.
8. Baker R., Yacef K. The state of educational data mining in 2009: A review and future visions // Journal of Educational Data Mining. 2009. V. 1, N 1. P. 3-17.
9. Romero C., Ventura S., Garcia E. Data mining in course management systems: Moodle case study and tutorial // Computers & Education. 2007. doi:10.1016/j.compedu.2007.05.016.
10. AlAjmi M.F., Khan Sh., Zamani A.S. Using Instructive Data Mining Methods to Revise the Impact of Virtual Classroom in E-Learning // International Journal of Advanced Science and Technology. 2012. V. 45, N 8. P. 125-134.
11. Bowers A.J. Analyzing the longitudinal K-12 grading histories of entire cohorts of students: Grades, data driven decision making, dropping out and hierarchical cluster analysis // Practical Assessment Research and Evaluation, 2010. V. 15, N 7. P. 1-18.
12. SHeveleva N.E., Kozlov V.I., Prokopov S.V., Bekirova M.G. Kontseptsii monitoringa uspevaemosti v ramkakh estestvennonauchnogo tsikla distsiplin [The concept of student progress monitoring in the framework of the natural sciences disciplines] // Sovremennye naukoemkie tekhnologii. 2016. № 5 (part 2). P. 404-407. URL: http://www.top-technologies.ru/pdf/2016/5-2/35924.pdf (in Russian).
13. Koedinger K.R., Corbett A.T. Cognitive tutors: Technology bringing learning sciences to the classroom // The Cambridge handbook of the learning sciences. New York: Cambridge University Press, 2006.
14. Shen R., Han P., Yang F., Yang Q., Huang J. Data mining and case-based reasoning for distance learning // International Journal of Distance Learning Technologies, Special Issue on Web-based Learning Systems. 2003. V. 1, N 3. P. 46-58.
15. Nesbit J.C., Xu Y., Winne P.H., Zhou M. Sequential pattern analysis software for educational event data // 6th International Conference on Methods and Techniques of Behavioral Research "Measuring Behaviour", 26-28.08.2008, Maastricht, Netherlands, P. 1-5.
16. Kay J., Maisonneuve N., Yacef K., Zaiane O.R. Mining Patterns of Events in Students' Teamwork Data // Proceedings of Educational Data Mining Workshop. 2006, Taiwan. URL: http://www.educationaldatamining.org/ ITS2006EDM/Kay_Yacef.pdf.
17. Signals at Purdue University // Studio by Purdue URL: http: //www.itap.purdue .edu/ studi o/ si gnal s/.
18. Freeman L. The Development of Social Network Analysis. Empirical Press, 2006.
19. Makarov V.L., Bakhtizin A.R. Novyj instrumentarij v obshhestvennykh naukakh -agent-orientirovannye modeli: obshhee opisanie i konkretnye primery [New tools in the social sciences - agent-oriented models: general description and specific examples] // EHkonomika i upravlenie. 2009. № 12. C. 13-25. (in Russian).
20. Harbouche K., Djoudi M. Agent-Based Design for E-learning Environment // Journal of Computer Science. 2007. V. 3, N 6. P. 383-389.
21. Artemenko V. Agent-based modeling of the e-learning users' behavior // International Journal of Computing. 2014. V. 13, N 1. P. 61-69.
22. Gavrilova T.A., Leshheva I.A., Strakhovich E.V. Ob ispol'zovanii vizual'nykh kon-tseptual'nykh modelej v prepodavanii [The usage of visual conceptual models in teaching] // Vestnik Sankt-Peterburgskogo universiteta. Seriya 8. Menedzhment.
2011. №4. URL: http://cyberlemnka.ru/artide/n/ob-ispolzovanii-vizualnyh-kontseptualnyh-modeley-v-prepodavanii-1 (in Russian).
23. Gavrilina E.A., Zakharov M.A., Karpenko A.P., Smirnova E.V. Ontologicheskij podkhod k testirovaniyu urovnya vladeniya obuchayushhimsya metapredmetnymi ponyatiyami [An ontological approach to the testing of proficiency in the learners meta-concepts] // Nauka i obrazovanie. 2015. № 2. doi: 10.7463/0215.0756631.
24. Segaran T. Programmiruem kollektivnyj razum [Programming collective intelligence]. Saint-Petersburg: Simvol-Plyus, 2008. 368 p. (in Russian).
25. Enhancing Teaching and Learning Through Educational Data Mining and Learning Analytics: An Issue Brief. U.S. Department of Education, Office of Educational Technology. 2012. URL: https://tech.ed.gov/wp-content/uploads/2014/03/edm-la-brief.pdf.
26. Huebner R.A. A survey of educational data-mining research. URL: http://www.aabri.com/manuscripts/121328.pdf.
27. How Can Educational Data Mining and Learning Analytics Improve and Personalize Education? // EdTechReview URL: http://edtechreview.in/trends-insights/insights/389-data-mining-and-learning-analytics-improving-education.
