CC BY
355
УДК 373.2 + 378.14 + 681.3 ББК 74.24
EDUCATIONAL DATA MINING И LEARNING ANALYTICS - НАПРАВЛЕНИЯ РАЗВИТИЯ ОБРАЗОВАТЕЛЬНОЙ КВАЛИТОЛОГИИ
I А.А. Веряев, Г.В. Татарникова
Аннотация. В работе дается обзор преимущественно зарубежных работ по использованию интеллектуального анализа данных в образовании. Обсуждается перспективность указанного направления для создания в образовательных организациях систем оценки качества образования и для осуществления адаптивного обучения, обучения в соответствии с динамически формируемыми индивидуальными образовательными траекториями. Отмечаются первые наиболее перспективные шаги в данном направлении, которые может осуществить школа или вуз с учетом того факта, что исследовательские работы в отечественной педагогике в описываемом направлении только начинаются и на рынке отсутствует ориентированное на непрофессиональных пользователей программное обеспечение. Обращается внимание на сильные и слабые, а также проблемные стороны подходов, основанных на обработке больших массивов данных с целью совершенствования качества образовательного процесса в школе и вузе. Приведены примеры работающих в образовании систем, основанных на анализируемых в статье подходах интеллектуальной обработки больших массивов данных.
150
Ключевые слова: адаптивное обучение, система оценки качества образования, интеллектуальный анализ данных, интеллектуальный анализ данных в образовании, образовательная аналитика.
EDUCATIONAL DATA MINING AND LEARNING ANALYTICS -DIRECTIONS OF THE EDUCATIONAL QUALITOLOGY DEVELOPMENT
I A.A. Veryaev, G.V. Tatarnikova
Abstract. The article provides an overview of predominantly foreign works on intelligent data analysis in education. Prospects of the specified direction for the creation in the educational organizations of systems of an assessment of quality of education and for implementation of adaptive training in accordance with dynamically constituted individual educational tracks are
discussed. The article presents the first, most promising steps in this direction, which may be implemented by a school or University considering the fact that research work in the national pedagogy in the described direction has just started and on the market there is not non-professional oriented users' software. Attention is drawn to the strong, the weak, and problem points of the approaches, based on the processing of large data sets with a view to improving the quality of education in the school and university. The article presents the examples used in education systems based on above mentioned approaches for large sets of data mining.
Keywords: аdaptive training, the system of assessing the quality of education, data mining, educational data mining, educational analytics.
Отметим, что в названии статьи использованы распространенные на Западе англоязычные обороты "Educational Data Mining" и "Learning Analytics". Первое означаi ет и переводится как направление, связанное с извлечением из больших массивов данных (Big Data или кратко BD) информации и знаний об образовательном процессе. Чаще всего в качестве перевода на русский язык используется «интеллектуальный анализ данных в образовании». Второе переводится как учебная или «образовательная аналитика». Далее в статье будут использоваться аббревиатуры EDM и LA, обозначенные через косую черту (EDM/LA), ввиду общности целей, которые преследуются сторонниками обоих направлений работ. Аббревиатуры широко распространены на Западе и практически не известны русскоязычному читателю. Неизвестны они не только на уровне терминологии, но и на уровне семантики работ, которые ведутся педагогами и программистами. Кстати, в поисковых системах смело можно набирать EDM или LA для того, чтобы получить нужные ссылки, причем, как правило, это
ссылки на англоязычные ресурсы. Отталкиваясь от названия, читатель может догадаться, что речь в статье пойдет о знакомстве русскоязычного читателя с направлениями работ, осуществляющимися в англоговорящих странах.
Аналогичную задачу ставили перед собой и другие авторы [см.: 1], однако в этой работе доминирует обзор практических исследований, выполненных в указанных направлениях. Среди немногих отечественных работ можно назвать работу магистрантов Чувашского университета 151 [2], выполненную в рамках научной школы В.С. Абрукова, занимающейся преимущественно применением методов Data Mining в социологии. В зарубежном обзоре [2] авторы за 5 лет (с 2008 по 2013 гг.) насчитали чуть более 200 публикаций, которые содержали эмпирические данные по применению идей EDM/LA в образовательной практике.
В индексированных на http:// elibrary.ru журналах, обнаруживается небольшое число русскоязычных ссылок на работы, посвященные интеллектуальному анализу данных в образовании, причем
152
таких работ немного и появились они в самое последнее время. А за рубежом еще в 2011 г. была издана энциклопедия, посвященная обсуждаемой проблематике [3]. Наконец, поясним использованный авторами настоящей статьи работы термин «квалитология». В словарях и справочниках указывается (со ссылками на работу А.И. Субетто [4]), что квалитология — наука о качестве объектов, создаваемых человеком, применяемых им технологических и производственных процессов, о качестве труда и о качестве тестовых проверок. Хотелось бы добавить, что определение должно отражать и качество субъектов, личностные, профессиональные характеристики, разнообразные компетентности, формируемые в учебно-воспитательном процессе.
Качество, как объект, исследуется многими науками, но их предметами выступают или отдельные свойства, или группы свойств. Квалитология, как наука, делится на четыре ветви: теория качества, квалиметрия, методология, теория управления качеством [4].
Обратим внимание на то, что в настоящее время актуальной является задача построения систем оценки качества образования (СОКО) как в общеобразовательной, так и в высшей школах. Это и объясняет целесообразность обращения авторов данной статьи к проблемам квалито-логии и поясняет актуальность выполненной работы.
Дальнейшие тексты центрируются на проблемах квалиметрии. Структура квалиметрии содержит три части: общую квалиметрию или общую теорию квалиметрии, в ко-
торой рассматриваются проблемы и вопросы, а также методы измерения и оценивания качеств; специальную квалиметрию больших группировок объектов и субъектов, например, ква-лиметрию продукции, процессов, услуг, социального обеспечения, среды обитания и обучения и т.д. вплоть до качества жизни людей; предметные квалиметрии отдельных видов продукции, процессов и услуг, такие как квалиметрия труда педагогов, образования и т.д. Объектом квали-тологии (науки о качестве) выступает качество предметов, субъектов и явлений мира человека. Предметом квалитологии являются качества объектов и процессов той части мира, которые ассимилированы общественной практикой в широком ее значении.
Поскольку задачи, поставленные перед образованием, сформулированы чрезвычайно емко (например, формирование универсальных учебных действий, разнообразных компетенций) возникает, во-первых, проблема верификации и проверки достижимости указанных целей в образовательных организациях (школах и вузах), и во-вторых, проблема управления процессом достижения целей, обеспечивающего максимальную эффективность учебно-воспитательной деятельности.
В одной и наших работ [5] предлагалось использовать накопительную систему оценивания достижения емких целей. При этом сами цели предлагалось декомпозировать на отдельные составляющие. Указанный процесс декомпозиции можно называть, следуя терминологии из искусственного интеллекта, фреймированием, а получающиеся структуры, следуя
современным веяниям, называть он-тологиями. Онтология в информатике — это попытка всеобъемлющей и подробной формализации некоторой области знаний с помощью концептуальных схем. Обычно такая схема состоит из структур данных, содержащих все релевантные классы объектов, их связи и правила, принятые в формализуемой области. Онтологии компетенций / компетентностей, других характеристик обучаемых, формируемых в учебном процессе и формулируемых с использованием достаточно емких абстрактных понятий, чрезвычайно разнообразны, являются громоздкими и приводят к данным, которые подпадают под термин Big Data. Одному исследовад телю построение онтологий не под силу, заниматься этим вопросом нужно коллективно, синхронизируя деятельность отдельных учителей, преподавателей. Естественно при этом обращение к методам EDM/LA. Этим объясняется необходимость обращения авторов к соответствующим зарубежным работам.
Построение СОКО предполагает, с одной стороны, усредненные оценки работы образовательных организаций, вузов, с другой стороны — мониторинг персональных, персонифицированных достижений и их улучшение. По этой причине совершенно обоснованным является обращение к Big Data. С другой стороны, важным будет осуществление знаниевого скрининга, совмещенного с психолого-педагогическим, социально-поведенческим исследованием личности обучаемого.
Задача интеграции технологических идей EDM (использование соответствующих алгоритмов, программного обеспечения) и знаний из педагогики, дидактики, психологии представляется достаточно сложной.
Прежде чем разбираться с EDM, необходимо несколько слов сказать о Data Mining (DM).
Термин "Data Mining" часто переводится как добыча данных, извлечение информации, раскопка данных, интеллектуальный анализ данных, средства поиска закономерностей, извлечение знаний, анализ шаблонов, «извлечение зерен знаний из гор данных», раскопка знаний в базах данных, информационная проходка данных, «промывание» данных. Понятие «обнаружение знаний в базах данных» (Knowledge Discovery in Databases, KDD) можно считать синонимом DM [6].
Можно считать, что DM появис лось в результате развития работ в области прикладной статистики. В тоже время DM связано и с работами по искусственному интеллекту (распознавание образов, поиск моделей представления знаний, нейронные сети, генетические алгоритмы), работ по визуализации информации, машинному обучению, теории баз данных. Среди наиболее известных WWW-источников по проблеме DM — сайт1, который ведет один из основателей DM Григорий Пиатецкий-Шапиро.
Направление работ EDM конкрее тизирует область источника больших данных для обработки и ставит перед собой цель поиска паттернов
153
1 Data Mining, Analytics, Big Data, and Data Science [Сайт]. — URL: http://www. kdnuggets.com/ (дата обращения: 26.12.2015).
154
(образцов, шаблонов, схем, закономерных регулярностей), встречающихся в образовательном процессе. В работе [7], утверждается, что большие данные (BD) позволяют осуществлять влияние на успеваемость обучаемых и понимать, как лучше организовать учебный процесс. В работе [8] говорится о том, что технология DM разнообразит методики обук чения, добавляет в учебный процесс больше нюансов.
Почему именно сейчас актуализировались работы по EDM? Причин можно назвать несколько. Приведем ту, что связана непосредственно с образованием. Ответ, оказывается, достаточно прост. Интенсивное использование средств вычислительной техники привело к появлению больших массивов данных, накапливаемых в ходе осуществления образовательного процесса. Это, как правило, записи в базах данных, будь то электронные журналы в таких системах, как: «Сетевой город», «Сетевая школа», «Сетевой край» (указанные программные продукты массово и централизованно стали использоваться на территории Алтайского края и некоторых других регионах РФ, в других регионах используют программные продукты других фирм — «1С ХроноГраф Школа», «КМ — Школа» и т.п.) или материалы о результатах сдачи ЕГЭ или ИГА и другие. Поэтому начинают осуществляться попытки извлечения из больших массивов данных закономерностей, позволяющих объяснить определенные результаты в сфере образования, а также выдать
рекомендации по организации педагогического процесса.
Иногда DM определяют как прот цесс поддержки принятия решений, основанный на поиске в данных скрытых закономерностей. Если данные имеют отношение к образованию, управленческие решения направлены на повышение эффективности учебно-воспитательного процесса, на достижение целей, которые поставлены перед современной школой.
Рождение DM относят к середине 1990-х гг., а EDM оформляется toD сколько позднее. В DM три четверти усилий приходится на сбор и подготовку данных и только одна четверть на их обработку. Очевидно, такое соотношение усилий может остаться и для EDM.
Часто педагоги произносят слова о том, что математика может «перемолоть» любые данные и выдать «на гора» все, что угодно. Поэтому важны качественные постановки задач, их обоснованность. Математика DM не может заменить системного аналитика, разбирающегося в тонкостях организации образовательного процесса. Начиная с 2009 года публикации авторов по EDM можно найти в специализированном журнале2.
Примерно схожие цели с направлением EDM ставит и направление LA, приверженцы которого провели уже несколько международных конференций. На первой из них, состояв-й шейся в феврале — марте 2011 г., они анонсировали в качестве цели LA "the measurement, collection, analysis and reporting of data about learners
2 Journal of Educational Data Mining [Электронный ресурс]. — URL: http://www. educationaldatamining.org/JEDM/index.php/JEDM (дата обращения: 26.12.2015).
and their contexts, for purposes of understanding and optimizing learning and environments in which it occurs"3.
Результаты анализа данных в рамках направления LA должны использоваться обучающими, обучаемыми, администрацией и организаторами учебного процесса. На Западе различные учебные заведения издают периодически обновляемые аналитические обзоры публикаций, посвященных LA. В одном из них [9] указывается на то, что большие данные не только управляют принятием решений, но и подсказывают, какие решения должен принять человек. Утверждается, что LA более чем образовательная техе нология, это инструмент в процессе реализации многих технологий, это «море изменений» [9] в системе высшего образования.
Попутно отметим, что первая международная конференция по EDM состоялась в июне 2008 г. в Канаде в провинции Квебек, то есть ранее, чем оформилось направление LA. Следует также отметить, что до 2008 г. собирались всевозможные рабочие группы для обсуждения проблем. Группа исследователей, входящая в сообщество LA, начиная с 2014 г. издает соответствующий журнал4. В статье редакторов указанного журнала [10] отмечается, что за последние 5 лет значительно увеличился интерес в проблематике LA,
что, например, выразилось в резком увеличении количества участников конференций, проводимых сообществом LA.
Сообщества EDM/LA, преследуя примерно схожие цели, используют различающиеся подходы, математические методы исследования, демонстрируют разное понимание процесса обучения. Группа LA смотрит на пеп дагогический процесс системно и целостно; группа EDM подходит более упрощенно, ориентируясь преимущественно на анализ больших данных.
Немаловажно и то, что во всех указанных работах присутствует коммерческая составляющая. Например, фирма Knewton5, разрабатывающая программное обеспечение в рамках описываемых направлений, пытается иметь долю от доходов образовательных учреждений, использующих ее софт и эксплуатирующих ее представления об организации адаптивного обучения.
Из каких этапов состоит процесс обработки данных? Их выделяют несколько [см.: 11]. На первом этапе выполняется осмысление поставленной задачи и уточнение целей, которые должны быть достигнуты методами EDM/LA. Второй этап состоит в приведении данных к форме, пригодной для применения конкретных методов EDM/LA. Характер преобразований, совершаемых над данными, зависит от используемых методов, выбран-
155
3 First International Conference on Learning Analytics and Knowledge, February 27 — March 1, 2011 in Banff, Alberta [Электронный ресурс]. — URL: https://tekri. athabascau.ca/analytics/ (дата обращения: 26.12.2015).
4 Journal of Learning Analytics [Электронный ресурс]. — URL: http://learning-analytics.info/ (дата обращения: 26.12.2015).
5 Knewton [Электронный ресурс]. — URL: https://www.knewton.com/ (дата обращения: 26.12.2015).
ных на предыдущем этапе. Третий этап — это применение методов EDM/ LA. Следующий этап — проверка поп строенных моделей. На большей части данных происходит обучение компьютерных систем, на меньшей части данных осуществляется проверка моделей. Последний этап — интерпретация полученных моделей человеком в целях их использования для принятия решений.
Сделаем некоторые комментарии к осуществляемым этапам. Процесс сбора данных в рамках EDM/LA дола жен быть формализован. Однако пока не понятно, какие данные необходимы, чем можно ограничиться. В работах используются различные источники сбора данных [см.: 12]: файлы из журналов, вопросники, интервью, Google analytics; берутся открытые данные из других источников, в частности, измеряются частота входа в систему обучения, количество сообщений в чатах, контакты между участниками и количество вопросов, заданных педагогам, время отклика на вопросы и время решения задач, обращения к тем или иным ресурсам в Интернет, данные за предыдущие годы обучения, итоговые оценки в курсах, анализируются профили в системах, изучаются предпочтения при обращении к LMS (например, Moodle), форумам и пр.
Отдельного рассмотрения требует обзор используемых методов в компьютерных системах EDM/LA. Здесь только кратко перечислим их, отослав читателя к специальной литературе [см.: 13; 16]: классификация, кластеризации, регрессия, анализ текстов, ассоциативные правила, анализ социальных сетей, построение моделей обучаемых, визу-
ализация данных. Из всех методов отметим последние, связанные с визуализацией учебных достижений. Представляется, что подобного рода работа посильна школьным учителям и может положительно повлиять на мотивацию обучаемых.
Системы, используемые в рамках EDM/LA, не всегда работают автономно, они могут поставлять педагогам полезную информацию, а решения в конечном итоге может принимать человек. При этом преследуются следующие частные цели: интенсификация учебного взаимодействия в системах «учитель — ученик», «ученик — ученик», повышение рефлексии обучаемых, предотвращение отсева, повышение оценок, рекомендации по используемым в учебном процессе информационным ресурсам, в частности определение того, какие видеолекции являются самыми оптимальными для обучаемых и т.п. Рекомендации систем, работающих на основе подходов EDM/ LA, могут касаться как институали-л зированного, так и неформального образования.
Сделаем замечания относительно некоторых проблемных мест подходов EDM/LA. Во-первых, часто неправильно толкуются или интерпретируются результаты работы алгоритмов EDM/LA, а алгоритмам в дальнейшем придется доверять. Во-вторых, возможно принятие некоторых неадекватных целевых установок и использование на их основе неверных целевых функций. В-третьих, пока используются самые разнообразные источники данных и нет системного взгляда на них, нет указаний на то, какой тезаурус опишет все, что необходимо для по-
вышения эффективности учебного процесса, неясной остается роль качественных методов исследования и их сочетание с количественными. Далее, имеется потенциальная опасность не упростить деятельность преподавателя по организации индивидуализированного обучения, а усложнить ее, также возможны очень высокие требования к квалификации педагогов, которые будут работать в рамках подходов EDM/ LA. Непонятно, ко всем ли дисциц-плинам (гуманитарным и естественнонаучным) будут приложимы разрабатываемые методы. Большинство работ, выполненных в рамках обсуждаемых направлений, сделаны на основе обучения дисциплинам Science, Technology, Engineering, and Mathematics, получивших на Западе аббревиатуру STEM. Большинство работ выполнено также на основе всевозможных виртуальных сред обучения, систем типа Moodle, исе пользования так называемых когнитивных репетиторов (агентов, помогающих в осуществлении учебного процесса). Наконец, естественны и этические проблемы. Прежде чем погружаться в «большие данные», следует ознакомиться с законодательной базой, которая регламентирует их обработку. Важны федеральные законы «О связи» и «О персональных данных», которые детально прописывают процедуры обработки данных. Поскольку в настоящее время прорабатываются вопросы так называемого мобильного обучения (M-Learning), возникнут проблемы и во взаимодействии с сотовыми операторами, которые накапливают и будут владеть соответствующими данными. Эта информация, в соот-
ветствии с законом, должна быть защищена, следовательно, информацию о реальных клиентах и их транзакциях нельзя будет использовать для отладки и тестирования только что написанного кода.
В работах обсуждаются ряд других этических проблем, связанных с направлением LA, в частности предлагаются принципы этического поведения в рамках подхода [см.: 14]. Среди них можно назвать следующие: LA как моральная практика; студент — как агент, который не просто внешний, сторонний источник данных, а сознательный участник учебного и исследовательского процесса; характеристики студента в процессе обучения — это всего лишь динамические конструкты, а студенческий успех — это сложный многомерный феномен; принцип транспарентности и ряд других.
Этические проблемы обсуждаются на Западе достаточно серьезно, некоторые работы посвящены высшей школе [см.: 15]. В других изданиях цитируемой серии рассматриваются иные проблемы LA.
Остановимся на том, какие программные продукты используются в настоящее время в рамках работ EDM/LA.
Наиболее перспективными, по мнению авторов данной статьи, являются методы, основанные на работе искусственных нейронных сетей. Среди других можно отметить деревья решений (decision trees), самоорганизующиеся карты Кохонена (Cohonen self-organizing maps) и другие. Указанные методы и ряд других реализованы в EXCEL и дополненив ях к электронным таблицам, пакетах STATISTICA, SAS, SPSS, STATA,
157
HyperRESEARCH, QDA Miner, MaxQDA. Особо можно отметить отечественный программный продукт Deductor (Дедуктор) и многие друо гие. Более подробно некоторые из указанных программных продуктов обсуждаются в работах [13; 16]. Но нужно отметить, что обсуждаемые примеры в процитированных источниках посвящены медицине, сельскому хозяйству, социологии, распознаванию образов в информатике и т.п., а не сфере образования.
С конкретными реализациями идей EDM/LA в реальном учебном процессе можно познакомится по обзорной лекции Чарли Хэррингтона6, одного из руководителей компании Knewton, разрабатывающей техной логию организации адаптивного обучения студентов и школьников. Лекция прочитана 1 декабря 2014 года. Технологию Knewton называют технологией персонифицированного обучения. Суть технологии заключается в следующем: любой образовательный контент инструментальными средствами и разработками lüO Knewton разбивается на блоки и модули, связанные между собой. По получающемуся своеобразному графу предлагается множество путей перемещения, которые зависят от состояния обучаемого, его знаний, способностей и пр. От себя добавим, что сотрудники фирмы реализует фактически динамически формируемое программированное обучение. Фирма демонстрирует пользователям свои представления об адаптивном учебнике, дает рекомендации
издателям и авторам учебных курсов по фрагментации его содержимого.
Разрабатывается ими фактически система формирования адаптивных учебников, основанная на картировании данных. Информационная единица — атом, в соответствии с рекомендациями Knewton, должн на отображать одну образовательную цель. Информационные атомы укрупняются, гранулируются, что, в свою очередь, влияет на персональные образовательные траектории. Работает их система при знакомстве обучаемых с образовательным ресурсом в фоновом режиме. Наиболее благоприятна ситуация, когда используется LMS и осуществляется Интернет связь с серверами Newton.
В заключение отметим, что иногда отдельный клик мыши может дать богатую информацию об обучаемом и привести к рекомендациям по формированию его индивидуальной образовательной траектории, а иногда более сложная система взаимодействия обучаемого с вычислительной техникой может быть полезна педагогам для организации учебного процесса в классе или учебной аудитории. Представляется, что интересной работы здесь — непочатый край. Но необходимо уже сейчас готовить любое образовательное учреждение к такому моменту, когда в руках педагогов окажется приемлемый программный продукт, позволяющий на основе идей искусственного интеллекта модифицировать учебный процесс, повышая его эффективность. И в связи с этим
6 Анализируй это: как большие данные совершат революцию в образовании [Электронный ресурс]. — URL: http://digitaloctober.ru/ru/events/analiziruy_eto_kak_ big_data_sovershit_revolyutsiyu_v_obrazovanii (дата обращения: 26.12.2015).
можно отметить, что не следует избегать наполнения электронных баз данных и протоколирования в электронной форме процесса обучения. Наличие больших данных в школе или вузе — залог более быстрого освоения перспективных технологий, на основе которых будут функционировать СОКО.
СПИСОК ИСТОЧНИКОВ И ЛИТЕРАТУРЫ
1. Papamitsiou, Z. Learning Analytics and Educational Data Mining in Practice: A Systematic Literature Review of Empirical Evidence [Text] / Z. Papamitsiou, A. Economides // Educational Technology & Society. - 2014. - 17 (4). - P. 49-64.
2. Петрова, М.В. Исследование возможностей методов интеллектуального анализа данных при моделировании образовательного процесса в вузе [Текст] / М.В. Петрова, Д.А. Ануфриева // Вестник Чувашского университета. - 2013. - № 3. -С. 280-285.
3. Handbook of Educational Data Mining [Text] / Edited by Cristуbal Romero, Sebastian Ventura, Mykola Pechenizkiy, and Ryan S.J.D. Baker. - Chapman & Hall/CRC Press. - 2011. - 526 р.
4. Субетто, А.И. Квалитология образования [Текст] / А.И. Субетто. - СПб.; М., 2000. - 141 с.
5. Веряев, А.А. Модульно-рейтинговая технология оценивания образовательных достижений в условиях компетентностного целе-полагания [Текст] / А.А. Веряев, Н.В. Мед-веденко // Мир науки, культуры, образования. - 2010. - № 5 (24). - С. 150-152.
6. Advances in Knowledge Discovery and Data Mining [Text] / Ed. by Fayyad Usama M., Piatetsky-Shapiro Gregory, Smyth Padhraic, Uthurusamy Ramasamy. AAAI/MIT Press, 1996.
7. Big Data: The Next Frontier for Innovation, Competition, and Productivity [Text] / Ed. by Manyika James, Chui Michael, Brown Brad, Bughin Jacques, Dobbs Richard, Roxburgh Charles, and Byers Angela.
McKinsey Global Institute, 2011.
8. Castro, F. Applying Data Mining Techniques to e-Learning Problems [Text] / F. Castro, A. Vellido, A. Nebot, F. Mugica// Studies in Computational Intelligence. - 2007. - Vol. 62. - P. 183-221.
9. Learning Analytics - Annotated Bibliography. Lauren A.S. Hirsh, DELTA [Электронный ресурс] // https://delta.ncsu.edu/assets/ Learning_analytics_annotated_bibliography. pdf (дата обращения: 26.12. 2015).
10. Mirriahi, N. Scientometrics as an Important Tool for the Growth of the Field of Learning Analytics [Text] / N. Mirriahi, D. Gasevic, P. Long, S. Dawson // Journal of Learning Analytics. - 2014. - № 1 (2). - P. 1-4.
11. Барсегян, А.А. Технологии анализа данных: Data Mining, Visual Mining, Text Mining, OLAP [Текст] / А.А. Барсегян, М.С. Куприянов, В.В. Степаненко и др. -СПб.: ВХВ-Петербург, 2007. - 384 с.
12. Black, E.W. Data for free: Using LMS activity logs to measure community in online courses [Text] / E.W. Black, K. Dawson, J. Priem // Internet and Higher Education. -2008. - № 11 (2). - P. 65-70.
13. Дюк, В. Data Mining: учебный курс [Текст] / В. Дюк, А. Самойленко. - СПб.: Питер, 2001. - 368 с.
14. Slade, S. Learning analytics: Ethical issues and dilemmas [Text] / S. Slade, P. Prinsloo // American Behavioral Scientist. - 2013. - № 57 (10). - P. 1510-1529.
15. Kay, D. Legal, Risk and Ethical Aspects of Analytics in Higher Education [Text] / D. Kay, N. Korn, C. Oppenheim // JISC CETIS Analytics Series. - 2012. - Vol. 1. -No. 6. Legal, Risk and Ethical Aspects and Analytics. [Электронный ресурс]: URL: http://publications.cetis.ac.uk/2012/500 (дата обращения: 26.12.2015).
16. Чубукова, И.А. Data Mining [Текст] / И.А. Чубукова. - М.: Национальный открытый университет «ИНТУИТ», 2016. -471 с.
REFERENCES
1. Advances in Knowledge Discovery and Data Mining, Ed. by Fayyad Usama M., Piatetsky-Shapiro Gregory, Smyth Padhraic, Uthurusamy Ramasam,. AAAI/MIT Press, 1996.
159
ВЕК
160
2. Barsegyan A.A., Kupriyanov M.S., Ste-panenko V.V., Kholod I.I., Tehnologii analiza dannyh: Data Mining, Visual Mining, Teht Mining, OLAP, St. Petersburg, 2007, 384 p. (in Russian)
3. Big Data: The Next Frontier for Innovation, Competition, and Productivity, Ed. by Manyika James, Chui Michael, Brown Brad, Bughin Jacques, Dobbs Richard, Roxburgh Charles, and Byers Angela, McKinsey Global Institute, 2011.
4. Black E.W., Dawson K., Priem J., Data for free: Using LMS activity logs to measure community in online courses, Internet and Higher Education, 2008, No. 11 (2), pp. 65-70.
5. Chubukova I.A., Data Mining, Moscow, INTUIT, 2016, 471 p. (in Russian)
6. David Kay, Naomi Korn, Charles Oppenheim, Legal, Risk and Ethical Aspects of Analytics in Higher Education, JISC CETIS Analytics Series, 2012, Vol. 1, No. 6 Legal, Risk and Ethical Aspects and Analytics, available at: http://publications.cetis.ac. uk/2012/500 (accessed: 26.12.2015).
7. Djuk V., Samoilenko A. Data Mining: ucheb-nyj kurs, St. Petersburg, Piter, 2001, 368 p. (in Russian)
8. Felix Castro, Alfredo Vellido, Angela Nebot, Francisco Mugica, Applying Data Mining Techniques to e-Learning Problems, Studies in Computational Intelligence, 2007, Vol. 62, pp. 183-221.
9. Handbook of Educational Data Mining, Ed. Cristybal Romero, Sebastian Ventura,
Mykola Pechenizkiy, Ryan S.J.d. Baker, Chapman & Hall/CRC Press, 2011, 526 p.
10. Learning Analytics - Annotated Bibliography, Lauren A.S. Hirsh, DELTA, available at: https://delta.ncsu.edu/assets/Learning_ analytics_annotated_bibliography.pdf (accessed: 26.12.2015).
11. Negin Mirriahi, Dragan Gasevic, Phil Long and Shane Dawson, Scientometrics as an Important Tool for the Growth of the Field of Learning Analytics, Journal of Learning Analytics, 2014, No. 2, pp. 1-4.
12. Papamitsiou Z., Economides A., Learning Analytics and Educational Data Mining in Practice: A Systematic Literature Review of Empirical Evidence, Educational Technology & Society, 2014, No.17 (4), pp. 49-64.
13. Petrova M.V., Anufrieva D.A., Issledovanie vozmozhnostej metodov intellektualnogo analiza dannyh pri modelirovanii obrazo-vatelnogo processa v vuze, Vestnik Chu-vashskogo Universiteta, 2013, No. 3, pp. 280-285. (in Russian)
14. Slade S., Prinsloo P., Learning analytics: Ethical issues and dilemmas, American Behavioral Scientist, 2013, No. 57 (10), pp. 1510-1529. (in Russian)
15. Subetto A.I., Kvalitologija obrazovanija, St. Petersburg, 2000, 141 p. (in Russian)
16. Veryaev A.A., Medvedenko N.V., Modulno-rejtingovaja tehnologija ocenivanija obrazo-vatelnyh dostizhenij v uslovijah kompetent-nostnogo celepolaganija, Mir nauki, kultury, obrazovanija, 2010, No. 5 (24), pp. 150-152. (in Russian)
Веряев Анатолий Алексеевич, доктор педагогических наук, профессор, кафедра информационных технологий, Алтайский государственный педагогический университет, г Барнаул, veryaev_aa@mail.ru
Veryaev A.A., ScD in Education, Professor, Information Technology Department, Altai State Pedagogical University, Barnaul, veryаev_аа@mаil.ru
Татарникова Генриетта Викторовна, кандидат педагогический наук, директор, гимназия 42, г. Барнаул, tgv@gym42.ru
Tatarnikova G.V., PhD in Education, Headmistress, Gymnasium No. 42, Barnaul, tgv@gym42.ru
