CC BY
57
Вестн. Моск. ун-та. Сер. 20. Педагогическое образование. 2020. №2
управление образованием
К. А. Баранников, Р. С. Сулейманов, С. М. Лесин, Р. Б. Куприянов
Аналитика обучения как способ повышения эффективности системы управления образованием
(ГАОУ ВО Московский городской педагогический университет; e-mail: barannikovka@mgpu.ru)
В статье рассматриваются вопросы аналитики обучения на основе практического применения методологии анализа образовательных данных (АОД, Educational Data Mining) и методов интеллектуального анализа данных (ИАД, Data Mining) в конкретных образовательных организациях для проектирования стратегий принятия управленческих и организационно-педагогических решений. Статья определяет понятие анализа образовательных данных, его методов и ключевых особенностей в рамках аналитики обучения. Приведено описание отечественного и зарубежного опыта использования методологии анализа образовательных данных, которые масштабируются и имплицируются на любом уровне системы образования. В статье приводится описание распространенных ситуаций аналитики обручения, построенной на оценке и мониторинге академической успешности обучающихся и их цифровых следов, оставляемых в процессе обучения. Все приведенные примеры масштабируемы и представляют интерес для системы общего образования, носят практико-ориентирован-ный характер с точки зрения проектирования эффективных стратегий принятия управленческих и организационно-педагогических решений. Определены основные направления применения методологии анализа образовательных данных в практике системы образования. Среди них можно выделить следующие: оценивание и прогнозирование академических результатов обучающихся; педагогический мониторинг результатов учебной деятельности обучающегося; прогнозирование предметной обучаемости; внедрение комплексной информационной системы образовательной организации, построенной на принципах интеллектуального анализа данных; обработка результатов обратной связи и формирование персонализированной модели обучающегося; изучении данных о повседневном поведении обучающихся и группировка больших данных по группам показателей. Данные направления аналитики обучения позволяют проектировать эффективную систему управления образованием, построенную на принципах анализа образовательных данных.
Ключевые слова: анализ образовательных данных; аналитика обучения; академическая успешность.
Современная система образования постоянно сталкивается с проблемой обработки значительного массива данных, связанных
с образовательной деятельностью . В эпоху цифровой экономики поток данных только увеличивается, причем данные приобретают все более сложную и глубокую структуру, а значит при их обработке можно получить важные результаты для принятия управленческих и организационно-педагогических решений . В частности, изучение цифровых следов обучающихся, например, в таких электронных системах как Московская электронная школа (далее - МЭШ), позволит спроектировать стратегию персонализации обучения или спрогнозировать будущий уровень успеваемости обучающегося
Для того, чтобы спроектировать стратегию принятия управленческих и организационно-педагогических решений, необходимо воспользоваться результатами метода анализа образовательных данных, применяемого при обработке больших данных, так или иначе генерирующихся в системе образования
Как определяют ученые, анализ образовательных данных (далее АОД, Educational Data Mining, EDM) - это направление исследований, связанное с применением методов интеллектуального анализа данных (далее - ИАД, Data mining), машинного обучения и статистики к информации, производимой образовательными учреждениями [1].
Методы интеллектуального анализа данных постоянно применяются там, где этих данных много и необходимо получить прогноз при проектировании образовательной деятельности, её улучшить или повысить уровень эффективности Особенно важно то, что методы интеллектуального анализа данных в образовании позволят смоделировать профиль обучающегося, определить его предпочтения и особенности при обучении, что в целом позволит выстроить персонализированное обучение
АОД пытается извлечь закономерности из данных, генерируемых в процессе обучения . Эти данные могут быть весьма обширны и содержать большое число подробностей . Так, некоторые системы управления обучением (learning management system, LMS) отслеживают информацию о том, когда обучающийся получил доступ к тому или иному учебному объекту, сколько раз обучающиеся обращались к этому объекту и сколько минут объект отображался на экране их компьютера, в какой последовательности выполнялись тестовые задания и т .п . Уровень подробности этих данных таков, что даже короткий сеанс работы с электронной обучающей системой может произвести большой объем данных для анализа АОД тесно связан с аналитикой обучения (Learning analytics). Цели и задачи исследований у этих дисциплин во многом совпадают . Ряд специалистов (Baker R. , Siemens G .) видят различие между двумя направлениями в том, что АОД сосредоточен на автоматизации выявления закономерностей в образовательных данных, тогда как аналитика обучения больше нацелена на подготовку данных в виде, пригодном для их анализа человеком [1]
Становится актуальным четкое понимание особенностей АОД по сравнению с традиционным анализом данных, применяемым в других сферах деятельности человека . Чаще всего особенности АОД можно определить через цели (задачи), методы, используемые при решении прикладных задач, а также через специфику самих обрабатываемых данных
Например, Бэйкер (Baker R.) и Яцеф (Yacef K.) [11] выделяют четыре задачи, которые должны решить образовательные системы при помощи АОД . Эти задачи фактически определяют набор методов, которыми пользуется АОД, чтобы достичь необходимого и запланированного результата. Первая задача связана с прогнозированием поведения обучающихся в процессе обучения . Это достигается созданием модели обучающегося, включающей детальную информацию о его познавательных возможностях, знаниях, поведении и мотивации к учебе . Вторая задача - разработка эффективных моделей обучения с учётом познавательных возможностей обучающихся В этом случае необходимо выработать рекомендации по подбору таких форм подачи учебного материала, которые бы соответствовали разнообразным стилям обучения и познавательным возможностям, выявленным у обучающихся, при помощи методов АОД . Третья задача связана с изучением результатов взаимодействия по модели «преподаватель - обучающийся», а чаще «система обучения (LMS) - обучающийся». Для её решения необходима адаптивная выработка рекомендаций для обучающихся в целом; обеспечение эффективной обратной связи, подсказывающей преподавателю как выстроить изложение материала; изучение эффектов от помощи, которую оказывает образовательная среда в процессе обучения на результаты этого обучения четвертая задача охватывает в широком смысле развитие знаний о самом феномене обучения и психологии обучаемых, что фактически позволяет сформировать модель или модели (портрет) психологических особенностей обучающегося, его профиль, который необходимо учитывать персонализированной обучающей электронной системе [1]
Поставленные задачи позволяют выбрать направление в использовании результатов АОД при проектировании эффективной персонализированной системы обучения или повысить эффективность традиционного образовательного процесса за счет собранных и обработанных данных цифровых следов обучающихся
Технологии анализа данных становятся новым инструментом для преобразования обучения на основе принципа персонализации, для повышения эффективности образовательной системы и управления системами образования на разных уровнях образования Образовательная политика начинает строиться на образовательной аналитике (новые аналитико-управленческие методы): а) прогноз развития на основе комбинации известных данных; б) метод выявления структуры и кластеризация; в) сетевой анализ [9].
С точки зрения выработки стратегий принятия организационно-управленческих решений результаты анализа образовательных данных можно структурировать по четырем направлениям: а) исследования развития систем электронного обучения (e-learning) и электронных портфолио, цифровых следов в образовании, в том числе, исследование моделей «brick and click» (смешение традиционного и электронного обучения), исследования Modular Object-Oriented Dynamic Learning Environment (модульных объектно-ориентированных динамических обучающих платформ) и Digital Twin (цифровые двойники в образовании), б) проектирование и исследование технологий искусственного интеллекта - анализа образовательных данных, в том числе проектирование и исследование публичных репозитариев образовательных данных, в) исследования развития методов анализа нового типа образовательных данных (например, новый метод social network analysis и прогнозные модели успеваемости школьников с помощью больших данных), г) исследования структуры компетенций, концепций и практик компетентностного развития профессионалов по анализу данных в образовании, в том числе исследование и оценка эффективности программ (например, «Big Data in Education», «Practical Learning Analytics», «Data, Analytics and Learning») [9].
Важно отметить, что большое число исследований, связанных с анализом образовательных данных, связано с изучением уровня успеваемости или учебной успешности обучающегося, а также с прогнозированием этого уровня . Поэтому следует выделить, в основном, группу методов АОД, связанных с прогнозированием образовательных результатов обучающихся
Кластерный анализ - данный алгоритм позволяет производить градацию предметов по обширному набору признаков . Например, определение уровня сформированных начальных знаний, сформированности компетенций, частоты посещения занятий
Метод регрессивных моделей - данные модели позволяют проследить связь между уровнем знаний и общеобразовательными и специальными дисциплинами в зависимости от обеспечивающих курсов
Метод дискриминантных моделей - выборка факторов, влияющих на успеваемость и их дальнейшее использование для классификации обучающихся
Внедрение в процесс прогнозирования результатов обучающихся современных технологий обеспечивает точность полученных результатов и позволяет уменьшить время, затраченное на данный процесс Согласно исследованию [5], действия обучающихся носят иррациональный характер, поэтому использование искусственных нейронных сетей позволит решить проблему с субъективной оценкой образовательных успехов обучающихся
Методология строится также на использовании различных электронных сервисов и цифровых образовательных следов, оставляемых пользователями . Электронные сервисы данных можно классифицировать на типы: информационные сервисы (содержат информацию об организациях, программах, фактических результатах деятельности); сервисы общественного участия в управлении (содержат данные об общественно-профессиональном обсуждении проектов нормативных актов и программ развития образования); сервисы оценки деятельности (независимая оценка качества образования, качества образовательных услуг, управленческих проектов развития образовательных организаций); сервисы коммуникации в профессиональном сообществе, аккумулирующие цифровые следы реализованных программ развития профессионального капитала, методических разработок в сфере образования; и конечно образовательные электронные сервисы, хранящие данные и цифровые следы учащихся, выбора ими образовательного контента и образовательного маршрута [8].
Также частными методами анализа образовательных данных может служить целый ряд методов статистики, применяемых к информации, производимой образовательными организациями и образовательными электронными платформами [2]. Анализ строится на основе цифровых следов, оставляемых участниками образовательной деятельности, например, в таких электронных платформах как МЭШ или электронный дневник, а также сайт образовательной организации или единый сетевой ресурс, используемый в образовательной организации для управления процессом обучения, включая дистанционное
Исследуя специфику методов анализа образовательных данных на разных уровнях системы образования, можно систематизировать аналитику обучения с точки зрения повышения эффективности управления образовательной деятельностью со всех сторон взаимодействия её основных участников .
Представляется, что для составления четкого представления о существующих подходах и формулировки выводов о полученных результатах, необходимо на конкретных примерах из практики системы образования определить основные методы, применяемые при организации и проведении анализа образовательных данных. Для полноты представления необходимо провести анализ примеров из практики российских и зарубежных образовательных организаций . Несмотря на то, что в основном в качестве примеров используются ситуации из системы высшего образования, где поток данных значительно превышает уровень такого же потока по сравнению с любыми другими уровнями, в целом можно понять тенденции и возможности использования результатов анализа образовательных данных для выработки стратегии организационно-управленческого решения .
российский опыт использования методов анализа образовательных данных при оценивании и прогнозировании академических результатов обучающихся
Небезынтересно отметить, что большая часть исследователей определяют анализ образовательных данных как способ формирования процессов оценки и прогнозирования академических результатов обучающихся . Так, например, Н . О . Садовникова и Н . А . Черных описывают разработку алгоритмов оценивания и прогнозирования образовательных результатов обучающихся [6]. Ученые предлагают учитывать при поступлении в высшие учебные заведения следующие факторы: школьная успеваемость, наличие медали, профиль класса, регион обучения, тип населенного пункта, пол, результаты Единого государственного экзамена (далее - ЕГЭ) по математике, результаты ЕГЭ по русскому языку, условия и основа зачисления в вуз чтобы осуществить анализ образовательных данных, была использована аналитическая платформа интеллектуальной обработки и извлечения знаний Deductor Studio (https://basegroup .ru/deductor/description) . Оценивая зависимость результатов от входных данных, а в частных случаях отсутствие какой-либо взаимосвязи для решения задачи был использован метод многослойных нейронных сетей
Согласно описанию, приведенному на сайте, электронная платформа Deductor Studio позволяет решать аналитические задачи как часть полноценного бизнес-процесса . Основным инструментом контроля электронной платформы является система аналитической отчетности . Она имеет мощное аналитическое программное ядро (OLAP), способное на лету проводить многомерный анализ данных с возможностью визуализации результатов и экспорта в офисные приложения, базы данных и внешние сервисы . Поэтому использование электронной платформы сокращает все усилия и ресурсы на подготовку стандартных и нерегламентирован-ных отчетов за счет отсутствия сложного программирования и простоты тиражирования знаний от аналитика к конечному пользователю
Значительная часть исследователей описывает возможности использования результатов и методов анализа образовательных данных для организации мониторинга результатов учебной деятельности Например, Т . К . Канашевич считает необходимым осуществлять мониторинг успехов обучающихся на базе данных для одного учебного предмета (иногда смежных) [3]. Это предполагает долгосрочное наблюдение, накопление и систематизацию данных . В частности, при прогнозировании предлагается опираться на динамику развития обучающегося от момента поступления и получения данных о школьном образовании, так и на данные промежуточных результатов Таким образом определяются актуальные проблемы в изучении определенной дисциплины, разрабатываются корректировки к учебной программе, создается банк
данных для дальнейшего сравнительного анализа, прогнозируются дальнейшие образовательные успехи обучающегося
Интересны исследования Е . В . Луценко и В . Е . Коржакова, которые уделяли внимание проблеме прогнозирования предметной обучаемости с точки зрения применения методов анализа образовательных данных [4]. Ими выдвигается тезис о необходимости создания и реализации технологии синтеза классических моделей детерминации уровней предметной обученности обучающихся . Разработчики берут за основу анализ данных о социальном статусе обучающегося и сравнивают его с учебными достижениями . По мнению ученых, также стоит учесть, что если при прогнозировании не редко используется графология по признакам почерка, определяются возможные учебные достижения обучающихся по различным дисциплинам, то при принятии решений, наоборот, по заданному уровню учебных достижений определяют, какими признаками социального статуса обладают обучающиеся . Причем следует отметить то, что исследование было выполнено на основе фактических эмпирических ретроспективных данных
Интерес представляет ряд исследований, где рассматривается и описывается влияние на уровень подготовки обучающихся в системе высшего образования применения методов анализа образовательных данных при организации педагогического мониторинга образовательных результатов с использованием современных информационных технологий . Например, Ю . Ю . Якунина и А . К . Погребникова [10] описывают внедрение в процесс обучения работу с личным кабинетом, включающим в себя совокупность сервисов, позволяющих обеспечить связь между обучающимися, педагогами и администрацией, а также с другими необходимыми сервисами в информационной обучающей среде образовательной организации В данной системе грамотно выстраивается обратная связь, позволяющая оценить не только динамику развития обучающегося, но и эффективность образовательной среды . Стоит учесть, что обратная связь не всегда отражает истинную суть происходящего . Зачастую ключевым фактором становится человеческий фактор, присущий как обучающимся, так и педагогам Для более точных прогнозов, основанных на обратной связи, необходимо ввести перечень критериев, позволяющих отсеять недостоверные показатели, влияющие на процесс прогнозирования образовательных результатов Перечень критериев, участвующих в фильтрации обратной связи могут быть такими: тренд успеваемости; монотонность оценок обучающегося; наличие ответа на вопрос, допускающий свободную форму ответа; посещаемость обучающегося; активность в электронной образовательной среде . Отдельно следует отметить, что подход к обработке информации и прогнозирования динамики развития обучающихся невозможен без развития материальной и кадровой базы образовательной организации
Отдельно заслуживает внимания опыт внедрения комплексной информационной системы образовательной организации, построенной на использовании результатов анализа образовательных данных . Например, специалисты Восточно-Казахстанского государственного технического университета им . Д. Серикбаева (ВКТГУ) и Национального исследовательского Томского политехнического университета разработали модель системы ИАД [7]. Несмотря на то, что разработанная модель работает в вузе, она хорошо может быть масштабирована и реализована в общеобразовательной организации .
Комплексная модель, основанная на принципах интеллектуального анализа данных образовательного процесса, позволяет решать следующие задачи: выявления групп обучающихся, входящих в группу риска; своевременный анализ большого объема данных; отслеживание отклонений от нормального хода процесса; поиск проблемных ситуаций в учебном процессе и анализ их причин; обработка и систематизация накопленных данных с целью модернизирования образовательного процесса В ВКГТу данные задачи реализуются с внедрением информационно-аналитической подсистемы образовательного портала, который позволяет проводить анализ с привлечением методов интеллектуального анализа На основе полученных данных формируется профиль обучающегося, что позволяет спроектировать его образовательную траекторию в образовательной организации
Отдельно следует описать несколько известных примеров использования результатов анализа образовательных данных для принятия управленческих и организационно-педагогических решений в рамках общеобразовательной организации
Самый известный пример реализации комплексной модели, базирующейся на принципах анализа образовательных данных, это использование электронной облачной платформы «Московская электронная школа» . МЭШ - это сочетание нескольких крупных сервисов, предоставляющих единый доступ всем участникам образовательного процесса (обучающимся, учителям, родителям) к разного рода образовательным данным и услугам Среди них данные электронного дневника, где собрана важная информация о процессе обучения и её участниках, профилях обучающихся общеобразовательных организаций МЭШ - облачная интернет-платформа, успешной функционирующая с 1 сентября 2017 г . во всех образовательных организациях г . Москвы . Уже несколько лет постоянно аккумулируются образовательные данные, мониторинг которых осуществляется с использованием методов интеллектуального анализа данных, фактически формируются большие данные в системе образования г. Москвы . В частности, каждый учитель может провести мониторинг успеваемости любого обучающегося своего класса, а представитель администрации выгрузить статистические данные,
которые позволят спрогнозировать профиль успешности обучающегося образовательной организации или построить прогноз успеваемости целого класса в рамках одной параллели или предметной области .
МЭШ использует не только данные электронного журнала . Большая часть функционала платформы связана с разработкой и использованием учителями интерактивных сценариев уроков . Все они наполняют библиотеку МЭШ и становятся доступны всей сети образовательных организаций, которые пользуются платформой . МЭШ использует систему рейтинга для лучших сценариев, который формируется на основе анализа количества кликов пользователей, лайков и отметок популярности, а также других цифровых следов . В итоге применяется целый набор методов анализа образовательных данных, что позволяет спроектировать и спрогнозировать популярность того или иного типа сценария урока, а также выявить тенденцию формирования популярности и качества самих сценариев В дальнейшем это способствует проектированию стратегии формирования методики эффективного урока с учетом лучших сценариев в библиотеке МЭШ
Еще одним интересным примером является Портал отрытых данных Правительства Москвы в разделе «Образование» (https://data . mos .ru/), который начал работать с 29 января 2013 г . По данным самого портала в настоящее время опубликовано более 1000 тематических наборов данных и справочников, в них раскрыта информация более чем о 1 900 000 объектах городской инфраструктуры, в том числе данные по объектам образования Постоянная публикация и актуализация данных происходит на основе сведений информационных систем органов исполнительной власти г Москвы посредством интегрированной с ними Единой городской автоматизированной системы обеспечения поддержки деятельности Открытого правительства г . Москвы (ЕГАС ОДОПМ) .
На портале собрано большое количество данных, распределенных по справочникам или наборам, которыми может воспользоваться специалист для проектирования стратегии принятия управленческого решения Наборы данных, по сути, это большие данные в системе образования, которые агрегируются из различных официальных источников Данные, в частности, поступают от всех образовательных организаций г. Москвы . Например, набор данных «Результаты ЕГЭ» позволяет получить информацию о результатах ЕГЭ по всем общеобразовательным организациям г Москвы за определенный период времени, причем можно с легкостью узнать количество обучающихся, набравших максимальный балл При помощи системы фильтров можно настроить выборку по всем наборам данных и составить предварительный профиль эффективности общеобразовательных организаций в г Москве Для получения результатов по всем наборам используются методы анализа образовательных данных, результатом которых становятся прогноз
или матрица состояния образовательных организаций г . Москвы по целому раду актуальных параметров . Также на портале представлены готовые аналитические выборки, например, «Доля детей в возрасте 5-18 лет, обучающихся по дополнительным образовательным программам, в общей численности детей этого возраста» . На портале уже проведен анализ образовательных данных, специалист системы управления общим образованием сможет установить динамику по данному показателю за пятилетний период, причем при необходимости можно увидеть точное количество детей за каждый год . В целом портал содержит большой объем образовательных данных, носящих справочный или аналитический характер в готовом виде, что демонстрирует результат применения методики анализа образовательных данных в рамках функционирования системы общего образования г. Москвы . Использование Портала отрытых данных Правительства Москвы позволяет проектировать стратегию принятия управленческих решений в системе общего образования с учетом официальной информации
Зарубежный опыт использования анализа образовательных данных при осуществлении мониторинга и прогнозирования академических результатов обучающихся для принятия управленческих решений
Достаточное количество исследований за рубежом отводится вопросам обработки обратной связи и формированию персонализированной модели обучающегося для выстраивания эффективной образовательной деятельности В частности, методикам обработки полученной обратной связи от обучающегося и анализа их личной информации уделяется особое внимание [14].
Исследователи делают акцент на необходимости изучения аспектов, положительно влияющих на образовательный потенциал обучающихся . В этих целях проводится мониторинг обучающихся, выделяются наиболее успешные представители класса и анализируются пересекающиеся факторы, положительно влияющие на их динамику . Это позволяет администрации образовательного учреждения делать акцент на той или иной методике обучения, зарекомендовавшей себя с лучшей стороны . Была выявлена четкая взаимосвязь между последовательностью прохождения образовательных курсов, а также сроков начала и окончания работы над проектами и заданиями Например, в исследовании (Michael Eagle и др . ) находит отражение теория «Систематическая ошибка выжившего», отталкиваясь от неё, авторы начинают моделировать тенденцию не с успешных обучающихся, а с тех, чья динамика находится в зоне риска [14]
Еще одной тенденцией в зарубежных исследованиях результатов анализа образовательных данных для проектирования стратегии принятия
управленческого или организационно-педагогического решения является применение метода анализа, основанного на группировке (кластеризации) показателей (паттернов) большого количества (более 1000 человек) обучающихся
Опыт, проводившийся на 1000 студентах одного курса, был основан на анализе пяти базовых вопросов, относящихся к данной учебной дисциплине, личностных факторов, проявляемых студентами во время обучения и сдачи экзаменов Данное исследование проводилось на базе нескольких крупных университетов и охватывало студентов различных профилей обучения Полученные показатели позволили выявить три важные прогностические особенности: отклонения от запланированного курса, активность действий во время учебного процесса и их распространение во времени Итогом же стала разработка методических рекомендаций для тьюторов, работающих с учебными группами [14]
Аналитическая работа над данными, полученными из различных источников, позволяет достичь успехов в разработке личного плана обучающегося Общественный Колледж Синклера (США) разработал свой План Успеха Обучающегося ^Р, Ы^://роГа1 .й.gov/SDE/SSReform/ SSP/Student-Success-Plan) для осуществления консультирования и поддержки Данный опыт может быть масштабирован в том числе в общеобразовательной организации с точки зрения проектирования профиля успешности школьника Прогнозирование образовательных успехов обучающихся проводится с целью улучшения условий обучения Это может дать представление о том, что происходит с обучающимся практически в режиме реального времени . Имея эту информацию, педагоги могут своевременно вносить корректировки в личный учебный план обучающегося . Также данные возможности появляются благодаря работе в системе дистанционного обучения (LMS или подобные), позволяют тьюторам курса видеть работу своих обучающихся Мониторинг индивидуальной работы обучающихся, а также анализ таких данных, как: год обучения, этническая принадлежность, интенсивность работы и использование инструментов дистанционного обучения помогает построить траекторию развития обучающегося, что даёт возможность разработать механизмы, способствующие достижению оптимального уровня обучения [12]
Необходимо рассмотреть еще один интересный практический зарубежный пример применения методологии анализа образовательной информации, где учитывается не только академическая успеваемость обучающегося Например, построение такого анализа на изучении данных о повседневном поведении обучающихся [13]. В частности, предлагается система под названием AAP-EDM (прогнозирование академических достижений с помощью интеллектуального анализа данных) для прогнозирования академических достижений обучающихся на основе обнаруженных следующих факторов, а именно
цифровых следов, оставленных в системе кампуса (использование Wi-Fi, смарт-карт и сети кампуса). Было выявлено, что достижения обучающихся лучше всего выводятся из их социальных связей через современные многофункциональные смартфоны [16]. Есть также исследования, в которых использовалась методология анализа данных пассивного зондирования и самоотчетов со смартфонов обучающихся Тем самым предлагается сделать акцент не на образовательные результаты и контрольные срезы, а на тип жизни обучающегося, что реализуется с помощью отслеживания интернет-трафика . В учет берется время с момента пробуждения до выхода из сети, наиболее часто посещаемые места кампуса и время, сопоставленное с учебным расписанием Помимо анализа активности в сети и результатов контрольных срезов и иных данных об успеваемости, предлагается так же анализировать поведение обучающегося непосредственно во время процесса выполнения задания Например, при отслеживании взгляда обучающихся, что позволит выявить их поведение и стратегии чтения, и это обеспечивает основу для разработки персонализированной обратной связи для улучшения навыков обучения [15].
В целом отечественный и зарубежный опыт использования методов анализа образовательных данных демонстрирует общие подходы к аналитике обучения с точки зрения поиска наиболее эффективного способа повышения качества системы управления образованием
Обобщая российский и зарубежный опыт, можно сделать следующие ключевые выводы о методологии анализа образовательных данных в системе образования и использования его результатов для проектирования эффективной стратегии принятия управленческих и организационно-педагогических решений Приведенные примеры масштабируемы и могут использоваться в системе общего образования
С точки зрения проектирования стратегии комплекса управленческих решений, построенных на прогнозировании и мониторинге академических результатов обучающихся, можно сделать вывод о необходимости расширения выборки входных данных и диапазона их значений при постоянном изменении параметров нейросети Это позволит получить более точные результаты
В целом выбранная стратегия позволит решить следующие задачи: выявление актуального уровня подготовки обучающихся по учебной программе или предмету общеобразовательного цикла; отслеживание динамики их учебных достижений при изучении предметного содержания; прогнозирование уровня учебных достижений при изучении одного или смежного учебного предмета; определение существующих содержательных и методических проблем преподавания учебного предмета При анализе образовательных данных на основе предметного прогнозирования и поиска оптимального сочетания форм, средств
и методов обучения можно решить следующие задачи: определить типизацию особенностей социального статуса обучающихся по уровням их предметной обученности по различным учебным предметам, выявление зависимостей между признаками социального статуса обучающихся и их учебными достижениями; разработать методику прогнозирования уровней предметной обученности обучающихся на основе особенностей их социального статуса; разработать методики поддержки принятия решений по выбору профиля обучающимися на основе особенностей их социального статуса [4].
Учет результатов обратной связи и анализ образовательных данных на основе показателей (цифровых следов) группы обучающихся позволит выявить персональный профиль каждого и спроектировать индивидуальную траекторию обучения в рамках общеобразовательной организации . При таком подходе и выборе методологии аналитики обучения необходимо и возможно выявить факторы, негативно влияющие на процесс обучения и исключить или уменьшить их влияние . Возможно учитывать влияние возрастной психологии и физиологии обучающихся в прогнозировании их академических достижений, используя результаты экзаменов, возможности обработки информации как функции [15].
С точки зрения реальных информационных моделей, построенных на анализе образовательных данных, можно выделить интересные практические примеры, которые легко масштабируются на общеобразовательную организацию
В первую очередь, это так называемый План успеха обучающегося (Student Success Plan, SSP) от Общественного Колледжа Синклера (США), который является моделью персонализации обучения через выработку методологии аналитики его обучения [12]. Сбор и анализ данных, полученных как от самих обучающихся, так и от преподавательского состава образовательной организации позволил администрации оперативно отслеживать результаты образовательной деятельности, что впоследствии улучшило академические показатели
Особенно следует отметить результаты, полученные при построении комплексной модели, работающей на принципах ИАД образовательной деятельности . Можно четко обозначить, что реализованы следующие процессы и функции: сбор статистических данных образовательной деятельности; создание многомерной базы данных ИАД; консолидация данных, поступающих из различных источников в базу данных информационно аналитической подсистемы, его ведение и использование для проведения оперативного и интеллектуального анализа; подготовка и предоставление аналитики результатов ИАД; система ИАД распознает комбинации факторов, влияющих на динамику успеваемости, данная модель позволяет выделить обучающихся, находящихся в группе риска В качестве примеров таких комплексных моделей, использующих
методику анализа образовательных данных, могут стать электронная облачная платформа МЭШ и Портал отрытых данных Правительства Москвы (раздел «Образование») . Обе платформы обеспечивают автоматизацию большинства организационных, методических и педагогических задач, решаемых в современной крупной общеобразовательной организации, что позволяет спроектировать эффективную стратегию принятия управленческих и организационно-педагогических решений Статья публикуется в рамках гранта РФФИ на реализацию научного проекта № 19-29-14016-мк «Методология анализа больших данных в образовании и её интеграция в программы профессиональной подготовки педагогов и руководителей общеобразовательных организаций в логике «Педагогика, основанная на данных», «Управление образованием на основании данных»» (договор № 19-29-14016\19 от 18 .11 .2019)
Литература
1. Белоножко П. П., Карпенко А. П., Храмов Д. А. Анализ образовательных данных: направления и перспективы применения . [Электронный ресурс] // Интернет-журнал «Науковедение» . Том 9, № 4, 2017. URL: http://naukovedenie. ru/PDF/15TVN417. pdf (Дата обращения: 26. 03. 2020)
2. Заславский А . А . Направления развития информационного пространства образовательной организации для повышения эффективности внутреннего управления . // Вестник Московского городского педагогического университета. Серия: Информатика и информатизация образования . 2017 . № 1 (39). С . 76-82.
3. Канашевич Т. Н. Общая характеристика организации процесса мониторинга результатов учебной деятельности студентов // Сборник материалов II Международной научной конференции «Информатизация образования и методика электронного обучения» . Красноярск: Сибирский федеральный университет, 2018 С 168-172
4. Луценко Е. В., Коржаков В. Е. Прогнозирование уровня предметной об-ученности студентов путем СК-анализа данных об их социальном статусе // Вестник Адыгейского государственного университета Серия 3: Педагогика и психология . 2007. № 3 . [Электронный ресурс] URL: https:// cyberleninka. ru/article/n/prognozirovanie-urovnya-predmetnoy-obuchennosti-studentov-putem-sk-analiza-dannyh-ob-ih-sotsialnom-statuse (Дата обращения: 10 03 2020)
5. Прошкина Е. Н., Балашова И. Ю. Анализ и прогнозирование успеваемости студентов на основе радиальной базисной нейронной сети // Технические науки: традиции и инновации . Казань: Молодой ученый, 2018 . С. 24-28. [Электронный ресурс] URL: https://elibrary. ru/item . asp?id=32629327 (Дата обращения: 10. 03. 2020).
6. Садовникова Н. О., Черных Н. А. Прогнозирование успеваемости первокурсников на основе интеллектуальной обработки довузовских факторов . // Россия и ВТО: экономические, правовые и социальные аспекты: Сборник статей участников IV Международного научного студенческого конгресса. 2013. С. 2048-2053.
7. Солтан Г. Ж., Смаилова С. С., Увалиева И.М, Томилин А. К. Интеллектуальный анализ данных в задачах управления качеством образовательного процесса . // Инженерное образование . 2013 . № 13 . С . 36-43.
8. Фиофанова О. А. Управление на основании данных в сфере образования . // Народное образование . № 8, 2019 . С . 1-8 .
9. Фиофанова О. А., Иванов С. А. Развитие методологии и технологий управления образованием на основании анализа данных: проблемы цифровой инфраструктуры образования и подготовки кадров в логике «педагогики, основанной на данных» (data driven pedagogy). // Сборник материалов III Международной научно-практической конференции «Прорывные компьютерные и интернет-технологии в современных междисциплинарных научных исследованиях, экономике, управлении, образовании и гуманитарных науках - 2019». «К0МПИТ-2019» . С . 39-45.
10. Якунин Ю. Ю., Погребников А. К. Анализ обратной связи в персональной образовательной среде . Информатика и образование. 2018;(10):36-41. https://doi . org/10.32517/0234-0453-2018-33-10-36-41
11 . Baker R. , Yacef K. The state of educational data mining in 2009: A review and future visions. //Journal of Educational Data Mining. 2009. V. 1, N1 . P. 3-17.
12. Dietz, Beth & Hurn, J . E . Using learning analytics to predict (and improve) student success: A faculty perspective . Journal of Interactive Online Learning. 2013, № 12 P 17-26
13 . Kassarnig, V . , Mones, E. , Bjerre-Nielsen, A. et al . Academic performance and behavioral patterns . EPJ Data Sci . 7, 10 2018. https://doi . org/10. 1140/epjds/ s13688-018-0138-8
14. Eagle M. , Carmichae T. , Stokes J. , Blink M. - J. , Stamper J. - C. , Levin J Predictive Student Modeling for Interventions in Online Classes EDM 2018
15 Halde R R , Deshpande A , Mahajan A Psychology assisted prediction of academic performance using machine learning 2016 IEEE International Conference on Recent Trends in Electronics, Information & Communication Technology (RTEICT), Bangalore, 2016, pp 431-435 https://doi org/10 . 1109/RTEICT. 2016.7807857
16 . Wang Zheng, Zhu Xinning, Huang Junfei, Li Xiang, Ji Yang Prediction of
Academic Achievement Based on Digital Campus EDM 2018 15
Сведения об авторах
Баранников Кирилл Анатольевич - кандидат педагогических наук, проректор по развитию, ГАОУ ВО Московский городской педагогический
университет, Россия, Москва. E-mail: barannikovka@mgpu.ru
Сулейманов Руслан Сулейманович - начальник управления информационных технологий, ГАОУ ВО Московский городской педагогический университет, Россия, Москва. E-mail: sulejmanovRS@mgpu.ru Лесин Сергей Михайлович - кандидат педагогических наук, ведущий научный сотрудник лаборатории исследования образовательной политики управления стратегического развития, ГАОУ ВО Московский городской педагогический университет, Россия, Москва. E-mail: lesinsm@mgpu.ru Куприянов Роман Борисович - заместитель начальника управления информационных технологий, ГАОУ ВО Московский городской педагогический университет, Россия, Москва. E-mail: kupriyanovRB@mgpu.ru
Learning analytics based on educational data mining methods as a way to improve the effectiveness of the education management system
K. A. Barannikov, R. s. suleymanov, s. M. Lesin, R. B. Kupriyanov
The article deals with the issues of Learning Analytics based on the practical implementation of Educational Data Mining (EDM) and Data Mining (DM) methodology in certain educational organizations for designing strategies for making management and organizational and pedagogical solutions. The article defines the concept of Educational Data Mining, its methods, and key features in the context of Learning Analytics. The article describes the domestic and foreign experience of common situations in the implementation of Educational Data Mining methodology, which are scalable and implicated at any level of the education system. The article deals with common situations of Learning Analytics based on the assessment and monitoring of students' educational performance and their digital traces left by the learning process. All the examples are scalable and highly interesting to the General education system, they have an application-oriented character from the point of view of designing effective strategies for making management and organizational and pedagogical solutions. The main trends of application of Educational Data Mining methodology in the practice of the education system are defined. Among them, there are the following: assessment and prediction of academic results of learners; pedagogical monitoring of the results of educational activities of learners; prediction of subject learning; implementation of a complex information system of an educational organization based on the Data Mining principles; processing feedback results and forming a learner' personalized model; studying data on the daily behavior of learners and grouping big data into groups of indicators. These trends of Learning Analytics allow to design an effective educational management system which based on the Educational Data Mining principles.
Key words: Educational Data Mining; Learning Analytics; educational performance.
References
1 . Belonozhko P . P . , Karpenko A . P . , Khramov D . A . Analiz obrazovatel'nyh dannyh: napravlenija i perspektivy primenenija [Elektronnyj resurs] [Algorithm of rangovy optimization of access to data in information system], Internet-zhurnal «Naukovedenie» Vol. 9, № 4 (2017). Available at: http: //naukovedenie. ru/PDF/15TVN417. pdf (Accessed: 26. 03. 2020). (In Russ. ).
2. Zaslavskiy A . A . Napravleniya razvitiya informacionnogo prostranstva obrazovatel'noj organizacii dlya povysheniya e'ffektivnosti vnutrennego upravleniya [Directions for the development of the information environment of an educational organization to improve the effectiveness of internal management], Vestnik Moskovskogo gorodskogo pedagogicheskogo universiteta. Seriya: Informatika i informatizaciya obrazovaniya. 2017. № 1 (39). pp. 76-82. (In Russ. ).
3 . Kanashevich T . N . Obshhaya xarakteristika organizacii processa monitoringa rezul'tatov uchebnoj deyatel'nosti studentov [General characteristics of the organization of the process of monitoring the results of educational activities of students], Sbornik materialov II Mezhdunarodnoj nauchnoj konferencii «Informatizaciya obrazovaniya i metodika e'lektronnogo obucheniya» -Sibirskij federal'nyj universitet. 2018. pp. 168-172. (In Russ. ).
4. Lucenko E . V . , Korzhakov V . E . Prognozirovanie urovnya predmetnoj obuchennosti studentov putem SK-analiza dannyx ob ix social'nom statuse [Elektronnyj resurs] [Predicting the level of subject learning of students by means of SC-analysis of data on their social status], Vestnik Adygejskogo gosudarstvennogo universiteta. Seriya 3: Pedagogika i psixologiya . 2007. № 3 . Available at: https://cyberleninka . ru/article/n/prognozirovanie-urovnya-predmetnoy-obuchennosti-studentov-putem-sk-analiza-dannyh-ob-ih-sotsialnom-statuse (Accessed: 10.03.2020). (In Russ. ).
5. Proshkina E . N . , Balashova I . Yu. Analiz i prognozirovanie uspevaemosti studentov na osnove radial'noj bazisnoj nejronnoj seti [Elektronnyj resurs] [Analysis and prediction of students' academic performance based on a radial basic neural network], Texnicheskie nauki: tradicii i innovacii . Kazan': Molodoj uchenyj, 2018. pp. 24-28. Available at: https://elibrary . ru/item . asp?id=32629327 (Accessed: 10.03.2020). (In Russ. ).
6. Sadovnikova N. O. , Chernyx N. A. Prognozirovanie uspevaemosti pervokursnikov na osnove intellektual'noj obrabotki dovuzovskix faktorov [Predicting the performance of first-year students based on intellectual processing of pre-University factors], Rossiya i VTO: e'konomicheskie, pravovye i social'nye aspekty: Sbornik statej uchastnikov IV Mezhdunarodnogo nauchnogo studencheskogo kongressa 2013 pp 2048-2053 (In Russ )
7 . Soltan G. Zh. , Smailova S. S . , Uvalieva I . M, Tomilin A. K. Intellektual'nyj analiz dannyx v zadachax upravleniya kachestvom obrazovatel'nogo processa [Data Mining in educational process quality management tasks], Inzhenernoe obrazovanie. 2013. № 13. pp. 36-43. (In Russ. ).
8. Fiofanova O. A. Upravlenie na osnovanii dannyx v sfere obrazovaniya [Management based on education data], Narodnoe obrazovanie . 2019 . № 8 . pp. 1-8. (In Russ. ).
9 Fiofanova O A , Ivanov S A Razvitie metodologii i texnologij upravleniya obrazovaniem na osnovanii analiza dannyx: problemy cifrovoj infrastruktury obrazovaniya i podgotovki kadrov v logike «pedagogiki, osnovannoj na dannyx» (data driven pedagogy) [Development of methodology and technologies of education management based on data analysis: problems of
digital infrastructure of education and training in the logic of «data-based pedagogy» (data driven pedagogy)]. Sbornik materialov III Mezhdunarodnoj nauchno-prakticheskoj konferencii «Proryvnye komp'yuternye i internet-texnologii v sovremennyx mezhdisciplinarnyx nauchnyx issledovaniyax, e'konomike, upravlenii, obrazovanii i gumanitarnyx naukax. 2019. «KOMPIT-2019». pp. 39-45. (In Russ. ). 10. Yakunin Y . Y . , Pogrebnikov A. K. Analiz obratnoj svyazi v personal''noj obrazovatel''noj srede [Analysis of feedback in personal learning environment]. Informatics and education. 2018 . № 10 . pp . 36-41 . (In Russ. ) https://doi . org/10.32517/0234-0453-2018-33-10-36-41 11 . Baker R. , Yacef K. The state of educational data mining in 2009: A review and
future visions .Journal of Educational Data Mining. 2009. V . 1, N1 . P . 3-17. 12. Dietz, Beth & Hurn, J . E. Using learning analytics to predict (and improve) student success: A faculty perspective . Journal of Interactive Online Learning. 2013, 12. P. 17-26.
13 . Kassarnig V. , Mones E. , Bjerre-Nielsen A. et al . Academic performance and behavioral patterns . EPJ Data Sci . 2018, 7, 10 . https://doi . org/10. 1140/epjds/ s13688-018-0138-8
14. Eagle M . , Carmichael T . , Stokes J . et al . Predictive Student Modeling for Interventions in Online Classes EDM 2018
15 Halde R R , Deshpande A , Mahajan A Psychology assisted prediction of academic performance using machine learning. 2016 IEEE International Conference on Recent Trends in Electronics, Information & Communication Technology (RTEICT), Bangalore, 2016, pp. 431-435. https://doi. org/10. 1109/RTEICT.2016.7807857
16 . Wang Zheng, Zhu Xinning, Huang Junfei, Li Xiang, Ji Yang Prediction of
Academic Achievement Based on Digital Campus EDM 2018
About the authors
Barannikov Kirill Anatol'evich - PhD, Vice-rector for development, State Autonomous Educational Institution «Moscow City University», Moscow, Russia. E-mail: barannikovka@mgpu.ru
Suleymanov Ruslan Suleymanovich - Head of Information Technology Department, State Autonomous Educational Institution «Moscow City University», Moscow, Russia. E-mail: sulejmanovRS@mgpu.ru Lesin Sergey Mikhailovich - PhD, Lead senior scientist Laboratory of research of educational policy of Department of the strategic growth, State Autonomous Educational Institution «Moscow City University», Moscow, Russia. E-mail: lesinsm@mgpu.ru
Kupriyanov Roman Borisovich - Deputy head of Department Information Technologies, State Autonomous Educational Institution «Moscow City University», Moscow, Russia. E-mail: kupriyanovRB@mgpu.ru
