CC BY-NC
151Современное образование
Правильная ссылка на статью:
Ширинкина Е.В. — Методы интеллектуального анализа данных и образовательной аналитики // Современное образование. - 2022. - № 1. - С. 51 - 67. DOI: 10.25136/2409-8736.2022.1.37582 URL: https;//nbpublish.com'library_read_article.php?id=37582
Методы интеллектуального анализа данных и образовательной аналитики
Ширинкина Елена Викторовна
кандидат экономических наук доцент кафедры менеджмента и бизнеса Сургутского государственного университета 628412, Россия, Тюменская область, г. Сургут, ул. Ленина, 1, каб. 510
И shirinkina86@yandex.ru
Статья из рубрики "Эффективность обучения"
DOI:
10.25136/2409-8736.2022.1.37582
Дата направления статьи в редакцию:
19-02-2022
Дата публикации:
06-05-2022
Аннотация: Актуальность исследования обусловлена тем, что по теме в контексте интеллектуального анализа образовательных данных в настоящее время больше вопросов, чем конкретных ответов: как это делается, для чего и каким образом мы это можем использовать, какие метрики включать в выборку и как строить прогнозы. Несомненно, в ближайшие годы произойдет переход от обсуждений к практическому внедрению учебной аналитики в образовательные процессы. Цель исследования -систематизировать методы интеллектуального анализа образовательных данных в контексте отличия учебной аналитики от педагогической диагностики и других способов сбора данных. Результаты исследования позволят выстроить стратегию обучения и совместить цели обучающей программы с эффективностью образовательного процесса и ожидаемыми результатами со стороны обучающихся. В этой связи автором
рассмотрены виды учебной аналитики. Научная новизна исследования заключается в систематизации сфер исследовательских интересов, связанных с интеллектуальным анализом данных в образовании и учебной аналитикой. Обосновано, что учебная аналитика в совокупности с интеллектуальным анализом образовательных данных дает возможность разработать точные модели, характеризующие поведение обучающихся, их свойства, слабые и сильные места контента и взаимодействия с ним, командную и групповую динамику. Практическая значимость исследования заключается в том, что рассмотренные методы позволят оценить текущее состояние обучающей системы или
программы, прогнозировать желаемые результаты и составить дорожную карту планируемых изменений. Педагогическим дизайнерам и методистам представленные методы станут фундаментом для оптимизации программы. Обучающиеся благодаря представленным методам получают наиболее релевантный, вовлекающий и осмысленный образовательный опыт.
Ключевые слова: образование, цифровизация, учебная аналитика, образовательные тренды, интеллектуальный анализ, обучение, непрерывное образование, навыки, образовательные данные, эффективность
Благодарности
Статья содержит результаты исследований, проводимых в рамках государственного задания Ханты-Мансийского автономного округа - Югры.
Введение
Актуальность исследования обусловлена тем, что по теме в контексте интеллектуального анализа образовательных данных в настоящее время больше вопросов, чем конкретных ответов: как это делается, для чего и каким образом мы это можем использовать, какие метрики включать в выборку и как строить прогнозы. Несомненно, в ближайшие годы произойдет переход от обсуждений к практическому внедрению учебной аналитики в образовательные процессы.
Предметом исследования является образовательный процесс. Цель исследования -систематизировать методы интеллектуального анализа образовательных данных в контексте отличия учебной аналитики от педагогической диагностики и других способов сбора данных. Результаты исследования позволят выстроить стратегию обучения и совместить цели обучающей программы с эффективностью образовательного процесса и ожидаемыми результатами со стороны обучающихся. В этой связи автором рассмотрены виды учебной аналитики.
Научная новизна исследования заключается в систематизации сфер исследовательских интересов, связанных с интеллектуальным анализом данных в образовании и учебной аналитикой. Обосновано, что учебная аналитика в совокупности с интеллектуальным анализом образовательных данных дает возможность разработать точные модели, характеризующие поведение обучающихся, их свойства, слабые и сильные места контента и взаимодействия с ним, командную и групповую динамику.
В анализе образовательных данных широко используются два набора методов:
- учебная аналитика (Learning Analytics);
- интеллектуальный анализ образовательных данных (Educational Data Mining, EDM).
Аналитика обучения, или образовательная аналитика — измерение, сбор, анализ и представление данных об обучающихся и образовательной среде с целью понимания особенностей обучения и максимальной его оптимизации.
Интеллектуальный анализ образовательных данных (EDM) — это спектр методов исследования данных и поиска в них скрытых закономерностей, используемых с целью принятия решений в сфере образования. Educational Data Mining включает как типичные для любого Data Mining (интеллектуального анализа данных) методы (кластеризацию,
классификацию, регрессию, поиск правил), так и специфичные для сферы образования, например, психометрические модели.
Для генерации и проверки гипотез необходимо определиться с подходящими метриками. Кроме этого, необходимо определиться с тем, какие данные понадобятся, откуда они будут поступать и для каких аналитических целей они будут собираться.
Аналитика обучения вместе с EDM помогает выявить взаимосвязи в комплексных данных и скрытые знания, которые при грамотном подходе помогают улучшить процесс обучения. Основное различие между этими двумя наборами метрик состоит в том, что в образовательной аналитике инсайты и находки генерирует прежде всего специалист-аналитик, в то время как в Educational Data Mining многие инсайты становятся «неожиданным» результатом использования автоматизированных алгоритмов.
Результаты исследования позволят выстроить стратегию обучения и совместить цели обучающей программы с эффективностью образовательного процесса и ожидаемыми результатами со стороны обучающихся.
Практическая и теоретическая значимость исследования заключается в том, что рассмотренные методы позволят оценить текущее состояние обучающей системы или программы, прогнозировать желаемые результаты и составить дорожную карту планируемых изменений. Педагогическим дизайнерам и методистам представленные методы станут фундаментом для оптимизации программы. Обучающиеся благодаря представленным методам получают наиболее релевантный, вовлекающий и осмысленный образовательный опыт.
Методология исследования
Эмпирической основой исследования послужили труды Дэвида Ньеми «Learning Analytics
in Education» t61, Карл Андерсон «Creating a Data-Driven Organization»^91, Дирка Ифентала, Даны-Кристин Ма, Джейн Инь-Ким Яу «Utilizing Learning Analytics to Support
Study Success» t41, а также исследования Университета 20.35 «Интеллектуальный анализ
образовательных данных» J81.
В 2000-х годах появилась информационно-технологическая инфраструктура и инструменты, позволяющие обрабатывать и анализировать большие массивы данных (Big Data). Очень быстро эта техническая возможность переросла в социально-экономический феномен, серьезно повлиявший на бизнес, здравоохранение, производство, космическую отрасль, биотехнологии, маркетинг и многие другие сферы жизни, в том числе и образование.
Революционную природу Big Data можно объяснить тремя классическими характеристиками, которые приписываются процессам, связанным с большими данными: это не только объем (Volume), но и скорость (Velocity), а также многообразие (Variety). Под скоростью имеется в виду возможность максимально быстро, почти в режиме реального времени обработать поступающие данные, а под многообразием - источники
этих данных, разные по качеству и свойствам [15,16].
Что означало появление больших данных для сферы образования? Благодаря появлению обучающих информационных систем и технологий Big Data впервые за историю педагогика получила шанс быстро, непрерывно и в полном объеме регистрировать обширный массив наблюдений за процессом обучения, поведением и успеваемостью обучающихся.
Зазор между выявлением проблемы и ее решением многократно уменьшился; значительно расширились возможности для интерпретации и анализа поступивших сведений. Более того, системы учебной аналитики позволили автоматизировать многие рутинные процессы, определять проблемы на ранних стадиях и действовать превентивно.
Можно выделить несколько категорий данных, которые типично используются в целях учебной аналитики. Приведенный ниже список не исчерпывающий, поскольку список источников данных адаптируется под цели и потребности конкретной организации [1,10]:
1. Административные данные - информация о преподавателе, методисте, наличии и опциях поддержки, опыте автора, тематике программы или курса и т. д.
2. Предпочитаемые обучающие медиа или жанры - ретроспективные показатели предпочтительных для обучающегося медиа или жанров в тех случаях, когда выбор был возможен, например, длительность видео, дослушиваемость подкаста, дочитываемость лонгрида и т. д.
3. Взаимодействие с образовательными ресурсами - показатели взаимодействия во время обучения, в том числе манера навигации, ответы на упражнения и тесты, количество попыток, типы совершаемых ошибок, временные характеристики, связанные с деятельностью студента во время обучающих мероприятий.
4. Прошлая деятельность - ретроспективные показатели прошлой деятельности обучающегося, раскрывающие усвоение идей, навыков или компетенций на текущий мо ме нт.
5. Временная история - показатели ближайшего контекста, представляющие временную историю действий обучающегося, данные о которой доступны в конкретный день.
6. Социальные показатели - показатель взаимодействия учащегося с другими обучающимися и преподавателем в процессе обучения или с записанной речью (со всеми ее разнообразными свойствами, например, семантическим содержанием, просодией и т. д.).
7. Демографическая информация - показатели периферийного контекста: регион, возраст, пол, уровень подготовки и т. д.
8. Социальные связи - показатели ближайшего окружения: количество связей, их сила и активность.
9. Тип мышления - данные из анкеты или самоотчета о том, как учащийся устанавливает связь между своими стратегическими усилиями во время обучения и развитием компетенций, а также о том, как происходит индивидуальный процесс обучения.
10. Эмоциональное состояние - психофизиологические показатели, относящиеся к обучению, например, эмоциональное состояние, качество сна, показатели питания.
Современный процесс обучения предполагает использование множества образовательных технологий и платформ, большая часть которых оборудована собственными средствами сбора статистики и аналитики. Перечислим в общих чертах некоторые источники данных [7,11,12]:
- LMS (Learning Management System, система управления обучением), например Moodle, Canvas, iSpring, open EdX и т. д.;
- LXP (Learning Experience Platform, платформа опыта обучения, или агрегаторы образовательных проектов), например Degreed, EdCast;
- TMS (Training Management System, система управления корпоративным обучением), например ТренингСпэйс;
- сервисы видеоконференций, например Zoom, Skype, MS Teams;
- платформы проведения вебинаров, например Webinar.ru;
- сервисы для проведения опросов, например Kahoot!, Quizizz, Slido, StartExam;
- курсы, созданные через конструкторы, например, при помощи Articulate 360, iSpring Suite, Adobe Captivate;
- VR- и AR-платформы, например Uptale, Microsoft Mixed Reality.
Каждый из подобных источников обладает внутренней системой аналитики, что осложняет централизованный сбор данных и их последующий анализ. Частично эту проблему решает LRS — Learning Record Store, хранилище учебных записей. Некоторые системы LRS используют стандарт xAPI для передачи данных из различных источников и их сохранения в едином формате.
xAPI — открытая спецификация, которая описывает формат передачи статистики между провайдером учебной активности (например, курсом, сайтом, мобильным приложением) и базой данных LRS. Здесь важно, чтобы провайдер учебной активности отдавал данные в формате, предусмотренном xAPI.
Существует концепция Total Learning Architecture (TLA), которая развивается в рамках программы ADL Initiative министерства обороны США (авторов стандарта SCORM). TLA включает в себя набор технических спецификаций для создания будущих учебных экосистем. Одной из таких спецификаций является xAPI — стандарт передачи данных о пройденном обучении. Этот стандарт поддерживают многие популярные LMS-системы (WebTutor, Moodle), конструкторы курсов (Articulate Storyline, iSpring) и другие образовательные сервисы.
Базовая единица стандарта xAPI — стейтмент (от англ. statement). Стейтмент — это запись в формате JSON о каком-либо действии вида «Пользователь изучил урок 1». Количество стейтментов может достигать нескольких миллиардов. Чтобы собирать данные в формате xAPI, необходимо специальное хранилище — Learning Record Store (LRS). LRS валидирует поступающие данные на соответствие стандарту, обрабатывает, сортирует и предоставляет для формирования наглядных настраиваемых дашбордов в специализированных системах учебной аналитики или универсальных BI-инструментах (PowerBI, Tableau, Qlik).
Некоторые LRS имеют встроенные средства учебной аналитики, комплектуются дополнительными приложениями (например, для запуска электронных курсов) или являются частью LMS. Популярные LRS-системы зарекомендованы на рынке учебной аналитики.
Внешние платформы учебной аналитики и хранилища учебных записей предоставляют широкие возможности по агрегации данных из разнообразных источников, их анализу и визуализации. Следует учитывать, что при использовании подобных решений требуются выделенные ресурсы для установки, поддержки, а главное, масштабирования.
Наиболее распространенные методы анализа данных в образовании, систематизированные автором на основе обзора отечественных и зарубежных исследований, представлены в таблице 1.
Таблица 1
Наиболее распространенные методы анализа данных в образовании
Метод Цель Применение
Интеллектуальный анализ причинно-следственных связей Выявить причинно-следственные связи Понять, какие черты по в е де ния с луша те л е й приводят к обучению, неуспеваемости, отказу от обучения и т. д
Кластеризация Выявить группы с по хо ж ими с в о йс тв а ми Объединить учебный ма те риа л ил и слушателей в группе, основываясь на найденных паттернах
Поиск и выявление взаимосвязей при помощи моделей машинного обучения Использовать существующую модель в качестве компонента для текущего анализа Выявить взаимосвязи между характеристиками слушателей или контекстуальными переменными и их поведением. Внедрить психометрические фреймворки в модель машинного обучения
Дистилляция данных (очистка данных для оценки человеком) Представить данные в виде, пригодном для визуализации и взаимодействия с ними Предоставить методистам данные, по которым удобно отслеживать и анализировать активность слушателей и их продвижение по программе
О тс ле ж ив а ние з на ний Оценить овладение знаниями при помощи л о г о в отв е тов слушателей на задания и когнитивной модели, в которой построены взаимосвязи между заданиями и навыками, которые требуются для их решения Отследить динамику прогресса
Неотрицательное матричное разложение На основе оценок слушателей за тестовые задания создать матрицу положительных Оценить навыки слушателей
ч ис е л, кото ра я з а те м декомпозируется на две матрицы — с заданиями и навыками для упрощения анализа
Выявление выбросов Выявить нетипичных слушателей Определить, какие слушатели не успевают з а те мпо м пр о г ра ммы или, на о бо ро т, значительно опережают ее
Методы прогнозирования Сделать умозаключение о целевой переменной исходя из комбинаций других переменных при помощи классификации, регрессии, оценки плотности и других методов Спрогнозировать прогресс слушателя и определить его модель поведения
Интеллектуальный анализ процессов Определить процесс на основе логов событий Построить умозаключения о поведении студентов
Интеллектуальный анализ взаимосвязей Изучить взаимосвязи между переменными и выявить закономерности при помощи методов поиска ассоциативных правил, корреляционного анализа, интеллектуального анализа причинно-следственных связей Выявить взаимосвязи между поведенческими паттернами слушателей и трудностями, которые они испытывают при обучении
Статистические методы Описать происходящее и сделать выводы при помощи математической с та тис тики Проанализировать, проинтерпретировать и сделать выводы из данных учебной аналитики
Анализ социальных с е те й П р о а на л из иров а ть социальные взаимосвязи между элементами сети Изучить структуру и взаимосвязи в групповой деятельности, а также взаимодействие слушателей в учебном ч а те
Интеллектуальный а на лиз те кс та Извлечение данных из текстовой информации П ро а на лиз ир о в а ть содержимое чатов, домашних заданий и другого текстового цифрового следа
слушателей
Визуализация Отобразить данные в Представить данные в
графическом виде визуально понятном
виде
Современные платформы позволяют собирать данные о множестве пользовательских действий, поэтому в целях учебной аналитики доступна информация буквально о каждом движении мышкой.
Сферы исследовательских интересов, связанных с интеллектуальным анализом данных в образовании и учебной аналитикой, представлены в таблице 2.
Сфера исследовательского инте ре с а Цель
Анализ теорий обучения Проанализировать, как теории обучения и учебную аналитику можно интегрировать в учебные исследования
Анализ педагогических стратегий Проанализировать применение и эффективность педагогических стратегий с использованием интеллектуального анализа данных и учебной аналитики
Анализ программного кода П риме нить ме то ды интеллектуального анализа данных к курсам программирования и коду, написанному обучающимися
Групповое обучение и командная работа Проанализировать динамику групповой работы и предсказать результаты команды
Интеллектуальный анализ образовательной программы Проанализировать структуру программы, систему оценивания и другие компоненты программы с целью ее улучшения
Анализ дашбордов Применить техники визуализации для анализа собранного цифрового следа
Глубокое обучение (Deep Learning) П риме нить мно г о с ло йные нейронные сети в целях интеллектуального анализа данных
Обнаружение причинно-следственных связей Выявить причинно-следственные связи в учебных данных
Системы раннего выявления проблем Предсказать поведение слушателей, которое может привести к академической неуспеваемости, с целью профилактики
Анализ эмоциональных состояний Изучить влияние эмоциональных состояний на обучение
Оценка эффективности интервенций Оценить эффективность произведенных действий, принятых на основе данных решений и т. д.
Методы конструирования признаков (Feature Engineering) Автоматически выявить существенные признаки в данных для обучения модели
Игровая аналитика Применить техники интеллектуального анализа данных и визуализации ко взаимодействиям игроков и совершаемым ими выборам в процессе игрового обучения
Модели обучающихся Разработать модели данных, описывающие слушателей и удобные для обработки и использования
Измерение результатов самостоятельного обучения Применить техники интеллектуального анализа данных для оценки результатов самостоятельного обучения
Мультимодальный анализ обучения Применить методы машинного обучения и использовать данные, полученные с носимых устройств и датчиков, для генерации инсайтов об обучении в разных контекстах
Персонализированная обратная связь Автоматическая или полуавтоматическая генерация обратной связи для вовлечения слушателей в учебный процесс
Выявление отношения (позитивное/негативное) Автоматическое обнаружение эмоциональной окраски, тональности в обучающем контенте и контенте, созданном слушателями
Перенос обучения (Transfer Learning) Разработать модели машинного обучения, которые могут быть перенесены в различные контексты и сферы
Выявление траекторий Исследование процессов внутри курса и изучение логов системы обучения для выявления возможных устойчивых образовательных траекторий
Семантический анализ текстов П рименение инструментов текстового анализа данных к информации из чатов, социальных сетей, домашних заданий, эссе и т. д.
Как правило, изменения в обучающей программе производятся в трех взаимодополняющих целях:
1. Для улучшения опыта слушателя (точка зрения обучающегося). Позволяет ли программа достичь поставленной слушателем цели (получить новые навыки, сменить
специальность и т. д.)? Подходит ли материал к уровню подготовки слушателя?
2. Для оптимизации учебной программы (точка зрения методиста / педагогического дизайнера). Насколько успешно достигают обучающиеся своих учебных целей? Какие модули нуждаются в доработке?
3. Для повышения эффективности организации (точка зрения заказчика обучения). Окупаются ли в долгосрочной перспективе ресурсы, вложенные в программу?
Выбранная цель (или цели) и определяет релевантные источники данных и показатели, изменения которых будут отслеживаться и оцениваться. Контексты, в которых используются разные метрики, могут пересекаться по целям, поэтому необходимо четко сопоставить метрики с целями.
Метрика — это лишь числовой показатель, и в отрыве от контекста и целей остается лишь цифрой. Во флажок, сигнализирующий о необходимости что-то изменить, подтвердить эффективность или, наоборот, опровергнуть гипотезу, метрика превращается благодаря аналитической работе.
Метрики эффективности обучения помогают оценить качество учебного контента и отдельных его частей, уровень подготовки преподавателей и ведущих, прогресс слушателей.
Примеры метрик учебной эффективности [2,3,5]:
1. Индекс лояльности слушателей (NPS, Net Promoter Score). Алгоритм расчета: вы задаете слушателям курса один вопрос: «Оцените от 1 до 10, с какой вероятностью вы порекомендуете наш курс коллегам или знакомым». Метрика рассчитывается как разница между долями сторонников и критиков: от количества людей, выбравших цифры от 9 до 10 (то есть сторонников), вы отнимаете количество людей, выбравших цифры от 1 до 6 (критиков). Нейтрально настроенные к обучению люди, выбравшие пункты 7-8, в расчет не берутся.
2. Индекс удовлетворенности слушателей (CSI, Customer Satisfaction Index). Рекомендуется отслеживать после каждого взаимодействия с целевой аудиторией: после проведенного вебинара, завершенного модуля курса. Этот показатель позволяет понять, какие элементы курса получились лучше всего, а какие следует доработать. Алгоритм расчета: оценка любого взаимодействия пользователя со всей образовательной программой или с отдельными элементами (упражнениями, теоретической частью, работой преподавателя и т. д.). Шкала для оценки может быть разной: от 1 до 10 или просто ответ в формате «да/нет».
3. Уровень доходимости (COR, Completion Rate). Показывает процент завершивших обучение от числа зачисленных/начавших. Алгоритм расчета: необходимо взять число тех слушателей, которые успешно закончили обучение, и поделить его на число тех, кто начал обучение. Получится процент слушателей, которые прошли курс до конца.
4. Показатель оттока (Churn Rate). Демонстрирует, какой процент слушателей отказался от обучения в течение определенного периода времени.
Вопросы, на которые помогают ответить такие метрики:
- Какие компоненты программы вызывают затруднения?
- Какие элементы программы вызывают недовольство?
- Как быстро продвигаются слушатели по программе?
Измерение таких показателей крайне ценно для оптимизации программы, однако подобные данные, как правило, сложно собирать автоматизировано - они поступают от отдела поддержки и сопровождения, центра карьеры, из отчетности преподавателей, анкет обратной связи.
Рассмотрим аналитику лучших практик [8,13].
Кейс Университета 20.35 «Как измерить софт скиллз на основе цифрового следа».
В Университете 20.35 часто сталкиваются с необходимостью оценить групповую деятельность - например, результат командной работы над проектом или совместную работу обучающихся в формате «стартап как диплом». При этом необходимо иметь возможность выделять индивидуальный вклад каждого участника из массива данных групповой деятельности. С универсальными компетенциями возникает одна универсальная проблема: не всегда понятно, что именно и как измерять. В отличие от большинства навыков, связанных с конкретным инструментом или выполнением определенной задачи, оценка мягких навыков не так проста. Такие компетенции проявляются только в деятельности совместно с другими навыками. Кроме того, мало какие мягкие навыки настолько четко определены, чтобы все аналитики и методологи единодушно приняли такое определение.
Получать определения экспертным путем, сколь бы профессиональным ни было мнение эксперта, - это не всегда наиболее эффективный подход. Он не позволяет добиться консенсусного решения при большом количестве экспертов. Вместо этого мы используем подход «онтологической близости», который позволяет выявить, что подразумевается под тем или иным мягким навыком в каждом случае.
Собран достаточно большой объем данных из описаний вакансий, мероприятий, резюме, статей. Так, в автоматически обновляемый массив данных вошло 150 млн описаний вакансий по России и миру.
При помощи семантического анализа текстов с применением искусственного интеллекта получено актуализируемое описание профессиональной области, включающее в себя функциональные позиции, трудовые функции, предметные области и навыки, в том числе софт скиллз.
Кейс «Яндекс. Практикума»: метрика когнитивной посильност и [13,14].
Образовательный продукт «Яндекс. Практикума» имеет иерархическую структуру (см. рис.1):
Рис. 1. Структура образовательного продукта [3,13].
У каждого урока есть образовательные цели, достижение которых проверяется с помощью заданий. Низкоуровневые элементы - задания - измеряются несколькими метриками:
- трудностью (долей студентов, выполнивших задание верно, среди тех, кто выполнял это задание);
- дискриминативностью (различиями в решаемости задания среди сильных и слабых обучающихся, или способностью задачи делить слушателей на сильных и слабых);
- индексом попытки (различиями в решаемости задания от попытки к попытке; этот индекс работает только в тренажерах).
Методист видит эти коэффициенты в своем дашборде и оценивает, какие задания нуждаются в переработке. Например, может быть необходимо удалить задания с нулевой решаемостью, упростить крайне трудные задания, улучшить задания с невысокой дискриминативностью и тренажерные задачи с нулевым индексом попытки.
Это хороший, но не наглядный инструмент: методисты загружены и бывает сложно оценить каждое проблемное задание по числовым коэффициентам, поэтому на основе этих коэффициентов введена система наглядных и понятных текстовых маркеров.
Кейс Skypro: метрики для продукта обучения новой профессии [13'17].
Образовательные продукты для получения новой профессии (профессиональное обучение) предоставляет множество игроков рынка: вузы, организации среднего профессионального и дополнительного образования, EduTech-компании, онлайн-
университеты и т. д. [2,5] Какие метрики можно использовать для оценки успешности переподготовки обучающихся, которые еще вчера работали шахтерами, кондитерами или водили трамвай? Простые решения не подходят: например, нельзя брать за основную метрику доходимость, ведь цель слушателя - не дойти до конца курса, а получить новую работу по новой специальности.
Слушателю программы с запросом на смену работы за понятный срок с понятным доходом. результата важны такие показатели, как:
- скорость получения предложения;
- количество предложений;
профессии важен результат - получение Для измерения и отслеживания подобного
- с та ртов а я з а рпла та .
При разработке и сборке программ каждой профессии:
- анализируется рынок вакансий (количество и динамику открытия/закрытия позиций) и данные по стартовым зарплатам сотрудников начальных позиций;
- составляется перечень необходимых компетенций как по анализу открытых позиций, так и по результатам 30-50 интервью с НЯ и нанимающими менеджерами;
- совместно с экспертами-практиками рынка составляется и валидируется программа.
Это влияет на содержание программы: в ней появились релевантные рынку бизнес-задачи, чтобы погрузить новичков в отрасли в рынок и специфику, а на выходе были добавлены карьерные консультации, тренировочные собеседования, помощь с подготовкой резюме, ретроспективы с выпускниками после первых откликов и интервью. В итоге целесообразно ориентироваться на три набора метрик: внутренние метрики продукта, метрики эффективности образовательной программы и рыночные метрики по
трудоустройству и отзыву обучающихся. Выводы
1 . Учебная аналитика в совокупности с интеллектуальным анализом образовательных данных дает возможность разработать точные модели, характеризующие поведение обучающихся, их свойства, слабые и сильные места контента и взаимодействия с ним, командную и групповую динамику. Сбор данных в этих целях осуществляется из множества источников, что требует дополнительных ресурсов по организации хранения и обращения к этим данным, их последующей обработки для аналитических целей. Частично эту проблему решают хранилища учебных записей — LRS, однако без специфических знаний в области инженерии и анализа данных в любом случае не обойтись.
2 . В исследовании представлены метрики эффективности образовательного продукта. Эти показатели помогают оценить качество учебного контента и отдельных его частей, уровень подготовки преподавателей и ведущих, прогресс слушателей.
3. Внешние платформы учебной аналитики и хранилища учебных записей предоставляют широкие возможности по агрегации данных из разнообразных источников, их анализу и визуализации. Следует учитывать, что при использовании подобных решений требуются выделенные ресурсы для установки, поддержки, а главное, масштабирования.
4. В стратегии обучения придает уверенности в том, что принимаемые решения будут соответствовать стратегическим целям образовательной организации. Для лиц, ответственных за обучение, учебная аналитика в совокупности с интеллектуальным анализом образовательных данных дает фреймворк для расстановки приоритетов, принятия решения и эффективного распределения ресурсов.
5. Педагогическим дизайнерам и методистам представленные методы станут фундаментом для оптимизации программы. Обучающиеся благодаря представленным методам получают наиболее релевантный, вовлекающий и осмысленный образовательный опыт.
Библиография
1. Амаева Л.А. Сравнительный анализ методов интеллектуального анализа данных // Инновационная наука. 2017. № 2-1. С. 27-29.
2. Вилкова К.А., Захарова У.С. Учебная аналитика в традиционном образовании: ее роль и результаты // Университетское управление: практика и анализ. 2020. Т. 24. № 3. С. 59-76.
3. Дацун Н.Н., Уразаева Л.Ю. Перспективные направления применения учебной аналитики // Ученые записки ИУО РАО. 2017. № 1 (61). С. 43-46.
4. Дирка Ифентала, Даны-Кристин Ма, Джейн Инь-Ким Яу. Utilizing Learning Analytics to Support Study Success, 2019. URL: http://sber.me/?p = 292fN (дата обращения: 10.02.2022).
5. Дубовик О.В. Педагогический дизайн в российском образовании // Образование. Наука. Инновации: Южное измерение. 2017. №5-6 (46). С. 59-67.
6. Дэвид Ньеми. Learning Analytics in Education, 2018. URL: http://sber.me/?p = kBPrb (дата обращения: 10.02.2022).
7. Иванова И.А. Исследование ресурсов корпоративного портала в управлении вовлеченностью персонала // Управление персоналом и интеллектуальными
ресурсами в России. 2018. Т. 7. № 1. С. 27-33.
8. Интеллектуальный анализ образовательных данных, онлайн-курс, Университет 20.35. URL: http://sber.me/?p = 2RZbZ (дата обращения: 10.02.2022).
9. Карл Андерсон. Creating a Data-Driven Organization, 2015. URL: http://sber.me/? p = G6p4S дата обращения: 10.02.2022).
10. Клячко Т.Л. Вызовы профессионального образования. URL: http://www.ifap.ru/library/book557.pdf (дата обращения: 20.08.2020)
11. Корпорации учат специалистов выживать в новых условиях. URL: https://plus.rbc.ru/news/5f4bc8e27a8aa901222dbcc1 (дата обращения: 10.09.2020)
12. Николаев Н.А. Повышение эффективности труда персонала малых предприятий на основе повышения вовлеченности в дела организации и развития корпоративной культуры // Human Progress. 2016. Т. 2. № 2. С. 2.
13. Свердлов М.Б. Образовательная аналитика: управление образовательной организацией и создание контента на основе данных, 2021. URL: http://sber.me/? p = LPG6h (дата обращения: 10.02.2022).
14. Creative Cognition and Brain Network Dynamics. URL: http://sber.me/?p = tpBRN (дата обращения 23.08.2020).
15. Kausar S., Oyelere S.S., Salal Ya.K., Hussain S., Cifci М.А., Hilcenko S., Iqbal M.S., Zhu W., Xu H. Mining smart learning analytics data using ensemble classifiers // International Journal of Emerging Technologies in Learning. 2020. Т. 15. № 12. С. 81102.
16. LinkedIn. Workplace Learning Report. URL: http://sber.me/?p = gH64M (дата обращения 23.08.2020).
17. Robust prediction of individual creative ability from brain functional connectivity. URL: http://sber.me/?p = dMN61(дата обращения: 10.02.2022).
Результаты процедуры рецензирования статьи
В связи с политикой двойного слепого рецензирования личность рецензента не раскрывается.
Со списком рецензентов издательства можно ознакомиться здесь.
Предмет исследования. Статья посвящена перечислению методов анализа данных. При этом, в соответствии с заголовком в тексте должны быть представлены методы интеллектуального анализа данных и образовательной аналитики. При этом, автором даже не сформулированы определения терминологических единиц «интеллектуальный анализ данных» и «образовательная аналитика».
Методология исследования. Автор перечисляет общеизвестные факты и суждения. Представленный текст не является результатом проведенного научного исследования.
Актуальность. Выбранная тема исследования является актуальной ввиду того, что интеллектуальные методы обработки данных позволяют значительно ускорить различные технологические процессы в организациях различных видов экономической деятельности различных форм собственности. Данные методы обработки данных могут быть полезны как в коммерческих организациях, так и в некоммерческих организациях. Особый интерес это может представлять для органов государственной власти Российской Федерации и органов местного самоуправления, в т.ч. в контексте обработки данных при мониторинге достижения национальных целей развития Российской
Федерации, определенных Указом Президента Российской Федерации от 21.07.2020 года.
Научная новизна. Научная новизна в рецензируемой научной статье отсутствует. Автор исключительно декларативно пересказывает общеизвестный материал. Практическая и теоретическая значимость представленного текста также отсутствует.
Стиль, структура, содержание. Стиль изложения является частично научным. Несмотря на то, что отсутствуют публицистические и бытовые высказывания, предложения сформулированы недостаточно четко (например, первое предложение звучит как «Кроме этого, необходимо определиться с тем, какие данные понадобятся, откуда они будут поступать и для каких аналитических целей они будут собираться».
Структура статьи выстроена недостаточно грамотно и продумано. В частности, во введении отсутствует обоснование актуальности исследования, постановка цели и задач исследования. Статья начинается с определения методов исследования. Представляется, что сначала формулируется предмет исследования, обосновывается актуальность рассматриваемой проблемы, ставится цель и определяются задачи исследования, а затем уже подбирается необходимый для решения обозначенной проблемы инструментарий.
В тексте статьи указано «Методология исследования», но ничего не написано. Вероятнее всего, автор отложил заполнение текстом данного блока введения на некоторое время, а в дальнейшем забыл вернуться к этому. Представляется, что статья, направляемая на рецензирование должна быть максимально вычитана. Основная часть статьи представляет собой пересказ общеизвестных фактов без какой-либо авторской оценки и обсуждения. Отсутствует какой-либо анализ, не выявляются проблемы по рассматриваемой теме исследования, не разрабатываются предложения по их решению.
Библиография. Автором сформирован библиографический список из 11 источников, что представляется недостаточным для выбранной темы исследования. Рекомендуется дополнительно изучить отечественные и зарубежные научные публикации, особенно 2021 года. Более того, автору необходимо обратить внимание и на анализ числового материала, публикуемого в различных статистических базах, позволяющего обосновать авторские суждения и выводы (возможно, именно поэтому они отсутствуют в рецензируемой статье).
Апелляция к оппонентам. В тексте статьи не только отсутствует какая-либо научная дискуссия и обсуждение результатов научных исследований отечественных и зарубежных авторов, но и расставленные ссылки на источники из сформированного списка литературы.
Выводы, интерес читательской аудитории. С учётом вышеизложенного, автору необходимо провести большую работу по корректировке данной статьи: 1) сформировать введение с включением всех ключевых элементов (актуальность исследования, предмет исследования, цель и задачи исследования, методология исследования, практическая и теоретическая значимость исследования; уточнение инструментария с учётом определения указанных выше элементов введения) 2) ознакомиться с исследования других авторов (как тех, что уже указаны в библиографическом списке, так рассмотреть и иные научные публикации, в т.ч. 2021 года выпуска) 3) провести с учётом выбранного инструментария всестороннее исследование выбранной проблемы 4) интерпретировать
полученные результаты, определив возможные причины и последствия 5) сравнить полученные результаты с результатами других авторов, определить возможные причины отклонений и несовпадений 6) сформировать комплекс авторских рекомендаций для решения выявленных проблем.
В связи с отсутствием научной новизны и несоответствия требования предъявляемым к научным работам, рецензируемая статья может быть одобрена к публикации после качественной доработки.
С учётом актуальности исследования, при учёте указанных замечаний, статья может представлять потенциальный интерес как для научного сообщества, так и для практиков (причем, абсолютно во всех сферах деятельности, т.к. в настоящее время невозможно представить деятельность без применения машинных инструментов обработки данных).
Результаты процедуры повторного рецензирования статьи
В связи с политикой двойного слепого рецензирования личность рецензента не раскрывается.
Со списком рецензентов издательства можно ознакомиться здесь.
В рецензируемой статье рассматриваются подходы к применению методов интеллектуального анализа данных и образовательной аналитики. Актуальность статьи автор справедливо связывает с необходимостью перехода от обсуждений возможностей интеллектуального анализа образовательных данных к практическому внедрению учебной аналитики в образовательные процессы.
В качестве элементов научной новизны проведенного исследования в статье названа систематизация сфер исследовательских интересов, связанных с интеллектуальным анализом данных в образовании и учебной аналитикой, а также обоснование возможности разработать точные модели, характеризующие поведение обучающихся, их свойства, слабые и сильные места контента и взаимодействия с ним, командную и групповую динамику.
Выделяя в анализе образовательных данных два набора методов: учебную аналитику и интеллектуальный анализ образовательных данных, автор поясняет различия между ними и отмечает, что для генерации и проверки гипотез необходимо определиться с подходящими метриками, определить, какие данные понадобятся, откуда они будут поступать и для каких аналитических целей они будут собираться.
Авторы статьи считают, что благодаря появлению обучающих информационных систем и технологий Big Data педагогика получила шанс быстро, непрерывно и в полном объеме регистрировать обширный массив наблюдений за процессом обучения, поведением и успеваемостью обучающихся. В статье выделены 10 типичных категорий данных, используемых в учебной аналитике, сделан обзор образовательных технологий и платформ, располагающих собственными средствами сбора статистики и аналитики. Наиболее распространенные методы анализа данных в образовании представлены в отдельной таблице, где отражены наименование каждого из 14 методов, его цель и сфера применения. В следующей таблице показаны сферы исследовательского интереса (всего выделена 21 сфера) и их цели.
Далее в статье рассмотрены метрики эффективности обучения, которые помогают оценить качество учебного контента и отдельных его частей, уровень подготовки преподавателей, прогресс слушателей: индекс лояльности слушателей, индекс удовлетворенности слушателей, уровень доходимости (до окончания обучения), показатель оттока, а также сделан обзор аналитики лучших практик (Университета 20.35, «Яндекс. Практикума», Skypro). В заключении сделаны выводы, интегрированные
в 5 пунктов.
Библиографический список статьи, включает 17 источников - публикации отечественных и зарубежных ученых, интернет-ресурсы. На приведенные в списке литературы источники в тексте имеются адресные ссылки.
Следует отметить недостатки представленного на рецензирование материала и высказать некоторые замечания. Во-первых, в статье не выделен такой общепринятый в современных научных статьях раздел как «Результаты и их обсуждение» - он не отделен от имеющихся в статье разделов: Введение, Методология исследования, Выводы, Библиография. Во-вторых, следует оформить таблицу 2 в соответствии с принятыми правилами - она не озаглавлена. В-третьих, рассматриваемые в статье методы не проиллюстрированы на каких-либо примерах реально построенных моделей интеллектуального анализа образовательных данных, хотя, конечно, представленный материал ориентирован именно на это и в целом способствует переходу от обсуждений к практическому проведению интеллектуального анализа данных и образовательной аналитики.
Рецензируемый материал соответствует тематике журнала «Современное образование», содержит практически значимые результаты исследования, ориентирован на оценку текущего состояния образовательных программ и обучающих систем, их улучшение. Рецензируемый материал рекомендуется к опубликованию.
