CC BY
233
УДК 37.04
РС! 10.21661/Г-118084
Л.Н. Самборская, Л.А. Мясникова
Основные методы построения модели «Цифровой профиль» на примере школ г. Москвы
Аннотация
В статье рассматриваются основные принципы построения моделей цифровых профилей ученика, класса, школы и преподавателя. В качестве исходных данных взяты, представленные в обезличенной форме, оценки учеников 3 школ города Москвы. Данные получены из «Электронного дневника» и переданы для выполнения работы Департаментом образования г Москвы.
I Ключевые слова: электронные сервисы, индивидуальная траектория обучения, личностно-ориентированные стандарты обучения, интернет-технологии в образовании, школьное образование, электронный дневник, цифровой профиль.
L.N. Samborskaya, L.A. Myasnikova
Main methods of construction of the «Digital profile» model
on the example of schools in Moscow
Abstract
The article presents the basic principles of construction of models of digital profiles of the student, class, school and teacher. The initial data, presented in the impersonal form, consist of students' grades from three Moscow schools. The data have been obtained from the «electronic diary» and handed over to the Department of Education of Moscow to work on it.
I Keywords: electronic services, individual trajectory of training, student-centered learning standards, Internet technologies in education, school education, electronic student's record book, electronic profile.
Важной задачей современного школьного образования является постепенный переход от традиционного массового обучения к лич-ностно-ориентированному подходу. Это становится неотъемлемой частью нового конвергентного образования, связанного с эффективным изучением смежных областей науки [3]. Формирование технологического будущего нашей страны [2], в том числе в столь значимых направлениях, как робототехника, развитие искусственного интеллекта, аддитивные производственные технологии [4], виртуальных пространств и музейных технологий [5], развитие технологий электронной демократии, создание сервисов электронного правительства [1] и др. требует выделение предметов, в ходе изучения которых учащийся демонстрирует наилучшие
результаты, и построения на их основе индивидуальной траектории обучения.
Примером эффективного инструмента мониторинга достижений учащихся является Интернет-сервис «Электронный дневник». Но представленных в нем данных недостаточно для построения индивидуальной траектории обучения. Требуется выявление и анализ статистических закономерностей, которые могут быть описаны в рамках модели «Цифровой профиль».
Приведем описание основных методов построения модели «Цифровой профиль» на примере 3 школ (с использованием реальных данных). В целях соблюдения закона о персональных данных, при передаче информации данные ФИО учеников и номера школ были зашифрованы.
цТаблица 1
Лучшие и худшие показатели с детализацией по предметам
Успеваемость ученика Среднее
Предмет по предметам с начала стандартное
учебного года отклонение
Физическая культура 4.681818 0.6463350
Обществознание 4.642857 0.6333237
ОБЖ 4.600000 0.5477226
Индивидуальный проект 4.500000 0.7071068
История 4.380952 0.6690434
Биология 4.222222 0.8782038
Английский язык 4.027027 0.8328828
Физика 4.000000 0.9258201
Испанский язык 3.774194 0.7169229
Химия 3.545455 0.6875517
Литература 3.541667 0.8836272
Геометрия 3.250000 0.6831301
Алгебра 3.157895 0.7175904
Русский язык 3.083333 0.9003366
Обществознание 4.642857 0.6333237
Исходные данные
Рассмотрим набор исходных данных, состоящий из трёх файлов и содержащий в обезличенной форме оценки учеников трёх школ города Москвы. Данные получены из «Электронного дневника» и переданы для выполнения работы Департаментом Образования г. Москвы.
Набор данных составляют следующие 10 переменных: № - порядковый номер записи в файле; Ученик (уникальный идентификатор ученика); Класс (идентификатор класса); Преподаватель (уникальный идентификатор преподавателя); Предмет (название предмета); Дата (дата выставления оценки); Тема (название темы, в рамках изучения которой получена оценка); Форма аттестации (контрольная работа, устный ответ у доски и т. п.); Вес (вес оценки); Оценка (полученная учеником оценка).
Предварительный анализ данных школы №1: всего учеников -1827; всего классов в школе - 73; всего изучаемых дисциплин - 39; всего тем в рамках дисциплин -31788; всего форм аттестации - 79; всего весов - 5; всего оценок - 6 (ошибка в записи №67082); временной интервал - с 2014-09-01 по 2015-04-30.
Модель цифрового профиля ученика Рассмотрим успеваемость случайно взятого ученика: №662128 школы №1 (табл. 1).
Сравнение успеваемости ученика с успеваемостью в классе и параллелью классов (сравнение успеваемости Т-критерием•). Рассмотрим гипотезы по сравнению успеваемости случайно взятого ученика: №662128.
В таблице 2 представлен анализ оценок ученика по всем предметам с начала года: Ученик (среднее значение всех оценок ученика по предмету и их стандартное отклонение); Класс (среднее значение всех оценок всех учеников класса по предмету и их стандартное отклонение); Школа (среднее значение всех оценок всех учеников
параллели 10-х классов школы по предмету и их стандартное отклонение); T0 (проверка гипотезы об успеваемости ученика в сравнении с классом); T1 (проверка гипотезы об успеваемости ученика в сравнении с параллелью 10-х классов школы).
Проверка гипотез T0/T1 осуществляется методом «T-test» на 95% интервале уверенности (confidence interval). Интерпретация полей T0/T1:
1) 0 - не отличается от класса / параллели 10-х классов;
2) -1 - хуже, чем у класса / параллели 10-х классов;
3) 1 - лучше, чем у класса / параллели 10-х классов.
Проверка гипотез T0/T1 осуществляется статистическим методом «T-test» на 95% интервале уверенности (confidence interval) с учётом вариативности оценок ученика, класса и параллели классов. T0 - успеваемость ученика в сравнении со средней успеваемостью в классе. T1 - успеваемость ученика в сравнении со средней успеваемостью в параллели 10-х классов. Интерпретация полей T0/T1:
1) 0 - не отличается от класса / параллели 10-х классов, «confidence interval» покрывает 0;
2) -1 - хуже чем у класса / параллели 10-х классов, «confidence interval» находится в отрицательной области;
3) 1 - лучше чем у класса / параллели 10-х классов, «confidence
Таблица 2
Анализ оценок ученика по всем предметам с начала года
Предмет Ученик Класс Школа T0 T1
Алгебра 3.16 0.72 3.91 0.86 3.66 0.91 -1 -1
Английский язык 4.03 0.83 4.13 0.82 3.92 0.90 0 0
Биология 4.22 0.88 4.26 0.85 4.21 0.85 0 0
Геометрия 3.25 0.68 3.93 0.79 3.59 0.90 -1 0
Индивидуальный проект 4.50 0.71 4.37 1.02 4.37 1.02 0 0
Испанский язык 3.77 0.72 4.15 0.78 4.15 0.78 -1 -1
История 4.38 0.67 4.09 1.00 4.01 0.96 0 1
Литература 3.54 0.88 4.05 0.89 3.92 0.93 -1 -1
ОБЖ 4.60 0.55 4.61 0.51 4.71 0.47 0 0
Обществознание 4.64 0.63 4.22 0.85 4.10 0.86 1 1
Русский язык 3.08 0.90 3.82 0.88 3.62 0.90 -1 0
Физика 4.00 0.93 3.98 0.81 3.77 0.95 0 0
Физическая культура 4.68 0.65 4.83 0.58 4.46 0.79 0 0
Химия 3.55 0.69 3.78 0.91 3.90 0.94 0 0
^егуа12 находится в положительной области.
Результат. Согласно результатам статистического сравнения Т-критерием Стьюдента, ученик №662128 показывает следующие результаты по успеваемости в сравнении со средними значениями в классе / параллели 10-х классов:
1. Ученик показывает результаты лучше, чем класс, по следующим дисциплинам: Обществоз-нание.
2. Ученик показывает результаты хуже, чем класс по следующим дисциплинам: Алгебра; Геометрия; Испанский язык; Литература; Русский язык.
3. Ученик показывает результаты лучше, чем средний ученик параллели 10-х классов по следующим дисциплинам: История; Об-ществознание.
4. Ученик показывает результаты хуже, чем параллель 10-х классов в среднем по следующим дисциплинам: Алгебра; Испанский Язык; Литература.
Визуальная проверка гипотез. Визуальное представление проверки гипотез представлено на рисунках 1, 2, 3.
Вывод. Приведённые графики позволяют визуально оценить разницу успеваемости ученика в сравнении с классом и параллелью классов, а также восходящие, либо нисходящие тренды в успеваемости ученика, класса и параллелью классов, сделанные методом линейной регрессии. Согласно графикам, видно, что успеваемость ученика по ряду дисциплин снижается, но у класса и параллели класса - нет. На основании этого можно сделать вывод о том, что успеваемость ученика по указанным предметам снижется по причинам, связанным с конкретным учеником, а не классом или преподавателем.
В дополнение, приведённые графики показывают целесообразность использования триггеров успеваемости по средним значениям по каждому предмету.
Рекомендация. В качестве рекомендации для работы с индивидуальной траекторией обучения,
5.0 4.5 4.0 3.5 3.0 2.5 2.0
5.0 4.5 4.0 3.5 3.0 2.5 2.0
1 1 1 окт. янв. апр. 1 1 1 1 1 1 окт. янв. апр. 1 1 1
Русский язык Физика ¡ическая культ Химия
о о о о о о оо ~| I-II-I —!5б о оо о о _
-о—о-е- о о о о о СШ) о © -
О О СП) о _
1спанский язы История Литература ОБЖ бществознаш/
о о соо о оо О О О | Ulli: О О
• гтгт)'-'~ П осто щооо о оо О ОО О ОО о о О О О
О о оо оо ООО ОО оо О
О О О СП)
Алгебра нглийский язь Биология Геометрия видуальный п(
о QDcn> ООО OGD ^^ОО О СШП) о О О
ооотп) ваоцао^ о О О
оо о озю О ОО О о о
5.0 4.5 4.0
3.5 3.0 2.5 2.0
окт. янв. апр.
окт. янв. апр. Дата
окт. янв. апр.
Рис. 1. Тренды по оценкам ученика №662128 «10-Г» класса, все предметы
окт. янв. апр.
окт. янв. апр.
4 -3 -2 -1 -.
Испанский язь
з -2 -1 -.
Русский язык
•Н'"шчт'""чщ' тав> его яшшшэошаскояэ
Алгебра
Физика
(ЛПШНООЮ ССКЯШЮ
(ЗШВООШ OOGOGE>0
ОС© о о о
зическая культ
История
.нглиискии язь
>оо ООО)
соавооозо оо о© <п> аюоо
Литература
Биология
о о сгаао оаооо
—I-1-1--1-1-1--1-1-г~
окт. янв. апр. окт. янв. апр.
Дата
ОБЖ
>бществознани
СШШО (ППШ> ШЭ сШ2Ю
ССЮШПШ ЗШ) ОСП)
оо
Геометрия
CSD GDO О
видуальныи пр
"Т-1--1-1-г~
окт. янв. апр.
- 5
- 4
- 3
- 2
- 1
Рис. 2. Тренды по оценкам класса «10-Г»
окт. янв. апр.
окт. янв. апр.
окт. янв. апр.
окт. янв. апр.
окт. янв. апр.
окт. янв. апр.
Дата
Рис. 3. Тренды по оценкам всех 10-х классов школы
рекомендуется рассмотреть предметы, в которых данный ученик показывает результаты лучше, чем класс и/или параллель классов: История; Обществознание.
Проверка успеваемости ученика по сравнению с классом позволяет настроить «триггеры» для оповещения родителей о снижении успеваемости.
Анализ оценокученика по формам аттестации. Контрольные формы аттестации, предполагают более объективную оценку успеваемости ученика, поскольку состоят из административных и городских контрольных работ, предполагающих проверку знаний администрацией школы с целью педагогического анализа ре-
марта Дата
Рис .4. Оценка успеваемости по контрольным формам аттестации, ученик №662128, предмет: Алгебра, средняя оценка: 2.8
2-
т •
окт.
янв. Дата
апр.
— l.BU
— 1.85
■ 1.90
■ 1.95
■ 2.00
ds1$score 5
2
Рис. 5. Оценка успеваемости по обычным формам аттестации, ученик №662128, предмет: Алгебра, средняя оценка: 3.21
0 0 • •
/ a 0 0 •
- 0 ••
марта
Дата
апр.
— 1.80
a 1.85
■ 1.90
■ 1.95
■ 2.00
ds$ ■ scort s
И <
■
L 2
Рис. 6. Оценка успеваемости по контрольным формам аттестации, ученик №662128, по всем предметам, средняя оценка: 3.67
зультатов труда учителеи и состояния учебно-воспитательного процесса. Также, мероприятия предполагают более жёсткие условия проведения, например, в ходе проведения мероприятии по контрольным формам
аттестации в классе должен присутствовать заместитель директора и т. п.
Анализ успеваемости ученика №662128 выполнен с использованием алгоритмов регрессионного ана-
лиза. В работе приведены результаты анализа по предметам «Алгебра» и анализ по всем предметам (рис. 4 и 5).
Из приведённых графиков, можно сделать вывод о разнице в трендах успеваемости ученика по контрольным и обычным формам аттестации. Контрольные формы аттестации показывают скорее восходящий тренд со средним результатом 2.8 балла, тогда как обычные формы аттестации показывают нисходящий тренд со средним результатом выше 3 баллов (рис. 6 и 7).
Графики успеваемости по всем предметам демонстрируют такую же разнонаправленную динамику средней успеваемости по контрольным и обычным формам аттестации.
Результат. Восходящая динамика средних оценок по контрольным формам аттестации, при условии нисходящего тренда средних оценок по обычным формам аттестации является сигналом о том, что в оценках учителя могут руководствоваться субъективным отношением к ученику, т.е. занижать оценки его ответов у доски.
Другой интерпретацией разнонаправленной динамики средних оценок может являться тот факт, что ученик списывает при решении административных контрольных работ.
Агрегированный показатель успеваемости по всем предметам. Агрегированный показатель успеваемости по всем предметам представлен в таблице 3.
Вывод по цифровому профилю ученика. Представленная модель цифрового профиля ученика позволяет решать следующие задачи:
1. Ежедневный мониторинг успеваемости ученика с детализацией по предметам.
2. Ежедневный мониторинг с возможностью задания целевых показателей по средней оценке по каждому предмету.
3. Анализ динамики успеваемости ученика по формам аттестации: например, ответ у доски, контрольная работа и т. п.
Таблица 3
Лучшие и худшие показатели с детализацией по предметам
Форма аттестации Среднее значение Стандартное отклонение
Контрольные 3.666667 1.0165300
Обычные 3.877551 0.9015618
4. Определение рейтинга ученика по успеваемости в классе, в параллели классов, на основании статистического сравнения успеваемости с детализацией по каждому предмету методом Т-критерия.
5. Определение восходящей/ нисходящей динамики успеваемости ученика во времени с помощью алгоритмов регрессионного анализа.
Модель рассчитана на ежедневное использование родителями ученика, преподавателями по различным предметам, а также, классному руководителю. Модель представляет собой незаменимый инструмент для построения индивидуальной траектории обучения ученика.
Модель цифрового профиля класса
Модель построена на основе внутреннего и внешнего анализа успеваемости класса. Внутренний анализ реализован на базе диагностики успеваемости учеников класса, их средних оценок и взаимном сравнении успеваемости друг с другом и успеваемостью в других классах той же параллели в школе. Внешний анализ опирается на алгоритмы сравнения количества учеников с успеваемостью: отлично, хорошо, удовлетворительно,
неудовлетворительно в классе с другими классами параллели.
Лучшие и худшие показатели с детализацией по предметам. Алгоритмы расчёта средних оценок и стандартных отклонений реализуют внутренний анализ успеваемости в модели цифрового профиля класса. Средняя оценка представляет собой среднее арифметиче-
из теории Статистики. При анализе данных, согласно данному предположению, можно использовать тот факт, что 95% средних оценок находятся в диапазоне +/- два стандартных отклонения от среднего (табл. 4).
Согласно приведённым данным, средние оценки учеников класса тяготеют к правой части диаграммы, т.е. к средним оценкам 4 и 5. Стандартное отклонение позволяет делать выводы о величине разброса оценок. В приведённых данных показано, что стандартное Таблица 4
Средние оценки по классу с начала года
Предмет Средняя оценка Стандартное отклонение
Физическая культура 4.83 0.58
ОБЖ 4.61 0.51
Индивидуальный проект 4.37 1.02
Биология 4.26 0.85
Обществознание 4.22 0.85
Испанский язык 4.15 0.78
Английский язык 4.13 0.82
История 4.09 1.00
Литература 4.05 0.89
Физика 3.98 0.81
Геометрия 3.93 0.79
Алгебра 3.91 0.86
Русский язык 3.82 0.88
Химия 3.78 0.91
ское, стандартное отклонение является величиной характеризующей вариативность оценок (отклонение от среднего). Стандартное отклонение рассчитывается исходя из предположения о нормальном распределении оценок относительно среднего, в соответствии с Центральной предельной Теореме
«!• О •
О 00
га
V
I
о л О
4-
3-
2-
• • •
окт.
янв.
Дата
апр.
1.80
1.85
П 1.90
■ 1.95
В 2.00
сЫЗвсоге
5
1 г
отклонение, только по двум предметам превышает 1, что означает ровное распределение оценок, без значительных разбросов, например, таких как, пятёрки и двойки.
Рассмотрим распределение средних оценок учеников класса по всем дисциплинам на диаграмме (рис. 8).
Целевые показатели по средним оценкам класса. Целевые показатели по предметам - это показатели эффективности, которые руководитель образовательного учреждения устанавливает для преподавателей с целью контроля их работы. Целевые показатели рассчитываются исходя из контрольных и обычных форм аттестации учащихся.
Мониторинг целевых показателей успеваемости позволяет преподавателям, руководству организации осуществлять контроль успеваемости в ежедневном режиме.
Рис. 7. Оценка успеваемости по обычным формам аттестации, ученик №662128, по всем предметам, средняя оценка: 3.88
Алгоритм мониторинга:
1. Вычисляются средние оценки класса по каждой дисциплине, на каждую дату семестра.
2. В случае, если усреднённая оценка становится ниже целевой - включается триггер, который оповещает преподавателя соответствующего предмета, классного руководителя (и руководителя образовательной организации) о необходимости усилить работу с учениками (рис. 9 и табл. 5).
Таблица 5
Целевые показатели по средним оценкам класса
Предмет Целевая оценка
Алгебра 4.0
Английский язык 4.2
Биология 4.5
Геометрия 4.0
Индивидуальный проект 4.8
Испанский язык 4.2
История 4.2
Литература 4.5
ОБЖ 4.5
Обществознание 4.0
Русский язык 4.0
Физика 4.5
Физическая культура 4.5
Химия 3.6
15 -5 10 -й
20 -15-
ю-5
Leger
I
Средние оценки учеников по предмету
Рис. 8. Распределение средних оценок учеников класса по предметам
Даты пересчёта средних оценок
Рис. 9. Изменение средних оценок «10-Г» класса по всем предметам в первом семестре с учётом целевых показателей
Таблица 6
Сравнение успеваемости класса с параллелью классов
по каждому предмету
Предмет Класс Параллель T1
Алгебра 3.91 0.86 3.66 0.91 1
Английский язык 4.13 0.82 3.92 0.90 1
Биология 4.26 0.85 4.21 0.85 0
Геометрия 3.93 0.79 3.59 0.90 1
Индивидуальный проект 4.37 1.02 4.37 1.02 0
Испанский язык 4.15 0.78 4.15 0.78 0
История 4.09 1.00 4.01 0.96 1
Литература 4.05 0.89 3.92 0.93 1
ОБЖ 4.61 0.51 4.71 0.47 -1
Обществознание 4.22 0.85 4.10 0.86 1
Русский язык 3.82 0.88 3.62 0.90 1
Физика 3.98 0.81 3.77 0.95 1
Физическая культура 4.83 0.58 4.46 0.79 1
Химия 3.78 0.91 3.90 0.94 -1
Сравнение успеваемости класса с параллелью классов по каждому предмету. Рассмотрен цифровой профиль случайно взятого класса «10-Г». Дальнейший анализ выполнен на основе алгоритмов проверки гипотез об успеваемости в сравнении с параллелью 10-х классов школы. Проверка гипотез сравнения успеваемости выполнена с помощью статистического алгоритма «T-test» (T-критерий) Стьюдента, учитывающего средние значения оценок и их вариативность по каждому предмету.
Проверка гипотезы T1 осуществляется статистическим методом «T-test» на 95% интервале уверенности (confidence interval) с учётом вариативности оценок класса. T1 - успеваемость класса в сравнении со средней успеваемостью в параллели 10-х классов. Интерпретация поля T1:
1) 0 - не отличается от параллели 10-х классов, «confidence interval» покрывает 0;
2) -1 - хуже, чем у параллели 10-х классов, «confidence interval» находится в отрицательной области;
3) 1 - лучше, чем у параллели 10-х классов, «confidence interval» находится в положительной области (табл. 6).
Вывод. Согласно результатам статистического сравнения T-критерием Стьюдента, «10-Г»
класс показывает следующие результаты по успеваемости в сравнении параллелью 10-х классов:
1. Класс показывает результаты лучше, чем параллель 10-х классов, по следующим дисциплинам: Алгебра; Английский
язык; Геометрия; История; Литература; Обществознание; Русский язык; Физика; Физическая культура.
2. Класс показывает результаты хуже, чем параллель 10-х классов по следующим дисциплинам: ОБЖ; Химия.
Определение рейтинга учеников класса по предметам на основании проверки Т-критерием. Рейтинг успеваемости учеников по алгебре на основе Т-критерия представлен в таблице 7.
Определение рейтинга класса в параллели классов. Алгоритмы определения рейтинга класса основываются на вычислении количества учеников с различной успеваемостью: отличники, хорошисты и т п. После указанных вычислений, выполняется сравнение класса с другими классами параллели.
Таблица 7
Рейтинг успеваемости учеников по алгебре на основе T-критерия
Ученик Средний балл Отклонение
662931 4.94 0.24
663031 4.76 0.46
663560 4.62 0.52
663750 4.47 0.72
662381 4.43 0.54
663348 4.39 0.63
662875 4.35 0.66
663064 4.29 0.79
663493 4.28 0.60
663401 4.27 0.66
663063 4.25 0.77
662188 4.12 0.69
663554 4.07 0.68
662408 4.06 0.68
662608 3.94 0.81
662191 3.91 0.67
663026 3.91 0.72
663151 3.90 0.56
663753 3.80 0.63
662267 3.77 0.84
664200 3.68 0.77
664176 3.61 0.80
662607 3.58 0.59
663620 3.56 0.70
663752 3.56 0.76
663700 3.35 0.69
663029 3.33 0.90
662633 3.32 0.75
663181 3.30 0.81
663308 3.23 0.81
662128 3.16 0.72
663730 3.11 0.59
663154 3.10 0.73
662846 2.88 0.78
Таблица 8
Результаты сравнения «8-В» класса в сравнении с параллелью классов
Класс Отличников Хорошистов Троечников Двоечников
8-Д 1 10 10 2
8-В 0 15 12 0
8-Б 0 13 15 0
8-Г 0 13 10 2
8-А 0 6 22 0
8-К 0 5 18 0
8-И 0 5 18 3
8-З 0 4 8 7
8-Е 0 3 20 0
8-Ж 0 2 15 6
Таблица 9
Характеристики успеваемости класса по предметам в «10-Г» классе
Предмет Рейтинг Отличников Хорошистов Троечников Двоечников
Физическая культура 1 28 6 0 0
Обществознание 1 14 15 5 0
Биология 1 12 20 2 0
История 1 11 18 5 0
Индивидуальный проект 1 11 7 2 3
Испанский язык 1 9 23 2 0
Английский язык 1 8 22 4 0
Геометрия 1 4 23 7 0
Алгебра 1 3 22 9 0
Русский язык 1 3 22 9 0
Литература 2 8 19 7 0
Химия 2 3 22 8 1
Физика 2 5 25 4 0
ОБЖ 3 21 13 0 0
В таблице 8 приведены результаты сравнения «8-В» класса в сравнении с параллелью классов.
Согласно рейтингу успеваемости по всем предметам, «10-Г» класс занимает второе место в параллели 8-х классов. Также для вычисления рейтинга класса можно использовать Т-критерий.
Рассмотрим характеристики успеваемости класса по предметам в параллели классов, в зависимости от количества отличников, хорошистов и т. п. (табл. 9).
Определение динамики успеваемости класса по семестрам. Динамика успеваемости класса является важным показателем для принятия аналитических управленческих и педагогических решений. Рассмотрим динамику успеваемости случайно взятого класса «10-Г» по всем предметам (таблицы 10, 11, 12).
Таблица 10
Определение динамики успеваемости класса за 1-й семестр
Класс Отличников Хорошистов Троечников Двоечников
10-Г 0 12 17 5
10-А 0 8 14 2
10-Е 0 6 11 5
10-Б 0 2 20 1
10-В 0 2 18 5
10-Ж 0 1 12 8
Таблица 11
Определение динамики успеваемости класса за 2-й семестр
Класс Отличников Хорошистов Троечников Двоечников
10-Г 1 15 14 4
10-Б 1 1 20 1
10-А 0 9 14 1
10-Е 0 6 15 1
10-В 0 4 21 0
10-Ж 0 1 14 6
Таблица 12
Определение динамики успеваемости класса за 3-й семестр
Класс Отличников Хорошистов Троечников Двоечников
10-Г 1 15 14 4
10-Б 1 1 20 1
10-А 0 9 14 1
10-Е 0 6 15 1
10-В 0 4 21 0
10-Ж 0 1 14 6
На основании приведенных данных рассмотренный класс занимает первое место по успеваемости среди параллели 10-х классов. Начиная со второго семестра успеваемость класса улучшилась, т.к. появился один отличник, увеличилось количество хорошистов за счёт уменьшения количества троечников и двоечников.
Рассмотрим динамику успеваемости случайно взятого класса «10-Г» с детализацией по всем предметам (таблицы 13, 14, 15).
Таблица 13
Определение динамики успеваемости по предметам 10-Г класса за 1-й семестр
Предмет Рейтинг Отличников Хорошистов Троечников Двоечников
Физическая культура 1 33 1 0 0
Обществознание 1 15 17 2 0
Биология 1 14 15 5 0
История 1 11 15 8 0
Индивидуальный проект 1 8 1 0 0
Испанский язык 1 11 22 1 0
Английский язык 1 9 21 3 1
Геометрия 1 26 7 0
Алгебра 1 6 21 7 0
Русский язык 1 5 15 11 2
Литература 2 10 18 6 0
Химия 5 2 16 11 4
Физика 1 5 26 3 0
ОБЖ 2 17 14 1 0
Таблица 14
Определение динамики успеваемости по предметам 10- Г класса за 2-й семестр
Предмет Рейтинг Отличников Хорошистов Троечников Двоечников
Физическая культура 1 30 4 0 0
Биология 1 15 17 2 0
Индивидуальный проект 1 13 3 2 2
История 1 12 17 5 0
Обществознание 1 12 16 6 0
Испанский язык 1 12 20 2 0
Английский язык 1 11 21 2 0
Геометрия 1 4 24 6 0
Русский язык 1 4 21 9 0
Алгебра 1 3 21 10 0
ОБЖ 2 22 12 0 0
Литература 2 8 19 7 0
Физика 2 4 25 5 0
Химия 4 2 20 10 2
Таблица 15
Определение динамики успеваемости по предметам 10-Г класса за 3-й семестр
Предмет Рейтинг Отличников Хорошистов Троечников Двоечников
Физическая культура 1 30 4 0 0
Биология 1 15 17 2 0
Индивидуальный проект 1 13 3 2 2
История 1 12 17 5 0
Обществознание 1 12 16 6 0
Испанский язык 1 12 20 2 0
Английский язык 1 11 21 2 0
Геометрия 1 4 24 6 0
Русский язык 1 4 21 9 0
Предмет Рейтинг Отличников Хорошистов Троечников Двоечников
Алгебра 1 3 21 10 0
ОБЖ 2 22 12 0 0
Литература 2 8 19 7 0
Физика 2 4 25 5 0
Химия 4 2 20 10 2
Рассмотрим данные по динамике успеваемости, представленные в виде диаграммы (рис. 10, 11, 12).
■ 1=1 3 i я i
ГИ Пи Шя s Н
пи_ пг J
□1= гП- пГ s 3
□Ufa □П=.1
Hl пП- гГ „1
пПгн .1. пГ I ml
bad
four 1hree
Ьэс! Ноиг 1Ьгее Ьас! 1оиг 1№ев Ьэс1 1оиг 1Ьгее
Успеваемость учеников
Рис. 10. Динамика изменения количества отличников, хорошистов, троечников и двоечников «10-Г» класса по всем предметам по семестрам (часть 1)
ш 1—1 2 П 3 HI i I —. s
- i
_M5_
ш П J In J In-
i—i,— Пп J In J In1
J In J Ы
Ш i—i i—i Ш i—11 i im*
- П i—i Im i—ii I I ml
a=d 1 V-e lour 1 hree
bad fire four Ihres bad five four fhres bad fnre four 1hree
Успеваемость учеников
Рис. 11. Динамика изменения количества отличников, хорошистов, троечников и двоечников «10-Г» класса по всем предметам по семестрам (часть 2)
оооаа о
со ооооо ооооо
раа -о оо оо ооо аоооо оо о о а
ООО ООО
о оо оо оо оооо ооооо
бо-Зао "
оос-оо. ооооо о ■
ООРОО ооооо ооооо
ооооо — ооооо I_ооооо
ооооо ОС-ООО ооооо ооооо ооооо ооооо ооооо ооооо ооооо
(КККЮ-IHJUUU
iiii
е- нбудовпетвсритепьнэ
троечники жорошисты
Даты пересчёта средних оценок
Рис. 12. Динамика количества отличников, хорошистов, троечников и двоечников «10-Г» класса
в первом триместре
Вывод по цифровому профилю класса. Представленная модель цифрового профиля класса позволяет решать следующие задачи:
1. Ежедневный мониторинг успеваемости учеников класса, включающий как мониторинг успеваемости учеников в целом (отличники, хорошисты и т. п. по всем предметам), так и мониторинг успеваемости с детализацией по отдельному предмету (Алгебра, Геометрия и т. п.)
2. Ежедневный мониторинг, включающий возможность задания целевых показателей, как по средней оценке, так и по количеству отличников, хорошистов и т. п.
3. Построение рейтинга успеваемости учеников класса по всем предметам и по каждому предмету в отдельности на основании статистического сравнения Т-критерием
4. Ежедневный мониторинг успеваемости класса, в сравнении с классами той же параллели, выполненный на основе алгоритмов сравнения успеваемости Т-критерием.
5. Определение рейтинга класса в параллели классов на основе успеваемости, как по всем предметам, так и с детализацией по каждому предмету
Модель цифрового профиля школы
Модель построена на основе внутреннего и внешнего анализа успеваемости классов школы. Внутрен-
ний анализ реализован на базе диагностики успеваемости классов с детализацией по предметам, их средних оценок и взаимном сравнении успеваемости классов школы друг с другом. Внешний анализ опирается на алгоритмы сравнения с классами других школ той же параллели. Алгоритмы сравнения основаны на статистическом сравнении Т-критерием, а также сравнении количества учеников обучающихся на отлично, хорошо и т. п.
Итоговые показатели успеваемости параллелей классов школы по триместрам. Для анализа успеваемости школы предлагается использовать систему показателей, основанных на количестве учеников в параллелях классов, успевающих на отлично, хорошо, удовлетворительно и неудовлетворительно. В качестве результирующих показателей успеваемости, на основании которых осуществляется построение рейтинга школ, рассматриваются итоговые результаты за триместры. В качестве показателей успеваемости для ежедневного мониторинга и контроля рассматриваются показатели успеваемости на текущую дату в ходе триместра (ежедневно в рабочие дни).
Итоговые показатели успеваемости школы по параллелям классов в процентном отношении представлены в таблицах 16, 17, 18.
Таблица 16
Итоговые показатели успеваемости школы по параллелям классов в процентном отношении за 1-й семестр
Параллель классов Отличников Хорошистов Троечников Двоечников
4 34.11 63.55 2.34 0
3 34.62 58.65 6.73 0
5 22.70 71.78 5.52 0
6 15.70 74.89 9.42 0
11 17.12 68.49 14.38 0
7 9.13 66.27 24.60 0
8 6.94 70.61 22.45 0
10 8.05 77.18 14.77 0
9 3.60 66.22 30.18 0
Таблица 17
Итоговые показатели успеваемости школы по параллелям классов в процентном отношении за 2-й семестр
Параллель классов Отличников Хорошистов Троечников Двоечников
3 36.36 57.42 6.22 0
4 32.24 64.02 3.74 0
5 20.25 68.10 11.66 0
11 21.92 66.44 11.64 0
6 13.00 74.44 12.56 0
7 8.73 64.29 26.19 0.79
10 10.74 73.15 16.11 0
8 6.12 70.20 23.27 0.41
9 4.05 64.41 31.53 0
Таблица 18
Итоговые показатели успеваемости школы по параллелям классов в процентном отношении за 3-й семестр
Параллель классов Отличников Хорошистов Троечников Двоечников
3 35.24 57.62 7.14 0
4 30.84 64.49 4.67 0
5 21.95 62.80 15.24 0
Параллель классов Отличников Хорошистов Троечников Двоечников
6 13.45 73.99 12.56 0
7 11.51 67.06 20.63 0.79
11 15.75 69.18 15.07 0
8 6.12 70.20 23.67 0
9 6.79 61.54 31.67 0
10 6.67 72.00 21.33 0
Рис. 13. Динамика количества отличников, хорошистов, троечников и двоечников «10-Г» класса в первом триместре
Динамика успеваемости параллели классов параллели за триместр. Представленная диаграмма позволяет определить динамику успеваемости параллели классов в течение триместра. Диаграмма строится автоматически и упрощает ежедневный мониторинг успеваемости (рис. 13).
Динамика успеваемости групп классов (ступеней) за триместр. Диаграммы строится автоматически и упрощают ежедневный мониторинг успеваемости для контроля целевых показателей по количеству учеников успевающих на 5/4/3/2. Также, визуализация данных о количестве учеников с разной успеваемостью позволяет принимать аналитически обоснованные решения по учебному процессу (рис. 14).
На приведённой диаграмме наглядно показано изменение количества отличников на 2014-10-03, при этом, видно, что увеличилось количество хорошистов и троечников. Очевидна взаимосвязь между этими фактами. Используя эти данные, директор школы мо-
жет принимать решения по исправлению показателей за счёт проведения дополнительных занятий, факультативов (рис. 15).
Сравнение успеваемости школ на основе количества учеников с различной успеваемостью по параллелям классов Т-критерием. Значения количества учеников в параллелях классов, с различной успеваемостью, представляют собой случайные величины распределённые около своих средних значений. Следовательно, распределение значений количества отличников, хорошистов и т. п. в школе, также является случайной величиной, характеризующей успеваемость. Для сравнения успеваемости в различных школах используем указанную случайную величину в методе сравнения случайных величин - Т-критерий.
В качестве примера по сравнению успеваемости школ Т-критерием рассмотрим три школы и сравним успеваемость указанным методом за первый триместр (таблицы 19, 20, 21, 22).
ie-12-
е-i-
ээ -
[Л
х ^
О
5
^эо-
ю-и-
434241 -
40-
20
10
О €0 £3 "30
3
= 45
п:
и1
= 40 ■-
О 35
S
го 50
25'
\
mark
■ отличники
- хорошисты
- троечники неу до в. пет вер и т е пьно
Даты пересчёта
Рис. 14. Динамика количества отличников, хорошистов, троечников и двоечников в первом триместре по 10-11 классам
mark
-е- отличники -е- хорошисты -w- троечники -о- неудовпетверитепьно
113 5 I
Даты пересчёта средних оценок
Рис. 15. Динамика количества отличников, хорошистов, троечников и двоечников в первом триместре по 5-9 классам
Таблица 19
Сравнение успеваемости школ T-критерием
№ школы Количество оценок Количество учеников Количество классов Количество предметов
1 710313 1827 73 39
2 826330 2675 113 68
3 769090 2968 99 44
Таблица 20
Успеваемость учеников в процентном отношении к общему количеству учеников в параллели классов в школе №1
Параллель классов Отличников Хорошистов Троечников Двоечников
3 0.35 0.60 0.06 0
4 0.32 0.64 0.04 0
5 0.21 0.68 0.11 0
6 0.14 0.75 0.11 0
7 0.10 0.65 0.24 0.01
11 0.16 0.70 0.14 0
8 0.06 0.72 0.22 0
10 0.09 0.74 0.17 0
9 0.05 0.64 0.32 0
Таблица 21
Успеваемость учеников в процентном отношении к общему количеству учеников в параллели классов в школе №2
Параллель классов Отличников Хорошистов Троечников Двоечников
3 0.39 0.58 0.03 0
4 0.31 0.65 0.04 0
5 0.24 0.64 0.11 0
6 0.16 0.74 0.10 0
7 0.11 0.68 0.21 0
8 0.10 0.61 0.28 0
9 0.08 0.56 0.36 0
11 0.14 0.70 0.15 0
10 0.09 0.65 0.25 0
Таблица 22
Успеваемость учеников в процентном отношении к общему количеству учеников в параллели классов в школе №3
Параллель классов Отличников Хорошистов Троечников Двоечников
3 0.43 0.52 0.05 0
4 0.24 0.70 0.07 0
5 0.24 0.68 0.08 0
6 0.19 0.64 0.17 0
7 0.11 0.63 0.26 0
9 0.11 0.56 0.33 0
8 0.08 0.55 0.37 0
11 0.16 0.72 0.12 0
10 0.13 0.65 0.22 0
Сравним распределение среднего количества отличников в параллелях классов в школах №1 и №2 T-критерием.
Welch Two Sample t-test Сравнение среднего кол-ва отличников в школах №1 и №2 data: x1 and x2
t = -0.302, df = 16, p-value = 0.7665 alternative hypothesis: true difference in means is not equal to 0
95 percent confidence interval: -0.12474812 0.09363701
sample estimates: mean of x mean of y 0.1644444 0.1800000
Welch Two Sample t-test Сравнение кол-ва отличников в школах №1 и №2 data: x1 and x3
t = -0.4579, df = 15.996, p-value = 0.6532 alternative hypothesis: true difference in means is not equal to 0
95 percent confidence interval: -0.13136590 0.08469924
*
Таблица 23
Среднее число отличников, хорошистов, троечников и двоечников по школам
Среднее Среднее Среднее Среднее
№ школы кол-во кол-во кол-во кол-во
отличников хорошистов троечников двоечников
1 0.16 0.68 0.16 0
2 0.18 0.65 0.17 0
3 0.19 0.63 0.18 0
sample estimates: mean of x mean of y 0.1644444 0.1877778 Welch Two Sample t-test Сравнение среднего кол-ва отличников в школах №2 и №3 data: x2 and x3
t = -0.1522, df = 15.993, p-val-ue = 0.8809
alternative hypothesis: true difference in means is not equal to 0 95 percent confidence interval: -0.1160942 0.1005386 sample estimates: mean of x mean of y 0.1800000 0.1877778 Поскольку 95% интервалы уверенности покрывают нулевые значения, а p-value больше принятого в статистике уровня 0.05, можно утверждать, что средние значения количества отличников в параллелях классов школ не отличаются. Аналогичным образом обстоят дела со средними значениями по остальным оценкам (табл. 23).
Визуально проверим гипотезу о том, что распределение количества учеников с различной успеваемостью (5,4,3,2) в процентном отношении, в представленных 3-х школах одинаковое (рис. 16). Модель цифрового профиля
преподавателя Модель построена на основе внутреннего и внешнего анализа оценок, выставляемых преподавателем. Внутренний анализ реализован на базе диагностики оценок по предмету с детализацией по параллелям классов, их средних оценок и взаимном сравнении успеваемости параллелей классов школы друг с другом. Внешний анализ основан на алгоритмах сравнения средних оценок и их вариативно-
сти, выставляемых преподавателем с учётом различных форм аттестации (административные контрольные работы, ответы у доски и т. п.). Алгоритмы сравнения ос-
нованы на статистическом сравнении Т-критерием.
Сравнение средних оценок, выставляемых преподавателем по предметам в различных параллелях классов Т-критерием. Рассмотрим случайно взятого преподавателя с идентификационным номером 2723598. Преподаватель ведёт следующие предметы в следующих параллелях классов (табл. 24).
Рассмотрим средние центрированные значения, выставляемые преподавателем в разрезе по формам аттестации: контрольные работы и проч. (табл. 25).
Рис. 16. Среднее количество отличников в параллелях классов школ
82 Интерактивная наука | 13 • 2017
mean of x mean of y 3.447570 3.305263
Исходя из полученных данных, поскольку 95% интервал уверенности покрывает нуль, можно сделать статистически значимый вывод о том, что средние значения оценок по Алгебре по контрольным и обычным формам аттестации не отличаются. Следовательно, данный вывод, характеризует объективность преподавателя при выставлении оценок. Выполнение условия по объективности оценок, выставляемых преподавателем, является необходимым для дальнейшей работы с данными по преподавателю и оценке работы.
Определение восходящих, нисходящих трендов по средним оценкам с детализацией по формам аттестации. Продолжим исследование оценок, выставленных случайно взятым преподавателем с идентифика-
Таблица 25
Средние значения по предметам в разрезе по формам аттестации
Таблица 24 Предметы, которые ведет преподаватель в различных параллелях классов
Класс Предмет
8-А-4 Черчение
7-А-4 Алгебра
7-А-4 Геометрия
8-Б-4 Черчение
9-Б-4 Алгебра
9-Б-4 Геометрия
7-В-4 Алгебра
7-В-4 Геометрия
8-В-4 Черчение
9-В-4 Алгебра
9-В-4 Геометрия
9-А-4 Алгебра
9-А-4 Геометрия
7-Г-4 Алгебра
7-Б-4 Алгебра
Параллель Обычные формы аттестации Контрольные формы аттестации
Алгебра Геометрия Черчение Алгебра Геометрия Черчение
7 3.45 3.86 NA 3.31 3.12 NA
8 NA NA 4.29 NA NA NA
9 3.58 3.71 NA 3.21 3.24 NA
Таблица 26
Среднеквадратичные отклонения оценок по предметам в разрезе по формам аттестации
Параллель Обычные формы аттестации Контрольные формы аттестации
Алгебра Геометрия Черчение Алгебра Геометрия Черчение
7 1.04 1.02 NA 0.88 0.88 NA
8 NA NA 4.29 NA NA NA
9 0.94 0.91 NA 0.88 0.88 NA
Таблица 27
Успеваемость учеников у преподавателя с детализацией по предметам и классам
.7 .7 .7 .8 .8 .8 .9 .9 .9
а. р ю (D г л ри н (D м е. и к че р а. р ю (D г л ри н (D м е. и к че р а. р ю (D г л ри н (D м е. и к че р
Ал о е Ал о е Ал о е
отличники 4 11 0 0 0 38 5 7 0
хорошисты 34 25 0 0 0 45 41 46 0
удовлетворительно 53 23 0 0 0 13 39 33 0
неудовлетворительно 3 2 0 0 0 0 1 0 0
Рассмотрим среднеквадратичные отклонения оценок от средних значений (табл. 26).
Рассмотрим сравнение T-критерием отличия распределения оценок по Алгебре по контрольным и обычным формам аттестации данного преподавателя. Алгебра
Welch Two Sample t-test data: alg7_l and alg7_h t = 1.5399, df = 105.01, p-value = 0.1266 alternative hypothesis: true difference in means is not equal to 0
95 percent confidence interval: -0.0409270 0.3255414 sample estimates:
ционным номером 2723598. Установим направление тренда движения средней оценки по формам аттестации с детализацией по предметам. Визуализация данных позволяет понять улучшается или ухудшается успеваемость учеников данного преподавателя по его предметам (рис. 17).
Определение количества учеников, с успеваемостью отлично, хорошо и т. п., обучающихся у преподавателя. Продолжим исследование оценок, выставленных случайно взятым преподавателем с идентификационным номером 2723598. Установим количество отличников, хорошистов и т. п. обучающихся у преподавателя в процентном отношении к общему количеству учеников в параллели (табл. 27).
Контрольные фсрны аттестации Обычные фермы аттестации
5- аЮ'Зшоо сои* си сою od
4 — ОЭШО ГШ ЕЛ) ПЕСО О С 4UI1-' ПИ1 со
В»«
3 ' З'-СШ' OÜBtO OD <33'' ОйИД' О DO OÖ
2- í»0 О Ф О 00®«
5 - що с о s od оо со л an о
4 - зон о сахю с оол> соаю d а» со
i о
3 - TT" {ШГ od D СШ Л . Г'" GG
2 - со о э эоаго ох ш о 5-
" Кянтрагыие фсрны аттест.щии Ойычные фсрны аттестации
2 - COOD ШЭ Í OD сшш с:о ED
I I I I I I \ I I I ■ I ■ I I I I i
Брр Ос1 Нот Dec Jan Маг Дэг 0c1 Ncv D«. Jan Feb Mar ípr
Даты пересчета оценок Рис. 17. Распределение оценок разных форм аттестации по времени и их линейная регрессия для определения восходящих/нисходящих трендов
Используя полученные данные, руководитель школы имеет возможность контролировать качество работы преподавателя. Предлагается использовать целевые показатели по количеству отличников, хорошистов и т. п. в параллелях классов. Целевые показатели задаются исходя из анализа данных прошлых периодов по успеваемости параллелей классов, а также, исходя из целевых показателей успеваемости школы (рис. 19).
Заключение В работе рассмотрены проблемы, связанные с отсутствием достаточного аналитического обоснования принимаемых управленческих и педагогических решений. Консервативный подход к воспитанию и обучению учащихся школ во многих случаях замедляет процесс внедрения инноваций в данной области [6].
Для решения поставленных проблем разработана модель
«Цифровой профиль», состоящая из данных, представленных сервисом «Электронный журнал» и аналитических алгоритмов, позволяющих строить статистически обоснованные выводы относительно тех или иных образовательных учреждений, классов, преподавателей и учеников. Модель состоит из двух частей: цифровой профиль ученика и цифровой профиль преподавателя.
Данная модель позволяет отслеживать индивидуальную траекторию развития школьника, сопоставлять успеваемость школьника со средними значениями успеваемости класс и школы в целом. Индивидуальная траектория учитывает результаты обучающегося по всем предметам и тем самым позволяет акцентировать внимание на негативные тенденции, если такие были выявлены.
В тоже время была представлена модель цифрового профиля преподавателя, которая позволяет совместить все данные о работе учителя. Данная модель позволяет анализировать и выявлять динамики успеваемости школьников по разным параллелям классов, средних оценок и взаимном сравнении успеваемости параллелей классов школы друг с другом. Кроме того модель учитывает различные формы аттестации: контрольные работы, ответы у доски и т. д. В совокупности эти два параметра анализа дают общий цифровой профиль преподавателя.
В качестве дальнейшего развития обозначилась необходимость последующей детализации цифровых профилей по каждому из объектов исследования и использование модели в повседневной работе педагогического сообщества в образовательных учреждениях: образовательное учреждение; параллель классов; класс; преподаватель; ученик.
Практическим результатом проделанной работы является разработанная модель «Цифрового
профиля», а также алгоритмы, реализованные в программах на языке <^», готовые для возможного сопряжения с «Электронным журналом». Внедрение модели «Цифровой профиль» в повседневную деятель-
ность учреждений образования, позволит улучшить качество управления образовательными учреждениями, а, следовательно, и общий уровень образования в г. Москве.
.11
р, 10-
mark
] Неудовлетворительно [ ] Отличник и
I Троечники Хорошкггы
I
!
Рис.
Успеваемость учеников 18. Успеваемость учеников у преподавателя №2723598
Литература
1.
Виноградова Н.С. Исторический и социально-политический аспект «Электронного правительства» в информационном обществе как нового вида связей с общественностью / Н.С. Виноградова, О.А. Моисеева. Ценности и смыслы. - 2015. - №2. - С. 29-32.
Куделина О.В. Развитие образования и его роль в формировании будущего России: Сборник научных трудов / Под ред. О.В. Куделиной, О.В. Макеевой, Е.Н. Сепиашвили; М-во образования и науки РФ; Московский гос. ун-т технологий и упр. им. К.Г. Разумовского, Волоколамский фил. - М., 2011. - Сер. №7.
3. Моисеева О.А. Конвергенция как новый тренд в подходах к образованию современной молодежи // Массовые коммуникации на современном этапе развития мировой цивилизации: Материалы Всероссийской научной конференции с международным участием / Гуманитарно-социальный институт. - 2015. - С. 9-13.
4. Пономарев В.Г. Применение аддитивных технологий в инновационном развитии образовательной организации и реализации социальных проектов, связанных с улучшением условий жизни людей с ограниченными возможностями здоровья по зрению / В.Г. Пономарев, Л.А. Мясникова, Л.Н. Самборская. Научные исследования и разработки. Социально-гуманитарные исследования и технологии. - 2016. - Т. 5. - №2. - С. 11-16.
5. Пономарев В.Г. Историко-патриотическое воспитание учащихся школ с помощью создания виртуальных музейных экспозиций // Интерактивная наука. - 2016. - №10. - С. 78-79.
6. Чернавский М.Ю. Консервативная система воспитания в контексте российских трендов развития образования / М.Ю. Чернавский, О.А. Моисеева // Научные исследования и разработки. Социально-гуманитарные исследования и технологии. - 2015. - Т. 4. - №3. - С. 35-41.
