CC BY
85
2018 ВЕСТНИК САНКТ-ПЕТЕРБУРГСКОГО УНИВЕРСИТЕТА Т. 14. Вып. 4
ПРИКЛАДНАЯ МАТЕМАТИКА. ИНФОРМАТИКА. ПРОЦЕССЫ УПРАВЛЕНИЯ
ИНФОРМАТИКА
УДК 519.254 МБС 62Р25
Применение статистических методов при оценке качества учебного процесса
Н. А. Буре1, Н. Л. Гребенникова2, К. Ю. Староверова1
1 Санкт-Петербургский государственный университет, Российская Федерация, 1199034, Санкт-Петербург, Университетская наб., 7—9
2 Стерлитамакский филиал Башкирского государственного университета, Республика Башкортостан, Российская Федерация,
453103, Стерлитамак, пр. Ленина, 49
Для цитирования: Буре Н. А., Гребенникова Н. Л., Староверова К. Ю. Применение статистических методов при оценке качества учебного процесса // Вестник Санкт-Петербургского университета. Прикладная математика. Информатика. Процессы управления. 2018. Т. 14. Вып. 4. С. 325-333. https://doi.org/10.21638/11702/spbu10.2018.405
Рассмотрены варианты применения методов статистики и машинного обучения для анализа данных, описывающих учебный процесс. Показано решение двух задач, возникающих в образовательном процессе, отличающихся условиями его организации. В первой задаче проанализированы результаты тестирования студентов, изучающих русский язык как иностранный с целью поступления в российский вуз. Они позволяют оценить адекватность методики преподавания, в частности соответствие результатов промежуточных тестов, полученных за итоговый тест. Данные приведены к нормальному виду, проведен дисперсионный анализ и построена кластеризация, которая показывает, что студенты, успешно справляющиеся с промежуточным тестированием, с высокой вероятностью сдадут тест первого сертификационного уровня. Во второй задаче проанализированы результаты обучения младших школьников математике: по промежуточным оценкам (оценки за ответ на уроке) построен классификатор, который определяет оценку за итоговую контрольную работу. Предсказательной моделью служит ансамбль случайных лесов, обученных на четырех выборках: первая — разреженная матрица оценок, остальные являются трансформацией первой ядерным методом главных компонент. Ключевые слова: статистика, случайный лес, кластеризация, методика преподавания русского языка, методика преподавания математики, анализ образовательной деятельности.
Введение. Благодаря развитию технологий данные все проще собирать, хранить и передавать, поэтому их анализ является одним из наиболее востребованных направлений. В коммерческой среде уже давно используются методы статистики и машин© Санкт-Петербургский государственный университет, 2018
ного обучения для управления качеством (бизнес-моделей, новых продуктов и т. д.), однако применение их в некоммерческой среде все еще затруднено в связи с недостаточной компьютеризацией и автоматизацией сбора данных. Будут рассмотрены две ситуации, возникающие в образовательном процессе, где анализ данных может быть полезен для оценки качества учебного процесса [1].
В первой ситуации построена модель, которая оценивает шанс успешно сдать финальный тест по текущей успеваемости. С одной стороны, такие модели особенно актуальны в случае дороговизны несдачи финального теста, с другой — они же могут использоваться для оценки адекватности промежуточных форм контроля, т. е. при правильной методике тестирования студенты, успешно справившиеся с промежуточными тестами, сдадут успешно и финальный тест.
Во второй ситуации описан вариант модели, предсказания которой, с одной стороны, могут применяться преподавателями в качестве некоторого «эталона» при внедрении новой методики, с другой — он особенно актуален при проведении крупных экзаменов, таких как Единый государственный экзамен (ЕГЭ) и Основной государственный экзамен (ОГЭ), для автоматического поиска «подозрительных» учеников, сдавших экзамены значительно лучше, чем ожидалось. Такая модель могла бы существенно сократить трудозатраты на проверку большого количества учеников, получивших высокие баллы. Более того, в настоящее время проверке подвергаются только ученики, получившие экстремально высокие баллы, но списывающий может иметь недостаточно высокие баллы для проверки, но значительно выше, чем если бы он сдавал экзамен без списывания. Безусловно, внедрение таких моделей требует введения электронных журналов по всей стране, и если в городах это уже давно не является проблемой, то на достижение такого же результата в сельских местностях может потребоваться еще значительное количество времени.
Исследование результатов тестирования по русскому языку. В настоящее время одними из актуальных задач методики преподавания русского языка в иностранной аудитории являются описание различных уровней владения русским языком как иностранным и создание соответствующей системы тестов. Обязательное тестирование иностранных граждан, поступающих на платное обучение в российские вузы, проходит в России с 1998 г. [2]. Каждый тест соответствует умениям и навыкам в различных видах речевой деятельности. Тестовые испытания по русскому языку как иностранному предусматривают выделение следующей системы контроля, соответствующей уровню коммуникативной компетенции иностранных учащихся, которая соотносится с системой сертификационных уровней, принятых в других странах:
1. Элементарный уровень — А1.
2. Базовый уровень — А2.
3. Первый уровень — В1.
4. Второй уровень — В2.
5. Третий уровень — С1.
6. Четвертый уровень — С2.
Программа подготовки иностранных учащихся довузовского этапа обучения ориентирована на сдачу теста первого сертификационного уровня (ТРКИ-1), что обеспечивает необходимую языковую базу для поступления в вузы России, адаптации учащихся в условия новой языковой среды, общения с носителями языка в повседневной, социально-бытовой и учебно-профессиональной сферах. Сдача теста ТРКИ-1 является обязательным условием для всех иностранных абитуриентов российских вузов [3].
На довузовском этапе иностранные учащиеся проходят обучение и сдают тест элементарного уровня, тест базового уровня и тест первого сертификационного уровня [4-6]. Тестирование элементарного уровня проводится через 1,5-2 месяца после начала занятий, базового уровня — в конце первого семестра. На заключительном этапе обучения иностранный слушатель сдает тест первого сертификационного уровня.
Каждый тест состоит из 5 частей-субтестов по аспектам языка и речи:
• лексика и грамматика (далее грамматика);
• чтение;
• письмо;
• аудирование;
• говорение.
Тест оценивается в баллах, максимальное количество баллов за весь тест — 100 %. Удовлетворительным считается результат (по каждому субтесту), оцененный не менее 66 % стоимости теста. «Особенностью всех этих тестов является не комплексный, а дифференцированный подход к измерению и оценке уровней владения видами речевой деятельности, а также лексикой и грамматикой» [7, с. 241].
Тестовые материалы строятся на базе лексического минимума, соответствующего программе по русскому языку как иностранному и государственному образовательному стандарту [3, 8]. Так как основная цель довузовского этапа — успешная сдача теста первого сертификационного уровня, первые два должны давать наиболее полную и объективную информацию о результатах обучения. Таким образом, ожидается, что студенты, хорошо сдавшие первые два теста, способны успешно сдать и финальный тест. Проверить адекватность методики тестирования можно, применяя статистические методы анализа данных.
Приведем результаты тестовых испытаний (элементарный, базовый и первый сертификационный уровни) 28 иностранных учащихся подготовительных отделений вузов Санкт-Петербурга из Китая, Афганистана, Гвинеи, Танзании. Все числа представляют собой процент выполненных заданий по пяти субтестам в каждом из испытаний.
В качестве признаков рассмотрим результаты тестирований на элементарном и базовом уровнях, а как целевую переменную — бинарную величину, где 1 обозначает удовлетворительный результат тестирования первого сертификационного уровня, а 0 — неудовлетворительный. В выборке представлено 17 успешных результатов. Согласно описательной статистике, наиболее сложным заданием является письмо (медианный результат за первый тест — 76,5 %, за второй — 75,5 %). Лучше всего справляются с чтением (медианный результат за первый тест — 82 %, за второй — 83 %). Результаты первого и второго тестирований сильно коррелируют между собой.
Некоторые признаки распределены нормально в соответствии с тестом Шапиро— Уилка (р-уа1ие > 0,05), исключением являются данные по аудированию и говорению на элементарном уровне и чтению, аудированию и грамматике на базовом. Однако степенное преобразование и корректировка выбросов приводят к тому, что гипотеза о нормальности не может быть отклонена (табл. 1).
Дисперсионный анализ показал статистически значимые (р-уа1ие < 0,05) различия средних значений в группах сдавших и не сдавших финальный тест по следующим частям: чтение, письмо, аудирование, говорение на элементарном уровне и все субтесты базового уровня. Заметим, что применение дисперсионного анализа в данной задаче уместно, так как признаки распределены нормально и их дисперсии
Таблица 1. Результаты теста Шапиро—Уилка (p-value)
Дисциплина Элементарный уровень Базовый уровень
Грамматика 0,3 0,55
Чтение 0,14 0,28
Письмо 0,54 0,23
Аудирование 0,12 0,44
Говорение 0,14 0,19
однородны (согласно критерию Барлетта [9] (Bartlett's test), для всех признаков p-value > 0,05).
Для того чтобы оценить адекватность методики тестирования, проведем кластеризацию по результатам первых двух тестирований. Для этого подходит метод ^-средних, так как он хорошо определяет кластеры в случае данных с распределением Гаусса [10]. Количество кластеров найдено с помощью графика изменения среднего коэффициента силуэта. Выбор метрики для оценки качества кластеризации — довольно тонкий вопрос, так как метрика прямым образом влияет на результат. Индекс силуэта часто используется именно в паре с методом fc-средних, так как он дает высокие значения для хорошо разделимых, выпуклых кластеров.
Оптимальное количество кластеров в данных — 2. На рис. 1 видно, что первый кластер составили в основном студенты, сдавшие финальный тест, а второй — не подтвердившие знания для первого сертификационного уровня.
Количество студентов, чел.
О 1 Номер
кластера
Рис. 1. Распределение студентов по кластерам
Исключение составляют 3 студента, но это незначительная ошибка. Например, на рис. 2, где осям соответствуют усредненные результаты первого и второго тестирований, можно заметить, что ошибки (показаны черным цветом), действительно, имеют случайную природу, а не систематическую. Построенное разбиение показывает адекватность методики тестирования на подготовительном этапе, т. е. студенты, получающие удовлетворительные результаты на тестах элементарного и базового уровней, с высокой вероятностью пройдут финальное тестирование.
Средняя оценка за Тест 2 90
80
70
60
40 50 60 70 80 90
Средняя оценка за Тест 1
Рис. 2. Распределение студентов по кластерам По оси асцисс дан усредненный результат первого тестирования, по оси ординат — усредненный результат второго тестирования.
Группы объектов: 1 — истинно положительные, 2 — истинно отрицательные, 3 — ложно отрицательные, 4 — ложно положительные.
Исследование результатов обучения математике. Кластеризация является алгоритмом обучения без учителя. Такие подходы не требуют сравнения с предопределенными идеальными ответами. Обычно они используются именно для визуализации данных, так как оценить результаты моделей без учителя иным способом сложно и применяют их чаще всего именно для поиска некоторой структуры в данных, т. е. разбиения их на более однородные группы. В поставленной задаче кластеризация в каком-то смысле — это прогноз успешной или неуспешной сдачи итогового теста студентом при наличии текущих результатов. Однако иногда более полезным оказывается подход обучения с учителем, т. е. построение некоторой модели по мониторинговым данным и дальнейшее ее применение для предсказания по новым.
В педагогике построение модели, которая по текущим оценкам предсказывает некоторую итоговую, является крайне актуальной проблемой. Результат, который предсказывает модель, полезен скорее не в качестве прогноза итоговой оценки, а для сравнения ожидаемых результатов с реальными.
Во-первых, с помощью модели можно выявить учеников, которые написали работу значительно лучше или хуже, чем ожидалось. Это особенно актуально при проведении ЕГЭ — как правило, информация об учениках с крайне высокими баллами подвергается дополнительной проверке районных отделов образования. Наличие обученной модели позволит сократить количество таких проверок, а значит и ресурсов. Во-вторых, подобные модели необходимы при внедрении новых методик преподавания и сравнения с предыдущим вариантом.
Рассмотрим еще одну задачу, где уже применен алгоритм обучения с учителем. К анализу представлены оценки 24 учащихся 3-го класса по дисциплине «Математика», обучающихся по методике, основанной на технологиях, методических приемах и рекомендациях, описанных в [11—13]. Построим модель, которая по оценкам, полученным в течение года, будет предсказывать оценку за итоговую контрольную работу. Важно отметить, что оценки за промежуточные контрольные работы в анализе не учитываются, интерес представляет именно моделирование успеваемости ученика по его текущей успеваемости. Кроме оценок в матрице с характеристиками
присутствуют обозначения пропуска занятия и пустые клетки. Поэтому в первую очередь данные нужно подготовить: обозначим пропуски — 1, а отсутствие оценки — 0. Матрица является разреженной, применение метрических алгоритмов классификации (например, к ближайших соседей) к таким матрицам, как правило, приводит к невысоким результатам.
В настоящей работе за основу принят метод «случайный лес» [14] (Random Forest). Он как нельзя лучше подходит для задач с количеством признаков больше, чем количество наблюдений (в описанном случае размер матрицы 24 х 115), так как не склонен к переобучению. Случайный лес основан на построении ансамбля деревьев решений, причем деревья строятся по новой выборке, полученной с помощью бутстрепа, и количество признаков при этом фиксировано. Безусловно, выбор параметров (таких как количество деревьев, количество признаков для построения дерева, максимальная глубина дерева и т. д.) серьезно влияет на результат. При построении модели найдены оптимальные параметры для заданной сетки значений. В идеале при построении модели с обучением качество модели проверяется на отложенной выборке, т. е. часть наблюдений не участвует в обучении модели. Однако в случае с маленьким количеством наблюдений такой подход сложно реализуем, поэтому оставим всего 4 наблюдения вне тренировочной выборки, а параметры будем подбирать с помощью кросс-валидации. Для оценки качества классификации используется каппа Коэна — мера согласованности между двумя категориальными переменными [15]. Ее значения лежат в отрезке [-1; 1], где 1 соответствует абсолютной согласованности. Считается, что значение индекса в полуинтервале (0.4; 0.75] говорит о хорошей согласованности, а выше 0.75 — очень высокой.
Каппа Коэна классификатора с (локально) оптимальными параметрами на исходной матрице равна 0.54, это не очень высокое значение индекса. Иногда преобразование данных ведет к приросту качества модели, так как в задаче матрица разреженная, оказывается естественно применить методики по сокращению размерности. Сложно сказать, являются ли данные линейно разделимыми, поэтому используется ядерный метод главных компонент (МГК), где в качестве ядра выступают линейное, полиномиальное (степени 3) и RBF. Ядро в данном случае не что иное, как скалярное произведение векторов. Качество этих моделей представлено в табл. 2.
Таблица 2. Каппа Коэна для классификатора «Случайный лес», построенного по различным данным
Модель по сжатым данным МГК
простая линейная полином RBF
0,54 0,35 0,45 0,28
Можно заметить, что во всех случаях индекс не очень высокий. Но в анализе данных известен прием объединения нескольких моделей в ансамбль, где различные предсказания компенсируют недостатки друг друга. В рассматриваемом случае результирующий прогноз строится как простое округление среднего значения прогнозов четырех моделей. В результате каппа Коэна на целой выборке (с добавлением 4 тестовых наблюдений) составляет 0.78. По матрице ошибок (рис. 3) можно заметить, что модель в некоторых случаях склонна завышать оценку.
3 4 5
Предсказанные значения
Рис. 3. Матрица ошибок
Заключение. Были описаны две ситуации, возникающие в образовательном процессе, где применение анализа данных может быть полезно как для оценки качества учебного процесса, так и для других задач контроля и управления процессом. В первой задаче применены методы кластерного анализа, а именно метод fc-средних с предварительной трансформацией признаков. Обнаруженная в данных структура соответствует разбиению студентов на группы: тех, кто справился с финальным тестом, и тех, кто не сдал его. Вторая задача рассмотрена как задача кластеризации, построенная модель имеет хорошую точность и может быть использована в качестве эталонной для дальнейшего оценивания новой методики преподавания. Методы статистики и машинного обучения могут существенно упростить управление качеством образовательного процесса, но для этого необходимо организовать сбор промежуточных данных, характеризующих учебный процесс.
Литература
1. Gurova G., Piattoeva N., Takala T. Quality of education and Its evaluation: an analysis of the Russian Academic Discussion // European Education. 2015. Vol. 47. N 4. P. 346-364.
2. Приказ Министерства образования и науки РФ от 18.06.2017 г. № 667 «О формах проведения государственного тестирования по РКИ». M., 2017.
3. Андрюшина Н. П., Битехтина Г. А., Иванова А. С. и др. Требования к уровню подготовки по русскому языку как иностранному. I сертификационный уровень. Общее владение. 2-е изд. М.; СПб.: Златоуст, 2009. 32 c.
4. Владимирова Т. Е., Нахабина М. М., Соболева Н. И. и др. Государственный образовательный стандарт по русскому языку как иностранному. Элементарный уровень. 2-е изд. М.; СПб.: Златоуст, 2001. 28 с.
5. Нахабина М. М., Соболева Н. И., Стародуб В. В. и др. Государственный образовательный стандарт по русскому языку как иностранному. Базовый уровень. 2-е изд. М.; СПб.: Златоуст, 2001. 32 с.
6. Андрюшина Н. П., Битехтина Г. А., Владимирова Т. Е. и др. Программа по русскому языку для иностранных граждан. Первый сертификационный уровень. Общее владение. М.; СПб.: Златоуст, 2001. 176 c.
7. Капитонова Т. И., Московкин Л. В. Методика обучения русскому языку как иностранному на этапе предвузовской подготовки. СПб.: Златоуст, 2006. 360 c.
8. Есина З. И., Иванова А. С., Соболева Н. И. и др. Образовательная программа по русскому языку как иностранному. Предвузовское обучение. Элементарный уровень. Базовый уровень. Первый сертификационный уровень. М.: [б. и.], 2001. 134 с.
9. Bartlett M. S. Properties of sufficiency and statistical tests // Proceedings of the Royal Statistical Society. Series A. 1937. N 160. P. 268-282.
10. Raykov Y. P., Boukouvalas A., Baig F., Little M. A. What to do when X-means clustering fails: A simple yet principled alternative algorithm // PLoS ONE. 2016. Vol. 11, N 9. P. 28.
11. Гребенникова Н. Л. Методы и приемы решения нестандартных задач. Стерлитамак: Стер-литамак. гос. пед. академия им. Зайнаб Биишевой, 2010. 310 с.
12. Гребенникова Н. Л., Косцова С. А. Подготовка будущих учителей начальных классов к реализации стандартов второго поколения. Стерлитамак: Стерлитамак. гос. пед. академия им. Зайнаб Биишевой, 2012. 245 с.
13. Гребенникова Н. Л., Косцова С. А. Современные технологии начального математического образования // Образование в пространстве школы и вуза: опыт, проблемы, перспективы: c6. материалов V Междунар. заоч. науч.-практ. конференции. Республика Башкортостан, г. Стерлитамак, 21 апреля 2016 г. Стерлитамак: Башкирск. гос. ун-т, 2016. С. 82-83.
14. Hastie T., Tibshirani R., Friedman J. The elements of statistical learning: data mining, inference, and prediction. 2nd ed. New York: Springer-Verlag, 2009. 746 p.
15. Cohen J. A coefficient of agreement for nominal scales // Educational and Psychological Measurement. 1960. Vol. 20, N 1. P. 37-46.
Статья поступила в редакцию 28 августа 2017 г. Статья принята к печати 25 сентября 2018 г.
Контактная информация:
Буре Наталья Анатольевна — канд. филол. наук, доц.; nataly.bure@gmail.com Гребенникова Надежда Лукинична — канд. пед. наук, доц.; nadezhda151049@mail.ru Староверова Ксения Юрьевна — аспирант; st016234@student.spbu.ru
Applied statistics to evaluate the quality of education
N. A. Bure1, N. L. Grebennikova2, K. Yu. Staroverova1
1 St. Petersburg State University, 7-9, Universitetskaya nab., St. Petersburg, 199034, Russian Federation
2 Bashkir State University, 49, Lenin ave, Sterlitamak, 453103, Bashkortostan Republic, Russian Federation
For citation: Bure N. A., Grebennikova N. L., Staroverova K. Yu. Applied statistics to evaluate the quality of education. Vestnik of Saint Petersburg University. Applied Mathematics. Computer Science. Control Processes, 2018, vol. 14, iss. 4, pp. 325-333. https://doi.org/10.21638/11702/ spbu10.2018.405 (In Russian)
The application of statistical methods and machine learning to analyze the data describing the education process are considered. The solution of two problems typical of the educational process but different in the organization is shown. The first problem is to analyze the results of students' tests who study Russian as a foreign language to enter the university in Russia. The purpose of the analysis is to evaluate the adequacy of the teaching methods, in particular, the consistency of results gained for the elementary and intermediate tests with the result obtained for the advanced test. Data is transformed firstly, then the analysis of variance is conducted, finally, the clustering is built. Found structure shows that students successfully coping with elementary and intermediate tests are likely to pass the advances level test. In the second problem, the results of studying mathematics by junior pupils are analyzed. Classification of pupils is made based on their marks gained for the answer in the lesson. The classifier determines the pupil mark for the final control work. The predictive model is built as the ensemble of random forests trained on four samples: the first is a sparse matrix of estimates, the others are the transformation of the first obtained by principal component analysis within a nuclear structure.
Keywords: statistics, random forest, clustering, the methodics of studying Russian language and mathematics, the analysis of education progress.
References
1. Gurova G., Piattoeva N., Takala T. Quality of education and its evaluation: An analysis of the Russian Academic Discussion. European Education, 2015, vol. 47(4), pp. 346—364.
2. Prikaz ministerstva obrazovaniya i nauki RF ot 18.06.2017 no. 667 "O formah provedeniya gosudarstvennogo testirovaniya po RKI" [Order of RF ministry of education dated 18.06.2017 N 667 "About forms of state testing on russian lunguage as foreign language"]. Moscow, 2017 (In Russian)
3. Andryushina N. P., Bitehtina G. A., Ivanona A. S. et al. Trebovaniya k urovnyu podgotovki po russkomu yazyku kak inostrannomu. I sertifikacionnyj uroven. Obshchee vladenie [Requirements on level of Russian as foreign language proficiency. I certification level. General skills]. 2nd ed. Moscow, Saint Petersburg, Zlatoust Publ., 2009, 32 p. (In Russian)
4. Vladimirova T. E., Nahabina M. M., Soboleva N. I. et al. Gosudarstvennyj obrazovatelnyj standart po russkomu yazyku kak inostrannomu. Ehlementarnyj uroven [State educational standart on Russian as foreign language. Elementary level]. 2nd ed. Moscow, Saint Petersburg, Zlatoust Publ., 2001, 28 p. (In Russian)
5. Nahabina M. M., Soboleva N. I., Starodub V. V. et al. Gosudarstvennyj obrazovatelnyj standart po russkomu yazyku kak inostrannomu. Bazovyj uroven [State educational standart on Russian as foreign language. Basic level]. 2nd ed. Moscow, Saint Petersburg, Zlatoust Publ., 2001, 32 p. (In Russian)
6. Andryushina N. P., Bitehtina G. A., Vladimirova T. E. et al. Programma po russkomu yazyku dlya innostrannyh grazhdan. Pervyj sertifikacionnyj uroven. Obshchee vladenie [Programm on Russian language for foreigners. The first certification level. General skills]. Moscow, Saint Petersburg, Zlatoust Publ., 2001, 176 p. (In Russian)
7. Kapitonova T. I., Moskovkin L. V. Metodika obucheniya russkomu yazyku kak inostrannomu na ehtape predvuzovskoj podgotovki [Methodology of teaching Russian as foreign language pre-university education]. Saint Petersburg, Zlatoust Publ., 2006, 360 p. (In Russian)
8. Esina Z. I., Ivanova A. S., Soboleva N. I. et al. Obrazovatelnaya programma po russkomu yazyku kak inostrannomu. Predvuzovskoe obuchenie. Ehlementarnyj uroven. Bazovyj uroven. Pervyj sertifikacionnyj uroven [Educational programm on Russian as foreign language. Elementary level. Basic level. The first certification level]. Moscow, [without Publ.], 2001, 134 p. (In Russian)
9. Bartlett M. S. Properties of sufficiency and statistical tests. Proceedings of the Royal Statistical Society. Series A, 1937, no. 60, pp. 268-282.
10. Raykov Y. P., Boukouvalas A., Baig F., Little M. A. What to do when X-means clustering fails: A simple yet principled alternative algorithm. PLoS ONE, 2016, vol. 11, no. 9, p. 28.
11. Grebennikova N. L. Metody ipriemy resheniya nestandartnyh zadach [Methods and approaches to deal with nonstandard problems]. Sterlitamak, Sterlitamakskaya gos. ped. akademia im. Zajnab Biishevoj, 2010, 310 p. (In Russian)
12. Grebennikova N. L., Koscova S. A. Podgotovka budushchih uchitelej nachalnyh klassov k realizacii standartov vtorogo pokoleniya [Training of future teachers of primary school to implement the standards of the second generation: Educational monograph]. Sterlitamak, Sterlitamakskaya gos. ped. akademia im. Zajnab Biishevoj, 2012, 245 p. (In Russian)
13. Grebennikova N. L., Koscova S. A. Sovremennye tekhnologii nachalnogo matematicheskogo obrazovaniya [Modern technologies of primary mathematics education.] Proceedings of V International extramural scientific and practical conference "Education in spaces of school and adult school-experience, problems and perspectives". Bashkortostan, Sterlitamak, 21 April 2016. Sterlitamak, Bashkir State University, 2016, pp. 82-83. (In Russian)
14. Hastie T., Tibshirani R., Friedman J. The elements of statistical learning: data mining, inference, and prediction. 2nd ed. New York, Springer-Verlag Publ., 2009, 746 p.
15. Cohen J. A coefficient of agreement for nominal scales. Educational and Psychological Measurement, 1960, vol. 20, no. 1, pp. 37-46.
Received: August 28, 2018.
Accepted: September 25, 2018.
Author's information:
Natalia A. Bure — PhD in Philology, Associate Professor; nataly.bure@gmail.com
Nadezhda L. Grebennikova — PhD in Pedagogic, Associate Professor; nadezhda151049@mail.ru
Kseniya Yu. Staroverova — Postgraduate Student; st016234@student.spbu.ru
