CC BY-NC-ND
15
Инфляция школьных отметок в период пандемии COVID-19: неожиданный эффект или антикризисная стратегия?
Тимирхан Алишев, Фаиль Гафаров, Павел Устин, Алиса Халфиева
Алишев Тимирхан Булатович — кандидат социологических наук, доцент кафедры педагогики высшей школы Института психологии и образования, Казанский (Приволжский) федеральный университет. Адрес: 420021, Казань, ул. Мартына Межлаука, 1. E-mail: [email protected], ORCID: http://orcid. org/0000-0002-1838-5338 (контактное лицо для переписки) Гафаров Фаиль Мубаракович — кандидат физико-математических наук, заведующий кафедрой информационных систем Института вычислительной математики и информационных технологий, Казанский (Приволжский) федеральный университет. E-mail: [email protected], ORCID: http://orcid. org/0000-0003-4704-154X
Устин Павел Николаевич — кандидат психологических наук, заведующий кафедрой общей психологии Института психологии и образования, Казанский (Приволжский) федеральный университет. E-mail: [email protected], ORCID http://orcid.org/0000-0003-3950-7434
Халфиева Алиса Рамилевна — кандидат психологических наук, доцент кафедры общей психологии Института психологии и образования, Казанский (Приволжский) федеральный университет. E-mail: [email protected], ORCID http://orcid.org/0000-0002-0794-5109
Аннотация Закрытие образовательных организаций и перевод учебного процесса в дистанционный формат в период пандемии COVID-19 стали шоковым событием для всех участников процесса обучения. В данном исследовании осуществлена попытка количественно описать трансформацию оценивания в школах в период пандемии, а также сформулировать гипотезу относительно возможной причины изменения практик выставления отметок.
В качестве источника данных использована база отметок текущей успеваемости учащихся школ одного из регионов Российской Федерации, накопленная с 2015 по 2021 г. С применением методов работы с большими данными, а также коэффициента эффекта Коэна описаны основные изменения, происходившие в оценивании школьной успеваемости. Особое внимание уделено нескольким месяцам 2020 г., когда все школы региона были закрыты для посещения. Именно в этот период фиксируется существенный инфляционный скачок выставляемых отметок.
По результатам исследования авторы выдвигают предположение о намеренном использовании учителями стратегии завышения отметок для сохранения благоприятного социально-психологического климата в школьных классах и снижения психологического напряжения, обусловленного переходом на дистанционный формат обучения. Сделана попытка теоретически
Статья поступила в редакцию в июне 2022 г.
обосновать стратегию поведения педагогов по завышению отметок в экстремальной ситуации.
Ключевые слова оценка, оценивание, успеваемость учеников, аналитика в образовании, образовательный процесс, образовательная среда, доказательная педагогика, закрытие школ, COVID-19.
Для цитирования Алишев Т.Б., Гафаров Ф.М., Устин П.Н., Халфиева А.Р. (2022) Инфляция школьных отметок в период пандемии COVID-19: неожиданный эффект или антикризисная стратегия? Вопросы образования / Educational Studies Moscow, № 4, сс. 33-57. https://doi.org/10.17323/1814-9545-2022-4-33-57
Grade Inflation in Schools During the COVID-19 Pandemic: Unexpected Effect or Anti-Crisis Strategy?
Timirkhan Alishev, Fail Gafarov, Pavel Ustin, Alisa Khalfieva
Timirkhan B. Alishev — PhD in Sociology, Associate Professor at the Department of High School Pedagogy, Institute of Psychology and Education, Kazan (Volga Region) Federal University. Address: 1 Martyn Mezhlauk St., Kazan, 420021, Russian Federation. E-mail: [email protected], ORCID: http://orcid.org/0000-0002-1838-5338 (corresponding author)
Fail M. Gafarov — PhD in Physics and Mathematics, Head of Information Systems Department, Institute of Computational Mathematics and Information Technologies, Kazan (Volga Region) Federal University. E-mail: [email protected], ORCID: http://orcid.org/0000-0003-4704-154X
Pavel N. Ustin — PhD in Psychology, Head of the General Psychology Department, Institute of Psychology and Education, Kazan (Volga Region) Federal University. E-mail: [email protected], ORCID http://orcid.org/0000-0003-3950-7434 Alisa R. Khalfieva — PhD in Psychology, Associate Professor at the Department of General Psychology, Institute of Psychology and Education, Kazan (Volga Region) Federal University. E-mail: [email protected], ORCID http://orcid.org/0000-0002-0794-5109
Abstract The closure of educational institutions and the transfer of the learning process to a distance format during the COVID-19 pandemic came as a shock to everyone involved in the educational process. There was, in fact, a rupture of the educational everyday — the normal and unproblematic order of things. A "new normal", as it came to be called, could not emerge immediately — it had to be reconstructed within the unaccustomed contexts of distance interaction for many. Collective practices of this construction were and are captured today in the narratives of their participants — teachers, students and sometimes their parents. This study attempts, through quantitative analysis, to describe the transformation of assessment in schools during the pandemic and to formulate a hypothesis as to the possible reason for the change in marking practices as one of the most significant ways of managing the learning process as well as the social and psychological context of its implementation.
The data source used was a database of students' grades from schools in one of the regions of the Russian Federation, accumulated from 2015 to 2021. Using big data methods and the Cohen effect coefficient, the main changes in assessment are described. Particular attention is paid to the few months of 2020, when all
schools in the region were closed to face-to-face attendance. It is during this period that a significant inflationary spike in marking is recorded. It is suggested that teachers deliberately use the strategy of inflating marks in order to maintain a favorable social and psychological climate in school classes and to reduce the general tension in connection with the transition to the distance learning format. An attempt has been made to theorize a strategy for the grade inflation behavior during a period of cataclysm.
Keywords analytics in education, educational process, educational environment, evidence-based pedagogy, student performance, school closings, COVID-19.
For citing Alishev T.B., Gafarov F.M., Ustin P.N., Alisa Khalfieva (2022) Inflyatsiya shkol'nykh otmetok v period pandemii COVID-19: neozhidanny effect ili antikrizisnaya strate-giya? [Grade Inflation in Schools During the COVID-19 Pandemic: Unexpected Effect or Anti-Crisis Strategy?]. Voprosy obrazovaniya / Educational Studies Moscow, no 4, pp. 33-57. https://doi.org/10.17323/1814-9545-2022-4-33-57
Оценивание и корректировку учебной деятельности учащихся учителя во всем мире считают одной из своих основных профессиональных задач [OECD, 2021a. P. 389]. Более того, мета-исследования показывают, что своевременная, развернутая и корректная обратная связь является одним из важнейших факторов роста мотивации учеников и их академической успешности [Хэтти, 2017. С. 242-248].
Оценивание в форме выставляемой отметки — это основной способ коммуникации учителя с учениками и предоставления им обратной связи, который определяет стандарт предъявляемых требований и фиксирует достижение учеником некоторого уровня в рамках стандарта. Вслед за Ш.А. Амо-нашвили в данной статье мы делаем различение между «оценкой» и «отметкой»: «Оценка — это процесс, деятельность (или действие) оценивания, осуществляемая человеком; отметка же является результатом этого процесса, этой деятельности (или действия), их условно-формальным отражением» [Амонашви-ли, 2007. С. 77].
Будучи мощными факторами формирования самооценки и оценки окружающих, выставляемые отметки как свидетельства экспертного мнения учителя используются в качестве инструментов координации личностной и групповой динамики в школьном классе, его социально-психологического климата. Ввиду высокой значимости школьных отметок особый исследовательский интерес вызывают случаи дисфункции оценивания, когда выставляемые отметки не отражают фактического изменения оцениваемых параметров развития учащихся. В статье рассматривается феномен завышения, или инфляции, отметок — ситуация, когда выставляемые отметки выше, чем те, которых учащиеся объективно заслуживают.
Исследователи обычно рассматривают инфляцию отметок как долговременную нарастающую тенденцию. В краткосрочном периоде редко удается на больших данных зафиксировать неоправданный скачок среднего балла. Однако такой рост возможен как ответ на отдельные системные шоки. В качестве системного шока в данной статье рассматривается закрытие общеобразовательных организаций и перевод учебного процесса в дистанционный режим в период пандемии COVID-19 в марте — мае 2020 г.
Влияние закрытия школ на успеваемость учащихся и раньше изучалось исследователями в сфере образования на примере различных катаклизмов и массовых бедствий [Звягинцев и др., 2020]. Но пандемия COVID-19 оказала, пожалуй, наиболее серьезное и масштабное влияние на современную систему общего образования. По данным ЮНЕСКО, весной 2020 г. около 1,5 млрд учащихся (девять из десяти учащихся в мире) из 191 страны мира столкнулись с тем, что их образовательные организации были закрыты [Meinck, Frailon, Strietholt, 2022]. Средняя продолжительность закрытия образовательных организаций в 33 наиболее развитых странах мира, по данным Организации экономического сотрудничества и развития, составила в 2020 г. 54 дня в начальной школе, 63 дня в основной школе и до 67 дней в старшей школе. По данным из 108 стран на 20 августа 2020 г., закрытие школ привело к сокращению времени очного обучения в среднем на 47 дней, что эквивалентно примерно четверти нормального учебного года. Многие страны обеспечили учащимся приемлемые условия для продолжения выполнения образовательных программ и учебных планов с использованием дистанционных технологий. В России, которая рассматривается в международных обзорах как страна с одним из наиболее высоких в мире потенциалов борьбы с пандемией, в 2020 г. неконтактные формы обучения в разных регионах продолжались от 40 до 75 дней.
Сегодня, спустя два с половиной года после экстренного закрытия образовательных учреждений, уже сформирован достаточно большой корпус публикаций, анализирующих эффекты перехода на дистанционные формы обучения и в системе высшего образования [Гафуров, 2020; OECD, 2021b], и в школе [Чабан, 2022; OECD, 2021c]. Среди этих эффектов выделяются как организационные, в частности увеличение учебной нагрузки и развитие цифровых образовательных решений, так и сущностные — трансформации содержания образования и восприятия учащимися фигуры педагога в учебном процессе, а также снижение качества учебного процесса. Для исследователей системы общего образования приоритетной темой является влияние пандемии на уровень развития компетенций школьников
в сравнении с их сверстниками в прежние годы. При этом влияние пандемии на практику оценивания в вузах и школах сегодня привлекает внимание крайне небольшого числа ученых [Ka-radag, 2021; Sanchez, Moore, 2022].
В данном исследовании мы ставим своей целью на примере достаточно крупной региональной системы общего образования определить, имели ли место инфляционные тенденции в оценивании знаний школьников в период перехода на дистанционное обучение в 2020 г., а также предложить возможные объяснения полученных результатов в качестве гипотез для дальнейших исследований. Таким образом, данная статья вносит вклад в продолжении дискуссии по проблеме инфляции отметок в системе школьного образования и впервые раскрывает ее на российских данных.
1. Инфляция В последние несколько десятилетий среди теоретиков и прак-отметок: тиков образования инфляции отметок, т.е. необоснованному обзор повышению среднего выставляемого балла при отсутствии со-литературы поставимого роста оцениваемых характеристик обучающихся, уделяется существенное внимание [Carney, Isakson, Ellsworth, 1978; Kolevzon, 1981; Millman et al., 1983 и др.]. Несмотря на то что данное исследование посвящено оцениванию в школе, в обзоре литературы мы рассматриваем также работы, отражающие положение дел в высшем образовании: во-первых, инфляция отметок наблюдается в обеих системах образования, во-вторых, при изучении проблематики оценивания в высшей школе накоплены результаты, которые необходимо учитывать в данном исследовании. Особый интерес к этой тематике проявляют североамериканские ученые, рассматривая ее прежде всего применительно к системе высшего образования [Astin, 1998], в Европе исследований, посвященных инфляции отметок, гораздо меньше [Müller-Benedict, Gaens, 2020]. При этом нельзя сказать, что имеющийся корпус научных текстов достаточно полно и всесторонне описывает данный феномен, в частности очевиден дефицит многофакторных объяснительных моделей.
Одно из направлений исследования данной темы состоит в использовании статистического материала для проблемати-зации инфляции отметок в границах некоторых территорий либо небольшого числа образовательных организаций. Исследователи на протяжении определенного, зачастую длительного промежутка времени фиксируют рост среднего экзаменационного балла, но фактически не предлагают достоверных объяснительных схем.
Так, первый тренд постепенного повышения среднего балла был отмечен в американских вузах в 40-х годах XX в., а уже
в 1960-х его динамику можно было описать как взрывной рост. Далее в 1970-х годах инфляция замедлилась, но начиная с 1985 г. она возобновилась и продолжается до настоящего времени. Если в 1940 г. самые высокие отметки составляли около 15% всех баллов, выставленных в американских университетах, то в 2012 г. их доля возросла до 45% [Rojstaczer, 2016]. При этом исследователи поясняют, что за общим трендом скрываются существенные различия в политике образовательных организаций по отношению к инфляции отметок [Kuh, Hu, 1999]. Ряд ведущих университетов и колледжей смогли остановить рост отметок и даже развернуть тенденцию в обратном направлении, разработав и начав реализовывать специальные дефляционные политики [Butcher, McEwan, Weerapana, 2014]. Например, в Принстоне с 2005 г. ввели квотирование высших баллов: и профессор, и студенты изначально были осведомлены о том, какое количество лучших отметок может быть выставлено за ту или иную работу — вне зависимости от реального качества ее выполнения. Впоследствии такие целенаправленные меры были отменены, поскольку было установлено, что они усиливают конкуренцию между студентами и приводят к падению уровня культуры сотрудничества между обучающимися [Princeton University, 2014].
К этой же традиции исследований относятся дискуссии об используемых для оценивания шкалах и их эквивалентности в разных образовательных организациях, о влиянии трансформации критериев оценивания и шкал на практику оценивания. В ходе этих дискуссий высказывалось мнение, что предотвратить инфляцию отметок можно, установив более понятные критерии оценивания и доведя их до сведения всех участников учебного процесса [Weaver et al., 2007]. Еще одним способом борьбы с инфляцией считается использование более дифференцированных шкал, в том числе уточняющих плюсов и минусов к традиционным баллам [Bressette, 2002].
Применительно к оцениванию в школе обсуждаются перечни параметров, которые должна отразить отметка: должен ли учитель оценивать только итоговый результат или оценке могут подлежать и сам процесс научения, дисциплина, затраченные усилия? Исследования показывают, что исключение из критериев оценивания характеристик учащихся, которые напрямую не связаны с их академическими результатами, например поведения или своевременности сдачи контрольных работ, может снизить необоснованный рост отметок [Griffin, Townsley, 2021]. Исследования соотношения между результатами текущего оценивания и баллами, полученными на объективных внешних экзаменах с высокими ставками, свидетельствуют, что последние зачастую оказываются более адекватными пре-
дикторами будущей успешности учащихся, чем просто средний балл аттестата [Gershenson, 2018].
Наряду с анализом статистического материала без попыток предложить объяснительные схемы существует и другое направление исследований инфляции отметок. В этих работах осуществляется попытка объяснить повышение средних баллов рациональным поведением преподавателей и студентов, реагирующих на определенную конфигурацию институциональных стимулов, сложившихся в академической среде [Dickson, 1984]. Речь, например, идет об известных трендах массовизации и индивидуализации высшего образования. По мнению авторов, в итоге происходит не только массовизация спроса, но и расширение предложения, что приводит к росту конкуренции университетов и преподавателей за студентов и, следовательно, к снижению академических требований [Bear-den, Wolf, Grosch, 1992; Summerville, Ridley, Maris, 1990].
Большинство исследователей расценивают рост отметок как проявление инфляционных тенденций в оценивании, но есть и те, кто объясняет его повышением качества работы преподавателей, постепенным изменением подходов к оцениванию и трансформацией самих образовательных программ [Kohn, 2002]. Однако исследований, которые на конкретных данных достоверно подтверждали бы такого рода гипотезы, нам найти не удалось. В то же время эмпирически установлено, что существенным фактором повышения среднего балла является возможность выстраивания студентами индивидуальных образовательных траекторий. Так, на основе анализа 17 тыс. кейсов в Университете Дюка показано, что студенты вдвое чаще выбирают курсы профессоров, которые ставят больше отметок А-, чем В [Johnson, 2003]. Заложниками такой ситуации становятся кафедры, отвечающие за относительно сложные предметы вроде химии, физики, математики, биологии и экономики, которые систематически теряют студентов — а значит, и ресурсы. В восьми крупных колледжах США студенты на 18,2% реже принимали решение выбрать следующий курс по экономике, если на вводном курсе по экономике получили отметку В, а не А [Sabot, Wakemen-Linn, 1991]. Таким образом, получив возможность индивидуализировать образование, студенты стали выстраивать для себя наиболее комфортные и наименее трудо-затратные образовательные маршруты, результатом чего стал рост показателей их успеваемости.
В поисках возможных предикторов завышения баллов исследователи обращаются к демографическим характеристикам преподавателей и студентов — к оценке влияния их пола, возраста или этнической принадлежности. Например, рост числа женщин в общем контингенте студентов, считают одни авторы,
мог привести к повышению средних отметок [Kuh, Hu, 1999], что, впрочем, не подтверждается другими данными [Eiszler, 2002]. А для отдельных групп преподавателей завышение отметок стало наиболее рациональной стратегией поведения в целях сохранения рабочего места или дальнейшего карьерного продвижения [Goldman, 1985]. Такие исследования можно считать продолжением традиции основанных на максимизации полезности экономических объяснительных моделей для социальных контекстов [Блайндер, 1994], что выглядит вполне закономерно, коль скоро сама метафора инфляции заимствована из экономической теории.
Отдельные пиковые значения инфляции отметок исследователи объясняют действием конкретных социально-экономических условий. Так, они считают, что в 1960-е годы, т.е. в период Вьетнамской войны, преподаватели выставляли студентам завышенные баллы, стремясь уберечь неуспевающих студентов от отчисления и риска быть мобилизованными в армию. А резкий рост инфляции отметок с 1985 г. часто связывают с началом доминирования в обществе представления о высшем образовании как об услуге — «Клиент всегда прав» [Germain, Scan-dura, 2005]. Кроме того, предполагается, что в последнее время происходит трансформация взаимоотношений университета и студента, в результате чего отбор наиболее талантливых и мотивированных осуществляется не в процессе обучения, а еще на этапе входа в образовательную организацию. Сам факт зачисления уже становится гарантией того, что студент соответствует базовым требованиям и сможет успешно завершить обучение по программе [Finefter-Rosenbluh, Levinson, 2015]. Таким образом, формируется новая этика взаимоотношений преподавателей и обучающихся с взаимными обязательствами, некий нормативный консенсус с мягкими ограничениями, который дополнительно подкрепляется вводимыми университетами практиками оценки преподавателей через отзывы учащихся [Zanenehzadeh, 1988]. А в итоге происходит завышение среднего балла и снижение образовательных стандартов.
В качестве еще одного фактора стабильного повышения среднего балла в школах иногда рассматривается конкуренция между образовательными организациями за детей и за финансовые ресурсы [Wikström, Wikström, 2005]. Завышая отметки, школы пытаются создать образ организации со стабильно растущими результатами. Есть и институциональные стимулы, которые действуют на педагогов: зачастую их успешная аттестация зависит от текущей успеваемости их учеников. Немалую роль может играть и активность родителей, особенно в школах, расположенных в богатых микрорайонах крупных городов или пригородах [Gershenson, 2018]. Они оказывают серьезное дав-
ление на учителей, добиваясь завышения отметок для своих детей, чтобы увеличить их шансы на поступление в элитные университеты. Фактически в этом случае происходит деградация сигнальной функции оценки образовательного результата, что может привести к нарушению принципов меритократии при переходе на следующую образовательную ступень либо к разбалансировке рынка труда, если речь идет об инфляции отметок в профессиональном образовании [Chan, Hao, Suen, 2007]. Исследователи системы общего образования отмечают более сильную инфляцию отметок в частных школах по сравнению с государственными [Camara et al., 2003], где предположительно еще доминирует представление об образовании не как об услуге, а как о сложном процессе формирования личности ребенка, требующем адекватного механизма обратной связи.
Изменения в учебном процессе, произошедшие в период пандемии COVID-19, не могли не оказать влияния на оценивание успеваемости в общеобразовательных организациях. Уже в 2020 г. появились первые сообщения о новых школьных политиках в области оценивания1. Высказывались мнения о возрастании образовательного неравенства при перемещении учебного процесса из школы домой. Так, было установлено, что отметки текущей успеваемости в основном выросли у наиболее и наименее успевающих, при этом у «середнячков» они остались примерно на том же уровне2.
В 2022 г. вышел отчет агентства ACT, в котором на основе данных независимых тестирований выпускников школ в США зафиксировано резкое повышение отметок в 2020 и 2021 гг. [Sanchez, Moore, 2022]. При этом авторы отчета подчеркивают, что не имеют достаточных оснований напрямую связывать этот факт с трансформацией оценивания в период пандемии.
В данном исследовании на основе анализа больших данных мы делаем попытку зафиксировать феномен инфляции отметок на разных уровнях школьного образования на протяжении нескольких лет наблюдений, уделяя особое внимание пандемий-ному периоду, когда постепенный рост средних значений отметок сменился резким повышением выставляемых учителями баллов в рамках оценки текущей успеваемости.
1 Arundel K. (2020) How Educators Are Tweaking Grading Approaches in Response to the Pandemic. K-12 Dive: https://www.k12dive.com/news/ how-educators-are-tweaking-grading-approaches-in-response-to-the-pan-demic/591729/; Cano R. (2020) How Coronavirus Has Changed Grading Policies. Cal Matters: https://calmatters.org/education/2020/05/how-coronavi-rus-has-changed-grading-policies/
2 Klinger D.A., Klinger C.R. Volante L. (2022) High School Grades Matter for Post-Secondary Study, but Is Pandemic Assessment Fair. The Conversation. 18 April 2022: https://theconversation.com/high-school-grades-matter-for-post-secondary-study-but-is-pandemic-assessment-fair-177187
2. Используемые данные и методы исследования
В целях разработки перспективных подходов к анализу образовательных данных, аккумулированных в период пандемии COVID-19, мы получили доступ к деперсонализированной информации, хранящейся в одной из региональных информационно-аналитических систем (ИАС). Данный регион имеет достаточно развитую систему общего образования: более 1 тыс. общеобразовательных организаций, существенную долю которых составляют сельские школы.
Региональная ИАС начала создаваться в 2009 г. и была предназначена для объединения в единое информационное пространство участников образовательного процесса с целью выстраивания единого механизма управления, контроля, учета и планирования деятельности образовательных учреждений. Через три года в этой системе начал полноценно функционировать электронный журнал, который позволил осуществлять цифровой учет текущей успеваемости учащихся. Далее в рамках системы были автоматизированы процессы аттестации учителей и прохождения ими курсов повышения квалификации, что позволило обеспечить сбор дополнительных количественных и качественных данных о кадровом составе общеобразовательных организаций.
К концу 2019/2020 учебного года в системе был зарегистрирован 1 млн пользователей, в том числе около 380 тыс. учеников, 31 тыс. педагогов и 22 тыс. классов. Для целей исследования использовались данные, накопленные в течение шести учебных годов — с 2015/2016 по 2021/2021, — в модуле ИАС «Электронный журнал и дневник». За этот период выставлено около 791 млн отметок.
При анализе данных решались следующие задачи:
определить наличие или отсутствие инфляционных тенденций в массиве выставленных отметок с 2015 по 2019 г. — в период, предшествующий пандемии; рассмотреть динамику выставленных в этот период баллов в разрезе уровней школьного образования; изучить динамику выставленных баллов в период перехода школ на дистант в 2020 г., сравнить ее с аналогичными периодами прошлых лет и 2021 г., в том числе в разных школьных параллелях.
При анализе мы ушли от часто используемого в зарубежных исследованиях показателя среднего балла (Grade Point Average, GPA). Показатель средней отметки при всей своей наглядности и понятности имеет ряд ограничений, прежде всего они связаны с низким уровнем дисперсии в условиях российской 4-балльной шкалы. Поэтому при описании распределения баллов в конкретный период времени мы применяем относительный
показатель: долю отметок того или иного достоинства в общем количестве выставленных отметок.
Для сравнения двух временных периодов мы использовали такой нормализованный показатель, как d Коэна. Его часто привлекают для описания стандартизированной разности средних значений в несвязанных выборках. Его можно использовать для сравнения средних значений, даже если переменные измеряются по-разному, например когда в одном исследовании используется 7-балльная шкала, а в другом — 9-балльная. Принято определять различие как малое, если значение коэффициента d от 0,2 до 0,5, как среднее — если коэффициент от 0,5 до 0,8, и как большое, если он выше 0,8. Отрицательные значения d свидетельствуют об обратном эффекте.
Для проведения эффективных и производительных вычислений с подобными объемами данных необходимо использовать современные методы Big Data, а также требуются высокопроизводительные вычислительные системы, построенные на основе компьютеров, объединенных в кластер. Мы использовали кластер из четырех виртуальных машин. Для первичной обработки данных построена информационно-аналитическая система на основе платформы Dask [Rocklin, 2015]. Все данные, изначально полученные в виде файлов «*.csv» (общий объем более 90 ГБ), объединены в более удобные структуры данных (DataFrames) с помощью метода Dask merge. В разработанной нами системе на основе платформы Dask проведена первичная обработка и агрегация исходных данных в разных формах в зависимости от решаемой задачи: в основном это вычисление доли отметок и других агрегированных характеристик за определенные промежутки времени. В дальнейшем обработка уже агрегированных данных производилась на локальном компьютере с использованием возможностей библиотеки Pandas [Daniel, 2019].
3. Инфляция отметок как общий тренд
В течение четырех академических периодов, предшествовавших пандемии, — с 2015/2016 по 2018/2019 учебный год — в общеобразовательных организациях региона наиболее активно росла доля отличных оценок — на 1,77%, при этом крайне незначительно увеличилась доля «двоек» — всего на 0,15%, а доли «троек» и «четверок» за обозначенный период сократились на 1,25 и 0,67% соответственно (табл. 1). Таким образом, мы фиксируем небольшое суммарное увеличение доли хороших и отличных отметок — на 1,1% за четырехлетний период при аналогичном сокращении доли удовлетворительных и плохих отметок.
Из табл. 2, в которой представлено распределение выставленных в предпандемийный период отметок на разных уровнях образования, видно, что их динамика различается на раз-
Таблица 1. Доли отметок разного достоинства, выставленных в школах региона в период с 2015/2016 по 2018/2019 учебный год, %
Учебный год «Двойки» ; «Тройки» «Четверки» | «Пятерки»
2015/2016 4,19 21,77 37,17 36,87
2016/2017 4,26 21,35 37,0 37,39
2017/2018 4,3 20,96 36,83 37,91
2018/2019 4,34 20,52 36,5 38,64
Таблица 2. Доли отметок разного достоинства, выставленных в школах региона с 2015/2016 по 2018/2019 учебный год, в разрезе уровней образования, %
Учебный год «Двойки» «Тройки» «Четверки» «Пятерки»
Начальное образование (1-4-й класс)
2015/2016 2,23 16,16 36,14 45,47
2016/2017 2,34 16,0 35,89 45,77
2017/2018 2,43 15,97 35,72 45,88
2018/2019 2,5 15,74 35,39 46,37
Основное общее образование (5-9-й класс)
2015/2016 5,28 25,35 37,17 32,2
2016/2017 5,39 25,01 37,1 32,5
2017/2018 5,6 24,71 37,03 32,66
2018/2019 5,65 24,22 36,77 33,36
Среднее общее образование (10-11-й класс)
2015/2016 3,27 17,84 40,94 37,95
2016/2017 3,3 16,91 40,69 39,1
2017/2018 3,31 16,48 40,35 39,86
2018/2019 3,6 16,67 39,82 39,91
ных ступенях. Так, доля «двоек» увеличивается за четыре года и в начальной, и в основной школе одинаково — на 0,27%, при этом в старшей школе значения подрастают на 0,34%. Более существенно растет доля отличных отметок: на 0,9% в начальной школе, на 1,16% в основной школе и на 1,96% в старшей. При этом, как и в целом по массиву, от года к году фиксируется постепенное сокращение доли «удовлетворительных» и «хороших» отметок на всех рассматриваемых уровнях общего образования. Наиболее изменчива система оценивания в старшей школе, где доля «троек» и «четверок» за четырехлетний период сокращается на 1,17 и 1,12% соответственно.
Распределение отметок в школе меняется от ступени к ступени. В частности, доля хороших и отличных отметок в начальной школе в 2019 г. достигает 81,76%, далее в основной школе существенно снижается — до 70,13%, а в старшей вновь возрастает до 79,73%. Фактически на 13% снижается доля «пятерок» и аналогично возрастает доля «троек» и «двоек» в основной школе по сравнению с начальной. Снижение среднего балла в основной школе, возможно, связано с давно обсуждаемым феноменом подростковой школы [Фрумин, Башев, 1997] и с попыткой образовательных организаций усилить дисциплинарное воздействие в период мотивационной и поведенческой трансформации учащихся, в том числе с помощью системы оценивания.
Таким образом, в предшествовавший пандемии четырехлетний период, с 2015/2016 по 2018/2019 учебный год, как в целом по массиву отметок, так и на каждом уровне школьного образования зафиксирована небольшая тенденция к инфляции отметок. Отмечается некоторый рост доли «двоек», но гораздо более активно увеличивается количество отличных отметок. Количество «двоек» и «пятерок» растет за счет сокращения доли хороших и удовлетворительных отметок.
4. Инфляция Закрытие школ и переход на дистанционный формат обучения отметок в анализируемом нами регионе произошли 23 марта 2020 г. в период и продолжались до завершения учебного года, т.е. до 25 мая. пандемии с учетом периода школьных каникул особого исследовательского внимания требуют апрель и май 2020 г.
В табл. 3 представлено сравнение средних баллов за разные месяцы в парах следующих один за другим учебных годов — приведены значения коэффициента Коэна с 95%-ным доверительным интервалом.
Таблица 3. Значения коэффициента Коэна (ф) для отдельных учебных периодов с 2017/2018 по 2020/2021 учебный год
Месяц Сравниваемые учебные годы Значения коэффициента Коэна с 95%-ным доверительным интервалом
Октябрь 2017/2018 — 2018/2019 0,0053 ± 0,0009
2018/2019 — 2019/2020 0,0091 ± 0,0009
2019/2020 — 2020/2021 0,019 ± 0,0009
Декабрь 2017/2018 — 2018/2019 0,0112 ± 0,0009
2018/2019 — 2019/2020 0,0011 ± 0,0009
2019/2020 — 2020/2021 0,016 ± 0,0009
Месяц Сравниваемые учебные годы Значения коэффициента Коэна с 95%-ным доверительным интервалом
Апрель 2017/2018 — 2018/2019 0,0037 ± 0,001
2018/2019 — 2019/2020 0,3846 ± 0,001
2019/2020 — 2020/2021 0,3703 ± 0,001
Май 2017/2018 — 2018/2019 0,0181 ± 0,0009
2018/2019 — 2019/2020 0,2352 ± 0,001
2019/2020 — 2020/2021 -0,1905 ± 0,001
Практически все значения коэффициента Коэна положительны, что подтверждает общий статистически значимый тренд на рост средних выставляемых отметок от года к году. Ожидаемое существенное повышение коэффициента наблюдается в апреле-мае 2020 г. по сравнению с тем же периодом предыдущего года. Мы фиксируем существенный инфляционный рост выставляемых баллов по сравнению с тем же периодом предыдущего года и, соответственно, более ранних лет. Этот рост, очевидно, выходит за пределы обычного описанного выше постепенного увеличения доли положительных отметок и требует отдельного объяснения.
Если значение коэффициента Коэна в октябре и декабре 2019/2020 учебного года по сравнению с 2018/2019 учебным годом составляло 0,0091 и 0,0011 соответственно, то в апреле значение коэффициента взлетает до 0,38, а в мае несколько снижается — до 0,23. Отрицательные значения коэффициента наблюдаются лишь в апреле-мае 2021 г., когда происходит нормализация относительно 2020 г.
На рис. 1 представлены значения коэффициента Коэна, полученные в результате сравнения отметок, выставленных в апреле-мае 2018/2019 и 2019/2020 учебных годов. На каждой ступени школьного образования отмечается инфляционный тренд, но в 4-м, 9-м и 11-м классах апрельская инфляция отметок была наименьшей.
Этот феномен, безусловно, требует дополнительного изучения, но можно предположить, что основным фактором снижения инфляции в 4-х и 11-х классах было ожидание Всероссийских проверочных работ и Единого государственного экзамена — мероприятий, призванных обеспечить независимый контроль знаний: школы и учителя стремились не допустить существенного отклонения показателей текущей успеваемости, т.е. четвертных и годовых отметок, от ожидаемых результатов независимой оценки.
Рис. 1. Значения коэффициента Коэна (ф) в разных классах в апреле-мае 2020 г. по сравнению с соответствующими периодами 2019 г.
0,6-1
0,5-
0,4-
0,3-
0,2-
0,1-
0,0
6 7
Классы
10 11
■ Апрель □ Май
4
В мае 2020 г. мы наблюдаем даже рост инфляции в 9-х классах, несмотря на ожидаемый Основной государственный экзамен. Фактически выпуск из 9-го класса и выбор дальнейшей образовательной траектории — это единственный период академической карьеры школьника, когда средний балл аттестата для него имеет существенное значение. В 2020 г. для многих он стал определяющим ввиду отмены ОГЭ. Информацию об этом решении Рособрнадзор распространил как раз в середине мая. Видимо, учителя в данном случае были склонны поддержать девятиклассников, ведь для половины из них — для тех, кто переходит в систему профессионального образования, средний балл аттестата действительно был крайне важен.
5. Обсуждение Анализ представленных данных позволяет сделать вывод о результатов наличии в общеобразовательных организациях изучаемого региона слабых инфляционных тенденций в оценивании учебных результатов школьников в допандемийный период 2015-2019 гг. Доля «пятерок» за четыре года выросла примерно на 2%. Возможны разные объяснения данного феномена, многие из них представлены в обзоре литературы: среди них как институциональные стимулы, оказывающие влияние на учителей, так и особенности поведения учащихся на разных уровнях образования.
Мы склонны поддержать гипотезу о существенной роли в происхождении инфляции отметок регулярной аттестации учителей. В соответствии с действующим порядком для получе-
ния первой и высшей квалификационной категории педагоги должны демонстрировать стабильную динамику достижений учащихся и показатели выше средних в регионе3. Такие критерии аттестации вполне могут косвенно стимулировать учителей к тому, чтобы добиваться положительной динамики по своим классам, завышая отметки.
В 2019/2020 учебном году плавная инфляционная динамика была нарушена. Особенно серьезные трансформации имели место в апреле и мае 2020 г., когда школы в изучаемом регионе были закрыты для посещения. В первые несколько недель перехода в формат дистанционного обучения и учителя, и ученики испытывали большие организационные трудности. Фактически каждая школа, а иногда и каждый учитель самостоятельно принимали решение, как выстраивать учебный процесс, использовать ли для этого цифровые платформы или видеоуроки, применять ли мессенджеры и социальные сети и как обеспечивать текущий контроль.
Одним из способов гармонизации ситуации на управленческом уровне виделось изменение подходов к оцениванию. Так, в западных странах эти изменения варьировали от ограниченных в виде перехода с балльных систем на дихотомические (зачет/незачет) до радикальных — отказа учитывать отметки, выставленные в период дистанта, при выведении итоговых оценок за 2019/2020 учебный год4. В России школы в этот период наиболее часто прибегали к отказу от выставления самых низких баллов — были «отменены» «двойки»5. В некоторых субъектах РФ на региональном уровне учителям было рекомендовано отказаться от отметок «неудовлетворительно» на период перехода на дистант или не снижать оценки за несвое-
3 Пунктами 30 и 31 Порядка аттестации педагогических работников государственных и муниципальных образовательных учреждений, утвержденного Приказом Министерства образования и науки РФ от 24 марта 2010 г. № 209 «О порядке аттестации педагогических работников государственных и муниципальных образовательных учреждений» критерий «имеют стабильные результаты освоения обучающимися, воспитанниками образовательных программ и показатели динамики их достижений выше средних в субъекте Российской Федерации» определен в качестве базового для установления первой и высшей квалификационной категории.
4 Arundel K. (2020) How Educators Are Tweaking Grading Approaches in Response to the Pandemic: https://www.k12dive.com/news/how-educators-are-tweak-ing-grading-approaches-in-response-to-the-pandemic/591729/; Cano R. (2020) How Coronavirus Has Changed Grading Policies. Cal Matters: https:// calmatters.org/education/2020/05/how-coronavirus-has-changed-grad-ing-policies/
5 Волкова А. (2020) Сразу после перехода на дистант мы отменили «двойки»: как ставить оценки во время онлайн-учебы: https://mel.fm/blog/ tsifrovaya-platforma/56934-srazu-posle-perekhoda-na-distant-my-otmeniN-dvoyki-kak-stavit-otsenki-vo-vremya-onlayn-ucheby
временно сданные работы6. Таким образом, в период диверсификации подходов к оцениванию отметки теряют способность отражать реальную академическую успеваемость, они становятся скорее показателем складывающихся практик оценивания в конкретных организациях, т.е. стратегий, которые были выбраны руководством школ и учителями.
Результаты проведенного анализа свидетельствуют о достаточно сильном инфляционном скачке отметок в период дистанционного обучения. В 2019/2020 учебном году по сравнению с предыдущим учебным годом в начальной школе изучаемого региона доля отличных отметок выросла сразу на 2,68%, в основной школе — на 3,44%, а в старшей школе — на 2,51%, что почти в 2 раза больше, чем за весь предыдущий четырехлетний период. С чем может быть связан этот резкий рост?
Анализируемые количественные данные не дают оснований для однозначного толкования инфляционного скачка отметок. Для достоверного и доказательного объяснения изменений в поведении учителей в период перехода на дистант необходимо опираться на описания конкретных кейсов и практик учителей и школ с применением качественных методов анализа. Тем не менее можно предположить, что существенное увеличение доли положительных отметок связано с намеренной стратегией педагогов, направленной на снижение общей психологической напряженности в период вынужденного перехода школ на дистанционное обучение. Сошлемся на мнение психологов, отмечающих, что «школьная отметка как мощный мотивационный фактор влияет не только на познавательную деятельность, стимулируя или затормаживая ее. Отметка глубоко затрагивает все сферы жизни ребенка. Приобретая особую значимость в глазах окружающих, она превращается в характеристику личности ребенка, влияет на его самооценку, во многом определяет систему его социальных отношений в семье и школе»7.
В педагогической психологии принято различать критерии оценивания у учителей и учащихся. Так, при выставлении отметок учитель почти всегда ориентируется на результат. При этом учащийся, как правило, рассчитывает, что оценке подлежит не только итог его труда, но и его собственный вклад, т.е. процесс достижения результата и затраченные усилия. «И когда эти достижения не признаются учителем, учащийся переживает это как психологический дискомфорт» [Липкина, 1983. С. 39].
6 Крымцова Ю. (2020) Педагогов призвали не ставить двойки на дистанционном обучении: https://up74.ru/articles/news/119666/; Постаногов Д. (2020) Пермским учителям запретили ставить двойки во время дистан-та: https://ura.news/news/1052530826.
7 Дубровина И.В. (2008) Психология: учебник для студентов средних профессиональных учебных заведений. М.: Академия. С. 56.
Мы предполагаем, что при выставлении отметок в пандемий-ный период учителя стали учитывать не только показанный учащимся результат, но и новый сложный контекст, в котором этот результат достигался, а также усилия, которые предположительно затрачивал учащийся, чтобы его достичь. Таким образом, вероятно, происходило сближение критериев оценивания у учителей и учащихся.
Мы также склонны предположить, что, наряду с поданными на макроуровне сигналами к отказу от выставления неудовлетворительных отметок не менее существенными для трансформации практик оценивания в период пандемии стали и стимулы, возникшие на микроуровне — в повседневности образовательного процесса. Возможно, смягчение режима оценивания отчасти позволило снизить возрастающее напряжение в школьных классах и в детско-родительских отношениях, вовлечь родителей в преодоление затруднений, возникающих у учеников, и в некоторой степени переопределить задачу построения «новой нормальности» не только как проблему школы, но как «общее дело», которое требует терпения и усилий от всех участников процесса обучения.
Основанием для обеспечения устойчивости вновь создаваемого режима отношений «учитель — ученик» в условиях дистанционного обучения стал не просто формальный статус педагога, а его «человеческие» и коммуникативные характеристики, способность к эмпатии [Добрякова, Юрченко, Сивак, 2021]. Исследования показывают, что поддержка учителями учеников, учет их трудностей и потребностей при переходе к дистанту, как и в других экстренных ситуациях, положительно влияет на мотивацию учащихся. Э. Харгривс [Hargreaves, 1998] обоснованно пишет, что преподавание — это не только интеллектуальная, но и эмоциональная практика, которая становится особенно значимой при дистанционном преподавании [Cramp, Lamond, 2016].
Задачей педагогов в непростой период конструирования «новой нормальности» на микросоциальном уровне было, в частности, поддержать внутригрупповую солидарность в классе и обеспечить выработку позитивных эмоций, стимулирующих школьников к вовлеченности в учебный процесс и к продуктивному участию в занятиях [Collins, 2005].
Лишенные части существенных рычагов организационно-воспитательного контроля и воздействия, которые используются в условиях физического соприсутствия, пространственной определенности и территориальной закрепленности школьников (вроде повышенного тона, сурового взгляда, перемещения ученика в классе) [Фуко, 1999; Гофман, 2019], педагоги утратили часть дисциплинарной власти, во многом определяв-
шей «старую нормальность». Теперь они должны были дополнительно содействовать выработке внутренней мотивации учеников, которая становилась одним из немногих микрофакторов стабилизации нового порядка на макроуровне. Мы полагаем, что наряду с другими инструментами поддержания мотивации изменение подходов к оцениванию и последующая инфляция отметок стали краткосрочными механизмами антикризисного управления и выстраивания «новой нормальности».
Следующий 2020/2021 учебный год прошел в регионе уже без масштабного перехода на дистанционное обучение. Ограничительные решения принимались лишь по отдельным школам и классам в случае существенной доли заболевших, что не оказало заметного воздействия на дальнейшую инфляцию отметок. Вслед за возвращением к традиционному формату образования в диапазон многолетних средних значений начал возвращаться и средний выставляемый балл.
6. Заключение Неоправданное завышение баллов в образовательных организациях, которое принято называть инфляцией отметок, достаточно давно является предметом изучения в зарубежной исследовательской литературе, в основном североамериканской. При этом европейской и российской традиции изучения данного феномена пока не сложилось. Обычно инфляция отметок изучается как продолжительный тренд, исследований краткосрочных инфляционных шоков не так много.
Статистический анализ образовательных данных по одному из крупных российских регионов позволил проследить постепенную инфляционную тенденцию в школьном оценивании в период до 2019/2020 учебного года. В апреле-мае 2020 г. произошел резкий инфляционный рост средних баллов.
По результатам исследования авторы сформулировали гипотезу, согласно которой инфляционный скачок является скорее не следствием скоординированной централизованной политики по трансформации шкалы оценивания в период дистанционного обучения, а итогом многочисленных решений, принятых учителями в процессе выстраивания нового режима взаимодействия с учащимися, совместного с ними конструирования «новой нормальности». Завышение отметок стало одним из способов демонстрации доброй воли учителей и стимулирования учащихся к сотрудничеству в период экстренной трансформации организационных форм учебного процесса. Эта гипотеза требует дальнейшей проверки, в том числе с использованием качественных методов — интервью и описания кейсов конкретных школ и практик оценивания в них в период перехода на дистанционный режим преподавания.
Благодарности Исследование выполнено за счет гранта Российского научного фонда (РНФ), в рамках научного проекта № 22-28-00923 «Цифровая модель прогнозирования академической успеваемости учащихся при закрытии школ на основе больших данных и нейросетей».
Авторы благодарны рецензентам статьи за важные предложения по ее улучшению.
Литература 1. Амонашвили Ш.А. (2007) Сущность оценки и отметки. Мир науки, культуры, образования, т. 5, № 2, сс. 77-79.
2. Блайндер А. (1994) Экономическая теория чистки зубов. Thesis, вып. 6, сс. 271-277.
3. Гафуров И.Р., Ибрагимов Г.И., Калимуллин А.М., Алишев Т.Б. (2020) Трансформация обучения в высшей школе во время пандемии: болевые точки. Высшее образование в России, т. 29, № 10, сс. 101-112. https://doi. org/10.31992/0869-3617-2020-29-10-101-112
4. Гофман Э. (2019) Тотальные институты. Очерки о социальной ситуации психически больных пациентов и прочих постояльцев закрытых учреждений. М.: Элементарные формы.
5. Добрякова М.С., Юрченко О.В., Сивак Е.В. (2021) Опыт дистанционного обучения и дефициты современной школы: позиции школьников и родителей. Информационный бюллетень Мониторинга экономики образования № 1. М.: НИУ ВШЭ. https://doi.org/10.17323/978-5-7598-2392-6
6. Звягинцев Р.С., Керша Ю.Д., Косарецкий С.Г., Фрумин И.Д. (2020) Потери в обучении из-за пандемии COVID-19: прогнозирование и поиск способов компенсации. М.: НИУ ВШЭ.
7. Липкина А.И. (1983) Психологический анализ труда, вложенного в учение. Вопросы психологии, № 6, сс. 35-42.
8. Фрумин И.Д., Башев В.В. (1997) В поисках подростковой школы. Психологическая наука и образование, т. 2, № 1, сс. 58-65.
9. Фуко М. (1999) Надзирать и наказывать: рождение тюрьмы. М.: Ad Mar-ginem.
10. Хэтти Дж. (2017) Видимое обучение: Синтез результатов более 50 000 исследований с охватом более 86 миллионов школьников. М.: Национальное образование.
11. Чабан Т.Ю., Рамеева Р.С., Денисов И.С., Керша Ю.Д., Звягинцев Р.С. (2022) Российская школа в период пандемии COVID-19: эффекты первых двух волн и качество образования. Вопросы образования / Educational Studies Moscow, № 1, сс. 160-188. https://doi.org/10.17323/1814-9545-2022-1-160-188
12. Astin A.W. (1998) The Changing American College Student: Thirty-Year Trends, 1966-1996. The Review of Higher Education, vol. 21, no 2, pp. 115-135.
13. Bearden J., Wolf R., Grosch J. (1992) Correcting for Grade Inflation in Studies of Academic Performance. Perceptual and Motor Skills, vol. 74, no 3, pp. 745746. https://doi.org/10.2466/pms.1992.74.3.745
14. Bressette A. (2002) Arguments for Plus/Minus Grading: A Case Study. Educational Research Quarterly, vol. 25, no 3, pp. 29-41.
15. Butcher K.F., McEwan P.J., Weerapana A. (2014) The Effects of an Anti-Grade-Inflation Policy at Wellesley College. The Journal of Economic Perspectives, vol. 28, no 3, pp. 189-204. https://doi.org/10.1257/jep.283.189
16. Camara W., Kimmel E., Scheuneman J., Sawtell E.A. (2003) Whose Grades Are Inflated? College Board Research Report no 2003-4. New York, NY: College Entrance Examination Board.
17. Carney P., Isakson R.L., Ellsworth R. (1978) An Exploration of Grade Inflation and Some Related Factors in Higher Education. College and University, vol. 53, no 2, pp. 217-230.
18. Chan W., Hao L., Suen W. (2007) A Signaling Theory of Grade Inflation. International Economic Review, vol. 48, no 3, pp. 1065-1090. https://doi.org/10.1111/ j.1468-2354.2007.00454.x
19. Collins R. (2005) Interaction Ritual Chains. Princeton: Princeton University. https://doi.org/10.1515/9781400851744
20. Cramp A., Lamond C. (2016) Engagement and Kindness in Digitally Mediated Learning with Teachers. Teaching in Higher Education, vol. 21, no 1, pp. 1-12. https://doi.org/10.1080/13562517.2015.1101681
21. Daniel J.C. (2019) Data Science with Python and Dask. New York: Manning Publications Co.
22. Dickson V.A. (1984) An Economic Model of Faculty Grading Practices. Journal of Economic Education, vol. 15, no 3, pp. 197-203. https://doi.org/10.2307/1181929
23. Eiszler C.F. (2002) College Students' Evaluations of Teaching and Grade Inflation. Research in Higher Education, vol. 43, no 4, pp. 483-501. https://doi. org/10.1023/A:1015579817194
24. Finefter-Rosenbluh I., Levinson M. (2015) What is Wrong with Grade Inflation (If Anything)? Philosophical Inquiry in Education, vol. 23, no 1, pp. 3-21. https:// doi.org/10.7202/1070362ar
25. Germain M.-L., Scandura T.A. (2005) Grade Inflation and Student Individual Differences as Systematic Bias in Faculty Evaluations. Journal of Instructional Psychology, vol. 32, no 1, pp. 58-67.
26. Gershenson S. (2018) Grade Inflation in High Schools (2005-2016). Washington, DC: Fordham Institute.
27. Goldman L. (1985) The Betrayal of the Gatekeepers: Grade Inflation. The Journal of General Education, vol. 37, no 2, pp. 97-121.
28. Griffin R., Townsley M. (2021) Points, Points, and More Points: High School Grade Inflation and Deflation When Homework and Employability Scores Are Included. Journal of School Administration Research and Development, vol. 6, no 1, pp. 1-11. https://doi.org/10.32674/jsard.v6i1.3460
29. Hargreaves A. (1998) The Emotional Practice of Teaching. Teaching and Teacher Education, vol. 14, no 8, pp. 835-854. https://doi.org/10.1016/S0742-051X(98)00025-0
30. Johnson V.E. (2003) Grade Inflation: A Crisis in College Education. New York, NY: Springer.
31. Karadag E. (2021) Effect of COVID-19 Pandemic on Grade Inflation in Higher Education in Turkey. PLoS ONE, vol. 16, no 8, Article no e0256688. https://doi. org/10.1371/journal.pone.0256688
32. Kohn A. (2002) The Dangerous Myth of Grade Inflation. The Chronicle of Higher Education, vol. 49, no 11, pp. B7-B9.
33. Kolevzon M.S. (1981) Grade Inflation in Higher Education: A Comparative Study. Research in Higher Education, vol. 15, no 3, pp. 195-212. https://doi. org/10.2307/1181944
34. Kuh G.D., Hu S. (1999) Unraveling the Complexity of the Increase in College Grades from the Mid-1980s to the Mid-1990s. Educational Evaluation and Policy Analysis, vol. 21, no 3, pp. 297-320. https://doi.org/10.3102/01623737021003297
35. Meinck S., Frailon J., Strietholt R. (2022) The Impact of the COVID-19 Pandemic on Education: International Evidence from the Responses to Educational Disruption Survey. Paris: UNESCO.
36. Millman J., Slovacek S.P., Kulick E., Mitchell K.J. (1983) Does Grade Inflation Affect the Reliability of Grades? Research in Higher Education, vol. 19, no 4, pp. 423-429. https://doi.org/10.1007/BF01418444
37. Müller-Benedict V., Gaens T. (2020) A New Explanation for Grade Inflation: The Long-Term Development of German University Grades. European Journal of Higher Education, vol. 10, no 2, pp. 181-201. https://doi.org/10.1080/21 568235.2020.1718516
38. OECD (2021a) Education at a Glance 2021. OECD Indicators. Paris: OECD. https:// doi.org/10.1787/b35a14e5-en
39. OECD (2021 b) The State of Higher Education. One Year into the COVID-19 Pandemic. Paris: OECD. https://doi.org/10.1787/83c41957-en
40. OECD (2021 c) The State of School Education. One Year into the COVID Pandemic. Paris: OECD. https://doi.org/10.1787/201dde84-en
41. Princeton University (2014) Report from the Ad Hoc Committee to Review Policies Regarding Assessment and Grading. Available at: https://www.princeton. edu/sites/default/files/documents/2017/05/PU_Grading_Policy_Report_2014_ Aug.pdf (accessed 12 November 2022).
42. Rocklin M. (2015) Dask: Parallel Computation with Blocked Algorithms and Task Scheduling. Proceedings of the 14th Python in Science Conference (Austin, Texas, 2015, 06-12 July), pp. 126-132. https://doi.org/10.25080/Majo-ra-7b98e3ed-013
43. Rojstaczer S. (2016) Grade Inflation at American Colleges and Universities. Available at: https://www.gradeinflation.com (accessed 12 November 2022).
44. Sabot R., Wakeman-Linn J. (1991) Grade Inflation and Course Choice. Economic Perspectives, vol. 5, no 1, pp. 159-170. https://doi.org/10.14507/epaa. v7n30.1999
45. Sanchez E.I., Moore R. (2022) Grade Inflation Continues to Grow in the Past Decade. Research Report. Available at: https://www.act.org/content/dam/act/se-cured/documents/pdfs/Grade-Inflation-Continues-to-Grow-in-the-Past-De-cade-Final-Accessible.pdf (accessed 12 November 2022).
46. Summerville R.M., Ridley D.R., Maris T.L. (1990) Grade Inflation: The Case of Urban Colleges and Universities. College Teaching, vol. 38, no 1, pp. 33-38. https://doi.org/10.1080/87567555.1990.10532184
47. Weaver C.S., Humbert A.J., Besinger B.R., Graber J.A., Brizendine E.J. (2007) A More Explicit Grading Scale Decreases Grade Inflation in a Clinical Clerkship. Academic Emergency Medicine, vol. 14, no 3, pp. 283-286. https:// doi.org/10.1197/j.aem.2006.09.055
48. Wikström C., Wikström M. (2005) Grade Inflation and School Competition: An Empirical Analysis Based on the Swedish Upper Secondary Schools. Economics of Education Review, vol. 24, no 3, pp. 309-322. https://doi.org/10.1016/j. econedurev.2004.04.010
49. Zanenehzadeh H. (1988) Grade Inflation: A Way Out. The Journal of Economic Education, vol. 19, no 3, pp. 217-226. https://doi.org/10.1257/jep.283.189
References Amonashvili Sh.A. (2007) Sushhnost' otsenki i otmetki [Essence of the Estimation and Mark]. Mir nauki, kul'tury, obrazovanija / The World of Science, Culture and Education, vol. 5, no 2, pp. 77-79. Astin A.W. (1998) The Changing American College Student: Thirty-Year Trends,
1966-1996. The Review of Higher Education, vol. 21, no 2, pp. 115-135. Bearden J., Wolf R., Grosch J. (1992) Correcting for Grade Inflation in Studies of Academic Performance. Perceptual and Motor Skills, vol. 74, no 3, pp. 745-746. https://doi.org/10.2466/pms.1992.743.745 Blinder A. (1994) Ekonomicheskaya teoriya chistki zubov [The Economics of Brushing Teeth]. Thesis, iss. 6, pp. 271-277. Bressette A. (2002) Arguments for Plus/Minus Grading: A Case Study. Educational Research Quarterly, vol. 25, no 3, pp. 29-41.
Butcher K.F., McEwan P.J., Weerapana A. (2014) The Effects of an Anti-Grade-Inflation Policy at Wellesley College. The Journal of Economic Perspectives, vol. 28, no 3, pp. 189-204. https://doi.org/10.1257/jep.283.189 Camara W., Kimmel E., Scheuneman J., Sawtell E.A. (2003) Whose Grades Are Inflated? College Board Research Report no 2003-4. New York, NY: College Entrance Examination Board.
Carney P., Isakson R.L., Ellsworth R. (1978) An Exploration of Grade Inflation and Some Related Factors in Higher Education. College and University, vol. 53, no 2, pp. 217-230.
Chaban T.Ju., Rameeva R.S., Denisov I.S., Kersha Ju.D., Zvyagintsev R.S. (2022) Rossiyskaya shkola v period pandemii COVID-19: effekty pervykh dvukh voln i kachestvo obrazovaniya [Russian Schools during the COVID-19 Pandemic: Impact of the First Two Waves on the Quality of Education]. Voprosy obrazovaniya / Educational Studies Moscow, no 1, pp. 160-188. https://doi. org/10.17323/1814-9545-2022-1-160-188 Chan W., Hao L., Suen W. (2007) A Signaling Theory of Grade Inflation. International Economic Review, vol. 48, no 3, pp. 1065-1090. https://doi.org/10.1111/ j.1468-2354.2007.00454.x Collins R. (2005) Interaction Ritual Chains. Princeton: Princeton University. https://
doi.org/10.1515/9781400851744 Cramp A., Lamond C. (2016) Engagement and Kindness in Digitally Mediated Learning with Teachers. Teaching in Higher Education, vol. 21, no 1, pp. 1-12. https://doi.org/10.1080/13562517.2015.1101681 Daniel J.C. (2019) Data Science with Python and Dask. New York: Manning Publications Co.
Dickson V.A. (1984) An Economic Model of Faculty Grading Practices. Journal of Economic Education, vol. 15, no 3, pp. 197-203. https://doi.org/10.2307/1181929 Dobryakova M.S., Yurchenko O.V., Sivak E.V. (2021) Opyt distantsionnogo obucheniya i defitsity sovremennoy shkoly: pozitsii shkol'nikov i roditeley. Informatsionny byul-leten' Monitoringa ekonomiki obrazovaniya no 1 [The Experience of E-learning and the Deficits of the Modern School: The Positions of Schoolchildren and Parents. Information Bulletin of the Monitoring of Education Markets and Organizations no 1]. https://doi.org/10.17323/978-5-7598-2392-6 Eiszler C.F. (2002) College Students' Evaluations of Teaching and Grade Inflation. Research in Higher Education, vol. 43, no 4, pp. 483-501. https://doi. org/10.1023/A:1015579817194 Finefter-Rosenbluh I., Levinson M. (2015) What is Wrong with Grade Inflation (If Anything)? Philosophical Inquiry in Education, vol. 23, no 1, pp. 3-21. https:// doi.org/10.7202/1070362ar Froumin I.D., Bashev V.V. (1997) V poiskakh podrostkovoy shkoly [In Search of a Teenage School]. Psychological Science and Education, vol. 2, no 1, pp. 58-65. Foucault M. (1999) Nadzirat'i nakazyvat': rozhdenie tyur'my [Discipline and Punish:
The Birth of the Prison]. Moscow: Ad Marginem. Gafurov I.R., Ibragimov H.I., Kalimullin A.M., Alishev T.B. (2020) Transformatsiya obucheniya v vysshey shkole vo vremya pandemii: bolevye tochki [Transformation of Higher Education during the Pandemic: Pain Points]. Vysshee obra-zovanie v Rossii/Higher Education in Russia, vol. 29, no 10, pp. 101-112. https:// doi.org/10.31992/0869-3617-2020-29-10-101-112 Germain M.-L., Scandura T.A. (2005) Grade Inflation and Student Individual Differences as Systematic Bias in Faculty Evaluations. Journal of Instructional Psychology, vol. 32, no 1, pp. 58-67. Gershenson S. (2018) Grade Inflation in High Schools (2005-2016). Washington, DC: Fordham Institute.
Goldman L. (1985) The Betrayal of the Gatekeepers: Grade Inflation. The Journal
of General Education, vol. 37, no 2, pp. 97-121. Goffman E. (2019) Totalnye instituty. Ocherki o sotsialnoj situatsiipsikhicheski bol'nikh patsientov i prochikh postoyal'tsev zakrytykh uchrezhdenij [Asylums: Essays on
the Social Situation of Mental Patients and Other Inmates]. Moscow: Elementary Forms Press.
Griffin R., Townsley M. (2021) Points, Points, and More Points: High School Grade Inflation and Deflation When Homework and Employability Scores Are Included. Journal of School Administration Research and Development, vol. 6, no 1, pp. 1-11. https://doi.org/10.32674/jsard.v6i1.3460 Hargreaves A. (1998) The Emotional Practice of Teaching. Teaching and Teacher Education, vol. 14, no 8, pp. 835-854. https://doi.org/10.1016/S0742-051X(98)00025-0
Hattie J. (2017) Vidimoe obuchenie. Sintez rezul'tatov bolee 50 000 issledovaniy s okhvatom bolee 86 millionov Shkolnikov [Visible Learning: A Synthesis of over 800 Meta-Analyses Relating to Achievement]. Moscow: Natsional'noe obra-zovanie.
Johnson V.E. (2003) Grade Inflation: A Crisis in College Education. New York, NY: Springer.
Karadag E. (2021) Effect of COVID-19 Pandemic on Grade Inflation in Higher Education in Turkey. PLoS ONE, vol. 16, no 8, Article no e0256688. https://doi. org/10.1371/journal.pone.0256688 Kohn A. (2002) The Dangerous Myth of Grade Inflation. The Chronicle of Higher Education, vol. 49, no 11, pp. B7-B9. Kolevzon M.S. (1981) Grade Inflation in Higher Education: A Comparative Study. Research in Higher Education, vol. 15, no 3, pp. 195-212. https://doi. org/10.2307/1181944 Kuh G.D., Hu S. (1999) Unraveling the Complexity of the Increase in College Grades from the Mid-1980s to the Mid-1990s. Educational Evaluation and Policy Analysis, vol. 21, no 3, pp. 297-320. https://doi.org/10.3102/01623737021003297 Lipkina A.I. (1983) Psikhologicheskiy analiz truda, vlozhennogo v uchenie [Psychological Analysis of the Work Invested in the Teaching]. Voprosy Psychologii, no 6, pp. 35-42.
Meinck S., Frailon J., Strietholt R. (2022) The Impact of the COVID-19 Pandemic on Education: International Evidence from the Responses to Educational Disruption Survey. Paris: UNESCO. Millman J., Slovacek S.P., Kulick E., Mitchell K.J. (1983) Does Grade Inflation Affect the Reliability of Grades? Research in Higher Education, vol. 19, no 4, pp. 423429. https://doi.org/10.1007/BF01418444 Müller-Benedict V., Gaens T. (2020) A New Explanation for Grade Inflation: The Long-Term Development of German University Grades. European Journal of Higher Education, vol. 10, no 2, pp. 181-201. https://doi.org/10.1080/2156823 5.2020.1718516
OECD (2021a) Education at a Glance 2021. OECD Indicators. Paris: OECD. https://
doi.org/10.1787/b35a14e5-en OECD (2021b) The State of Higher Education. One Year into the COVID-19 Pandemic.
Paris: OECD. https://doi.org/10.1787/83c41957-en OECD (2021c) The State of School Education. One Year into the COVID Pandemic. Paris: OECD. https://doi.org/10.1787/201dde84-en Princeton University (2014) Report from the Ad Hoc Committee to Review Policies Regarding Assessment and Grading. Available at: https://www.princeton.edu/ sites/default/files/documents/2017/05/PU_Grading_Policy_Report_2014_Aug. pdf (accessed 12 November 2022). Rocklin M. (2015) Dask: Parallel Computation with Blocked Algorithms and Task Scheduling. Proceedings of the 14th Python in Science Conference (Austin, Texas, 2015, 06-12July), pp. 126-132. https://doi.org/10.25080/Majora-7b98e3ed-013 Rojstaczer S. (2016) Grade Inflation at American Colleges and Universities. Available
at: https://www.gradeinflation.com (accessed 12 November 2022). Sabot R., Wakeman-Linn J. (1991) Grade Inflation and Course Choice. Economic Perspectives, vol. 5, no 1, pp. 159-170. https://doi.org/10.14507/epaa.v7n30.1999
Sanchez E.I., Moore R. (2022) Grade Inflation Continues to Grow in the Past Decade. Research Report. Available at: https://www.act.org/content/dam/act/secured/ documents/pdfs/Grade-Inflation-Continues-to-Grow-in-the-Past-Decade-Fi-nal-Accessible.pdf (accessed 12 November 2022).
Summerville R.M., Ridley D.R., Maris T.L. (1990) Grade Inflation: The Case of Urban Colleges and Universities. College Teaching, vol. 38, no 1, pp. 33-38. https:// doi.org/10.1080/87567555.1990.10532184
Weaver C.S., Humbert A.J., Besinger B.R., Graber J.A., Brizendine E.J. (2007) A More Explicit Grading Scale Decreases Grade Inflation in a Clinical Clerkship. Academic Emergency Medicine, vol. 14, no 3, pp. 283-286. https://doi.org/10.1197/j. aem.2006.09.055
Wikström C., Wikström M. (2005) Grade Inflation and School Competition: An Empirical Analysis Based on the Swedish Upper Secondary Schools. Economics of Education Review, vol. 24, no 3, pp. 309-322. https://doi.org/10.1016/j.econe-durev.2004.04.010
Zanenehzadeh H. (1988) Grade Inflation: A Way Out. The Journal of Economic Education, vol. 19, no 3, pp. 217-226. https://doi.org/10.1257/jep.283.189
Zvyagintsev R.S., Kersha Yu.D., Kosaretsky S.G., Froumin I.D. (2020) Poteri v obu-chenii iz-za pandemii COVID-19: prognozirovanie i poiski sposobov kompensat-sii [Learning Losses due to the COVID-19 Pandemic: Forecasting and Finding Ways to Compensate]. Moscow: HSE. https://ioe.hse.ru/pubs/share/ direct/408115503.pdf
