CC BY-NC-ND
68
Российская школа в период пандемии COVID-19:
эффекты первых двух волн и качество образования
Т.Ю. Чабан, Р.С. Рамеева, И.С. Денисов, ЮД Керша, Р.С. Звягинцев
Чабан Татьяна Юрьевна — начальник отдела мониторинга качества образования Красноярского краевого государственного казенного специализированного учреждения «Центр оценки качества образования». Адрес: 660062, Красноярск, ул. Высотная, 9. E-mail: chaban@coko24.ru
Рамеева Роза Сергеевна — начальник информационно-аналитического отдела Красноярского краевого государственного казенного специализированного учреждения «Центр оценки качества образования». Адрес: 660062, Красноярск, ул. Высотная, 9. E-mail: rameeva@coko24.ru
Денисов Илья Сергеевич — стажер-исследователь Центра психометрики и исследований в образовании Института образования НИУ ВШЭ. Адрес: 101000, Москва, Потаповский пер., 16, стр. 10. E-mail: idenisov@hse.ru Керша Юлия Дмитриевна — младший научный сотрудник Центра общего и дополнительного образования им. А.А. Пинского, Институт образования НИУ ВШЭ. Адрес: 101000, Москва, Потаповский пер., 16, стр. 10. E-mail: ykersha@hse.ru
Звягинцев Роман Станиславович — младший научный сотрудник Центра общего и дополнительного образования им. А.А. Пинского, Институт образования НИУ ВШЭ. Адрес: 101000, Москва, Потаповский пер., 16, стр. 10. E-mail: rzvyagincev@hse.ru (контактное лицо для переписки)
Аннотация Имеющиеся данные о влиянии пандемии COVID-19 на качество общего образования противоречивы: в некоторых странах фиксируется довольно сильное снижение образовательных результатов, в то время как в других потери в качестве образования отсутствуют. При этом более чем в половине из проведенных исследований получены свидетельства усиления образовательного неравенства в период пандемии. В данной работе оцениваются эффекты пандемии с использованием данных регионального мониторинга всех учащихся 4-х, 6-х и 8-х классов в школах Красноярского края в 2019 и 2021 гг. Тестирования в 4-х и 6-х классах по читательской грамотности, а также в 8-х классах по естественнонаучной грамотности подтвердили удовлетворительные характеристики качества инструмента, использованного для регионального мониторинга. По результатам многоуровневого регрессионного анализа установлено, что показатели функциональной грамотности «пан-демийной» когорты учащихся значимо ниже при контроле контекстных характеристик для всех, кроме четвероклассников. В области естествознания снижение баллов оказалось наибольшим. Не обнаружено связи масштаба потерь в функциональной грамотности с показателями социально-экономической композиции класса. Полученная учителями возможность проводить онлайн-уроки не стала фактором, повышающим образовательные результаты учащихся во время пандемии.
Статья поступила в редакцию в октябре 2021 г.
Ключевые слова школьное обучение, образовательное неравенство, потери в обучении, образовательные результаты, читательская грамотность, естественнонаучная грамотность, COVID-19, социально-экономическая композиция класса, региональные мониторинги.
Для цитирования Чабан Т.Ю., Рамеева Р.С., Денисов И.С., Керша Ю.Д., Звягинцев Р.С. (2022) Российская школа в период пандемии COVID-19: эффекты первых двух волн и качество образования // Вопросы образования/Educational Studies Moscow. № 1. С. 160-188. https://doi.org/10.17323/1814-9545-2022-1-160-188
Russian Schools during the COVID-19 Pandemic: Impact of the First Two Waves on the Quality of Education
T.Yu. Chaban, R.S. Rameeva, I.S. Denisov, Yu.D. Kersha, R.S. Zvyagintsev
Tatyana Yu. Chaban, head, Department for Monitoring the Quality of Education, "Center for Education Quality Assessment" Krasnoyarsk Territorial State Government-Owned Specialized Establishment. Address: 9 Vysotnaya Str., 660062 Krasnoyarsk, Russian Federation. E-mail: chaban@coko24.ru
Roza S. Rameeva, head, Department of Information and Analysis, "Center for Education Quality Assessment" Krasnoyarsk Territorial State Government-Owned Specialized Establishment. Address: 9 Vysotnaya Str., 660062 Krasnoyarsk, Russian Federation. E-mail: rameeva@coko24.ru
Ilya S. Denisov, research assistant, Center for Psychometrics and Measurements in Education, Institute of Education, National Research University Higher School of Economics. Address: 16 Potapovsky Lane, bldg. 10, 101000 Moscow, Russian Federation. E-mail: idenisov@hse.ru
Yulia D. Kersha, junior research fellow, Pinsky Center of General and Extracurricular Education, Institute of Education, National Research University Higher School of Economics. Address: 16 Potapovsky Lane, bldg. 10, 101000 Moscow, Russian Federation. E-mail: ykersha@hse.ru
Roman S. Zvyagintsev, junior research fellow, Pinsky Center of General and Extracurricular Education, Institute of Education, National Research University Higher School of Economics. Address: 16 Potapovsky Lane, bldg. 10, 101000 Moscow, Russian Federation. E-mail: rzvyagincev@hse.ru (corresponding author)
Abstract International studies about the impact of the COVID-19 pandemic on the quality of general education have yielded contradictory results: educational outcomes have fallen markedly in some countries while remaining more or less constant in others. At the same time, over half of published studies attest to the growth of educational inequality during the pandemic. The present article assesses the impact of the pandemic using the data of a regional monitoring study of all schoolchildren in grades 4, 6 and 8 in the Krasnoyarsk Region in 2019 and 2021. Tests of reading literacy in grades 4 and 6 as well as of science literacy in grade 8 have shown the satisfactory psychometric quality. Multilevel regression analysis was used to show that the level of functional literacy of the "pandemic" cohort of schoolchildren, controlled for contextual characteristics, was significantly lower for students in all grades except grade 4. The biggest loss was found for scienti-
fic literacy. No correlation was found between the pandemic effect size and the socioeconomic composition of the class (the gap between children with different SES remains at the same level as it was before the pandemic). The teachers' opportunity to conduct online classes did not serve to improve the educational outcomes of schoolchildren during the pandemic.
Keywords school learning, educational inequality, educational outcomes, reading literacy, science literacy, COVID-19, socioeconomic composition of the class, regional monitoring studies.
For citing Chaban T.Yu., Rameeva R.S., Denisov I.S., Kersha Yu.D., Zvyagintsev R.S. (2022) Rossiyskaya shkola v period pandemii COVID-19: effekty pervykh dvukh voln i kachestvo obrazovaniya [Russian Schools during the COVID-19 Pandemic: Impact of the First Two Waves on the Quality of Education]. Voprosy obrazovaniya/ Educational Studies Moscow, no 1, pp. 160-188. https://doi.org/10.17323/1814-9545-2022-1-160-188
Пандемия коронавируса нанесла сильный удар по экономике, системам здравоохранения и образования. В научной и общественно-политической литературе развернулось широкое обсуждение возможных краткосрочных и долгосрочных последствий пандемии для школ, школьников и их семей, ведутся активные исследования1. Отдельные авторы уже сейчас проводят систематические обзоры результатов этих исследований [Hammerstein et al., 2021]. Показано, что происходящие изменения и закрытие школ усиливают образовательное неравенство2. Широко представлены варианты компенсаторных практик3. Вынужденный переход на дистанционное обучение4 в 2020 г. поставил много вопросов к системе образования, и ответов на них у нас до сих пор нет. Политики от образования высказывали полярные мнения по поводу того, смогут ли школы перейти на дистанционный режим, или, может быть, их лучше вообще закрыть5. В большинстве стран состоялся переход на дистанционную форму обучения на разные сроки, а после этого дети вернулись к очному обучению6.
1 https://www.rand.org/multimedia/audio/2020/03/31/the-impact-of-covid-19-on-the-us-education-system.html
2 Storey N., Zhang Q. (2021) A Meta-Analysis of COVID Learning Loss. Preprint.
3 https://www.rand.org/blog/2020/04/is-it-time-to-rethink-the-separation-be-tween-the-high.html
4 В данной работе мы рассматриваем дистанционное обучение в значении «онлайн-обучение», так как это сейчас наиболее актуально, и не касаемся других практик дистанционного обучения.
5 https://www.k12.wa.us/about-ospi/press-releases/novel-coronavirus-covid-19-guidance-resources
6 https://www.rand.org/blog/2020/04/coronavirus-will-require-changes-in-schools-when-they.html
Основные опасения были связаны с наиболее уязвимыми группами школьников: с неблагополучными, неуспевающими детьми, с учащимися, имеющими особые образовательные потребности, и т.д. Простых решений здесь нет, выдвигались даже предложения открыть школы для самых незащищенных групп школьников — просто для того, чтобы им было куда пойти7. В некоторых странах школы в начале пандемии не закрывались, но в середине апреля, на пике первой волны, ЮНЕСКО сообщила, что 192 страны закрыли для очного посещения все школы и университеты, что затронуло 90% учащихся мира — почти 1,6 млрд детей и молодых людей, но в большинстве случаев образовательный процесс продолжился в дистанционном формате [Косарецкий и др., 2020]. Такой размах форс-мажорного прерывания очного процесса обучения в школе — экстраординарная ситуация в образовании, которую, естественно, сразу же начали исследовать со всех доступных сторон [DeMatthews et al., 2020; Gao, Zhang, 2020; Ghosh et al., 2020].
Пандемия предоставила исследователям редчайший шанс изучить влияние кризисных ситуаций на систему образования. Воздействие форс-мажорных событий, катастроф, терактов на качество образования и благополучие учащихся исследовалось и раньше: закрытие школ из-за снежных бурь [Goodman, 2014; Marcotte, Hemelt, 2008], наводнений [Thamtanajit, 2020], землетрясений [Sapkota, Neupane, 2021] и даже терактов [Ger-shenson, Tekin, 2018]. Однако все эти исследования касались локальных событий, не затрагивающих даже систему образования отдельного региона, не говоря уже об уровне страны или группы стран. Пандемия COVID-19 создала — в основном в тех странах, где налажена система мониторинга уровня знаний учащихся на разных этапах общего образования, — совершенно новые возможности для проведения исследований.
В данной статье оцениваются потери в качестве образования в результате пандемии для российских школьников начальной и средней школы. Перед исследованием поставлены следующие вопросы.
• Как изменились образовательные результаты когорт 4-х, 6-х и 8-х классов в 2021 г. по сравнению с 2019 г. при контроле контекстных характеристик?
• Как связаны эти изменения с социально-экономической композицией класса?
7 https://www.theguardian.com/education/2020/apr/14/the-schools-open-during-lockdown-for-some-kids-its-the-only-safe-place
• Различаются ли результаты учащихся 4-х, 6-х и 8-х классов в 2021 г., обучавшихся у учителей с разной технологической готовностью к проведению онлайн-уроков?
Текущая ситуация с пандемией и закрытием школ является отличным примером натурального эксперимента. Большинство школьников оказались в совершенно новой для них образовательной среде. Никто не мог предугадать заранее наступление пандемии и подготовиться к ней. Это значит, что распределение учащихся на экспериментальную и контрольную группы — тех, кто попал под воздействие пандемии в 2021 г., и их предшественников — произошло экзогенно или без какой-либо на то воли участников событий [Мигпапе, Willett, 2010]. Естественно полагать, что ученики 4-х, 6-х и 8-х классов 2019 г. отличаются от своих сверстников в 2021 г. в первую очередь из-за обстоятельств, связанных именно с пандемией. Поэтому возникшая разница в образовательных результатах может расцениваться как эффект пандемии, а не других факторов, которые тоже могли сыграть свою роль, но их значимость несравнима с эффектом пандемии.
1.Прогнозы потерь образовательных результатов от пандемии и способы их оценки
Все исследователи кризисных ситуаций в системе образования придерживаются единого мнения: учащиеся школ, закрытых на время форс-мажорных обстоятельств, теряют в знаниях. Очевидно, что механизмы потерь могут крыться не только в самом по себе закрытии школ, но и в общем стрессе и нарушении привычного уклада жизни [Goodman, 2014]. В начале пандемии высказывались предположения, что уже к осени потери для учащихся составят 30-50% объема знаний, приобретенных за предыдущий год [Kuhfeld, Tarasawa, 2020]. На основании данных PISA-2018 прогнозировалось, что потери в уровне читательской грамотности могут быть от 9 до 16 баллов в зависимости от наличия и качества дистанта, а доля функционально неграмотных учеников вырастет на 8%, если школы будут закрыты в течение четырех месяцев [Kelmendi, Gresham, Iqbal, 2020]. Доля «образовательно бедных учащихся» — детей, которые, достигнув возраста 10 лет, не умеют читать, — как предполагалось, вырастет до 63% [Azevedo et al., 2020]. Экономические потери для поколения студентов, затронутого пандемией, по предварительным оценкам, составят 3% зарплаты за всю жизнь [Hanushek, Woessmann, 2020], а потери для стран с низкими и средними доходами будут выше, чем для стран с высокими [Psacharopoulos et al., 2021].
Авторы обращали особое внимание на то, что в любых предсказаниях надо отталкиваться от нескольких основных
факторов, которые и определят решающим образом, насколько пандемия «отбросит» школьников в уровне их подготовки: это продолжительность закрытия школ, качество дистанционного обучения, уровень готовности и ресурсной обеспеченности семей, доступность высокоскоростного интернета для учителей и семей учащихся [Косарецкий и др., 2020]. Нельзя забывать и о факторе субъективного благополучия учащихся и их семей, которое, по прогнозам, должно было ухудшиться [Ghosh et al., 2020] и ухудшилось, потянув за собой проблемы в поведении и взаимодействии внутри семей [Patrick et al., 2020].
Пандемия COVID-19 стала серьезным катализатором образовательного неравенства. Любые катастрофы и социальные потрясения сильнее сказываются на самых незащищенных и бедных слоях населения [Fothergill, Peek, 2004]. Исследования систем образования свидетельствуют о том, что больше всего условных потерь в критических ситуациях несут дети из семей с низким социально-экономическим статусом [Sirin, 2005], дети с особыми образовательными потребностями [Cooc, 2019]. Более того, дети из обеспеченных семей получают возможность сильнее вырваться вперед за счет высвобождения дополнительного времени для занятий с репетиторами, доступа к платным он-лайн-курсам и в целом лучшей готовности к работе в цифровой среде [Stern, Adams, Elsasser, 2009]. Таким образом, реальные эффекты пандемии состоят не в общем для всех падении результатов, а скорее в увеличении расслоения и дифференциации возможностей разных групп учащихся.
Оценить реальные потери в качестве общего образования из-за пандемии можно разными способами: протестировать одних и тех же детей выравненными тестами прямо перед закрытием школ и сразу после возвращения к обучению; сравнить уровни знаний детей из прошлых когорт, не затронутых пандемией, и детей на этом же этапе школьного обучения, имеющих в анамнезе обучение во время пандемии; сравнить скорости прогресса в учебе детей в предыдущие года с той, которая наблюдается сейчас; наконец, сравнить динамику образовательных результатов у детей, которые уходили на дистанционное обучение, с теми, кто не уходил. Сейчас научное сообщество уже располагает некоторым количеством оценок реальных потерь в качестве образования из-за пандемии. Такие данные есть для разных стран:
• Бельгии [Maldonado, De Witte, 2021];
• Нидерландов [Engzell, Frey, Verhagen, 2021];
• Швейцарии [Tomasik, Helbling, Moser, 2021];
• Великобритании8;
• США9;
• Франции10;
• ряда других образовательных систем11.
Общий вывод таков: незначительные потери (около 1-2 месяцев обучения) имеют место даже в системах, где дистанционное обучение было организовано хорошо, а школы закрывались на очень короткий период времени. Однако в исследованиях, проведенных, например, в США и Франции, показано, что в среднем потерь в образовании из-за пандемии практически нет. Но даже при минимальных в целом потерях ущерб от пандемии для детей из семей с низким социально-экономическим статусом примерно в 1,5 раза больше, чем для детей из обеспеченных семей, т.е. из-за пандемии растет уровень неравенства. В отличие от указанных выше стран, относящихся к числу наиболее благополучных как с точки зрения экономики, так и в плане развитости системы образования, в Индии, например, зафиксированы существенно более серьезные потери^.
В системе образования РФ пока не проведены исследования для оценки ущерба, который понесли школьники. В настоящей работе, используя данные региональных мониторинговых исследований читательской и естественнонаучной грамотности, которые проводятся в Красноярском крае среди всех учащихся 4-х, 6-х и 8-х классов, мы выясняем, с какими же образовательными потерями столкнулась российская школа в результате первой и второй волн пандемии СОУЮ-19.
2. Условия Современное состояние образовательной системы России та-
обучения ково, что в ситуации пандемии каждый четвертый ученик и
во время каждая пятая школа могут оказаться за бортом непрерывного
пандемии: образовательного процесса: скорость интернета не позволит
страновой проводить полноценные дистанционные занятия примерно в
и региональный 40% школ страны. Кроме того, каждый пятый учитель в России
контекст не имеет навыков, необходимых для организации дистанци-
8 https://assets.publishing.service.gov.uk/government/uploads/system/ uploads/attachmeпt_data/file/962330/Leaгпiпg_Loss_Repoгt_1 A_-_FINAL.pdf
9 https://www.nwea.org/content/uploads/2020/11/Collaborative-brief-Lear-ning-during-C0VID-19.N0V2020.pdf
10 https://www.education.gouv.fr/evaluations-de-debut-de-sixieme-2020-pre-miers-resultats-307125
11 https://educationendowmentfoundation.org.uk/eef-support-for-schools/co-vid-19-resources/best-evidence-on-impact-of-school-closures-on-the-attain-ment-gap/
12 https://www.oгfoпliпe.oгg/гeseaгch/гegгessioп-iп-leaгпiпg/?amp
онного обучения [Заир-Бек, Мерцалова, Анчиков, 2020]. Даже во время второй волны распространения COVID-19 в 12 субъектах Российской Федерации степень готовности школ к дистанционному обучению была такова, что эти субъекты по сочетанию готовности школ к удаленке и уровня вирусной угрозы были отнесены экспертами Института образования НИУ ВШЭ к зоне риска13.
Семьи с высоким и низким социально-экономическим статусом различаются между собой не только общей технологической готовностью, но и наличием у родителей и детей навыков, необходимых для организации дистанционного обучения. Представители бедных семей чаще, чем обеспеченные, отмечают, что им не хватает компьютерной грамотности и навыков для организации домашнего обучения (31% против 10%); что дети не готовы к онлайн-формату (60% против 45%); что дети имеют недостаточную академическую нагрузку и проигрывают в качестве обучения, работая в дистанционных форматах (76% против 56%)14. Более подробно как с условиями, так и с мерами образовательной политики в условиях пандемии на уровне РФ можно ознакомиться в [Мерцалова и др., 2021]. В данном исследовании мы сосредоточимся на рассмотрении региональной специфики.
В школах Красноярского края очное обучение прервалось 17 марта 2020 г. В этот день все школы региона в соответствии с указом губернатора были отправлены на досрочные весенние каникулы, после которых началось дистанционное обучение, продолжавшееся до конца учебного года. Новый учебный год начался очно, но в связи со сложной эпидемиологической ситуацией 28 октября 2020 г. министерство образования региона рекомендовало школам Красноярска и 10 других городов — Ачинска, Канска, Енисейска, Дивногорска, Лесосибир-ска, Минусинска, Сосновоборска, Шарыпова, Железногорска и Зеленогорска — перевести на дистанционное обучение учащихся 5-11-х классов сразу после окончания осенних каникул. При этом ученики младшей школы продолжили учиться очно.
У муниципальных образований оставалось право принимать решение о переводе детей на дистанционное обучение, исходя из ситуации с заболеваемостью в территориях. Через несколько недель еще в четырех городах — Бородино, Боготол, Назарово, Норильск — учеников основной и средней школы перевели на дистанционное обучение. 7 декабря 2020 г. учеников 9-х и 11-х классов вернули за парты. Во всех городах, кроме
13 https://www.hse.ru/news/expertise/416606518.html
14 http://pltf.ш/2020/04/24/vypusk-8-detskoe-onlajn-obrazovan¡e/?fbcNd=IwAR-30lhle9bnwKHkgtW-L5M9KqOcW13cbmm2dbM5cqMlomngiM7MS05C4r7Y
Красноярска, к ним присоединились и пятиклассники. И только 11 января, с началом второго полугодия, школы смогли вернуться к традиционному формату работы.
Таким образом, около двух месяцев почти во всех городских школах Красноярского края ученики 6-8-х классов занимались дистанционно. Очно имели возможность учиться их сверстники в негородских территориях и пяти малых городах региона с населением менее 25 тыс. человек — Артемовске, Дудинке, Заозерном, Ужуре, Уяре. И если количества школ, работавших в ноябре-декабре 2020 г. в очном и дистанционном режиме, соотносились как 70 к 30, то соотношение численности учащихся 6-8-х классов было почти обратным: 65% учеников этих параллелей учились из дома и только 35% — в школьных стенах.
Ситуация с обеспечением техникой для участия в он-лайн-обучении и в первую, и во вторую волну пандемии оставалась сложной. Возможность выдать ноутбуки, нетбуки или планшеты школьникам, у которых дома не было компьютерной техники, была только у единичных школ. В 2020 г. доступ к компьютерам, с которых можно было бы вести онлайн-заня-тия, имели не все учителя. В регионе, протянувшемся от Саян до арктического побережья, нередки ситуации, когда интернет в поселке есть только в школе или его нет совсем, а сигнал мобильной связи принимается в отдельных точках на возвышенностях. В результате во многих сельских школах задания и выполненные работы ученики передавали учителям в бумажном формате.
В связи с переводом на дистанционное обучение большей части школьников 6-8-х классов краевые диагностические работы (КДР) в этих параллелях, запланированные на конец осени 2020 г., были перенесены на начало 2021 г. КДР по читательской грамотности в 6-х классах состоялись 26 января 2021 г., всего через 15 дней после возвращения шестиклассников в школы после дистанционного обучения и каникул. КДР по естественнонаучной грамотности восьмиклассники написали 16 февраля. Только КДР по читательской грамотности в 4-х классах прошли в запланированные сроки — 17 марта, как и до пандемии.
К началу исследования все шестиклассники и восьмиклассники имели за плечами более половины учебного года на дистанционном обучении (около 4,5 месяца за весну и осень 2020 г.), четвероклассники — чуть более 2 месяцев (весной 2020 г.). При этом почти не было школ, где тот или иной класс, а то и вся школа не уходили бы на дополнительные сроки на дистант во время карантинов, увеличивая тем самым перерыв в очном обучении.
3. Методология
3.1. Характеристика мониторинга
Диагностические работы по читательской грамотности проводятся во всех школах Красноярского края ежегодно в 4-х и 6-х классах. С 2018 г. в 8-м классе проводится КДР по естественнонаучной грамотности. В каждой КДР тесты представлены в двух вариантах. В нашем распоряжении имеются результаты КДР, проведенных в 2018, 2019 и 2021 гг. Поскольку каждая из КДР преследует две цели — оценить индивидуальные достижения учеников и положение дел в региональной системе образования, — они выстраиваются как процедура «двойного назначения». На время проведения работы в школы направляются муниципальные наблюдатели из других школ. Работы проверяют муниципальные или школьные комиссии, способ проверки выбирает муниципальный орган управления образованием.
Все КДР ориентированы на модель международного исследования PISA15. При измерении математической и естественнонаучной грамотности оцениваются те же группы умений, что и в PISA. Тесты читательской грамотности основаны на модели оценки читательской грамотности, разработанной Институтом стратегии развития образования РАО под руководством Г.С. Ковалевой и также учитывающей опыт PISA. В тестах представлены задания, которые оцениваются как дихотомически, так и политомически.
Диагностические работы различаются не только для разных классов, но и для учащихся из разных когорт. Тесты для школьников, проходивших обучение в исследуемых классах в 2019 г., отличаются от тестов для учащихся тех же классов в 2021 г. Для того чтобы оценить эффекты пандемии и сравнить результаты КДР в 2019 и 2021 гг., необходимо обеспечить сопоставимость результатов тестирований.
3.2. Обеспечение сопоставимости результатов тестирования
В рамках процедуры выравнивания результатов тестирования за несколько срезов [Карданова, Нейман, 2003] обычно применяется метод общих, или якорных, заданий. В разные диагностические инструменты добавляется часть одинаковых заданий, что дает возможность рассчитать баллы тестирований на одной общей шкале. Количество общих заданий в двух инструментах должно быть достаточным, чтобы можно было говорить о надежном проведении процедуры. К сожалению, в имеющихся данных таких заданий изначально не было, поэтому был применен метод псевдообщих заданий^.
Для того чтобы получить аналог общих заданий, среди вариантов теста за разные годы выделялись задания, схожие по
15 https://www.oecd.org/pisa
16 https://www.winsteps.com/winman/equating.htm
теме, формату и принципу оценивания. Затем все результаты тестирования располагались таким образом, чтобы псевдообщие задания могли быть использованы для якорения тестирований за разные годы и размещения их на единой шкале оценки. В результате все параметры как заданий, так и тестируемых располагаются на общей шкале. Это позволяет, пусть и с некоторыми ограничениями, сопоставить друг с другом результаты тестов за разные годы в рамках применения современной теории тестирования [Нейман, Хлебников, 2000].
Таким образом, применив процедуру псевдовыравнивания, мы получаем возможность напрямую сравнить показатели школьников 4-х, 6-х и 8-х классов в 2019 и 2021 гг., поскольку оценки будут сопоставимы. При проведении процедуры с целью повышения надежности мы использовали все имеющиеся результаты тестирований — за 2018, 2019 и 2021 гг. В качестве референтного варианта для каждой когорты был выбран первый вариант теста за один год из трех.
Среди моделей теории латентных характеристик для выравнивания чаще всего применяется однопараметрическая логистическая модель Раша [Wright, Stone, 1979]. Данные исследования обрабатывались с помощью специального программного обеспечения W/'nsteps17, разработанного для психометрического анализа в рамках модели Раша. Поэтому процедура псевдовыравнивания также проводилась с применением модели Раша. Она включала следующие этапы:
• оценка трудности для всех заданий референтной группы, в том числе общих (псевдообщих в рассматриваемом случае), с приравниванием к нулю средней оценки измеряемой характеристики;
• оценка трудности для всех заданий каждого другого варианта теста за три года — например, для 8-х классов это вариант № 2 за 2019 г. (вариант № 1 является референтным), варианты № 1 и 2 за 2018 и 2021 гг. Каждый из них также приравнивает к нулю среднюю оценку латентной характеристики на собственной шкале;
• вычисление разницы трудностей псевдообщих заданий между референтным вариантом и каждым другим вариантом теста. Далее находится среднее арифметическое разницы, которое представляет собой константу смещения;
• оценка латентной характеристики для каждой группы, проходившей тот или иной вариант теста. Каждый вариант при этом измеряется на собственной шкале;
17 https://www.winsteps.com
• преобразование оценок на прочих вариантах теста в оценки на референтном варианте с помощью прибавления константы смещения. Так как в итоге каждый вариант теста будет оценен на основе шкалы первого варианта 2019 г. (если продолжать пример 8-х классов), такие оценки можно будет считать сопоставимыми и сравнивать между собой.
Все эти пункты после подготовки исходных данных Winsteps проходит самостоятельно, что позволяет одновременно провести псевдовыравнивание для всех шести вариантов измерительного инструмента и представить их в рамках модели частичной оценки (partial credit model)18.
3.3. Контекстные данные и стратегия анализа
Для оценки эффектов пандемии использованы сопоставимые результаты тестирований учащихся 4-х, 6-х и 8-х классов в 2019 г. — до начала пандемии — и в 2021 г., всего 165 740 учеников 1047 школ Красноярского края. Данные имеют трехуровневую структуру: индивидуальные результаты учащихся группируются сначала по классам, а потом по школам. Исследуемые школы во все годы проведения КДР одни и те же, а состав учащихся в классах, естественно, различался. То есть уровень способностей, например, четвероклассников 2019 г. сравнивался с уровнем способностей уже новых четвероклассников в 2021 г.
Основной зависимой переменной в анализе являются стандартизированные результаты тестирования учащегося, выраженные в виде уровня способности. Среди индивидуальных характеристик учащихся учитывались также половая принадлежность, вариант тестирования, принадлежность к когорте 2019 или 2021 г. обучения. На уровне классов для контроля социально-экономической композиции учащихся использовалась переменная числа учащихся, хотя бы один из родителей которых имеет высшее образование [Керша, 2020]. В каждом году на основе распределения данной переменной выделены три равнонаполненные группы классов — с низкой, средней и высокой социально-экономической композицией. На основе информации от учителей 4-е и 8-е классы на одном из этапов анализа разделялись на те, в которых учитель мог проводить онлайн-уроки, и те, в которых он не имел такой возможности. В 8-х классах, проходивших тестирование естественнонаучной грамотности, учитывалось наличие упомянутой возможности одновременно у трех учителей: физики, биологии и химии. На
https://www.rasch.org/rmt/rmt143 k.htm
уровне школ учитывался тип населенного пункта, в котором располагается образовательная организация. Выделялись группы школ, расположенные в малых городах и сельской местности, в городах и отдельно в Красноярске. Основными группами для сравнения являются когорты 2019 и 2021 гг., но для контроля предыдущего уровня успеваемости в школе также рассчитывался средний балл соответствующего класса в тестировании за 2018 г. Описательная статистика по используемым переменным представлена в Приложении19.
Тестирования в 4-х, 6-х и 8-х классах различаются между собой, поэтому расчеты для параллелей классов проводились отдельно. Для сравнения результатов тестирований школьников в 2019 и 2021 гг. строились трехуровневые регрессионные модели, учитывающие контекстные характеристики на уровне учащихся, классов и школ [Hox, 2010]. Поскольку одна из исследовательских задач — выяснить, различается ли изменение уровня способностей учащихся в 2021 г. по сравнению с 2019 г. в зависимости от социально-экономической композиции класса, анализ проводился с использованием модели с изменяющимися коэффициентами и межуровневым взаимодействием (random slope with cross-level interaction) [Ibid.]. Помимо этого применялся анализ на подвыборках для групп классов с разной технологической готовностью, а также для учащихся с самым высоким уровнем способностей (25% самых высоких результатов в каждую из волн) и с самым низким (25% самых низких результатов). Отбор и сравнение моделей проводились с помощью показателей качества (AIC, BIC, Log-Likelihood) и теста отношения правдоподобия (likelihood-ratio test). Модели строились пошагово, начиная с базовой модели с фиксированными коэффициентами (Приложение), для каждого класса обучения — по пять моделей: нулевая (1); с добавлением ковариат и фиксированными коэффициентами (2); с изменяющимися коэффициентами на уровне класса (3); с изменяющимися коэффициентами на уровне школы (4); с межуровневым взаимодействием (5). Для проведения анализа на подвыборках использовалась модель (4) без переменной межуровневого взаимодействия. Наиболее полная модель с межуровневым взаимодействием имела следующий вид:
abilityijk = Y000 + Yjk INDjk + Yjk CLSß + Yk SCHk + ym INDjk x X CLSjk + Ü0jk INDjk + U0jk + ejk,
19 Доступ к анонимизированным данным и процедурам расчета, приложению: doi:10.17632/k7gv2c43bd.1
где ability — зависимая переменная уровня индивидуальных способностей ; i — индекс первого уровня (учащихся), j — индекс второго уровня (классов), k — индекс третьего уровня (школ); К000 — интерцепт модели; IND, CLS и SCH — векторы ко-вариат на индивидуальном, классном и школьном уровнях соответственно; u — дисперсия остатков; e — остатки модели.
Анализ проводился с использованием аналитического пакета Stata SE 16. Из-за того что объем выборки довольно большой, даже самые маленькие по размеру эффекты при высокой точности оценки параметров могут быть идентифицированы как статистически значимые. Поэтому в работе вместо p-va-lue для изучаемых параметров приводятся значения и доверительные интервалы средних предельных эффектов (average marginal effects) от года обучения [Lin, Lucas, Shmueli, 2013], выраженные в стандартных отклонениях разницы уровня способностей в 2021 г. по сравнению с 2019 г. Кроме того, для оценки параметров на большой выборке дополнительно использована процедура бутстреппинга [Yu, 2002]. Для расчета каждой модели случайным образом 100 раз набиралась подвыборка из 1000 наблюдений. Размер эффекта рассчитывался также для групп классов, выделенных в зависимости от их социально-экономической композиции (низкая, средняя или высокая), от наличия у учителя технологической возможности для проведения онлайн-уроков. Эффекты от обучения в пандемию дополнительно подсчитаны для групп школьников с самой высокой и самой низкой успеваемостью.
3.4. Ограничения В нашем исследовании есть ряд ограничений, которые нельзя не учитывать при описании и обсуждении результатов.
• Эффекты пандемии оцениваются только для одного субъекта РФ, так как только в нем мы смогли найти данные, необходимые для ответа на главный исследовательский вопрос — каковы потери российских школьников в уровне знаний из-за пандемии. Этого ограничения можно было бы избежать, если бы в России существовала практика регулярных общенациональных мониторингов уровня функциональной грамотности школьников с использованием выравненных измерительных инструментов.
• Полученные в ходе красноярского регионального мониторинга данные нельзя считать абсолютно достоверными. На тестовых баллах учащихся могли сказаться традиции и установки отдельных школ и муниципальных образовательных систем. Внешний наблюдатель, который направляется на КДР из другой школы или другой муниципальной
структуры, не всегда в состоянии заметить факты помощи ученикам или необъективной проверки. Во многих школах стимулирующие выплаты по внутришкольному положению зависят от результатов внешних оценочных процедур. Учителя могут быть заложниками репутации гимназии или лицея, для которых привычны сверхвысокие предметные результаты. В малых городах и поселениях на первый план может выходить личный мотив: «Пойдут разговоры, что я учу хуже всех». Но при этом есть школьные и муниципальные коллективы, для которых «нечестная игра» неприемлема в принципе или муниципальными нормативными актами задана очень строгая процедура проведения КДР, когда работы учеников сразу после проверки увозят в муниципальную комиссию.
• Тесты разных лет изначально различаются, хоть и незначительно. В регионе никогда не ставилась задача сравнивать между собой результаты тестирований одних и тех же возрастных когорт в разные годы.
• У метода псевдовыравнивания есть ряд ограничений по сравнению с более традиционными методами обеспечения сопоставимости результатов тестирований: это, например, отсутствие одинаковых заданий, представленных в разных вариантах тестирования, которые можно было бы использовать как якорные; различия в шкале тестовых баллов; неполное соответствие процедур оценки заданий.
• В наших регрессионных многоуровневых моделях в качестве контрольных мы вынужденно используем переменные на уровне класса и школы. Например, у нас нет никакой информации об индивидуальном социально-экономическом статусе отдельного ученика, но есть информация о социально-экономической композиции класса. Агрегированные на уровне класса переменные являются значимыми предикторами образовательных достижений, однако без индивидуальных характеристик значительная часть информации оказывается потеряна.
• В региональных данных пропущена информация за 2020 г., в который региональные мониторинги не проводились. Таким образом, мы сравниваем результаты детей в 2019 г., когда никакой пандемии не было, с результатами в 2021 г., когда вся система образования уже просуществовала в ней около года. При этом дети разного возраста находились на дистанционном обучении разный срок, что, естественно, тоже необходимо учесть в интерпретации результатов.
• В 8-х классах тесты измеряли уровень естественнонаучной грамотности, а в 4-х и 6-х — читательской, поэтому, не имея возможности напрямую сравнивать размеры эффектов для
разных когорт, мы лишь фиксируем те или иные потери для отдельных когорт. Более достоверно можно сравнить между собой лишь 4-е и 6-е классы.
4. Результаты
4.1. Психометрический анализ качества инструментов
Для подтверждения правомерности использования результатов мониторинга в исследовании эффектов пандемии проведена проверка качества применявшихся измерительных инструментов. По результатам проверки можно заключить, что все использованные шкалы обладают удовлетворительными психометрическими свойствами (надежность отдельных тестов от 0,75 до 0,82), а в разных вариантах тестирований в разные годы достаточно заданий, которые можно выбрать в качестве псевдообщих. Тесты обладают достаточно высоким уровнем надежности и могут быть признаны существенно одномерными. Подробные выкладки, касающиеся психометрических свойств отдельных тестов, поиска псевдообщих заданий и псевдовыравнивания результатов тестирования, доступны в открытом Приложении20.
4.2. Эффекты пандемии ГОУт-19 для функциональной грамотности учащихся
Результаты регрессионного анализа показывают, что учащиеся 4-х, 6-х и 8-х классов в 2021 г. в целом показывали результаты ниже, чем их сверстники в 2019 г. Расчеты представлены на рис. 1 в виде размера эффекта от обучения в 2021 г. по сравнению с 2019 г. Отрицательный показатель размера эффекта свидетельствует о том, что в 2021 г. результаты ниже, чем в 2019-м. Наибольшее снижение результатов после пандемии наблюдается у учащихся 8-х классов (в среднем на 0,87 Бй уровня способностей). В 6-х классах снижение не такое сильное (в среднем 0,24 Бй), а в 4-х классах и вовсе отсутствует. Статистически значимых различий между эффектами пандемии для групп внутри одной параллели, различающихся по показателю социально-экономической композиции класса, не выявлено.
При сравнении потерь, понесенных учащимися с разным уровнем достижений, получены неоднозначные результаты (рис. 2). Для учащихся 4-х классов, как и в предыдущем случае, потерь не обнаружено. Для шестиклассников с самыми высокими баллами тестирования по чтению в 2019 и 2021 гг. потери оказались более чем в 2 раза выше (0,38 Бй), чем для тех, кто имел самые низкие показатели (0,14 Бй). А в тестировании по естествознанию среди восьмиклассников, напротив, у учащихся с высокой успеваемостью снижение результатов было не таким сильным (0,72 Бй), как у имеющих самые низкие оценки (1,04 Бй).
doi:10.17632/k7gv2c43bd.1
Рис. 1. Средние предельные эффекты от обучения в 2021 г. по сравнению с 2019 г. для учащихся 4-х, 6-х и 8-х классов с разной социально-экономической композицией
4-й класс (чтение)
-------1-------4
6-й класс (чтение)
Т ¥
-й класс (естествознание)
§_3_|
Все Низкий СЭС Средний СЭС Высокий СЭС
Примечание: Результаты расчетов предельных эффектов основаны на многоуровневой регрессионной модели с добавлением межуровневого взаимодействия. Использовался 95%-ный доверительный интервал для коэффициента. Коэффициенты размера эффекта представлены в виде стандартных отклонений результатов тестирования в 2021 г. по сравнению с 2019 г. при учете ковариат в модели.
0,5 0,0 -05
-1,0:
0,5-
е 0,0-
--0,5-1,00,5 0,0 -0,5 -1,0
:----
Рис. 2. Средние предельные эффекты от обучения в 2021 г. по сравнению с 2019 г. для учащихся 4-х, 6-х и 8-х классов с разным уровнем достижений
4-й класс (чтение)
_2_--------------&
6-й класс (чтение)
5 "
8-й класс (естествознание)
п
|__
Низкие достижения (25%) Высокие достижения (25%)
Примечание: Результаты расчетов предельных эффектов основаны на многоуровневой регрессионной модели с добавлением межуровневого взаимодействия. Использовался 95%-ный доверительный интервал для коэффициента. Коэффициенты размера эффекта представлены в виде стандартных отклонений результатов тестирования в 2021 г. по сравнению с 2019 г. при учете ковариат в модели.
0,50,0-05 -1,00,5: 0,0: р -0,5-1,00,5 0,0 -0,5 -1,0
4.3. Сравнение результатов тестирования в классах с разным уровнем технологической готовности
Представление об обеспеченности учителей и учеников техническими средствами для онлайн-обучения дают данные опроса классных руководителей 4-х и 8-х классов. Большинство учителей Красноярского края имели техническую возможность проводить онлайн-уроки: почти 70% учителей 4-х классов и от 72 до 76% преподавателей естественнонаучных предметов в 8-м классе (рис. 3).
Рис. 3. Доля учителей, имевших техническую возможность проводить онлайн-уроки при переходе класса на дистанционное обучение весной 2020 г.
69,46
75,97
71,37
76,17
Учителя 4-х классов
Учителя физики 8-х классов
Учителя химии 8-х классов
Учителя биологии 8-х классов
Рис. 4. Средние предельные эффекты от обучения в 2021 г. для групп классов с разной технологической готовностью
0,50,0-0,5-
4-и класс (чтение)
атк -
ек -я- -1,0
-ы-
ср
з 0,5
о_ -
0,0
-0,5
-1,0
4-
8-й класс (естествознание)
Без ИКТ в 2021 г.
С ИКТ в 2021 г.
Примечание: Результаты расчетов предельных эффектов основаны на многоуровневой регрессионной модели с добавлением межуровневого взаимодействия. Использовался 95%-ный доверительный интервал для коэффициента. Коэффициенты размера эффекта представлены в виде стандартных отклонений результатов тестирования в 2021 г. по сравнению с 2019 г. при учете ковариат в модели для разных подвыборок учащихся в 2021 г.
Сравнительно небольшое снижение показателей тестирования учащихся в 2021 г. по отношению к результатам их сверстниками в 2019 г. оказалось не связанным с наличием у учителя технических возможностей проводить уроки в 2021 г. в онлайн-формате (рис. 4). В классах, которые оказались технически не готовы к дистанционной работе, эффект от пандемии не отличался от такового в классах, где учитель мог проводить он-лайн-уроки. Функциональная грамотность четвероклассников в 2021 г. не отличалась от показателей их сверстников в 2019 г. вне зависимости от уровня технологической готовности учителей. В 8-х классах снижение результатов имело место и у школьников, чей учитель мог проводить занятия онлайн, и у тех, чей учитель не имел такой возможности.
5. Дискуссия Результаты проведенного исследования свидетельствуют о наличии потерь в обучении за первые две волны пандемии СОУЮ-19 у российских школьников. Принимая во внимание описанные выше ограничения, мы, тем не менее, с уверенностью можем делать следующие выводы.
• У учащихся 4-х классов потери в читательской грамотности практически отсутствуют. Ученики «пандемийной» когорты — и относящиеся к разным группам по социально-экономической композиции класса, и различающиеся по уровню индивидуальных достижений — сдают тесты на том же уровне, что и их предшественники до пандемии.
• Потери учащихся 6-х классов в читательской грамотности есть, но не очень большие: в среднем около 0,24 Бй, что приблизительно равно четырем месяцам обучения [НаШе, 2015]. Усугубления неравенства здесь не наблюдается, скорее наоборот: результаты падают сильнее в группах с высокой социально-экономической композицией класса и у учащихся с высокими достижениями.
• Потери учащихся 8-х классов в естественнонаучной грамотности есть, и они очень серьезные. Неравенство между группами учащихся, различающихся по уровню благополучия семьи, не увеличилось: дети из групп, выделенных на основании социально-экономической композиции классов, теряют в результатах одинаково. При этом потери сильно различаются у учащихся с разным уровнем достижений: больше потеряли слабо успевающие учащиеся. Средний эффект составляет 0,87 Бй, что превышает два года обучения.
• Во всех классах уровень грамотности внутри одной когорты сильно связан с социально-экономической композицией класса: чем выше в классе доля детей из семей, где у ро-
дителей есть высшее образование, тем выше результаты детей в этом классе.
• Не выявлено значимой связи наличия у учителей полноценной возможности для использования ИКТ с выраженностью эффекта пандемии.
Обсудим сначала результаты по 4-м и 6-м классам ввиду общности содержания предметной области тестирования. Наиболее очевидное объяснение разницы в эффектах пандемии между 4-ми и 6-ми классами состоит в том, что четвероклассники гораздо меньше времени провели на дистанте, и это характерно не только для Красноярского края, но и для всей страны [Kosaretsky et al., 2022]. Более того, учащиеся 6-х классов вышли из дистанционного режима практически перед самым мониторингом, что, вероятно, усугубило их положение — у них было меньше возможностей нагнать отставание. В 4-х классах, даже если отставание и имелось, ученики преодолели его за полное полугодие очного обучения. Потери российских шестиклассников в читательской грамотности оказались существенными, но не превысили средний уровень потерь, выявленных в исследованиях школьников других стран [Storey, Zhang, 2021]21 — по сути, их потери, выраженные в годах обучения, чуть меньше, чем суммарный срок пребывания на дистанте, но нужно помнить, что между двумя волнами пандемии были еще и летние каникулы.
Менее очевидное объяснение разницы в эффектах пандемии между 4-ми и 6-ми классами может быть связано с организацией обучения чтению в младшем возрасте в российской системе образования. Российские четвероклассники стабильно показывают очень высокие результаты по читательской грамотности в PIRLS22 — они в этом исследовании всегда в лидерах, а в 2016 г. Россия заняла первое место. Однако результаты российских 15-летних учащихся школы по той же читательской грамотности в PISA гораздо хуже: лучший результат был в 2015 г., и это 19-30-е места в международном рейтинге, а в остальные годы дела обстояли еще хуже [Адамович и др., 2019]. В начальной школе ребенок учится чтению для обучения и для получения литературного опыта, опыта эстетического переживания и познания мира с помощью художественных тестов (таковы основные цели чтения, заявленные в исследовании PIRLS). И здесь ему в значительной степени помогает семья (всего 1% родителей отвечают, что не обучали ребенка чтению до шко-
21 https://www.mckinsey.com/industries/public-and-social-sector/our-insights/ covid-19-and-education-the-lingenng-effects-of-unfinished-learning?cid=-soc-twi-mip-mck-oth-2107--&sid=5229869053&linkId=125555357#
22 https://ioe.hse.ru/lepa/news/212696860.html
лы23) и опыт самостоятельного чтения, которое все еще остается культурной ценностью и неотъемлемой частью нормально проживаемого детства в картине мира российских родителей. Основная же школа должна научить читать «для жизни», т.е. сопоставлять позиции и тезисы авторов, выявлять противоречия, скрытые авторские цели, оценивать достоверность информации, работать с текстами из разных областей, имеющими свою специфику, использовать информацию из текста в ситуациях, напрямую не связанных с описанными в тексте. Об этих читательских умениях в обществе говорят меньше, семья их развитие, как правило, своей задачей не считает, а стихийно они формируются у относительно небольшого круга учеников. Поэтому в развитии этих навыков роль школы существенно возрастает.
Совсем иначе обстоят дела с естественнонаучной грамотностью учащихся 8-х классов. Даже с учетом описанных нами ограничений потери на уровне 0,87 Бй — это очень много. Ни в одном из рассмотренных в обзоре исследований, а также ни в одном из других отчетов24 не зафиксировано эффектов такого масштаба. Сопоставимые потери (до 0,82 Бй) выявлены только в математической грамотности школьников в Мексике [Неу1а et а1., 2022]. Исследований, посвященных именно естественнонаучной грамотности, пока совсем мало — есть, например, из Великобритании, но в нем потери гораздо менее существенны^5. Если предположить, что полученные нами данные валидны, то интерпретировать их довольно сложно. Скорее всего, это кумулятивный эффект всех факторов сразу — школьники из РФ никогда не показывали высоких результатов по естественнонаучной грамотности в международных сравнительных исследованиях (характеристика системы образования); восьмиклассники провели очень много времени на дистанте и вышли из него перед самым тестированием; заниматься по предметам естественнонаучного цикла в домашних условиях гораздо сложнее, чем поддерживать навыки чтения, — в первую очередь из-за отсутствия доступа к лабораторному оборудованию и необходимым инструментам для выполнения практических заданий.
Общемировой тренд возрастания образовательного неравенства из-за пандемии на наших данных не подтверждается. Результаты учащихся из классов с разной социально-экономи-
23 https://ioe.hse.ru/lepa/news/212696860.html
24 https://educationendowmentfoundation.org.uk/guidance-for-teachers/co-vid-19-resources/best-evidence-on-impact-of-covid-19-on-pupil-attainment
25 https://gl-assessment.co.uk/media/352700/30443-gl-assessment-analysis-re-port-final.pdf
ческой композицией сильно различаются, но этот разрыв не увеличивается в период пандемии. Во-первых, функциональная грамотность учащихся в 6-х и 8-х классах с разной социально-экономической композицией в нашем исследовании снижается приблизительно одинаково, возможно, потому, что в нем участвуют учащиеся только одного из регионов России, и они гораздо более гомогенны по социально-экономическому статусу, чем школьники разных регионов России. Во-вторых, эффект социально-экономической композиции мог быть не таким значительным из-за общего низкого уровня готовности школ к использованию цифровых инструментов в образовательном процессе: не готовы оказались все одинаково. В-третьих, возможно, само по себе наличие очного обучения несильно сокращало неравенство среди учащихся, т.е. школа не была успешной в роли института, способствующего преодолению социального неравенства. Выпадение образовательной организации из активного взаимодействия со школьниками к росту неравенства между различающимися по уровню благосостояния группами учащихся в итоге не привело.
Данные относительно эффектов пандемии для групп слабых и сильных учащихся противоречивы. Самые большие потери в естественнонаучной грамотности зафиксированы у восьмиклассников с самыми низкими академическими результатами — более 2,5 года обучения, а у наиболее успешных учащихся эти потери равны 1,7 года. Исследования, проведенные в других системах образования, также выявили более значимое снижение результатов у отстающих учеников [Kim et al., 2021; Storey, Zhang, 2021]. Некоторые авторы считают, что у учеников с низкой успеваемостью в наибольшей степени сократилось время организованного обучения и при отсутствии должной поддержки со стороны школы и родителей они наименее эффективно заменили его не столь полезной деятельностью [Grewenig et al., 2021]. Однако среди шестиклассников в нашем исследовании наибольшее снижение показателей читательской грамотности, наоборот, оказалось характерно для самых сильных учащихся. Разнонаправленные тенденции, выявленные в реакциях на пандемию шестиклассников и восьмиклассников, могут быть связаны как со спецификой тестируемых предметных областей, так и с возрастными различиями школьников. Но сама идея, что пандемия может особенно сильно ударить по успешным школьникам, уже звучит в отдельных научных работах26.
26 https://www.smh.com.au/national/for-high-achievers-the-pandemic-could-be-a-tipping-point-20200505-p54q2o.html
Уменьшение гетерогенности результатов, т.е. разрыва между баллами сильных и слабых школьников, в 6-х классах в связи с пандемией, скорее всего, говорит о том, что в части читательской грамотности эффект очного обучения гораздо больше выражен для мотивированных и сильных учеников, и из-за этого, когда школы закрываются на дистант, они теряют больше, чем посредственные учащиеся. В показателях естественнонаучной грамотности в 8-х классах гетерогенность результатов, напротив, увеличивается, разрыв между сильными и слабыми усиливается: в данной предметной области очное обучение, видимо, больше всего требуется наименее успевающим детям. Без него на дистанте они теряют гораздо больше успевающих учащихся.
В проведенном исследовании не выявлено связи наличия у учителя возможности проводить онлайн-уроки с меньшими потерями в результатах тестирований в 2021 г. Готовность российских учителей в целом к резкому переходу на обучение с использованием цифровых средств приходится признать недостаточной: по данным одного из опросов, при переходе к дистанционному обучению с проблемами столкнулись 80% учи-телей27. Даже если технологически возможность проводить онлайн-уроки была обеспечена, учителя сталкивались с множеством проблем: нехваткой устройств у детей, отсутствием опыта работы онлайн, недостатком методической помощи в работе с цифровыми инструментами. Вероятно, именно поэтому наличие возможности вести занятия дистанционно в кризисной ситуации оказалось не столь важным фактором снижения потерь в уровне грамотности. Ключевую роль могли сыграть именно навыки работы в дистанционном режиме, которые мало кто успел освоить.
Итак, есть ли основания для алармистских настроений, которые выражали исследователи образования2® и практики в начале пандемии? Судя по результатам проведенного исследования, четвероклассники не понесли потерь в обучении из-за пандемии, а для шестиклассников потери в чтении оказались немного больше, чем средние по результатам других исследований. С другой стороны, уровень естественнонаучной грамотности учащихся 8-х классов в 2021 г. оказался сильно ниже, чем в 2019 г. Однако состояние естественнонаучного образования в России оставляло желать лучшего и прежде. На этот счет стоило беспокоиться еще до начала пандемии.
Свидетельств предсказанного ранее катастрофического снижения качества образования у наименее благополучных
27 https://maximumeducation.com/news/survey_teachers%20
28 https://publications.hse.ru/view/384257919
детей в данном исследовании не получено. Можно ли на этом основании игнорировать имевшиеся и до пандемии проявления образовательного неравенства — ограниченность доступа к базовым ресурсам, необходимым для обучения, характерную для большой части российских детей? Нет, даже вне контекста пандемии необходимы новые меры поддержки учащихся в целях компенсации неравенства: адресные каникулярные и летние школы, усиленные программы работы с детьми из групп риска, массовые государственные программы тьюторинга для наименее обеспеченных семей.
Возможно, главным уроком пандемии для российской системы образования и политиков должно стать отсутствие возможности оценить эффекты пандемии для подавляющей части страны. Причина проста: в России нет национальных мониторинговых исследований, позволяющих стабильно оценивать прогресс базовых навыков учащихся на разных этапах школьного обучения. Наличие такой системы позволило бы не только валидно и надежно оценивать эффекты пандемии, но и выстраивать образовательную политику с опорой на прозрачные и интерпретируемые данные.
Исследование осуществлено в рамках Программы фундаментальных исследований НИУ ВШЭ в 2021 г.
Авторы выражают благодарность за помощь в проведении исследования С.В. Семенову и И.В. Антипкиной.
Литература 1. Адамович К.А., Капуза А.В., Захаров А.Б., Фрумин И.Д. (2019) Основные результаты российских учащихся в международном исследовании читательской, математической и естественнонаучной грамотности PISA-2018 и их интерпретация. М.: НИУ ВШЭ. https://ioe.hse.ru/ data/2019/12/23/1525056145/ФО 2(25) 2019 электронный.pdf
2. Заир-Бек С.И., Мерцалова Т.А., Анчиков К.М. (2020) Готовность российских школ и семей к обучению в условиях карантина: оценка базовых показателей. М.: НИУ ВШЭ.
3. Карданова Е.Ю., Нейман Ю.М. (2003) Проблема выравнивания в современной теории тестирования // Вопросы тестирования в образовании. № 8. С. 21-40.
4. Керша Ю.Д. (2020) Социально-экономическая композиция школы как фактор воспроизводства неравенства в образовании // Вопросы образования/Educational Studies Moscow. № 4. С. 85-112. doi:10.17323/1814-9545-2020-4-85-112
5. Косарецкий С.Г., Звягинцев Р.С., Керша Ю.Д., Фрумин И.Д. и др. (2020) Прогнозируемые потери для школьного образования из-за пандемии COVID-19: оценки и поиск способов компенсации. М.: НИУ ВШЭ.
6. Мерцалова Т., Заир-Бек С., Анчиков К., Сенина Н. (2021) Школы против пандемии: эффекты школьного образования // В.А. Болотов, Т.А. Мерцалова (ред.) Оценка качества образования в условиях дистанционного
обучения: опыт проживания пандемии системами школьного образования стран постсоветского пространства. М.: Алекс. С. 111-125.
7. Нейман Ю.М., Хлебников В.А. (2000) Введение в теорию моделирования и параметризации педагогических тестов. М.: Центр тестирования МО РФ.
8. Azevedo J.P., Hasan A., Goldemberg D., Iqbal S.A., Geven K. (2020) Simulating the Potential Impacts of COVID-19 School Closures on Schooling and Learning Outcomes. World Bank Group Policy Research Working Paper No 9284. https://openknowledge.worldbank.org/bitstream/handle/10986/33945/Simu-lating-the-Potential-Impacts-of-COVID-19-School-Closures-on-Schooling-and-Learning-Outcomes-A-Set-of-Global-Estimates.pdf?sequence=1
9. Cooc N. (2019) Teaching Students with Special Needs: International Trends in School Capacity and the Need for Teacher Professional Development // Teaching and Teacher Education. Vol. 83. No 1. P. 27-41. doi:10.1016/j. tate.2019.03.021
10. DeMatthews D., Knight D., Reyes P., Benedict A., Callahan R. (2020) From the Field: Education Research During a Pandemic // Educational Researcher. Vol. 49. No 6. Art. No 0013189X2093876. doi:10.3102/0013189X20938761
11. Engzell P., Frey A., Verhagen M.D. (2021) Learning Loss due to School Closures during the COVID-19 Pandemic // Proceedings of the National Academy of Sciences. Vol. 118. Iss. 17. Art. No e2022376118. doi:10.1073/pnas.2022376118
12. Fothergill A., Peek L.A. (2004) Poverty and Disasters in the United States: A Review of Recent Sociological Findings // Natural Hazards. Vol. 32. No 1. P. 89-110. doi:10.1023/B:NHAZ.0000026792.76181.d9
13. Gao L.X., Zhang L.J. (2020) Teacher Learning in Difficult Times: Examining Foreign Language Teachers' Cognitions about Online Teaching to Tide over COVID-19 // Frontiers in Psychology. Vol. 11. September. Art. No 549653. doi:10.3389/fpsyg.2020.549653
14. Gershenson S., Tekin E. (2018) The Effect of Community Traumatic Events on Student Achievement: Evidence from the Beltway Sniper Attacks // Education Finance and Policy. Vol. 13. No 4. P. 513-544. doi:10.1162/EDFP_a_00234
15. Ghosh R., Dubey M.J., Chatterjee S., Dubey S. (2020) Impact of COVID-19 on Children: Special Focus on the Psychosocial Aspect // Minerva Pediatrica. Vol. 72. Iss. 3. P. 226-235. doi:10.23736/S0026-4946.20.05887-9
16. Goodman J. (2014) Flaking Out: Student Absences and Snow Days as Disruptions of Instructional Time. NBER Working Paper No 20221. Cambridge, MA: National Bureau of Economic Research. doi:10.3386/w20221
17. Grewenig E., Lergetporer P., Werner K., Woessmann L., Zierow L. (2021) COVID-19 and Educational Inequality: How School Closures Affect Low-and High-Achieving Students // European Economic Review. Vol. 140. No 3. Art. No 103920. doi:10.1016/j.euroecorev.2021.103920
18. Hammerstein S., König C., Dreisörner T., Frey A. (2021) Effects of COVID-19-Re-lated School Closures on Student Achievement-A Systematic Review // Frontiers in Psychology. Vol. 12. September. Art. No 746289. doi:10.3389/ fpsyg.2021.746289
19. Hanushek E.A., Woessmann L. (2020) The Economic Impacts of Learning Losses. OECD Education Working Papers No 225. https://www.oecd.org/ed-ucation/The-economic-impacts-of-coronavirus-covid-19-learning-losses.pdf
20. Hattie J. (2015) What Doesn't Work in Education: The Politics of Distraction. London: Pearson.
21. Hevia F.J., Vergara-Lope S., Velásquez-Durán A., Calderón D. (2022) Estimation of the Fundamental Learning Loss and Learning Poverty Related to COVID-19 Pandemic in Mexico // International Journal of Educational Development. Vol. 88. Art. No 102515. doi:10.1016/j.ijedudev.2021.102515
22. Hox J.J. (2010) Multilevel Analysis: Techniques and Applications. New York, NY: Routledge.
23. Kelmendi F., Gresham J., Iqbal S.A. (2020) The Economic and Social Impact of COVID-19: Education. Western Balkans Regular Economic Report No 17. https://documents1.worldbank.org/curated/en/590751590682058272/pdf/ The-Economic-and-Social-Impact-of-COVID-19-Education.pdf
24. Kim D.H., Lee H.J., Lin Y., Kang Y.J. (2021) Changes in Academic Performance in the Online, Integrated System-Based Curriculum Implemented due to the COVID-19 Pandemic in a Medical School in Korea // Journal of Educational Evaluation for Health Professions. Vol. 18. Art. No 24. doi:10.3352/jeehp.2021.18.24
25. Kosaretsky S., Zair-Bek S., Kersha Y., Zvyagintse R. (2022) General Education in Russia during COVID-19: Readiness, Policy Response, and Lessons Learned // F.M. Reimers (ed.) Primary and Secondary Education during COVID-19. Disruptions to Educational Opportunity during a Pandemic. Cham, Switzerland: Springer. P. 227-261.
26. Kuhfeld M., Tarasawa B. (2020) The COVID-19 Slide: What Summer Learning Loss Can Tell Us about the Potential Impact of School Closures on Student Academic Achievement. https://www.nwea.org/content/uploads/2020/05/ Collaborative-Brief_Covid19-Slide-APR20.pdf
27. Lin M., Lucas H., Shmueli G. (2013) Too Big to Fail: Large Samples and the p-Value Problem // Information Systems Research. Vol. 24. No 4. P. 906-917. doi:10.1287/isre.2013.0480
28. Maldonado J.E., De Witte K. (2021) The Effect of School Closures on Standardised Student Test Outcomes. Leuven: KU Leuven, Department of Economics.
29. Marcotte D.E., Hemelt S.W. (2008) Unscheduled School Closings and Student Performance // Education Finance and Policy. Vol. 3. No 3. P. 316-338. doi:10.1162/edfp.2008.3.3.316
30. Murnane R.J., Willett J.B. (2010) Methods Matter: Improving Causal Inference in Educational and Social Science Research. Oxford: Oxford University.
31. Patrick S.W., Henkhaus L.E., Zickafoose J.S., Lovell K. et al. (2020) Well-Being of Parents and Children during the COVID-19 Pandemic: A National Survey // Pediatrics. Vol. 146. No 4. Art. No e2020016824. doi:10.1542/peds.2020-016824
32. Psacharopoulos G., Collis V., Patrinos H.A., Vegas E. (2021) The COVID-19 Cost of School Closures in Earnings and Income across the World // Comparative Education Review. Vol. 65. No 2. P. 271-287. doi:10.1086/713540
33. Sapkota J.B., Neupane P. (2021) The Academic Impacts of 2015 Nepal Earthquake: Evidence from Two Secondary Schools in Sindhupalchok District // Education Sciences. Vol. 11. Art. No 371. doi:10.3390/educsci11080371
34. Sirin S.R. (2005) Socioeconomic Status and Academic Achievement: A Me-ta-Analytic Review of Research // Review of Educational Research. Vol. 75. No 3. P. 417-453. doi:10.3102/00346543075003417
35. Stern M.J., Adams A.E., Elsasser S. (2009) Digital Inequality and Place: The Effects of Technological Diffusion on Internet Proficiency and Usage across Rural, Suburban, and Urban Counties // Sociological Inquiry. Vol. 79. No 4. P. 391-417. doi:10.1111/j.1475-682X.2009.00302.x
36. Storey N., Zhang Q. (2021) A Meta-Analysis of COVID Learning Loss. doi:10.35542/osf.io/qekw2
37. Thamtanajit K. (2020) The Impacts of Natural Disaster on Student Achievement: Evidence from Severe Floods in Thailand // The Journal of Developing Areas. Vol. 54. No 4. P. 129-143. doi:10.1353/jda.2020.0042
38. Tomasik M.J., Helbling L.A., Moser U. (2021) Educational Gains of In-Person vs Distance Learning in Primary and Secondary Schools: A Natural Experiment
during the COVID-19 Pandemic School Closures in Switzerland // International Journal of Psychology. Vol. 56. No 4. P. 566-576. doi:10.1002/ijop.12728
39. Wright B.D., Stone M.N. (1979) Best Test Design. Rasch Measurement. Chicago: Mesa.
40. Yu C.H. (2002) Resampling Methods: Concepts, Applications, and Justification // Practical Assessment, Research, and Evaluation. Vol. 8. No 1. doi:10.7275/9CMS-MY97
References Adamovich K., Kapuza A., Zakharov A., Froumin I. (2019) Osnovnye rezultaty rossiys-kikh uchashchikhsya v mezhdunarodnom issledovanii chitatel'skoy, matematich-eskoy i estestvennonauchnoy gramotnosti PISA-2018 i ikh interpretatsiya [Russia Results in Math, Reading, and Science in PISA 2018 and What They Say about Education in the Country]. Moscow: HSE. Available at: https://ioe.hse. ru/data/2019/12/23/1525056145/$0 2(25) 2019 эпектроннblM.pdf (accessed 22 January 2022).
Azevedo J.P., Hasan A., Goldemberg D., Iqbal S.A., Geven K. (2020) Simulating the Potential Impacts of COVID-19 School Closures on Schooling and Learning Outcomes. World Bank Group Policy Research Working Paper no 9284. Available at: https:// openknowledge.worldbank.org/bitstream/handle/10986/33945/Simulating-the-Potential-Impacts-of-COVID-19-School-Closures-on-Schooling-and-Learning-Out-comes-A-Set-of-Global-Estimates.pdf?sequence=1 (accessed 22 January 2022). Cooc N. (2019) Teaching Students with Special Needs: International Trends in School Capacity and the Need for Teacher Professional Development. Teaching and Teacher Education, vol. 83, no 1, pp. 27-41. doi:10.1016/j.tate.2019.03.021 DeMatthews D., Knight D., Reyes P., Benedict A., Callahan R. (2020) From the Field: Education Research During a Pandemic. Educational Researcher, vol. 49, no 6, art. no 0013189X2093876. doi:10.3102/0013189X20938761 Engzell P., Frey A., Verhagen M.D. (2021) Learning Loss due to School Closures during the COVID-19 Pandemic. Proceedings of the National Academy of Sciences, vol. 118, iss. 17, art. no e2022376118. doi:10.1073/pnas.2022376118 Fothergill A., Peek L.A. (2004) Poverty and Disasters in the United States: A Review of Recent Sociological Findings. Natural Hazards, vol. 32, no 1, pp. 89110. doi:10.1023/B:NHAZ.0000026792.76181.d9 Gao L.X., Zhang L.J. (2020) Teacher Learning in Difficult Times: Examining Foreign Language Teachers' Cognitions about Online Teaching to Tide over COVID-19. Frontiers in Psychology, vol. 11, September, art. no 549653. doi:10.3389/ fpsyg.2020.549653
Gershenson S., Tekin E. (2018) The Effect of Community Traumatic Events on Student Achievement: Evidence from the Beltway Sniper Attacks. Education Finance and Policy, vol. 13, no 4, pp. 513-544. doi:10.1162/EDFP_a_00234 Ghosh R., Dubey M.J., Chatterjee S., Dubey S. (2020) Impact of COVID-19 on Children: Special Focus on the Psychosocial Aspect. Minerva Pediatrica, vol. 72, iss. 3, pp. 226-235. doi:10.23736/S0026-4946.20.05887-9 Goodman J. (2014) Flaking Out: Student Absences and Snow Days as Disruptions of Instructional Time. NBER Working Paper no 20221. Cambridge, MA: National Bureau of Economic Research. doi:10.3386/w20221 Grewenig E., Lergetporer P., Werner K., Woessmann L., Zierow L. (2021) COVID-19 and Educational Inequality: How School Closures Affect Low-and High-Achieving Students. European Economic Review, vol. 140, no 3, art. no 103920. doi:10.1016/j.euroecorev.2021.103920 Hammerstein S., König C., Dreisörner T., Frey A. (2021) Effects of COVID-19-Relat-ed School Closures on Student Achievement-A Systematic Review. Frontiers in Psychology, vol. 12, September, art. no 746289. doi:10.3389/fpsyg.2021.746289
Hanushek E.A., Woessmann L. (2020) The Economic Impacts of Learning Losses. OECD Education Working Papers no 225. Available at: https://www.oecd.org/ed-ucation/The-economic-impacts-of-coronavirus-covid-19-learning-losses.pdf (accessed 22 January 2022).
Hattie J. (2015) What Doesn't Work in Education: The Politics of Distraction. London: Pearson.
Hevia F.J., Vergara-Lope S., Velásquez-Durán A., Calderón D. (2022) Estimation of the Fundamental Learning Loss and Learning Poverty Related to COVID-19 Pandemic in Mexico. International Journal of Educational Development, vol. 88, art. no 102515. doi:10.1016/j.ijedudev.2021.102515
Hox J.J. (2010) Multilevel Analysis: Techniques and Applications. New York, NY: Rout-ledge.
Kardanova E.Yu., Neiman Yu.M. (2003) Problema vyravnivaniya v sovremennoy te-orii testirovaniya [The Problem of Alignment in Modern Testing Theory]. Vo-prosy testirovaniya v obrazovanii, no 8, pp. 21-40.
Kelmendi F., Gresham J., Iqbal S.A. (2020) The Economic and Social Impact of COVID-19: Education. Western Balkans Regular Economic Report no 17. Available at: https://documents1.worldbank.org/curated/en/590751590682058272/ pdf/The-Economic-and-Social-Impact-of-COVID-19-Education.pdf (accessed 22 January 2022).
Kersha Y. (2020) Sotsial'no-ekonomicheskaya kompozitsiya shkoly kak faktor vosproizvodstva neravenstva v obrazovanii [School Socioeconomic Composition as a Factor of Educational Inequality Reproduction]. Voprosy obrazo-vaniya/Educational Studies Moscow, no 4, pp. 85-112. doi:10.17323/1814-9545-2020-4-85-112
Kim D.H., Lee H.J., Lin Y., Kang Y.J. (2021) Changes in Academic Performance in the Online, Integrated System-Based Curriculum Implemented due to the COVID-19 Pandemic in a Medical School in Korea. Journal of Educational Evaluation for Health Professions, vol. 18, art. no 24. doi:10.3352/jeehp.2021.18.24
Kosaretsky S., Zair-Bek S., Kersha Y., Zvyagintse R. (2022) General Education in Russia during COVID-19: Readiness, Policy Response, and Lessons Learned. Primary and Secondary Education during COVID-19. Disruptions to Educational Opportunity during a Pandemic (ed. F.M. Reimers), Cham, Switzerland: Springer, pp. 227-261.
Kosaretsky S.G., Zvyagintsev R.S., Kersha Yu.D., Froumin I.D. et al. (2020) Progno-ziruemye poteri dlya shkol'nogo obrazovaniya iz-za pandemii COVID-19: otsenki i poisk sposobov kompensatsii [The COVID-19 Pandemic Losses for Education: Forecasts and Search for Ways of Compensation]. Moscow: HSE.
Kuhfeld M., Tarasawa B. (2020) The COVID-19 Slide: What Summer Learning Loss Can Tell Us about the Potential Impact of School Closures on Student Academic Achievement. Available at: https://www.nwea.org/content/uploads/2020/05/ Collaborative-Brief_Covid19-Slide-APR20.pdf (accessed 22 January 2022).
Lin M., Lucas H., Shmueli G. (2013) Too Big to Fail: Large Samples and the p-Value Problem. Information Systems Research, vol. 24, no 4, pp. 906-917. doi:10.1287/ isre.2013.0480
Maldonado J.E., De Witte K. (2021) The Effect of School Closures on Standardised Student Test Outcomes. Leuven: KU Leuven, Department of Economics.
Marcotte D.E., Hemelt S.W. (2008) Unscheduled School Closings and Student Performance. Education Finance and Policy, vol. 3, no 3, pp. 316-338. doi:10.1162/ edfp.2008.3.3.316
Mertsalova T., Zair-Bek S., Anchikov K., Senina N. (2021) Shkoly protiv pandemii: ef-fekty shkol'nogo obrazovaniya [Schools against the Pandemic: The Effects of School Education]. Otsenka kachestva obrazovaniya v usloviyakh distantsionno-go obucheniya: opyt prozhivaniya pandemii sistemami shkol'nogo obrazovaniya
stran postsovetskogo prostranstva [Assessment of the Quality of Education in the Conditions of Distance Learning: The Experience of Living with the Pandemic by the School Education Systems of the Post-Soviet Countries] (eds V.A. Bolotov, T.A. Mertsalova), Moscow: Aleks, pp. 111-125. Murnane R.J., Willett J.B. (2010) Methods Matter: Improving Causal Inference in Educational and Social Science Research. Oxford: Oxford University. Neiman Yu.M., Khlebnikov V.A. (2000) Vvedenie v teoriyu modelirovaniya i parame-trizatsii pedagogicheskikh testov [Introduction to the Theory of Modeling and Parametrization of Pedagogical Tests]. Moscow: Testing Center of the Ministry of Education of the Russian Federation. Patrick S.W., Henkhaus L.E., Zickafoose J.S., Lovell K. et al. (2020) Well-Being of Parents and Children during the COVID-19 Pandemic: A National Survey. Pediatrics, vol. 146, no 4, art. no e2020016824. doi:10.1542/peds.2020-016824 Psacharopoulos G., Collis V., Patrinos H.A., Vegas E. (2021) The COVID-19 Cost of School Closures in Earnings and Income across the World. Comparative Education Review, vol. 65, no 2, pp. 271-287. doi:10.1086/713540 Sapkota J.B., Neupane P. (2021) The Academic Impacts of 2015 Nepal Earthquake: Evidence from Two Secondary Schools in Sindhupalchok District. Education Sciences, vol. 11, art. no 371. doi:10.3390/educsci11080371 Sirin S.R. (2005) Socioeconomic Status and Academic Achievement: A Meta-Ana-lytic Review of Research. Review of Educational Research, vol. 75, no 3, pp. 417453. doi:10.3102/00346543075003417 Stern M.J., Adams A.E., Elsasser S. (2009) Digital Inequality and Place: The Effects of Technological Diffusion on Internet Proficiency and Usage across Rural, Suburban, and Urban Counties. Sociological Inquiry, vol. 79, no 4, pp. 391417. doi:10.1111/j.1475-682X.2009.00302.x Storey N., Zhang Q. (2021) A Meta-Analysis of COVID Learning Loss. doi:10.35542/ osf.io/qekw2
Thamtanajit K. (2020) The Impacts of Natural Disaster on Student Achievement: Evidence from Severe Floods in Thailand. The Journal of Developing Areas, vol. 54, no 4, pp. 129-143. doi:10.1353/jda.2020.0042 Tomasik M.J., Helbling L.A., Moser U. (2021) Educational Gains of In-Person vs Distance Learning in Primary and Secondary Schools: A Natural Experiment during the COVID-19 Pandemic School Closures in Switzerland. International Journal of Psychology, vol. 56, no 4, pp. 566-576. doi:10.1002/ijop.12728 Wright B.D., Stone M.N. (1979) Best Test Design. Rasch Measurement. Chicago: Mesa. Yu C.H. (2002) Resampling Methods: Concepts, Applications, and Justification. Practical Assessment, Research, and Evaluation, vol. 8, no 1. doi:10.7275/9CMS-MY97
Zair-Bek S., Mertsalova T., Anchikov K. (2020) Gotovnost' rossiyskikh shkol i semey k obucheniyu v usloviyakh karantina: otsenka bazovykh pokazateley [Readiness of Russian Schools and Families for Teaching and Learning under Quarantine: Evaluation of Basic Indicators]. Moscow: HSE.
