CC BY
410
ИСПОЛЬЗОВАНИЕ НАЦИОНАЛЬНОГО ИНСТРУМЕНТАРИЯ ПО ФОРМИРОВАНИЮ ФУНКЦИОНАЛЬНОЙ ГРАМОТНОСТИ В ШКОЛЬНОЙ ПРАКТИКЕ
УДК 373
ПРОБЛЕМЫ ОЦЕНКИ И ФОРМИРОВАНИЯ ФУНКЦИОНАЛЬНОЙ ЧИТАТЕЛЬСКОЙ ГРАМОТНОСТИ УЧЕНИКОВ ОСНОВНОЙ ШКОЛЫ
Статья посвящена описанию подходов к оцениванию читательской грамотности как компонента функциональной грамотности в контексте международного исследования PISA и сложившейся практики разработки измерительных материалов в рамках проведения мони-торингов читательской грамотности в России. Авторы характеризуют изменения, появившиеся при разработке инструментария для оценки читательских умений школьников. В статье анализируются результаты проведенной в одном из российских регионов диагностики читательской грамотности как одного из компонентов функциональной грамотности учащихся 8-х и 9-х классов, приводятся примеры заданий, особое внимание уделено анализу результатов по четырем группам читательских умений.
На основе полученных результатов авторы делают предварительные выводы о возможных изменениях в образовательном процессе, которые будут способствовать повышению уровня читательской грамотности учащихся основной школы, при этом подчеркивают необходимость широкого обсуждения выявленных проблем в научно-педагогическом сообществе.
Ключевые слова: читательская грамотность, функциональная грамотность, образовательный процесс, практика оценки, ученики основной школы.
Как цитировать статью: Гостева Ю. Н., Кузнецова М. И., Рябинина Л. А., Сидорова Г. А., Чабан Т. Ю. Проблемы оценки и формирования функциональной читательской грамотности учеников основной школы // Отечественная и зарубежная педагогика. 2020. Т. 2, № 2 (70). С. 155-180.
Ю. Н. Гостева
Старший научный сотрудник лаборатории филологического общего образования ФГБНУ «Институт стратегии развития образования Российской академии образования», г. Москва E-mail: [email protected]
Yulia N. Gosteva
Senior Researcher in the Philological General Education Laboratory, the Institute for Strategy of Education Development of the Russian Academy of Education, Moscow, Russia
М. И. Кузнецова
Ведущий научный сотрудник лаборатории начального общего образования ФГБНУ «Институт стратегии развития образования Российской академии образования», г. Москва E-mail: [email protected]
Marina I. Kuznetsova
Leading Researcher in the Primary General Education Laboratory, the Institute for Strategy of Education Development of the Russian Academy of Education, Moscow, Russia
Л. А. Рябинина
Заместитель директора по аналитической и методической работе КГКСУ «Центр оценки качества образования», г. Красноярск
E-mail: [email protected]
Lyubov A. Ryabinina
Deputy Director for Analytical and Methodological Work, Education Quality Assessment Centre, Krasnoyarsk, Russia
Г. А. Сидорова
Старший научный сотрудник Центра оценки качества образования ФГБНУ «Институт стратегии развития образования Российской академии образования», г. Москва E-mail: [email protected]
Galina. A. Sidorova
Senior Researcher at the Education Quality Assessment Centre, the Institute for Strategy of Education Development of the Russian Academy of Education, Moscow, Russia
Введение
Вопросы формирования и оценки функциональной грамотности учащихся продолжают оставаться в центре внимания научно-педагогической общественности. При важности каждого компонента функциональной грамотности уже признано, что читательская грамотность имеет особую значимость. Сегодня всем очевидно, что уровень владения читательской грамотностью во многом определяет успешность современного человека в социуме, степень самореализации. При этом в общественном сознании продолжает сохраняться тревожность по поводу того, что современные школьники недостаточно читают как научные, научно-популярные, так и художественные, публицистические тексты, важные для приобщения к знаниям, духовно-нравственными ценностям, языку и культуре, не владеют навыками смыслового анализа текстов, не используют текстовый потенциал для решения практических задач. Международное исследование PISA обозначило ряд проблем, связанных с формированием функциональной читательской грамотности, в том числе зафиксирован недостаточный уровень в области понимания текстов и применения информации текста для решения практических задач. Результаты проведенной в одном из российских регионов диагностической работы, оценивающей читательскую грамотность, подтвердили, что у учащихся основной школы в овладении навыками чтения текстов разных типов, структуры и назначения существуют серьезные проблемы. Полученные при проведении диагностической работы результаты позволили не только уточнить перечень дефицитных умений в области читательской грамотности, но и создать стандартизированные материалы, применимые как в процедурах диагностики читательских умений,
так и в образовательном процессе, ориентированном на формирование читательской грамотности.
Постановка проблемы
На фоне продолжающегося несколько лет диалога о том, что изменилось в читательской грамотности современного школьника и как в связи с этим должен перестраиваться образовательный процесс [5; 6; 7; 8; 9; 15; 16; 18], опубликованные в декабре 2019 года результаты международного сравнительного исследования PISA-2018 заставили еще большее количество специалистов задуматься о содержании и структуре читательской грамотности, в том числе при использовании электронного формата чтения. В исследовании PISA-2018 пятнадцатилетние учащиеся все задания выполняли на компьютере, при этом читательская грамотность была в этом цикле приоритетной областью исследования. Уже первые публикации [11; 17; 20; 21; 22; 23; 24] обозначили широкий круг проблем, связанных с навыками чтения электронных текстов, поиском необходимой информации в тексте, интерпретацией, оценкой и уровнем применимости полученной информации для решения практических задач, что актуализировало необходимость проведения дальнейших исследований в области диагностики, формирования и оценки читательской грамотности. В данной статье представлены результаты проведенной весной 2020 года региональной диагностики читательской грамотности учащихся восьмых и девятых классов одного из регионов России. Читательская грамотность была одним из объектов оценивания наряду с другими компонентами функциональной грамотности.
Т. Ю. Чабан
Начальник отдела мониторинга качества образования КГКСУ «Центр оценки качества образования», г. Красноярск E-mail: [email protected]
Tatyana. Yu. Chaban
Head of the Education Quality Monitoring Department, Education Quality Assessment Centre, Krasnoyarsk, Russia
Методология и методы исследования
Инструментарий оценивания читательской гра-
мотности в данной диагностике разработан в рамках Концепции оценки образовательных достижений учащихся РКА-2018 [19], теоретических исследований Г. А. Цукерман, отраженных в документе «Оценка читательской грамотности. Материалы к обсуждению» [14] и подходов к оцениванию функциональной читательской грамотности, предлагаемых разработчиками измерительных материалов [2; 3; 12; 13].
При сохранении разработанных ранее концептуальных подходов к оцениванию читательской грамотности в содержании и процедуре диагностики весной 2020 года была ярко выраженная специфика, связанная не только с анализом реально полученных результатов выполненных читательских задач, но и с аналитической работой по уточнению понятийного аппарата, дидактических аспектов. Был уточнен перечень читательских умений, входящих в выделенные ранее четыре группы читательских умений. Необходимость корректировки этого перечня была вызвана несколькими причинами. Назовем некоторые из этих причин: появление новых типов текстов и заданий, выполнение которых требует новых умений; целесообразность большей детализации и дробности ранее зафиксированных умений, что важно для проведения анализа результатов и выработки методических рекомендаций для педагогов; переосмысление некоторых понятий и формулировок, описывающих структуру читательских умений. Перечень уточненных умений представлен в Комментарии 1 к данной статье.
Диагностическая работа проводилась одновременно в параллелях учащихся 8-х и 9-х классов. В основу блоков заданий для обеих параллелей положены тексты, моделирующие основные ситуации чтения подростка и включающие разные типы текстов. Соблюдение общих теоретических подходов при создании инструментария позволяет проводить сравнение результатов восьмиклассников и девятиклассников, а использование в разных возрастных группах нескольких общих блоков заданий делает результаты сравнения более убедительными. Структура инструментария для оценки читательской грамотности с учетом ситуации чтения представлена в Таблице 1.
Таблица 1
Структура инструментария для оценки читательской грамотности с учетом ситуации чтения
Контекст (ситуация чтения) Доля заданий Доля заданий
в 8 классе в 9 классе
Чтение для личных целей (художествен- 23% 23%
ные тексты, личная переписка, посты
в социальных сетях, блоги, статистиче-
ские данные и т.п.)
Чтение для образования (научно-по- 21% 23%
пулярные и информационные статьи, инфографика, сообщения в чатах и фо-
румах, комментарии экспертов, данные
опросов и т.п.)
Чтение для общественных целей (статьи, информация разного рода о событиях общественного значения) 39% 30%
Чтение для деловых целей (официальные письма, объявления, фрагменты 12% 11%
статьи)
Множественный контекст (подборка тек- 5% 13%
стов, созданных для разных целей)
Результаты исследования
В работе приняли участие 57 933 ученика 8-го класса и 50 915 учеников 9-го класса. Работу учащиеся выполняли в онлайн-режиме, задания с развернутым ответом проверялись экспертами, задания с выбором ответа и с кратким ответом проверялись автоматически. Коротко охарактеризуем общие результаты. Средний процент выполнения работы в зависимости от варианта среди восьмиклассников — от 34,33% до 54,24%, среди девятиклассников — от 26,32% до 43,18%. Поскольку при проведении диагностики использовались как художественные, так и иные тексты, приведем средний процент выполнения заданий с учетом того, с каким текстом работали учащиеся (Таблица 2).
Таблица 2
Результаты выполнения заданий в зависимости от текста
Тип текста Средний процент выполнения
8 класс 9 класс
Художественный 44,65% 30,74%
Нехудожественный 43,65% 38,22%
Одна из гипотез при объяснении причин невысоких результатов российских пятнадцатилетних учащихся в исследовании PISA заключается в том, что педагоги-предметники основной школы не воспринимают читательскую грамотность как метапредметный результат обучения и не объединяют свои усилия в работе по достижению этого результата. Мы не опровергаем эту гипотезу, но полученные данные позволяют говорить о том, что проблема намного глубже. К сожалению, результаты работы с художественным текстом у восьмиклассников не лучше, а у девятиклассников даже хуже, это дает основание предположить, что существуют и другие причины низких результатов.
Важной составляющей читательской грамотности является цель чтения, более широкий жизненный контекст, в который встраивается чтение. В Таблице 3 приведены данные о среднем проценте выполнения заданий в зависимости от контекста.
Таблица 3
Результаты выполнения заданий в зависимости от контекста
(цели чтения)
Контекст (цели чтения) Средний процент выполнения
8 класс 9 класс
Личный 44,23% 36,23%
Общественный 45,38% 45,62%
Образовательный 46,52% 36,60%
Деловой 33,25% 39,59%
Множественный 39,94% 23,15%
Данные указывают на то, что практически отсутствует зависимость результатов от контекста, тем не менее можно зафиксировать некоторые тенденции, например: восьмиклассникам сложнее читать тексты, связанные с деловым контекстом; девятиклассники более успешны при чтении текстов, связанных с общественным контекстом.
Наиболее продуктивным для дальнейшего использования полученных данных в целях улучшения качества работы над читательской грамотностью представляется анализ результатов по читательским умениям (Таблица 4).
Таблица 4
Результаты освоения читательских умений по группам
Группы читательских умений Средний процент освоения
8 класс 9 класс
Находить и извлекать информацию 51,47% 45,56%
Интегрировать и интерпретировать информацию 44,33% 34,75%
Оценивать содержание и форму текста 39,41% 35,35%
Использовать информацию из текста 32,10% 32,43%
Как видим, результаты невысоки, тем не менее имеет смысл выделить умения и типы заданий, с которыми восьми- и девятиклассники справляются неплохо (среднее выполнение > 40%), и области проблем при выполнении заданий, где средний процент выполнения менее 20%. Перейдем к анализу читательских умений по выделенным группам.
Группа умений «Находить и извлекать информацию»
Как и другие группы умений, эта группа оценивалась с помощью заданий как к художественным, так и к информационным текстам. Восьмиклассники и девятиклассники одинаково успешно — процент выполнения не ниже 70% — справились с заданиями к обоим видам текста, если нужно было найти в тексте одну смысловую единицу и при этом в тексте не было никакой «конкурирующей» информации, то есть при выполнении задания перед учениками не стояла задача отличить запрашиваемую информацию от информации, обладающей некоторым сходством. Как только поиск предполагал различение нужной и ненужной, но похожей информации, наблюдалось снижение результатов. Эта тенденция наблюдается применительно к обоим видам текстов. Так, например, в одном из заданий к тексту «Антибиотики» читателям нужно было ответить на вопрос «Сколько процентов опрошенных людей из всех 12 стран, судя по данным опроса, не знают, какие болезни нельзя вылечить антибиотиками?». При этом в тексте были данные о результатах опроса в 12 странах и данные об опросе только в России. Около 27% девятиклассников и 30% восьмиклассников вместо необходимых данных привели данные российского опроса.
При выполнении другого задания к тексту «Антибиотики» нужно было написать, какие инфекции, кроме бактериальных, можно лечить антибиотиками. Чтобы дать правильный ответ, нужно было обратиться
к такому фрагменту текста: «Создав эти лекарства, человечество получило мощное оружие в борьбе с заболеваниями, вызванными бактериями и грибковыми инфекциями». Из предложения понятно, что антибиотики работают против бактериальных и грибковых инфекций, в вопросе есть указание на бактериальные, значит, нужно написать о грибковых. Такой ответ дали 52,5% восьмиклассников и 56% девятиклассников. Остальным читателям дать правильный ответ помешала имеющаяся в тексте информация либо о конкретных болезнях, вызываемых бактериями, либо информация о том, какие болезни не лечатся антибиотиками.
Похожие результаты получены на материале фрагмента художественного текста, который был предложен в одном из вариантов восьмиклассникам. В задании нужно было указать книгу, с которой у автора связано воспоминание о начале первого учебного года. При этом в разных частях текста упоминаются несколько книг, связанных с разными периодами жизни автора текста. Выполнить задание помогает такой фрагмент текста: «Дождаться не могла, когда же кончатся уроки. И летела со всех ног домой — там меня ждал „Таинственный остров" Жюля Верна... Так навсегда и связалась у меня первая школьная осень с захватывающим чтением толстого синего тома из тогдашней „Библиотеки приключений"». Правильно выполнили задание 51,6% учащихся. Остальные читатели либо не нашли место в тексте, где содержится необходимая для ответа на вопрос информация, и выписали название одной из упоминающихся в тексте книг («Записки Пиквикского клуба», «Приключения Тома Сойера», «Детство», «Отрочество», «Юность», «Преступление и наказание»), либо не смогли осуществить синонимическую замену фразе «начало первого учебного года» — «первая школьная осень».
В анализируемую группу входит также такое умение, как вычленить несколько единиц информации. Результаты показывают, что даже в ситуации, когда эти смысловые единицы расположены в одном тексте и достаточно близко друг от друга, читатели не всегда дают полный ответ. Приведем пример задания к художественному тексту: «Автор считает, что отрочество — это важный этап жизни, и приводит несколько доказательств. Опираясь на текст, запишите четыре доказательства». Ответ, в котором было приведено все четыре доказательства, оценивался 2 баллами, если были приведены только два или три доказательства — 1 баллом. Результаты выполнения задания следующие: 38% восьмиклассников получили 2 балла, 31% учащихся получили 1 балл, при этом
большинство таких учащихся верно приводили три доказательства и не смогли найти четвертое. Скорее всего, трудность при выполнении задания обусловлена тем, что три доказательства приводятся автором в одном абзаце, а четвертое доказательство — в следующем абзаце, и у читателей просто не хватило терпения и сосредоточенности найти четвертое доказательство.
Значительную сложность для читателей представляют задания, требующие поиска нескольких единиц информации при работе с инфографикой.
Приведем такой пример: «Устойчивые к антибиотикам бактерии могут попасть в организм человека через окружающую среду (воду, почву, воздух). Какими еще путями устойчивые к антибиотикам бактерии появляются в организме человека, если он сам не принимал антибиотики? Запишите ДВА других примера на основе информации, приведенной в листке 4.
УСТОЙЧИВОСТЬ И АНТИБИОТИКАМ КАК ОНА РАСПРОСТРАНЯЕТСЯ
Пациенты принимают антибиотики, что может привести
к развитию в их кишечнике лекарственно устойчивых бактерий
Антибиотики д< используемым для производства
пищевых продуктов, и применяют при выращивании и культур
Устойчивость к антибиотикам
развивается в результате изменения бактерий, которые становятся устойчивыми к антибиотикам, используемым для лечения вызываемых ими инфекций.
да
Лекарственно устойчивые бактерии распространяются среди других пациентов из-за ненадлежащей гигиены и Отсутствия чистоты в медицинских учреждениях
ДИЧГ™
ТТЛ
т©
Лекарственно устойчивые бактерии попадают к людям через пищевые продукты, окружающую среду (воду, почву, воздух) или при прямом
п
Лекарственно устойчивые бактерии распространяются среди общего нас
www.who.int/diugresistance/ru/
ап1Нш1йс11е5|£1апсе
Всемирна« организация здравоохранения
Рис. 1 Часть текста «Антибиотики». Листок 4
За ответставился 1 балл, если было приведено двапримера. Справитьсяс заданием смогли 32% счащился 8-х классов и 46%^гащих-ся 9-х классов. Сложность заключалась в необходимости разобраться синформачисй, переданноИ силдытващи инфиграфики, тс лоаалдровать два нужных фрагмента:
рас пространжлся среди ДРУ>к пациентов из-за ненадлежащей гдеиены н окупив« чистосы о ме^р«|*»ккик 1»чр<еп«дениАк
Кроме того, важно было при опоре на один из фрагментов текста не повторить информацию, которая уже есть в вопросе («могут попасть в его организм через окружающую среду (воду, почву, воздух)»).
Группа умений «Интегрировать и интерпретировать информацию»
Достаточно хорошо ученики справляются с заданиями, где нужно выявлять буквальный смысл сообщения, в частности соотносить предложения с местоименными словами с предложениями, которые раскрывают их смысл.
У них не возникало проблем с выполнением заданий, требующих интерпретации отдельного слова или выражения. Как правило, половина учащихся с такими заданиями справляются. Даже если речь идет о совершенно незнакомых терминах, результат выполнения таких заданий не ниже 30%. На материале художественного текста такие задания выполняются в среднем лучше. Это, вероятно, объясняется логично, целенаправленной работой по формированию этих умений на уроках русского языка и литературы.
Областью относительного благополучия являются задания, где нужно сопоставлять количественные данные и делать выводы. Здесь процент выполнения может превышать 60%. Но процент выполнения падает до 30%, если информацию предварительно нужно интерпретировать.
Например:
Всемирная организация здравоохранения (ВОЗ) провела опрос, в котором приняли участие около 10 тыс. взрослых человек из 12 стран
мира, в том числе из России. Результаты опроса показали полное непонимание серьезности проблемы устойчивости к антибиотикам.
В МИРЕ
В РОССИИ
Только 56% опрошенных россиян, принимавших в последние полгода антибиотики, сообщили, что им этот курс антибиотиков был прописан врачом,— это самый низкий показатель среди всех 12 стран.
67% ошибочно полагают, что антибиотиками можно лечить простуду и грипп, хотяантибактериальныепрепаратынедействуютна вирусы.
26% считают, чтос улучшениемсамочувствияследуетпрекратить приемантибиотиков,анепропиватьвесь предписанный курс.
Рис. 2 Частьтекста«Антибиотиш».Листок2
Приведем пример задания: «В чем ситуация с приемом антибиотиков в России, судя по данным опроса Всемирной организации здра-
воохранения, лучше, чем в среднем в мире, а в чем — хуже? Отметьте «Лучше» или «Хуже» для каждого правила.
Правила приема антибиотиков Ситуация в России
Лучше Хуже
Принимать антибиотики только по назначению врача □ □
Допивать начатый курс антибиотиков до конца □ □
Не пытаться лечить антибиотиками вирусные заболевания □ □
В этом задании ученику приходится сравнивать данные, приведенные в графической и текстовой форме, между которыми не всегда есть однозначное сответствие.
Выбор утверждения «Принимать антибиотики только по назначению врача» — это самое сложное сопоставление — базируется на информации из предложения: «Только 56% опрошенных россиян, принимавших в последние полгода антибиотики, сообщили, что им этот курс антибиотиков был прописан врачом,— это самый низкий показатель среди всех 12 стран». Но есть «конфликтная» информация, которую необходимо отбросить, не спутать с запрашиваемой. Например, утверждение о том, что 50% антибиотиков назначаются без необходимости — важно, чтобы читатели не пропустили слово «назначаются».
При работе с утверждением «Не пытаться лечить антибиотиками вирусные заболевания» читателю необходимо сравнивать графическую и текстовую информации и удерживать информацию о том, что грипп относится к вирусным заболеваниям.
Интерпретация графической информации выполняется нашими 15-летними школьниками с большим трудом. Так, с приведенным ниже заданием справились всего 30% девятиклассников и только 25% восьмиклассников. Учащимся нужно было проанализировать рисунок.
Учащимся предлагалось выполнить такое задание: «Что обозначает НЕ зачеркнутая крестиком фигурка на рисунке над номером 2? Отметьте один верный вариант ответа.
□ «хорошую» флору
□ антибиотик, который убивает всю чувствительную флору
□ нечувствительный к антибиотику микроорганизм
□ ген устойчивости к антибиотику»
Данный информационный листок адресован широкому кругу пользователей, в том числе пенсионерам, которые не имеют никаких профильных знаний, кроме тех, что сообщают СМИ. Но, оказывается, этот нехитрый язык цветных фигурок и крестиков, обозначающих уничтожение, снабженных ясными подписями, две трети выпускников основной школы не в состоянии расшифровать.
Есть результаты еще ниже, например, при выполнении заданий с комплексным множественным выбором, в которых требуется оценить, соответствуют ли 3-4 предложенных в задании утверждения содержанию прочитанного текста. Их невозможно выполнить, не возвращаясь к тексту, не перепроверяя детали. И вот эта работа оказывается для большинства 15-летних учеников непосильной. Лишь одно задание такого типа в общем банке для 8-го и 9-го класса выполнили 32%. Процент выполнения остальных заданий не выше 25%.
Различить верные и искаженные анонсы или новости, подготовленные по материалам прочитанного текста, смогли только 14% и 6% соответственно. А сравнить позицию авторов четырех текстов относительно нескольких идей оказалось по силам лишь 7%.
Эти данные вызывают обоснованную тревогу. Они подтверждают, что большинство учеников, прочитав текст доклада или интервью, не в состоянии уяснить смысл текста, отличить истинную информацию от ложной. Такими читателями легко манипулировать, поскольку они не видят подмены тезисов, фактов, оценок.
Отдельно стоит рассмотреть «области успеха и неуспеха» в интерпретации художественного текста. Выше уже говорилось, что школьники неплохо интерпретируют отдельные слова и выражения, в том числе имеющие иносказательный смысл, «конфликтующий» с сегодняшним употреблением. Успешно выполнены отдельные задания, где ученики
глубоко интерпретировали текст, преодолевая его буквальный, поверхностный смысл. Так, с интерпретацией рассказа Ф. Абрамова «Вкус победы» справились 55% школьников. Однако если для интерпретации предлагаются тексты, где понимание жанра задает ключ к прочтению, подростки оказываются беспомощны. Школьники 5-х, 7-х и 9-х классов готовы трактовать в реалистическом ключе и миф о Сизифе, и фантастическую юмореску, и мистику сродни гоголевской. Ученики могут распознавать роды и жанры литературы и фольклора, но почти не могут использовать эту информацию для понимания текстов.
Группа умений «Оценивать содержание и форму текста»
Освоение отдельных умений группы «Оценить содержание и форму текста» связано с принадлежностью текста к определенной речевой сфере. Так, понять назначение структурной единицы или использованного автором приема в публицистическом тексте смогли около половины восьмиклассников, а то же умение при анализе художественного текста показали только 14% учеников.
Около 50% восьмиклассников и более половины девятиклассников способны понять коммуникативное намерение автора в публицистическом тексте, но только 8% определяют авторскую установку, если текст относится к деловой сфере (например, объявление).
В работе с научно-популярными, публицистическими текстами почти 50% учеников способны оценить, насколько надежен и объективен источник информации, полно ли и достоверно представлена в нем информация, несколько ниже результаты при анализе инфографики и лишь 15-20% учеников понимают, какие манипулятивные приемы применяются в текстах рекламного характера.
Результаты выполнения заданий этой группы зависят и от количества текстов, с которыми работает ученик. Например, обнаружить противоречивую информацию в рамках одного текста смогли 46% учеников, а в двух текстах только 27%.
Полученные данные показывают, что ученики лучше читают и понимают научно-популярные и публицистические тексты, которые широко представлены в их школьном опыте. При этом с художественными текстами и текстами из повседневной жизни работают существенно хуже. Вывод очевиден: надо использовать на уроках разные тексты, не только тексты «школьного круга», но и рекламу, тексты, функцио-
нирующие в интернет-сфере (чаты, форумы, социальные сети), чтобы научить учеников оценивать качество и достоверность информации, обнаруживать противоречия, скрытые коммерческие цели. Очень важно, чтобы и информация в тексте была представлена по-разному: сплошные, несплошные (диаграммы, таблицы, инфографика) и смешанные тексты содержат вербальную и графическую информацию, и, конечно, ученик должен научиться работать с «множественным» текстом, когда надо сопоставлять информацию, представленную в двух-трех текстах, устанавливать взаимосвязи между текстами.
Особого внимания и более детального анализа требуют результаты по рассматриваемой группе умений при работе с художественным текстом. К сожалению, способны оценивать содержание и форму художественного текста от 18% (8 класс) до 38% (9 класс) школьников.
Группа умений «Использовать информацию из текста»
Данные как ранее проведенных российских мониторингов, так и анализируемой работы весны 2020 года показывают, что именно эта группа умений представляет наибольшую трудность для учащихся. При этом именно эта группа в большей степени связана с идеей функциональной грамотности: то, что мы читаем, мы используем для выстраивания собственной картины мира, для принятия решений в определенных ситуациях.
Задания этой группы различаются по степени сложности и по степени привлечения фоновых знаний, личного опыта. Приведем пример задания к художественному тексту: «Представьте, что вам нужно будет оформить плакат для книжной выставки, поместив на него три закона чтения, о которых пишет М. Чудакова. Запишите эти законы своими словами». Найти все три закона в тексте достаточно легко: они расположены в одном фрагменте, выделены словесно (с помощью порядковых числительных) и графически (курсивом), кроме того, читатели обращались к этим законам при выполнении предшествующих заданий. Сложность заключалась именно в том, чтобы переформулировать их своими словами и в заданной коммуникативной ситуации — плакат на выставке. Это, на первый взгляд, несложное умение очень часто востребовано в школе, поскольку свидетельствует о том, что материал понят учеником и он может применить полученные знания в измененном контексте. С заданием справились только 29,4% учащихся. Неправильные
ответы свидетельствуют либо о неверном понимании прочитанного, либо о неумении сформулировать свою мысль. Вот несколько примеров неверных ответов. При переформулировании первого закона, который у Чудаковой звучит как «Нет книг, которые читать — рано», учащиеся отвечали «в любое время любая книга хороша» — а это неправомерное расширение данного закона, вступающее в явное противоречие со вторым законом. Второй закон в тексте у Чудаковой: «Есть книги, которые читать — поздно», один из ответов такой: «Нет ограничения того, что книги читать поздно, у каждого человека свой возраст», а это полная противоположность авторскому утверждению. Третий закон в тексте: «В отрочестве надо составить список книг, которые в жизни надо обязательно успеть прочесть. Составить — и после этого отказаться от чтения всякой чепухи, которой сейчас везде — навалом». Ответ ученика «Есть обязательная литература, которую необходимо прочесть» очень сильно сужает авторскую мысль. Были и ответы, которые указывали на непонимание текста в целом, некоторые формулировки перечеркивали идею автора, например: «Читать в определенном возрасте неинтересно».
Безусловно, чтение и понимание художественного текста — процесс непростой, требующий определенного читательского и личного жизненного опыта, который у школьников не слишком большой, и оценивать этот процесс тоже непросто, особенно в части применения полученной информации. Казалось бы, задания, оценивающие анализируемую группу умений, должны выполняться лучше на материале информационных текстов, поскольку эти тексты мы читаем именно для того, чтобы быть готовыми применить полученные знания в будущем. К сожалению, данные не вполне подтверждают это предположение.
К тексту «Антибиотики» было такое задание: «Еще в Древнем Египте плесневелый хлеб прикладывали к ранам и порезам. Могло ли, с вашей точки зрения, это оказывать лечебное действие? Отметьте „Да" или „Нет". Объясните свой ответ». Оно проверяло умение сформулировать гипотезу на основе полученной из текста информации. Построить свою гипотезу учащиеся могли на таком фрагменте текста: «Открытие британского ученого Александра Флеминга, сделанное в 1929 году, что пенициллин из зеленой плесени убивает микробы, положило начало созданию большой группы антимикробных препаратов под общим названием „антибиотики"». Читатель должен был обратить внимание на то, что в плесени содержится пенициллин, который убивает микробы. Подчеркнем, что
гипотеза может считаться верной, если учащийся указывал на содержащийся в плесени пенициллин (природный антибиотик), который помогал победить микробы. Данное задание смогли выполнить 58% учащихся 8-х и 9-х классов. В ряде ответов содержались фактические ошибки, например: «бактерии заживляли раны», «в плесени вырабатывались бактерии», которые указывают на непонимание учащимися текста.
Приведем еще один пример задания к тексту «Антибиотики»: «Взглянув на листок 2, бабушка Марины сердито бросила: „Почему нельзя передать другому человеку лекарства или рецепт? Их же врач выписал!" Как бы вы на месте Марины объяснили ей это?». В задании создана реальная ситуация диалога бабушки и внучки, учащимся предлагается при составлении ответной реплики использовать то, что они прочитали при работе с листками 1 и 2. В листках достаточно информации, которая может быть использована как аргумент: переданные антибиотики могут быть неэффективны для другого человека при его заболевании или не нужны для его лечения; у человека, бесконтрольно принимающего антибиотики, может развиться устойчивость к ним, и впоследствии антибиотики могут стать неэффективными. Задание верно выполнили 51% восьмиклассников и 55% девятиклассников.
Если в процессе выполнения задания на применение полученной информации от читателя требуется еще и применение фоновых знаний, результаты значительно снижаются. Например, при выполнении такого задания: «Листок Всемирной организации здравоохранения, который получила бабушка Марины, был разработан для пациентов и посетителей аптек. Для каких других групп людей необходимо разработать информационные листки? Приведите примеры не менее ДВУХ групп и объясните, какой вклад они могут внести в решение проблемы устойчивости к антибиотикам». Учащимся предлагается обратиться к «Листку 4» — он приведен при анализе первой группы умений. Анализ этого листка и собственный опыт позволяет сделать вывод, что это могут быть фермеры, медицинские работники, политики, руководители здравоохранения, сотрудники предприятий пищевой промышленности. Выполнение задания оценивалось 2 баллами, если были названы две категории адресатов и выбор каждой обоснован; 1 балл ставился, если была верно указана и обоснована только одна категория адресатов или верно названы две категории, но одна из них не обоснована. Максимальный балл за выполнение этого задания получили 7% вось-
миклассников и 10,7% девятиклассников. При этом важно отметить, что 24% восьмиклассников и 33% девятиклассников пропустили это задание и выполнили последнее, 15-е задание в блоке (оно также предполагало развернутый ответ, но относилось к третьей группе умений). Эти данные говорят о том, что учащиеся осознанно отказываются от выполнения заданий, предполагающих применения полученной информации. Подчеркнем, что точно такая же ситуация наблюдалась и при работе с художественным текстом.
Обсуждение результатов
Можно заметить, что проблемы в понимании текста, поиске, интерпретации, оценке и применении полученной информации, выявленные у школьников, принимавших участие в региональной диагностике функциональной читательской грамотности, очень близки к описанию проблем российских учеников, принимавших участие в исследовании PISA и в ряде других мониторингов [1; 10; 11; 12; 15; 16]. Корреляция результатов, обозначение схожих проблемных зон в двух исследованиях подтверждают надежность инструментария и позволяют наметить дидактические и методические подходы к формированию функциональной читательской грамотности в образовательном процессе. Неумение найти информацию, к которой отсылает вопрос, выявить причинно-следственную зависимость, понять значение нового слова в контексте, наконец, интерпретировать текст, учитывая его жанровую природу,— следствие того, что эти умения либо не становятся предметом специальной работы на уроках (подчеркнем: на разных уроках), формируются стихийно, на основе личного социального и читательского опыта ученика, «кому как повезет». Возможно, низкие результаты — следствие таких форм и способов работы, которые не мотивируют, а, скорее, демотивируют ученика, например, при выполнении однообразных заданий на извлечение явной информации. Регулярное столкновение ученика в процессе работы с текстом с определенными видами трудностей, способы преодоления которых ему не предлагаются, также могут быть причиной низких результатов. Выявленные в процессе анализа результатов диагностической работы проблемы не следует объяснять изменившимся форматом чтения (переходом на чтение с экрана). Напомним, что проблемы эти начались задолго до эпохи гаджетов и образовательных реформ. «Еще в начале 70-х гг. прошлого века было проведено специальное обследо-
вание, в котором участвовали учащиеся 4-10-х классов разных школ Москвы (всего около тысячи человек). Результаты были ошеломляющими: самыми элементарными приемами понимания текста владели лишь 0,3% обследованных школьников. <.. .> Такие же результаты были получены через десять лет при организованной АПН СССР комплексной проверке, в которой участвовали психологи, методисты и физиологи. Оба обследования проводились на научно-познавательных и учебных текстах гуманитарного цикла. Психолог и детский поэт Вадим Левин проверял понимание художественных текстов и выяснил, что смысл прочитанного правильно понимают лишь 6% детей» [4].
Одним из реальных шагов по изменению ситуации было выделение во ФГОС особой группы метапредметных результатов, связанных со смысловым чтением и когнитивными умениями: обобщать, делать умозаключения, устанавливать причинно-следственные отношения, проводить аналогии и т.д. Выпуск девятиклассников 2020 года был первым выпуском, полностью обучавшимся по новому стандарту. Но большая часть их читательских трудностей связана как раз с неумением обобщать, делать умозаключения, устанавливать причинно-следственные отношения. Это говорит о том, что пока не сложилась система согласованных действий по достижению ключевых целей, связанных с формированием функциональной читательской грамотности: в практике работы общеобразовательной школы эти метапредметные цели все еще не стали ключевыми.
Однако нельзя не отметить и факты, которые заставляют посмотреть на ситуацию не столь пессимистично. Зафиксированы неплохие результаты школьников при выполнении отдельных сложных заданий, связанных с интерпретацией текста, о которых говорилось выше.
Если сравнивать средний процент выполнения заданий и процент освоения групп читательских умений школьниками 8-х и 9-х классов, результаты девятиклассников выглядят хуже. Но тексты, с которыми они работали, были объемнее и труднее, а варианты включали больше заданий, поэтому прямое сравнение здесь будет не вполне корректно. Варианты для 8-х и 9-х классов содержали три общих блока. Сравним средний процент их выполнения (см. Таблицу 5).
Таблица 5
Сопоставление результатов учащихся 8-х и 9-х классов по заданиям, которые повторялись в работах двух параллелей
Задания Средний процент выполнения Разница результатов 9-х и 8-х классов
8 класс 9 класс
Выигрыш, задание 1 48,94% 31,92% -17,02%
Выигрыш, задание 2 55,67% 37,75% -17,92%
Выигрыш, задание 3 24,02% 15,23% -8,80%
Профессии, задание 1 48,15% 65,31% 17,17%
Профессии, задание 2 47,85% 65,61% 17,76%
Профессии, задание 3 47,84% 61,04% 13,20%
Профессии, задание 4 17,13% 25,01% 7,89%
Профессии, задание 5 18,05% 24,26% 6,21%
Антибиотики, задание 1 52,49% 56,01% 3,52%
Антибиотики, задание 2 74,37% 75,69% 1,32%
Антибиотики, задание 3 37,02% 39,71% 2,69%
Антибиотики, задание 4 58,31% 58,60% 0,29%
Антибиотики, задание 5 44,89% 52,28% 7,39%
Антибиотики, задание 6 27,90% 33,08% 5,18%
Антибиотики, задание 7 27,21% 31,16% 3,95%
Антибиотики, задание 8 34,40% 41,95% 7,55%
Антибиотики, задание 9 51,27% 55,27% 4,00%
Антибиотики, задание 10 23,91% 29,06% 5,15%
Антибиотики, задание 11 24,47% 29,86% 5,39%
Антибиотики, задание 12 34,53% 44,50% 9,97%
Антибиотики, задание 13 32,24% 46,20% 13,96%
Антибиотики, задание 14 6,57% 10,72% 4,15%
Антибиотики, задание 15 17,48% 22,60% 5,12%
Как видим, по 20 заданиям из 23 результаты девятиклассников лучше. Причины более слабого выполнения блока «Выигрыш» нуждаются в дополнительном анализе. Но в целом, видимо, можно говорить о том, что год обучения и год взросления школьников дает видимый прирост их читательской грамотности.
И, наконец, еще один позитивный момент: лишь относительно небольшая группа читателей равно неуспешна в работе с разными текстами. Намного чаще встречается ситуация, когда ученик достаточно уверенно и грамотно работает с одним текстом и гораздо хуже с другим. Один из вариантов для 8 класса включал текст «Выигрыш» — инфор-
мационное письмо манипулятивного характера, коммерческие цели которого были скрыты, и рассказ Федора Абрамова, идея которого тоже не высказана напрямую. 38% превосходно понимали один текст, но при этом не понимали другой. Они либо «разоблачали» игру, которую ведет отправитель письма, и его коммерческие интересы, но оказывались беспомощны в расшифровке языка художественной миниатюры, либо очень квалифицированно интерпретировали художественный текст, но простодушно принимали маркетинговые уловки за цели благотворительности. Это говорит о том, что многим школьникам не хватает опыта работы с определенными типами текстов, когда ребята могли бы видеть приемы построения текста, подходы к интерпретации и оценке информации, представленной в тексте, обнаруживать и корректировать свое фрагментарное понимание в сотрудничестве с учителями, обучающими разным предметам. Это важное условие (вместе с насыщением учебников и учебных пособий интересными, современными текстами разного формата и разной сложности, позволяющими развивать умения как сильных, так и слабых учеников работать с графической, противоречивой информацией из разных источников) является ключевым для сколько-нибудь устойчивого изменения ситуации к лучшему.
Комментарий 1 Перечень читательских умений по группам
Группа «Находить и извлекать информацию» включает следующие умения: определять место, где содержится искомая информация (фрагмент текста, гиперссылка, ссылка на сайт и т.д.); уточнять поисковый запрос; находить и извлекать одну единицу информации; находить и извлекать несколько единиц информации, расположенных в одном фрагменте текста; находить и извлекать несколько единиц информации, расположенных в разных фрагментах текста; находить и извлекать несколько единиц информации, расположенных в разных текстах; определять наличие / отсутствие информации.
Группа читательских умений «Интегрировать и интерпретировать информацию» включает следующие умения: понимать фактологическую информацию (сюжет, последовательность событий и т.п.); понимать смысловую структуру текста (определять тему, главную мысль / идею текста); понимать значение слова или выражения на основе контекста; делать выводы на основе информации, представленной в одном фрагменте текста; уста-
навливать связи между событиями или утверждениями (причинно-следственные отношения, отношения аргумент — контраргумент, тезис — пример, сходство — различие и др.); соотносить графическую и вербальную информацию; делать выводы на основе сравнения данных; делать выводы на основе интеграции информации из разных частей текста или разных текстов; понимать чувства, мотивы, характеры героев; понимать авторскую позицию по отношению к обсуждаемой проблеме; понимать графическую информацию; различать факт и мнение; интерпретировать текст или его фрагмент, учитывая жанр или ситуацию функционирования текста.
Группа «Оценивать содержание и форму текста» включает следующие умения: определять адресата текста; понимать коммуникативное намерение автора, назначение текста; оценивать содержание текста или его элементов (примеров, аргументов, иллюстраций и т.п.) относительно целей автора; оценивать форму текста (структуру, стиль и т.д.), целесообразность использованных автором приемов; понимать назначение структурной единицы текста, использованного автором приема; оценивать полноту, достоверность информации, содержащейся в одном или нескольких текстах; оценить объективность, надежность источника информации; обнаруживать противоречия, содержащиеся в одном или нескольких текстах; высказывать и обосновывать собственную точку зрения по вопросу, обсуждаемому в тексте; устанавливать и оценивать взаимосвязи между элементами / частями текста или текстами.
Наиболее значимая и специфичная группа читательских умений — «Использовать информацию из текста», выявляющая сущность функциональной читательской грамотности, которая заключается именно в востребованности всех компонентов читательской грамотности в ситуации принятия решений, поиска выхода из проблемной ситуации и т.д., включает следующие умения: использовать информацию из текста для решения практической задачи без привлечения фоновых знаний; использовать информацию из текста для решения практической задачи с привлечением фоновых знаний; формулировать на основе полученной из текста информации собственную гипотезу, прогнозировать события, течение процесса, результаты эксперимента на основе информации текста; предлагать интерпретацию нового явления, принадлежащего к тому же классу явлений, который обсуждается в тексте (в том числе с переносом из одной предметной области в другую); выявлять связь между прочитанным и современной реальностью или другой эпохой.
Литература
1. Басюк В. С., Ковалева Г. С. Инновационный проект Министерства Просвещения «Мониторинг формирования функциональной грамотности»: основные направления и первые результаты // Отечественная и зарубежная педагогика. 2019. Т. 1. № 4 (61). С. 13-33.
2. Гостева Ю. Н., Кузнецова М. И., Рябинина Л. А. и др. Основные подходы к оценке читательской грамотности учащихся основной школы [Электронный ресурс]. URL: https://clck.ru/ Rth6D (дата обращения: 30.07.2020).
3. Гостева Ю. Н., Кузнецова М. И., Рябинина Л. А. и др. Теория и практика оценивания читательской грамотности как компонента функциональной грамотности // Отечественная и зарубежная педагогика. 2019. Т. 1. № 4 (61). С. 34-57.
4. Граник Г. Г., Борисенко Н. А. Понимание текста на уроках русского языка и литературы [Электронный ресурс]. URL: https://rus.1sept.ru/article.php? ID=200702304 (дата обращения: 30.07.2020).
5. Ковалева Г. С., Барабанов В. В., Богданова Н. Н. и др. Метапредметные результаты. Стандартизированные материалы для промежуточной аттестации. 9 класс: пособие для учителя / под ред. Г. С. Ковалевой. М.; СПб.: Просвещение, 2018. 176 с. (ФГОС: оценка образовательных достижений)
6. Ковалева Г. С., Богданова Н. Н., Амбарцумова Э. М. и др. Метапредметные результаты для промежуточной аттестации. 8 класс: пособие для учителя / под ред. Г. С. Ковалевой. М.; СПб.: Просвещение, 2017. 167 с.
7. Ковалева Г. С., Васильевых И. П., Гостева Ю. Н. и др. Метапредметные результаты. Стандартизированные материалы для промежуточной аттестации. 5 класс: пособие для учителя (в комплекте с электронным приложением) / под ред. Г. С. Ковалевой, Е. Л. Рутковской. М.; Спб.: Просвещение, 2014. 160 с. + электр. опт. диск (CD -ROM). (ФГОС: оценка образовательных достижений).
8. Ковалева Г. С., Васильевых И. П., Гостева Ю. Н. и др. Метапредметные результаты. Стандартизированные материалы для промежуточной аттестации. 6 класс: пособие для учителя (в комплекте с электронным приложением) / под ред. Г. С. Ковалевой. М.; СПб: Просвещение, 2014. 151 с. + 1 электр. опт. диск (ФГОС: оценка образовательных достижений).
9. Ковалева Г. С., Демидова М. Ю., Иванова Л. и др. Метапредметные результаты. Стандартизированные материалы для промежуточной аттестации. 7 класс: пособие для учителя / под ред. Г. С. Ковалевой. М.; СПб: Просвещение, 2016. 168 с. (ФГОС: оценка образовательных достижений).
10. Ковалева Г. С., Красновский Э. А. Новый взгляд на грамотность. По результатам международного исследования PISA-2000. М.: Логос, 2004. Ч. I. Грамотность чтения. Ч. 2. Новые требования к содержанию и методике обучения в российской школе [Электронный ресурс]. URL: https://rus.1sept.ru/article.php? ID=200501401 (дата обращения: 01.07. 2019).
11. Краткие результаты исследования PISA-2018 [Электронный ресурс]. URL: http://www. centeroko.ru/public.html (дата обращения: 14.07.2020).
12. Рябинина Л. А., Чабан Т. Ю. Мониторинг читательской грамотности: региональный опыт // Отечественная и зарубежная педагогика. 2019. Т. 1. № 4 (61). С. 236-247.
13. Рябинина Л. А., Чабан Т. Ю., Осетрова Е. В. Контекстное чтение как необходимый этап формирования читательской компетентности младшего школьника // Инновационные проекты и программы в образовании. 2016. № 6. С. 51-56.
14. Цукерман Г. А. Оценка читательской грамотности. Материалы к обсуждению // Центр оценки качества образования [Электронный ресурс]. URL: http://www.centeroko.ru/public. html#pisa_pub (дата обращения: 14.07. 2020).
15. Цукерман Г. А., Ковалева Г. С., Кузнецова М. И. Победа в PIRLS и поражение в PISA: судьба читательской грамотности 10-15-летних школьников // Вопросы образования. 2011. № 2. С. 123-150.
16. Цукерман Г. А., Ковалева Г. С., Кузнецова М. И. Становление читательской грамотности, или Новые похождения Тяни-Толкая // Вопросы образования. 2015. № 1. С. 284-300.
17. Common European framework of reference for languages: learning, teaching, assessment // Council of Europe. Language Policy Unit, Strasbourg [Электронный ресурс]. URL: https://rm.coe.
int/16802fc1bf (дата обращения: 04.08. 2020).
18. Educating 21st Century Children: Emotional Well-being in the Digital Age, Educational Research and Innovation / Burns T., Gottschalk F. (eds.). Paris: OECD Publishing, 2019 [Электронный ресурс]. URL: https://www.oecd-ilibrary.org/sites/b7f33425-en/index.html?itemId=/content/publica-tion/b7f33425-en (дата обращения: 24.07.2020).
19. PISA 2018 Assessment and Analytical Framework // OECD [Электронный ресурс]. URL: https://www.oecd-ilibrary.org/education/pisa-2018-assessment-and-analytical-framework_b25efab8-en (дата обращения: 30.07. 2020).
20. PISA 2018 Released Field Trial New Reading Items. Ver. 2 (January 2019) // OECD [Электронный ресурс]. URL: https://www.oecd.org/pisa/test/PISA-2018-Released-New-REA-Items. pdf (дата обращения: 24.07.2020).
21. PISA 2018 Results. What Students Know and Can Do (Vol. I) // OECDiLibrary [Электронный ресурс]. URL: https://www.oecd-ilibrary.org/education/pisa-2018-results-volume-i_5f07c754-en (дата обращения: 24.07.2020).
22. PISA 2018 Results. Where All Students Can Succeed (Vol. II) // OECD [Электронный ресурс]. URL: https://www.oecd-ilibrary.org/education/pisa-2018-results-volume-ii_b5fd1b8f-en (дата обращения: 24.07.2020).
23. Schleicher A. PISA 2018. Insights and Interpretations. 2019 [Электронный ресурс]. URL: https://www.oecd.org/pisa/PISA%202018%20Insights%20and%20Interpretations%20FINAL%20PDF. pdf (дата обращения: 24.07.2020).
24. Schleicher A. World Class: How to Build a 21st-Century School System, Strong Performers and Successful Reformers in Education. Paris: OECD Publishing, 2018 [Электронный ресурс]. URL: https://www.oecd-ilibrary.org/docserver/9789264300002-en.pdf?expires=1597181879&id=id&accname =guest&checksum=310D51891613D8EAB5A047BF670753E4 (дата обращения: 24.07.2020).
PROBLEMS OF ASSESSMENT AND FORMATION OF LOWER SECONDARY EDUCATION STUDENTS' FUNCTIONAL READING LITERACY
The article is devoted to the description of conceptual bases of reader literacy assessment as a component of functional literacy in the context of international study PISA and practice of measuring materials modeling in the framework of monitoring of reading skills assessment in Russia.
The changes that have appeared in the development of tools for assessing the reading skills of schoolchildren are described. The article analyzes the results of diagnostics of reading literacy as one of the components of functional literacy of students in grades 8 and 9 in one of the Russian regions, provides examples of tasks, and pays special attention to the analysis of results for four groups of reading skills.
Based on the obtained results, the authors draw preliminary conclusions about possible changes in the educational process that will contribute to improving the level of reading literacy of general school students, also the authors while emphasizing the need for a broad discussion of the identified problems in the scientific and pedagogical community.
Keywords: reader literacy, functional literacy, educational process, evaluation practice, PISA, lower secondary education students.
References
• Basyuk V. S., Kovaleva G. S. Innovacionnyj proekt Ministerstva Prosveshcheniya «Monitoring formirovaniya funkcional'noj gramotnosti»: osnovnye napravleniya i pervye rezul'taty // Otechestvennaya i zarubezhnaya pedagogika. 2019. T. 1. № 4 (61). S. 13-33. [In Rus].
• Common European framework of reference for languages: learning, teaching, assessment // Council of Europe. Language Policy Unit, Strasbourg [Elektronnyj resurs]. URL: https://rm.coe.int/16802fc1bf (data obrashcheniya: 04.08. 2020).
• Cukerman G. A. Ocenka chitatel'skoj gramotnosti. Materialy k obsuzhdeniyu // Centr ocenki kachest-va obrazovaniya [Elektronnyj resurs]. URL: http://www.centeroko.ru/public.html#pisa_pub (data obrashcheniya: 14.07. 2020). [In Rus].
• Cukerman G. A., Kovaleva G. S., Kuznecova M. I. Pobeda v PIRLS i porazhenie v PISA: sud'ba chitatel'skoj gramotnosti 10-15-letnih shkol'nikov // Voprosy obrazovaniya. 2011. № 2. S. 123-150. [In Rus].
• Cukerman G. A., Kovaleva G. S., Kuznecova M. I. Stanovlenie chitatel'skoj gramotnosti, ili Novye po-hozhdeniya Tyani-Tolkaya // Voprosy obrazovaniya. 2015. № 1. S. 284-300. [In Rus].
• Educating 21st Century Children: Emotional Well-being in the Digital Age, Educational Research and Innovation / Burns T., Gottschalk F. (eds.). Paris: OECD Publishing, 2019 [Elektronnyj resurs]. URL: https://www.oecd-ilibrary.org/sites/b7f33425-en/index.html?itemId=/content/publication/b7f33425-en (data obrashcheniya: 24.07.2020).
• Gosteva Yu. N., Kuznecova M. I., Ryabinina L. A. i dr. Osnovnye podhody k ocenke chitatel'skoj gramotnosti uchashchihsya osnovnoj shkoly [Elektronnyj resurs]. URL: https://clck.ru/Rth6D (data obrashcheniya: 30.07.2020). [In Rus].
• Gosteva Yu. N., Kuznecova M. I., Ryabinina L. A. i dr. Teoriya i praktika ocenivaniya chitatel'skoj gramotnosti kak komponenta funkcional'noj gramotnosti // Otechestvennaya i zarubezhnaya peda-gogika. 2019. T. 1. № 4 (61). S. 34-57. [In Rus].
• Granik G. G., Borisenko N. A. Ponimanie teksta na urokah russkogo yazyka i literatury [Elektronnyj resurs]. URL: https://rus.1sept.ru/article.php? ID=200702304 (data obrashcheniya: 30.07.2020). [In Rus].
• Kovaleva G. S., Barabanov V. V., Bogdanova N. N. i dr. Metapredmetnye rezul'taty. Standartizirovannye materialy dlya promezhutochnoj attestacii. 9 klass: posobie dlya uchitelya / pod red. G. S. Kovalevoj. M.; SPb.: Prosveshchenie, 2018. 176 s. (FGOS: ocenka obrazovatel'nyh dostizhenij). [In Rus].
• Kovaleva G. S., Bogdanova N. N., Ambarcumova E. M. i dr. Metapredmetnye rezul'taty dlya promezhutochnoj attestacii. 8 klass: posobie dlya uchitelya /pod red. G. S. Kovalevoj. M.; SPb.: Prosveshchenie, 2017. 167 s. [In Rus].
• Kovaleva G. S., Demidova M. Yu., Ivanova L. i dr. Metapredmetnye rezul'taty. Standartizirovannye materialy dlya promezhutochnoj attestacii. 7 klass: posobie dlya uchitelya / pod red. G. S. Kovalevoj. M.; SPb: Prosveshchenie, 2016. 168 s. (FGOS: ocenka obrazovatel'nyh dostizhenij). [In Rus].
• Kovaleva G. S., Krasnovskij E. A. Novyj vzglyad na gramotnost'. Po rezul'tatam mezhdunarodnogo issledovaniya PISA-2000. M.: Logos, 2004. Ch. I. Gramotnost' chteniya. Ch. 2. Novye trebovaniya k soderzhaniyu i metodike obucheniya v rossijskoj shkole [Elektronnyj resurs]. URL: https://rus.1sept. ru/article.php? ID=200501401 (data obrashcheniya: 01.07. 2019). [In Rus].
• Kovaleva G. S., Vasil'evyh I. P., Gosteva Yu. N. i dr. Metapredmetnye rezul'taty. Standartizirovannye materialy dlya promezhutochnoj attestacii. 5 klass: posobie dlya uchitelya (v komplekte s elektronnym prilozheniem) / pod red. G. S. Kovalevoj, E. L. Rutkovskoj. M.; Spb.: Prosveshchenie, 2014. 160 s. + elektr. opt. disk (CD -ROM). (FGOS: ocenka obrazovatel'nyh dostizhenij). [In Rus].
• Kovaleva G. S., Vasil'evyh I. P., Gosteva Yu. N. i dr. Metapredmetnye rezul'taty. Standartizirovannye materialy dlya promezhutochnoj attestacii. 6 klass: posobie dlya uchitelya (v komplekte s elektronnym prilozheniem) / pod red. G. S. Kovalevoj. M.; SPb: Prosveshchenie, 2014. 151 s. + 1 elektr. opt. disk (FGOS: ocenka obrazovatel'nyh dostizhenij). [In Rus].
• Kratkie rezul'taty issledovaniya PISA-2018 [Elektronnyj resurs]. URL: http://www.centeroko.ru/pub-lic.html (data obrashcheniya: 14.07.2020). [In Rus].
• PISA 2018 Assessment and Analytical Framework // OECD [Elektronnyj resurs]. URL: https://www. oecd-ilibrary.org/education/pisa-2018-assessment-and-analytical-framework_b25efab8-en (data ob-rashcheniya: 30.07. 2020).
• PISA 2018 Released Field Trial New Reading Items. Ver. 2 (January 2019) // OECD [Elektronnyj resurs]. URL: https://www.oecd.org/pisa/test/PISA-2018-Released-New-REA-Items.pdf (data obrash-cheniya: 24.07.2020).
• PISA 2018 Results. What Students Know and Can Do (Vol. I) // OECDiLibrary [Elektronnyj resurs]. URL: https://www.oecd-ilibrary.org/education/pisa-2018-results-volume-i_5f07c754-en (data obrash-cheniya: 24.07.2020).
• PISA 2018 Results. Where All Students Can Succeed (Vol. II) // OECD [Elektronnyj resurs]. URL: https://www.oecd-ilibrary.org/education/pisa-2018-results-volume-ii_b5fd1b8f-en (data obrash-cheniya: 24.07.2020).
• Ryabinina L. A., Chaban T. Yu. Monitoring chitatel'skoj gramotnosti: regional'nyj opyt // Otechestvennaya i zarubezhnaya pedagogika. 2019. T. 1. № 4 (61). S. 236-247. [In Rus].
• Ryabinina L. A., Chaban T. Yu., Osetrova E. V. Kontekstnoe chtenie kak neobhodimyj etap formirovani-ya chitatel'skoj kompetentnosti mladshego shkol'nika // Innovacionnye proekty i programmy v obra-zovanii. 2016. № 6. S. 51-56. [In Rus].
• Schleicher A. PISA 2018. Insights and Interpretations. 2019 [Elektronnyj resurs]. URL: https://www. oecd.org/pisa/PISA%202018%20Insights%20and%20Interpretations%20FINAL%20PDF.pdf (data obrashcheniya: 24.07.2020).
• Schleicher A. World Class: How to Build a 21st-Century School System, Strong Performers and Successful Reformers in Education. Paris: OECD Publishing, 2018 [Elektronnyj resurs]. URL: https://www.oecd-ilibrary.org/docserver/9789264300002-en.pdf?expires=1597181879&id=id&accn ame=guest&checksum=310D51891613D8EAB5A047BF670753E4 (data obrashcheniya: 24.07.2020).
