CC BY
139
ИСПОЛЬЗОВАНИЕ НАЦИОНАЛЬНОГО ИНСТРУМЕНТАРИЯ ПО ФОРМИРОВАНИЮ ФУНКЦИОНАЛЬНОЙ ГРАМОТНОСТИ В ШКОЛЬНОЙ ПРАКТИКЕ_
УДК 373
ПРОБЛЕМА ФОРМИРОВАНИЯ СПОСОБНОСТИ «ПРИМЕНЯТЬ МАТЕМАТИКУ» В КОНТЕКСТЕ УРОВНЕЙ МАТЕМАТИЧЕСКОЙ ГРАМОТНОСТИ
В статье продолжено исследование понятия математической грамотности, начатое в статье [7] изложением концептуальных основ его формирования и оценки. В настоящей статье данное понятие рассматривается в контексте выделения уровней математической грамотности. Приведены подходы к описанию уровней математической грамотности, принятые в международном исследовании PISA (Programme for International Student Assessment) за период 2003-2019 гг., основные определяющие ее факторы. С учетом специфики российских результатов предложены пять уровней математической грамотности, дано их качественное описание. Приведены три комплексных задания, содержащих задания различных уровней, даны соответствующие комментарии и представлены характеристики каждого задания: контекст, область математического содержания, вид когнитивной деятельности, тип задания, уровень математической грамотности, оценка ответов, планируемые результаты обучения, используемые вычислительные инструменты, использование компьютерных средств. Даны предложения относительно использования комплексных заданий для оценки и формирования математической грамотности. Предложены выводы о решающем влиянии предметных и мета-предметных результатов обучения на качество формирования математической грамотности.
Л. О.Рослова
Кандидат педагогических наук, заведующая лабораторией математического общего образования и информатизации ФГБНУ «Институт стратегии развития образования РАО», г. Москва
E-mail: [email protected]
Larisa O. Roslova
PhD (Education), Head of the Laboratory of Mathematical General Education and Informatization, The Institute for Strategy of Education Development of the Russian Academy of Education, Moscow, Russia
Е. С. Квитко
Кандидат педагогических наук, старший научный сотрудник ФГБНУ «Институт стратегии развития образования РАО», г. Москва
E-mail: [email protected] Elena S. Kvitko
PhD (Education), Senior Researcher, Institute for Strategy of Education Development of the Russian Academy of Education, Moscow, Russia
Как цитировать статью: Рослова Л. О., Квитко Е. С., Денищева Л. О., Карамова И. И. Проблема формирования способности «применять математику» в контексте уровней математической грамотности // Отечественная и зарубежная педагогика. 2020. Т. 2, № 2 (70). С. 74-99.
Ключевые слова: функциональная грамотность, уровни математической грамотности, международное исследование PISA, основное общее образование.
Введение
В основу проводимого нами исследования положено понятие функциональной грамотности, которое, по словам А. А. Леонтьева, предполагает способность человека использовать приобретаемые в течение жизни знания, умения и навыки для решения максимально широкого диапазона жизненных задач в различных сферах человеческой деятельности, общения и социальных отношений [2]. Аналогичен этому и подход, принятый для оценки математической подготовки 15-летних учащихся в исследовании PISA (Programme for International Student Assessment), где математическая грамотность рассматривается как способность индивидуума проводить математические рассуждения и формулировать, применять, интерпретировать математику для решения проблем в разнообразных контекстах реального мира [14, р. 67;16, p. 7].
Результаты российских учащихся в исследованиях PISA и TIMSS заставляют нас искать пути повышения качества их математической подготовки именно в усилении и развитии ее практико-ори-ентированной составляющей [1; 6].
Цель статьи
Опыт ряда стран — участниц исследования PISA 2003-2015 гг. показывает, что существенному повышению уровня функциональной грамотности способствует специальная работа с учащимися, которая учитывает основные положения и специфику данного исследования [12]. Одним из таких базовых положений является идея выделения уровней ма-
d Wh
Л. О. Денищева
Кандидат педагогических наук, профессор кафедры высшей математики и методики преподавания математики ГАОУ ВО «Московский городской педагогический университет», г. Москва
E-mail: [email protected]
Larisa O. Denishcheva
PhD (Education), Professor of the Chair of Higher Mathematics and Mathematics Teaching Methods, Moscow City Pedagogical University, Moscow, Russia E-mail: [email protected]
И. И. Карамова
Аспирант очной формы обучения, ФГБНУ «Институт стратегии развития образования РАО», г. Москва E-mail: [email protected]
Irina I. Karamova
Full-time Postgraduate Student, Institute for Strategy of Education Development of the Russian Academy of Education, Moscow, Russia
тематической подготовки учащихся, качественного описания того, что характеризует учащихся, достигших данного уровня, а также специфики заданий, отвечающих выделенным уровням. Однако не следует забывать, что исследование PISA — это оценочная процедура, и инструментарий, разработанный для оценки некоторого качества, не может применяться для его формирования без внесения определенных изменений. Поэтому закономерно разрабатывать задания с учетом ориентированности не только на оценку определенных уровней математической грамотности учащихся, но и на особенности их формирования, что позволило бы более эффективно реализовывать в образовательном процессе принцип дифференциации обучения. В статье предложено описание уровней математической грамотности, в большей степени отвечающее задачам формирования математической грамотности российских обучающихся, приведены примеры заданий, им соответствующие.
Методология исследования
Методологической основой проекта «Мониторинг формирования и оценки функциональной грамотности» была выбрана концепция международного исследования PISA [16, p. 8]. Согласно ей, в части оценки математической грамотности основу организации исследования составили три структурных компонента:
- контекст, в котором представлена проблема;
- содержание математического образования, которое используется в заданиях;
- мыслительная деятельность, необходимая для связывания контекста, в котором представлена проблема, с математическим содержанием, необходимым для ее решения.
Концептуальные положения в части выделения уровней математической грамотности базировались на том, что показатель математической грамотности является сложным интегрированным качеством, формируемым различными входящими в него факторами. Исследователями PISA к ним были отнесены перечисленные ниже семь факторов, задающие его таксономию и определяющие соответствующие им виды деятельности [15, р. 82].
Математизация — фактор, отвечающий за способность учащихся к переводу реальной жизненной ситуации на язык математики, создание ее математической модели. Диапазон сложности проявления данной
способности охватывает и простейший случай, когда требуется интерпретация заданной модели в реальной ситуации, и наиболее сложный — при котором требуется самостоятельное создание модели с множеством переменных, связей, допущений и ограничений, проверка, удовлетворяет ли модель требованиям задачи, оценка и сравнение различных моделей.
Репрезентация — фактор, отвечающий за способность к работе с различными способами представления математических структур (числовыми, буквенными, графическими: число, график, диаграмма, чертеж, формула, неравенство, граф и пр.), описания математических моделей (арифметическая, алгебраическая, функциональная, геометрическая, вероятностно-статистическая). Диапазон сложности находится в границах от обработки знакомого представления, выполнения с ним знакомой стандартной операции до использования нестандартного представления, требующего декодирования и интерпретации, самостоятельной разработки репрезентации, отражающей ключевые аспекты сложной ситуации, сравнения и оценки различных репрезентаций.
Коммуникация — фактор, отвечающий за способность работать с информацией, обмениваться информацией, использовать различные формы ее представления — текстовые и графические, переходить от одних форм к другим, структурировать информацию с помощью таблиц и схем, представлять, объяснять и обосновывать результаты. Диапазон сложности задается объемом и сложностью информации (текста и графики), множественностью форм, степенью знакомства с идеями, объектами, фактами, упоминаемыми в тексте, множественностью связей и мыслительных операций по обработке информации.
Рассуждение и аргументация — фактор, отвечающий за способность к использованию логических конструкций и построений, формулированию выводов, построению обоснований, к размышлению. Диапазон сложности: от элементарного следования заданной инструкции, прямого рассуждения в рамках одного аспекта проблемы, простого вывода на основе соединения частей информации до синтеза и оценки информации, создания цепочек рассуждений для обоснования своих выводов, проведения обобщений, опирающихся на многочисленные элементы информации и объединяющих их устойчивым и целенаправленным образом.
Формализация — фактор, отвечающий за способность распознавать и использовать математические понятия, термины, символику, формальный язык и формальные операции. В простейших задачах не требуется
никаких математических правил или символических выражений, только фундаментальные арифметические операции с целыми числами, легко поддающимися вычислению. Высокий уровень проявления этой способности характеризуется многошаговым применением формальных математических процедур, гибкой работой с функциональными или алгебраическими отношениями, использованием техники алгебраических, функциональных преобразований, геометрических построений, формальных знаний для получения результатов.
Разработка стратегий — фактор, отвечающий за способность планировать решение проблемы, выстраивать последовательность действий, направленных на преобразование ситуации, на поиск решения, привлекать для этого математические алгоритмы, факты, методы решений и способы действий. Диапазон сложности: от выполнения прямых знакомых действий до создания собственных стратегий для нахождения исчерпывающего решения или обобщенного вывода, для оценки или сравнения различных возможных стратегий.
Инструментальность — фактор, отвечающий за способность выполнять широкий спектр действий с математическим инструментарием: от простых измерений, вычислений и построений со стандартными инструментами в знакомых ситуациях до сложной обработки данных, представленных в электронном виде, и осмысления ограничений при применении инструментов.
Разграничение по уровням математической грамотности требует учета характера проявления каждого фактора в реальной ситуации, а достижение уровня носит кумулятивный характер и означает овладение всеми способностями предшествующих уровней.
Описание уровней было сконструировано исследователями PISA на основе качественного соответствия каждому из выделенных факторов, а также количественных результатов выполнения заданий участниками исследования [13, р. 41; 14, р. 79; 15, р. 94]. Мы ограничимся в данной работе выделением ключевых слов, характеризующих каждый из этих шести уровней, а их связь с выделенными факторами укажем для наивысшего уровня.
6-й уровень: нетипичные контексты, сложные проблемы, исследование и моделирование (математизация), разные источники, преобразование информации из одного формата в другой (коммуникация), различные способы представления математических структур (репрезентация),
владение математической символикой, операциями и зависимостями (формализация), разработка новых и выбор рациональных стратегий (разработка стратегий), интуиция, выводы и аргументация, точность и ясность формулировок, рефлексия (рассуждения и аргументация).
5-й уровень: комплексные проблемные ситуации, модели и их ограничения, установление допущений, выбор, сравнение и оценка различных стратегий, связанные формы представления информации, целенаправленные рассуждения, использование формального языка, выводы и интерпретации в письменной форме, предпосылки к рефлексии.
4-й уровень: сложные конкретные ситуации, четко определенные (детальные) модели, некоторые ограничения и допущения, выбор и интеграция информации, различные формы представления информации, символика, напрямую связанная с конкретным аспектом ситуации, интуиция в простых ситуациях, рассуждения и интерпретация, изложение объяснений, аргументы с опорой на свои действия, доводы.
3-й уровень: конкретные ситуации, простые модели, различные информационные источники, простые методы, четко описанные процедуры, принятие решений на каждом шаге, прямые рассуждения, здравая интерпретация, запись решения, умение выполнять действия с процентами, обыкновенными и десятичными дробями, пропорциональными зависимостями.
2-й уровень: элементарные ситуации, единственный источник, единственная форма представления, стандартные алгоритмы, формулы, процедуры, правила, целые числа, прямой вывод, грамотная интерпретация полученного результата.
1-й уровень: знакомые контексты, четко определенные ситуации, прямые указания, заданная информация, распознавание нужной информации, стандартные процедуры, очевидные действия, ответ на ясно сформулированный вопрос.
Ключевые слова могут служить маркерами продвижения от уровня к уровню. Так, например, для фактора математизации ключевым является степень самостоятельности обучающегося при работе с моделью: от полной заданности в условиях шаблонной модели на уровнях 1 и 2 через простые модели в конкретных ситуациях на уровнях 3 и 4 до самостоятельного моделирования сложных проблемных ситуаций с учетом наложенных ограничений и допущений на уровнях 5 и 6.
Однако для целей формирования функциональной грамотности
такая тонкая градация уровней не столь актуальна, как для оценки, поскольку учителю в процессе обучения трудно ориентироваться на шесть уровней и организовать адекватную конструктивную работу. Целесообразно уменьшить их количество до более «осязаемых» и понятных пяти уровней: недостаточный (в PISA ему соответствует уровень 1 и ниже), низкий (уровень 2, пороговый в PISA), средний (уровень 3 и часть уровня 4), повышенный (уровень 4 и часть уровня 5), высокий (уровень 6 и часть уровня 5).
Такое сокращение за счет «сжатия» более высоких уровней оправдано еще и тем, что для России характерно распределение по уровням, где не столь значительна доля учащихся, не достигших даже первого уровня (6,8% в 2018 г.), а также достигших 5-го и 6-го уровней (8,1% в 2018 г.). Задача при формировании функциональной математической грамотности — уменьшить долю тех обучающихся, которые находятся на уровне 1, обеспечив их переход на уровень 2, и увеличить долю тех, кто достиг уровней 4 и выше.
Завершая этот раздел, нельзя не упомянуть об использовании цифровых технологий в контексте оценки и формирования математической грамотности. Известно, что при использовании компьютера, который позволяет задействовать соответствующее программное обеспечение и его инструменты для проведения вычислений, создания зрительных образов, модификации изображений и проведения исследований с разнообразными математическими объектами, явлениями и процессами, возникают дополнительные возможности. Использование компьютера позволяет разрабатывать и применять в обучении и оценке задания, с которыми можно работать в диалоговом режиме, значительные по объему базы реальных статистических данных, движущиеся объекты, трехмерные объекты и возможность их трансформации, диаграммы, схемы, графики, таблицы, чтобы сделать задания более привлекательными для учащихся. Однако вопросы влияния цифрового формата на результаты выполнения задания учащимися в настоящее время в достаточной мере не изучены, поэтому нельзя обоснованно судить о характере распределения этого параметра, входящего в фактор инструментально-сти, по уровням математической грамотности. Приводя далее примеры заданий, мы будем отмечать те возможности, которые целесообразно, на наш взгляд, реализовать в цифровом формате.
Организация проведения исследования
Исследование проводилось в рамках региональной диагностической работы для обучающихся 8-х и 9-х классов общеобразовательных организаций Московской области в мае-июне 2020 года в дистанционном формате.
В выполнении работ приняли участие 72 543 обучающихся 8-х классов, от 4 742 до 4 998 обучающихся на один вариант; 58 189 обучающихся 9-х классов, от 4 741 до 4 999 обучающихся на один вариант.
Система заданий включала:
- для учащихся 8-х классов: 28 комплексных ситуаций и 2-3 задания к каждой ситуации, всего 63 отдельных задания;
- для учащихся 9-х классов: 15 комплексных ситуаций и 2-3 задания к каждой ситуации, всего 36 отдельных заданий.
Задания прошли экспертизу и были апробированы в ходе проведения когнитивных лабораторий в школах Москвы.
На выполнение каждого блока, состоящего из 2-3 комплексных ситуаций, включавших 6-7 отдельных заданий, учащимся отводилось 30 минут.
Заданиями охвачены все содержательные линии курса математики российской школы: арифметическая, геометрическая, алгебраическая и вероятностно-статистическая, которые соответствуют четырем содержательным областям, выделенным в исследовании PISA: количество, пространство и форма, изменения и зависимости, неопределенность и данные. Особенностью выполнения работы является предоставленная учащимся возможность использования встроенного калькулятора.
Распределение системы заданий по областям содержания представлено в Таблице 1.
Таблица 1
Распределение заданий по областям содержания
Область содержания 8 класс 9 класс
Количество заданий Доля,% Количество заданий Доля,%
Количество 26 41 8 22
Пространство и форма 17 27 9 25
Изменения и зависимости 13 21 9 25
Неопределенность и данные 7 11 10 28
Комплексные ситуации охватывали выделенные в исследования PISA контексты: личная жизнь, образование / профессиональная деятельность, общественная жизнь, научная жизнь.
Задания охватывали все виды когнитивной деятельности, описанные в исследовании PISA: формулирование ситуации на языке математики (далее — формулирование), применение математических знаний (далее — применение), интерпретация и оценка полученного результата (далее — интерпретация), рассуждение [7; 16].
Распределение системы заданий по видам когнитивной деятельности представлено в Таблице 2.
Таблица 2
Распределение заданий по видам когнитивной деятельности
Вид когнитивной деятельности 8 класс 9 класс
Количество заданий Доля,% Количество заданий Доля,%
Формулирование 15 24 8 22
Применение 24 38 12 33
Интерпретация 17 27 6 17
Рассуждение 7 11 10 28
Диапазон сложности заданий, использованных в исследовании, позволил дифференцировать обучающихся по пяти группам на основе результатов выполнения ими математического блока работы (для этого были использованы статистические методы, описанные в предшествующих статьях Г. С. Ковалевой и др.).
Таблица 3
Распределение обучающихся по уровням математической грамотности
Уровень математической грамотности Доля учащихся,%
8 класс 9 класс
Недостаточный 20 26
Низкий 26 23
Средний 36 32
Повышенный 15 15
Высокий 3 4
На основе анализа решаемости задач группами учащихся разного уровня успешности были выявлены задания, выполняемые учащимися
каждой из выделенных групп. Исследование этих пяти групп заданий и обобщение их по семи факторам, выявленным разработчиками PISA, позволил описать особенности функциональной математической грамотности учащихся каждой группы, а также особенности характеризующих их заданий. Отметим, что исходное представление о качественных уровнях математической грамотности, заданных таксономией исследования PISA, сохранены в качестве основной рамки, а примененный статистический подход позволил уточнить их с учетом особенностей российских учащихся. Дальнейшее уточнение и разграничение уровней потребует дополнительной концептуализации, уточнения уже введенных факторов или введения новых [3]. В частности, детализации и проработки требует фактор инструментализации.
Результаты исследования
Ниже приводится описание особенностей функциональной математической грамотности обучающихся каждого из выделенных уровней и даются примеры соответствующих заданий.
Учащиеся, математическая грамотность которых отвечает высокому уровню, могут свободно пользоваться информацией, полученной ими на основе анализа моделей или самостоятельного моделирования сложных проблемных ситуаций, демонстрируя тем самым высокий уровень математизации. Они свободно связывают информацию из нескольких источников, представленную в различной форме: вербальный текст, структурированные данные в виде таблицы, формула, график, схема, рисунок, геометрический чертеж, они преобразовывают ее, переходят от одной формы к другой, что говорит о высоком уровне коммуникации. Они свободно и в широком диапазоне владеют изученными математическими понятиями, правилами, действиями, операциями, фактами и зависимостями, умеют распознавать их в реальных ситуациях (это высокий уровень репрезентации), применяют формальный язык и различные техники преобразований и построений (высокий уровень формализации). Они владеют методами решения задач, умением разрабатывать новые стратегии для решения проблем в реальных ситуациях на основе хорошо сформированного математического мышления и умения проводить рассуждения, их решения последовательны, нестандартны, включают методы из разных разделов математики, что свидетельствует о высоком уровне развития способности разрабатывать стратегии. Они
умеют четко и точно формулировать свои выводы, действия и мысли, давать интерпретацию, приводить примеры и аргументы, делать предположения, а для их объяснений характерна точность выводов, ясность формулировок в письменной форме, что объясняется высоким уровнем способности рассуждать и аргументировать.
Это учащиеся, которые справляются с широким спектром контекстов и ситуаций, как знакомых, так и неизвестных, применяя весь спектр приобретенных математических знаний, и достигают, или при определенных условиях могут достичь, наивысшего 6-го уровня математической грамотности PISA.
Пример задания: «Дорога до дачи», вопрос 3.
Учащиеся, математическая грамотность которых отвечает повышенному уровню, могут самостоятельно справляться с комплексными конкретными ситуациями, работать с четко определенными (детальными) готовыми моделями, успешно распознавать их ограничения, допущения, условия функционирования. Они могут выбирать и интегрировать информацию из различных источников, связывать между собой информацию, представленную в нескольких различных формах, способны понимать и использовать символику, напрямую связанную с конкретным аспектом ситуации. Они могут выбирать, сравнивать и оценивать различные, соответствующие этим моделям стратегии решения, проявлять интуицию в простых ситуациях.
Они обладают способностью рассуждать, могут формулировать свои выводы и интерпретации, аргументировать, опираясь на выполненные действия, собственные доводы. Они умеют описывать решения, в некоторых случаях с использованием формального языка, излагать объяснения в письменной форме.
Это учащиеся, которые готовы работать с различными реальными ситуациями, обладают хорошей математической подготовкой и ме-тапредметной базой, они могут достичь 5-го уровня математической грамотности PISA.
Пример задания: «Пособие на ребенка», вопрос 2.
Учащиеся, математическая грамотность которых отвечает среднему уровню, способны работать с конкретными ситуациями, простыми моделями, имеющими четко заданные ограничения. Они могут выбрать информацию из нескольких источников, представленную в стандартных, связанных формах (не более 2-х — 3-х), ограниченно используя
математическую символику. Они проявляют некоторую способность справляться с процентами, обыкновенными и десятичными дробями, пропорциональными зависимостями, применять простые методы, выполнять четко описанные процедуры в несколько шагов, включая случаи принятия решений на каждом шаге. Они могут записать решение, содержащее элементарную интерпретацию и прямые рассуждения.
Большая часть учащихся этой группы сможет достичь 3-го уровня математической грамотности PISA, а некоторая часть и 4-го уровня, показывая в определенных ситуациях способность справляться с более сложными заданиями.
Пример задания: «Пособие на ребенка», вопрос 1.
Учащиеся, математическая грамотность которых отвечает низкому уровню, способны работать с элементарными ситуациями, применять простые модели и стандартные методы решения, делать прямые выводы. Они проявили некоторую способность извлекать информацию из единственного источника и использовать информацию, представленную в единственной форме. Они не владеют всем спектром изученных действий, алгоритмов, правил, но проявляют некоторую ограниченную способность справляться с рациональными числами, стандартными алгоритмами, формулами, правилами.
Это учащиеся, которые смогут преодолеть пороговый уровень PISA, но не смогут продвинуться выше.
Пример задания: «Первая линия московского метро», вопрос 1.
Учащиеся, математическая грамотность которых отвечает недостаточному уровню, способны справляться только с известными им контекстами и четко определенными знакомыми ситуациями. В таких ситуациях учащиеся могут ответить на явно сформулированные вопросы при условии наличия всей необходимой для этого информации или с использованием личного опыта, следовать прямым указаниям. В некоторых случаях они могут выполнить простейшие стандартные процедуры, ограниченные, как правило, действиями с натуральными числами, очевидными или явно следующими из ситуации.
Эти учащиеся не достигают порогового уровня математической грамотности PISA, у них просто отсутствуют простейшие предметные навыки, необходимые для применения в предлагаемых ситуациях.
Пример задания: «Первая линия московского метро», вопрос 2.
Примеры заданий различных уровней математической грамотно-
сти и их характеристики
Распределение комплексных заданий по выделенным нами уровням математической грамотности приведено в Таблице 4.
Таблица 4
Распределение заданий по уровням математической грамотности
Уровень Название комплексного задания / вопрос
Высокий Дорога до дачи / 3
Повышенный Пособие на ребенка/2
Средний Пособие на ребенка/ 1
Низкий Первая линия московского метро / 1
Недостаточный Первая линия московского метро / 2
ЗАДАНИЕ «ДОРОГА ДО ДАЧИ»
Всем хорошо известно, как важны хорошие дороги, по которым можно в кратчайшие сроки перевозить грузы и перемещаться пассажирам.
На автомобильной трассе М4 «Дон» в пределах Московского региона сделали три скоростных участка, на которых можно развивать скорость до 130 км/час. Первый участок расположен с 51-го по 71-й км от Москвы, второй — с 76-го по 103-й км, третий — с 113-го по 120-й км.
В субботу в восемь часов утра семья Ивановых выехала на автомобиле на дачу, которая расположена в 120 км от Москвы, и воспользовалась скоростными участками трассы «Дон». График их движения изображен на рисунке. На оси абсцисс — время от начала движения (в ч), на оси ординат — пройденное расстояние (в км).
ВопросЗ. На участкетрассы с 71-гопо76-й кмидутдорожныеработы посоединению двухпервыхскоростныхучастков в единыйскоростной
участок. За какое наименьшее время можно будет преодолевать этот объединенный скоростной участок по завершении дорожных работ? Ответ дайте в минутах. Запишите ответ и решение.
Ответ:_
Решение:_
Характеристики задания «Дорога до дачи»
Комплексное задание описывает реальную жизненную ситуацию, которая может возникнуть в семье, путешествующей на автомобиле, она хорошо знакома и понятна ученику. Все вопросы относятся к одному контексту — личная жизнь.
Задание формулируется вне предметной математической области в том смысле, что ученику не сказано, какие математические действия или операции требуется выполнить. Вместе с тем включение в условие задания графика движения автомобиля помогает учащимся «увидеть» объект, который встречался им на уроках математики. Все три вопроса задания сосредоточены в одной области содержания — Изменения и зависимости. Вопрос 3 содержит проблемную ситуацию: определить наименьшее время движения по объединенному участку дороги; здесь возможны две стратегии — данные для решения проблемы можно выделить из графика или из текста условия. Очевидно, что все действия ученик должен выполнить на основе тех знаний и того опыта, которые он получил на уроках математики: читать и понимать график зависимости, интерпретировать результаты анализа графика в условиях заданной ситуации.
Вид деятельности в вопросе 3 — формулирование, включающий в себя умение определить, из какого раздела математики он может извлечь требуемые знания, чтобы решить проблему. В рассматриваемом задании ставится вопрос о нахождении наименьшего времени, за которое можно будет преодолеть объединенный скоростной участок по завершении дорожных работ. При решении этой проблемы ученик должен найти подход к нахождению наименьшего времени, то есть извлечь из текста информацию, касающуюся максимальной скорости, которую можно развивать на данной скоростной дороге, и к определению длины объединенного участка, образованного из трех участков.
Способность дать ответ на вопрос 3 отвечает высокому уровню. Ученики должны свободно пользоваться различными формами представления информации («считанной» с графика движения и полученной из анализа условия задания); владеть изученными математическими понятиями (средняя скорость движения), способами (нахождения средней скорости), уметь распознавать их в реальных ситуациях; уметь разрабатывать новые стратегии для решения проблем в реальных ситуациях и уметь рассуждать (неизвестны расстояние, время, способ нахождения наименьшего времени, затраченного на движение); уметь четко и точно формулировать свои выводы.
Характеристики задания представлены в Таблице 5.
Таблица 5
Характеристики задания «Дорога до дачи. Вопрос 3»
Дорога до дачи. Вопрос 3 Область содержания
_изменения и зависимости_
_Контекст_
личная жизнь Вид когнитивной деятельности формулирование Уровень математической грамотности высокий Тип задания
_краткий ответ с пояснением_
_Предметные результаты обучения_
определять минимальное время движения по заданному маршруту с заданной максимальной скоростью Оценка ответов ответ принимается полностью — 2 балла, частично — 1 балл Используемые вычислительные инструменты
_встроенный цифровой калькулятор_
_Использование компьютерных средств_
ввод текста с помощью клавиатуры, вставка (или рисование) графического объекта с помощью мыши
ЗАДАНИЕ «ПОСОБИЕ НА РЕБЕНКА»
Семья имеет право получать от государства ежемесячное пособие на ребенка в возрасте до трех лет, если подходит под установленный критерий:
Если сложить все доходы семьи за последние 12 месяцев и разделить их на количество членов этой семьи (родителей и несовершеннолетних детей), а затем найденный средний среднедушевой доход разделить на 12, то на одного человека должно получиться меньше 2-х прожиточных минимумов, установленных в субъекте Российской Федерации для трудоспособного населения.
Семья Ивановых состоит из 4-х человек (мама, папа и двое детей). Одному из детей еще не исполнилось трех лет, и семья хочет получать на него ежемесячное пособие.
Доходы родителей за последние 12 месяцев указаны в таблице:
Член семьи Доход за последние 12 месяцев, руб.
Мама — Иванова Мария Петровна 347040
Папа — Иванов Сергей Андреевич 429000
В субъекте Российской Федерации, где проживают Ивановы, размер прожиточного минимума для трудоспособного населения составляет 11 054 рубля.
Вопрос 1. Имеет ли право семья Ивановых получать ежемесячное пособие на ребенка? Дайте ответ и запишите обоснование.
Ответ: ДА / НЕТ.
Обоснование:_
Вопрос 2. Приведите пример ежемесячных заработков Марии Петровны и Сергея Андреевича, при которых семья Ивановых не будет иметь право на ежемесячное пособие. Дайте ответ и запишите обоснование.
Ответ:
Ежемесячный заработок Ивановой Марии Петровны —_руб.
Ежемесячный заработок Иванова Сергея Андреевича —_руб.
Обоснование:_
Характеристики задания «Пособие на ребенка»
Успешность выполнения этих двух заданий существенно зависит не только от предметных знаний учащихся, но и от владения стратегиями смыслового чтения, то есть метапредметных умений. К ним также следует отнести и такие виды деятельности, как:
- удержание в процессе решения задачи всех условий, необходимых для ее решения, контроль соблюдения ограничений при нахождении решения и интерпретация полученного результата;
- работа с информацией, представленной в различной форме (текст, таблица).
Кроме того, успешность зависит и от сформированности познавательных универсальных учебных действий логического и алгоритмического характера и общих приемов решения задач.
Оба задания ситуации относятся к области содержания «Количество», этот материал чаще всего изучается в 5-х — 6-х классах: выполнять вычисления с натуральными числами, сравнивать натуральные числа (вопрос 2), интерпретировать полученную в результате вычислений десятичную дробь, сравнивать ее с натуральным числом (вопрос 1). Из прочих умений используются: читать и интерпретировать данные таблицы; составлять высказывания, излагать решение в письменной форме.
Когнитивная деятельность характеризуется применением навыков выполнения алгоритмических предписаний (вопрос 1) и использования рассуждений для построения требуемого примера (вопрос 2).
Вопрос 1 относится к заданиям среднего уровня математической грамотности, т.к. представлена конкретная, четко заданная ситуация, в задании два источника информации (вставку в рамке, содержащую информацию нормативного характера с алгоритмом подсчета, можно считать отдельным источником), информация двух видов — текстовая и числовая, часть из которой представлена в таблице. Для ответа на вопрос надо следовать четко описанному алгоритму, взяв конкретную информацию из таблицы и из текста вне таблицы, и записать решение, отражающее выполнение этих шагов алгоритма.
Вопрос 2 относится к заданиям повышенного уровня математической грамотности, т.к. при всей конкретности ситуации и прочих равных с вопросом 1 условий ученику необходимо самостоятельно сконструировать свой пример, построенный на отрицании описанной ситуации (привести пример, при каких доходах семья НЕ будет иметь
права на льготу). При этом требуется продемонстрировать четкое понимание ограничений ситуации, сохранить ее реалистичность, проявить числовую интуицию.
Характеристики задания представлены в Таблице 6.
Таблица 6
Характеристики задания «Пособие на ребенка»
Вопрос 1 Вопрос 2
Область содержания
количество количество
Контекст
личная жизнь личная жизнь
Вид когнитивной деятельности
применение рассуждение
Уровень математической грамотности
средний повышенный
Тип задания
с развернутым решением с развернутым решением
Предметные результаты обучения
применять заданный алгоритм; выполнять вычисления с реальными величинами; извлекать данные из таблицы и текста, сравнивать величины; записывать решение строить пример, удовлетворяющий заданным условиям; применять заданный алгоритм; выполнять вычисления с реальными величинами; сравнивать величины; приводить обоснование
Оценка ответов
ответ принимается полностью — 2 балла; частично — 1 балл ответ принимается полностью — 2 балла; частично — 1 балл
Используемые вычислительные инструменты
встроенный цифровой калькулятор встроенный цифровой калькулятор
Использование компьютерных средств
отображение двух состояний: ответ выбран: □, ответ не выбран: □; ввод текста с помощью клавиатуры; вставка (или рисование) графических объектов с помощью мыши ввод текста с помощью клавиатуры; вставка (или рисование) графических объектов с помощью мыши
ЗАДАНИЕ «ПЕРВАЯ ЛИНИЯ МОСКОВСКОГО МЕТРО»
На конец 2019 года в Московском метрополитене насчитывалось 14 линий, на которых были расположены 228 станций. Большинство станций расположены под землей, 10 находятся на поверхности, 5 — на мостах и эстакадах.
В таблице даны глубины заложения станций на части самой первой линии московского метро — Сокольнической. Знак «минус» означает, что станция расположена под землей, знак «плюс» — над поверхностью земли. Источник: https://mosmetro.ru
№ Название станции Глубина заложения, м
1 Бульвар Рокоссовского -8
2 Черкизовская -9
3 Преображенская площадь -8
4 Сокольники -9
5 Красносельская -8
6 Комсомольская -8
7 Красные ворота -31
8 Чистые пруды -35
9 Лубянка -33
10 Охотный ряд -15
11 Библиотека имени Ленина -12
12 Кропоткинская -13
13 Парк культуры -11
14 Фрунзенская -42
15 Спортивная -42
16 Воробьевы горы + 10
17 Университет -27
18 Проспект Вернадского -8
19 Юго-Западная -8
Вопрос 1. Для электронной презентации доклада о Сокольнической линии московского метро Антону необходимо представить статистическую информацию до ее продления в 2016 году.
Найдите и запишите следующие средние характеристики о глубине заложения станций на этой линии (округляйте до целого):
среднее арифметическое:_; медиана:_; мода:_
Вопрос 2. Постройте диаграмму глубины заложения четырех станций Сокольнической линии московского метро — от станции «Воробьевы горы» до станции «Юго-Западная». Перетащите точки в соответствующие места на координатной плоскости.
Характеристики задания «Первая линия московского метро»
Комплексное задание «Первая линия московского метро» можно отнести к информационно-познавательным, оно имеет историческую направленность, в нем представлены технические характеристики станций Сокольнической линии. Используя информацию о глубине заложения станций, можно ориентировочно рассчитать время передвижения по эскалаторам.
Задание формулируется вне предметной математической области. В задании есть текстовая часть — фабульная, вводящая в ситуацию, необходимая для понимания основной темы и понятий, которые важны для данной ситуации (эта информация при выполнении заданий непосредственно не используются), и табличная часть, содержащая информацию, которая и потребуется для выполнения двух заданий.
Оба вопроса относятся к одной области содержания — неопределенность и данные, к одному контексту — общественная жизнь, к одному виду когнитивной деятельности — применять.
В вопросе 1 учащимся необходимо использовать данные, представленные в таблице, для подсчета статистических характеристик этого набора: среднего арифметического, медианы и моды. При этом необходимо
выполнить стандартные процедуры: применить правила вычисления среднего арифметического и нахождения медианы набора данных; выполнить вычисления с рациональными числами; упорядочить числовые данные и сравнить число повторений.
В вопросе 2 необходимо выбрать информацию о четырех станциях из таблицы и построить точки по заданным координатам (номер станции и глубина ее заложения). В случае использования компьютера это осуществляется с помощью перемещения точки на экране с помощью мыши.
Вопрос 1 относится к низкому уровню математической грамотности, т.к. учащимся предлагается задание на прямое применение стандартных методов на основе информации из единственного источника, представленной в единственной форме. При вычислениях выполняются действия с рациональными числами.
Вопрос 2 относится к недостаточному уровню математической грамотности, т.к. в этом задании четко определена ситуация, в которой, следуя прямым указаниям, требуется выполнить простейшую стандартную процедуру построения точечной диаграммы. В условии имеются целые числа, но вычисления выполнять не требуется.
Характеристики задания представлены в Таблице 7.
Таблица 7
Характеристики задания «Первая линия московского метро»
Вопрос 1 Вопрос 2
Область содержания
неопределенность и данные неопределенность и данные
Контекст
общественная жизнь общественная жизнь
Вид когнитивной деятельности
применение применение
Уровень математической грамотности
низкий недостаточный
Тип задания
с краткими ответами на построение
Предметные результаты обучения
выполнять вычисления статистических выполнять построение диа-
средних заданного набора данных (среднее арифметическое, медиана, мода) граммы по данным, заданным в таблице
Оценка ответов
ответ принимается полностью — 2 балла; ответ принимается полно-
частично — 1 балл стью — 1 балл
Используемые вычислительные инструменты
встроенный цифровой калькулятор -
Использование компьютерных средств
ввод текста с помощью клавиатуры; сортировка данных (числовых значений) в электронной таблице в порядке возрастания перемещение объектов в соответствии со шкалой с помощью курсора
Использование комплексных заданий для оценки и формирования математической грамотности
Комплексные задания могут использоваться в целях оценки математической грамотности как на уровне внутришкольного контроля, так и в рамках проведения государственной итоговой аттестации. Задания могут выполняться и в бумажном формате, и в электронном, они легко тиражируются. Задания могут служить для проверки сформированности как предметных, так и метапредметных умений, так как включают в себя элементы проверки навыков смыслового чтения, умения использовать приобретенные знания в практических ситуациях.
В обучающих целях задания уровней 1-3 могут быть использованы при формировании предметных навыков, например, на уроках открытия новых знаний на мотивационном этапе, поскольку они могут наглядно демонстрировать ситуацию, в которой новые знания имеют практическое применение. Использование может быть продолжено на уроках закрепления (уровни 3-4), и в таком случае целесообразно организовать работу в парах, чтобы учащиеся могли задавать друг другу вопросы, обсуждать различные стратегии решения, планировать и распределять совместную работу. Задания высоких уровней (в них рассматриваются комплексные ситуации) подходят для уроков систематизации знаний или развивающего контроля, в последнем случае их можно включать в самостоятельную работу с проверкой по эталону. Уместны они и в качестве творческого домашнего задания с последующим обсуждением на уроке.
Так, например, комплексное задание «Первая линия московского метро» может сначала использоваться в целях формирования предметных навыков, далее служить хорошей иллюстрацией поведения различных статистических характеристик, их изменчивости (в зависимости от появления на линии новых станций). Работа с ситуацией может быть продолжена учащимися и проведена для других линий метро, а также для метро в других городах России и мира. Она может быть организована
в виде исследования или проекта. Таким образом, его можно пролонгирована использовать при изучении темы, связанной со статистическими характеристиками, возвращаясь к ситуации с новыми, более сложными вопросами исследовательского или обобщающего характера, выводя учащихся на задания более высоких уровней.
Заключение
Выделение уровней математической грамотности помогает увидеть проблемы математической (предметной) подготовки и недостатки в овладении метапредметными умениями отдельных групп учащихся, что позволяет дифференцированно решать вопросы совершенствования преподавания предмета. Так, например, очевидно, что на способность применять математические знания учащихся, уровень математической грамотности охарактеризован нами как низкий и недостаточный, сильнейшее влияние оказывает отсутствие необходимой базы в предметной, прежде всего в вычислительной, подготовке. Они плохо владеют действиями не только с рациональными, но и с натуральными числами и не способны справиться с элементарными реальными расчетами. Это лишний раз доказывает важность базовой математической подготовки.
Прочное владение основами математики является фундаментом ее успешного применения для решения реальных жизненных проблем учащимися с любым уровнем подготовки. Об этом свидетельствует изучение международных источников по проблеме функциональной грамотности школьников [11]. Если обратиться к российским государственным образовательным стандартам общего образования, то в части математического образования с этим содержанием связываются требования к умениям проводить различные вычислительные процедуры на разных множествах чисел; оперировать зависимостями; применять понятийный аппарат и сведения о геометрических фигурах и их свойствах, распознавать их в реальных объектах; представлять данные, использовать различные статистические характеристики, применять сведения о вероятности событий для принятия решений [10]. Таким образом, в нормативных документах, регламентирующих учебный процесс в школе, важность овладения требуемыми аспектами содержания четко обозначена. Вместе с тем проверка работ учащихся, принимавших участие в исследовании, анализ ошибок и недочетов в их решениях показали, что часть ребят, показавших умение видеть реше-
ние поставленной проблемы (в том числе и моделировать ситуацию), не может получить правильный ответ из-за вычислительных ошибок, что лишает их возможности достичь повышенного и высокого уровней математической грамотности. На это необходимо обратить внимание учителей: прочное овладение предметными умениями дает учащимся основу для достижения высоких уровней математической грамотности.
Есть еще один недочет в подготовке наших учащихся: недостаточное овладение метапредметными умениями, среди которых выделяются регулятивные и познавательные. Именно эти группы умений чаще других обеспечивают решение различных проблем, возникающих в реальной жизни.
Очевидно, что учащиеся, чья математическая грамотность отнесена к среднему и повышенному уровням, проявляют способность справляться с разнообразными ситуациями, но такого рода заданий почти нет в практике традиционного школьного обучения. Более широкое использование комплексных заданий, описывающих реальные ситуации, позволит им приобрести необходимый опыт и выйти на более высокий уровень математической грамотности [8; 9]. Роль учителя в этом вопросе ключевая [4].
Также совершенно ясно, что для учащихся с повышенным и высоким уровнями математической грамотности важны не готовые модели, а самостоятельное моделирование реальных ситуаций, проблемность, поиск разных стратегий, рефлексия. Задания, содержащие подобного рода метапредметные умения, если и имеют место, то, скорее, в программах углубленного изучения математики, однако уже в «чистом», математическом, а не в прикладном воплощении [5].
Таким образом, достаточно очевидно, что проблема формирования математической грамотности учащихся (на различных ее уровнях) находится в прямой зависимости от прочного овладения предметными и метапредметными результатами обучения математике.
Литература
1. Краткие результаты исследования PISA-2018 // Центр оценки качества образования [Электронный ресурс]. URL: http://centeroko.ru/pisa18/pisa2018_pub.html (дата обращения: 18.07.2020).
2. Леонтьев А. А. Педагогика здравого смысла. Избранные работы по философии образования и педагогической психологии / сост., предисл., коммент. Д. А. Леонтьева. М.: Смысл, 2016. 528 с.
3. Нежнов П. Г., Карданова Е. Ю., Эльконин Б. Д. Оценка результатов школьного образования: структурный подход // Вопросы образования. 2011. № 1. С. 26-43.
4. Шляйхер А. Образование мирового уровня. Как выстроить школьную систему XXI века? / пер. с англ. И. С. Денисенко, И. Ю. Облачко, предисл. С. С. Кравцова. М.: Национальное образование, 2019. 336 с.
5. Примерная основная образовательная программа основного общего образования // Реестр примерных основных общеобразовательных программ. Министерство образования и науки Российской Федерации [Электронный ресурс]. URL: http://fgosreestr.ru/registry/primernaya-osnovnayaobrazovatelnayaprogramma-osnovnogo-obshhego-obrazovaniya-3 (дата обращения: 18.07.2020).
6. Результаты международного исследования PISA 2015 (краткий отчет на русском языке) // Центр оценки качества образования [Электронный ресурс]. URL: http://centeroko.ru/pisa15/ pisa15_pub.html (дата обращения: 18.07.2020).
7. РословаЛ. О., КраснянскаяК. А., Квитко Е. С. Концептуальные основы формирования и оценки математической грамотности // Отечественная и зарубежная педагогика. 2019. Т. 1, № 4 (61). С. 58-79.
8. Рослова Л. О., Краснянская К. А., Рыдзе О. А. и др. Математическая грамотность. Сборник эталонных заданий: уч. пос. для общеобраз. орг-ций // под ред. Г. С. Ковалевой, Л. О. Рословой. В 2-х ч. Вып. 1. Ч. 1. М.; СПб.: Просвещение, 2020. 79 с.
9. Рослова Л. О., Краснянская К. А., Рыдзе О. А.и др. Математическая грамотность. Сборник эталонных заданий. Учебное пособие для общеобразовательных организаций. В 2-х ч. Вып. 1. Ч. 2 // под ред. Г. С. Ковалевой, Л. О. Рословой. М.; СПб.: Просвещение, 2020.79 с.
10. Федеральный государственный образовательный стандарт основного общего образования // Федеральные государственные образовательные стандарты [Электронный ресурс]. URL: https://fgos.ru (дата обращения: 18.07.2020).
11. Gr0nmo L. S. The Role of Algebra in School Mathematics // Invited Lectures from the 13th International Congress on Mathematical Education / G. Kaiser et al. (eds.) [Электронный ресурс]. DOI: https://doi.org/10.1007/978-3-319-72170-5_11.
12. Kautz T., Heckman J., Diris R., et al. Fostering and measuring skills: Improving cognitive and non-cognitive skills to promote lifetime success // OECD Education Working Papers. 2014. No. 110. Paris: OECD Publishing [Электронный ресурс]. DOI: http://dx.doi.org/10.1787/5jxsr7vr78f7-en.
13. PISA 2012 Assessment and Analytical Framework: Mathematics, Reading, Science, Problem Solving and Financial Literacy // OECDiLibrary. [Электронный ресурс]DOI: http://dx.doi. org/10.1787/9789264190511-en.
14. PISA 2015 Assessment and Analytical Framework: Science, Reading, Mathematics, Financial Literacy and Collaborative Problem Solving, revised edition. Paris: PISA, OECD Publishing, 2017. P. 65-80.
15. PISA 2018 Assessment and Analytical Framework // OECDiLibrary [Электронный ресурс]. URL: https://www.oecd-ilibrary.org/education/pisa-2018-assessment-and-analytical-framework_13c8a22c-en. (дата обращения: 18.07.2020).
16. PISA 2021 Mathematics Framework (Second Draft) [Электронный ресурс]. URL: https://pi-sa2021-maths.oecd.org/files/PISA%202021%20Mathematics%20Framework%20Draft.pdf (дата обращения: 18.07.2020).
THE PROBLEM OF FORMING THE ABILITY TO "APPLY MATHEMATICS" IN THE CONTEXT OF LEVELS OF MATHEMATICAL LITERACY
The article continues the study of the concept of mathematical literacy, which began in article [7] by setting out the conceptual foundations of its formation and evaluation. In this article, this concept is considered in the context of highlighting the levels of mathematical literacy. The approaches to describing the levels of mathematical literacy in the international research PISA (Program for International Student Assessment) for the period 2003-2019, the main factors determining it, are given. Taking into account the specifics of Russian results, 5 levels of mathematical literacy are proposed, and their qualitative description is given. Three complex tasks containing tasks of various levels are given, relevant comments are given and the characteristics of each task are presented: context, domain of mathematical content, type of cognitive activity, type of item, level of mathematical literacy, assessment of answers,
planned learning outcomes, computing tools used, use of computer tools. Suggestions are given regarding the use of complex tasks for assessment and for the formation of mathematical literacy. Conclusions about the decisive influence of subject and metasubject learning outcomes on the quality of the formation of mathematical literacy are proposed.
Keywords: functional literacy, levels of mathematical literacy, PISA international research, basic general education.
References
• Federal'nyj gosudarstvennyj obrazovatel'nyj standart osnovnogo obshchego obrazovaniya // Federal'nye gosudarstvennye obrazovatel'nye standarty [Elektronnyj resurs]. URL: https://fgos.ru (data obrashcheniya: 18.07.2020). [In Rus].
• Gr0nmo L. S. The Role of Algebra in School Mathematics // Invited Lectures from the 13th International Congress on Mathematical Education / G. Kaiser et al. (eds.) [Elektronnyj resurs]. DOI: https://doi. org/10.1007/978-3-319-72170-5_11.
• Kautz T., Heckman J., Diris R., et al. Fostering and measuring skills: Improving cognitive and non-cognitive skills to promote lifetime success // OECD Education Working Papers. 2014. No. 110. Paris: OECD Publishing [Elektronnyj resurs]. DOI: http://dx.doi.org/10.1787/5jxsr7vr78i7-en.
• Kratkie rezul'taty issledovaniya PISA-2018 // Centr ocenki kachestva obrazovaniya [Elektronnyj resurs]. URL: http://centeroko.ru/pisa18/pisa2018_pub.html (data obrashcheniya: 18.07.2020). [In Rus].
• Leont'ev A. A. Pedagogika zdravogo smysla. Izbrannye raboty po filosofii obrazovaniya i pedagogiches-koj psihologii / sost., predisl., komment. D. A. Leont'eva. M.: Smysl, 2016. 528 c. [In Rus].
• NezhnovP. G., Kardanova E. Yu., El'konin B. D. Ocenka rezul'tatov shkol'nogo obrazovaniya: struk-turnyj podhod // Voprosy obrazovaniya. 2011. № 1. S. 26-43. [In Rus].
• Primernaya osnovnaya obrazovatel'naya programma osnovnogo obshchego obrazovaniya // Reestr primernyh osnovnyh obshcheobrazovatel'nyh programm. Ministerstvo obrazovaniya i nauki Rossijskoj Federacii [Elektronnyj resurs]. URL: http://fgosreestr.ru/registry/primernaya-osnovnayaobrazovatel-nayaprogramma-osnovnogo-obshhego-obrazovaniya-3 (data obrashcheniya: 18.07.2020). [In Rus].
• Rezul'taty mezhdunarodnogo issledovaniya PISA 2015 (kratkij otchet na russkom yazyke) // Centr ocenki kachestva obrazovaniya [Elektronnyj resurs]. URL: http://centeroko.ru/pisa15/pisa15_pub. html (data obrashcheniya: 18.07.2020). [In Rus].
• Roslova L. O., Krasnyanskaya K. A., Kvitko E. S. Konceptual'nye osnovy formirovaniya i ocenki matematicheskoj gramotnosti // Otechestvennaya i zarubezhnaya pedagogika. 2019. T. 1, № 4 (61). S. 58-79. [In Rus].
• Roslova L. O., Krasnyanskaya K. A., Rydze O. A. i dr. Matematicheskaya gramotnost'. Sbornik etalonnyh zadanij: uch. pos. dlya obshcheobraz. org-cij // pod red. G. S. Kovalevoj, L. O. Roslovoj. V 2-h ch. Vyp. 1. Ch. 1. M.; SPb.: Prosveshchenie, 2020. 79 s. [In Rus].
• Roslova L. O., Krasnyanskaya K. A., Rydze O. A. i dr. Matematicheskaya gramotnost'. Sbornik etalonnyh zadanij. Uchebnoe posobie dlya obshcheobrazovatel'nyh organizacij. V 2-h ch. Vyp. 1. Ch. 2 // pod red. G. S. Kovalevoj, L. O. Roslovoj. M.; SPb.: Prosveshchenie, 2020. 79 s. [In Rus].
• PISA 2012 Assessment and Analytical Framework: Mathematics, Reading, Science, Problem Solving and Financial Literacy // OECDiLibrary. [Elektronny resurs] DOI: http://dx.doi. org/10.1787/9789264190511-en.
• PISA 2015 Assessment and Analytical Framework: Science, Reading, Mathematics, Financial Literacy and Collaborative Problem Solving, revised edition. Paris: PISA, OECD Publishing, 2017. P. 65-80.
• PISA 2018 Assessment and Analytical Framework // OECDiLibrary [Elektronnyj resurs]. URL: https://www.oecd-ilibrary.org/education/pisa-2018-assessment-and-analytical-framework_13c8a22c-en. (data obrashcheniya: 18.07.2020).
• PISA 2021 Mathematics Framework (Second Draft) [Elektronnyj resurs]. URL: https://pisa2021-maths.oecd.org/files/PISA%202021%20Mathematics%20Framework%20Draft.pdf (data obrashcheni-ya: 18.07.2020).
• Shlyajher A. Obrazovanie mirovogo urovnya. Kak vystroit' shkol'nuyu sistemu XXI veka? / per. s angl. I. S. Denisenko, I. Yu. Oblachko, predisl. S. S. Kravcova. M.: Nacional'noe obrazovanie, 2019. 336 s. [In Rus].
