CC BY
38
ФУНКЦИОНАЛЬНАЯ ГРАМОТНОСТЬ В ОБНОВЛЕННЫХ ФГОС
Отечественная и зарубежная педагогика. 2023. Т. 2, № 1 (90). С.65-87. Domestic and foreign pedagogy. 2023. Vol. 2, no. 1 (90). P. 65-87.
Научная статья УДК 372.83
doi: 10.24412/2224-0772-2023-90-65-87
КРИТЕРИАЛЬНО-УРОВНЕВЫЙ ПОДХОД К РАЗРАБОТКЕ УЧЕБНО-ДИАГНОСТИЧЕСКИХ МАТЕРИАЛОВ ДЛЯ ФОРМИРОВАНИЯ ФИНАНСОВОЙ ГРАМОТНОСТИ
Елена Лазаревна Рутковская1, Анна Александровна Козлова2, Никита Игоревич Колачев3
1 Институт стратегии развития образования Российской академии образования, Москва, Россия
2 Московский городской педагогический университет, Москва, Россия
3 Национальный исследовательский университет «Высшая школа экономики», Москва, Россия
1 elena.rut@mail.ru
2 Kozlova-518@mgpu.ru
3 nkolachev@hse.ru
Аннотация. Актуальность статьи определяется потребностью внедрения в образовательный процесс критериально-уровневого подхода, актуального для современной школы в контексте решения задач достижения заявленных во ФГОС образовательных результатов. В статье раскрываются подходы к определению уровней сложности заданий, входящих в Банк заданий по финансовой грамотности, разработанных в 2019-2022 годах в ФГБНУ «Институт стратегии развития образования Российской академии образования» по государственному заданию Министерства просвещения РФ в рамках проекта «Мониторинг формирования функциональной грамотности учащихся» [13]. Предметом анализа стали критерии выделения уровней сложности заданий
Е.Л.Рутковская
А. А.Козлова
Н. И. Колачев
© Рутковская Е. Л., Козлова А. А., Колачев Н. И., 2023
по финансовой грамотности, разноуровневые комплексные задания по финансовой грамотности, результаты их апробации.
Ключевые слова: финансовая грамотность, функциональная грамотность, уровни сложности заданий, комплексные задания, банк заданий по финансовой грамотности
Финансирование: статья выполнена в рамках государственного задания ФГБНУ «Институт стратегии развития образования Российской академии образования» № 073-00058-22-01 от 18.01.2022 на 2022 год «Обновление и пополнение открытого банка заданий для формирования функциональной грамотности обучающихся на цифровой платформе».
Для цитирования: Рутковская Е. Л., Козлова А. А., Колачев Н. И. Критериально-уровневый подход к разработке учебно-диагностических материалов для формирования финансовой грамотности // Отечественная и зарубежная педагогика. 2023. Т. 2, № 1 (90). С. 65-87. doi 10.24412/2224-0772-2023-90-65-87.
Original article
CRITERIA-LEVEL APPROACH TO THE DEVELOPMENT OF EDUCATIONAL AND DIAGNOSTIC MATERIALS FOR THE FORMATION OF FINANCIAL LITERACY
Elena L. Rutkovskaya1, Anna A. Kozlova2, Nikita I. Kolachev3
1 Institute for Strategy of Education Development of Russian Academy of Education, Moscow, Russia
2 Moscow City University, Moscow, Russia
3 HSE University, Moscow, Russia
1 elena.rut@mail.ru
2 Kozlova-518@mgpu.ru
3 nkolachev@hse.ru
Abstract. The relevance of the article is determined by the need to introduce a criteria-level approach into the educational process, which is relevant for the modern school in the context of solving the problems of achieving the educational results declared in the Federal state educational standards. The article reveals approaches to determining the criteria and levels of complexity of tasks included in the Bank of tasks for financial literacy, developed in 2019-2022 at the Institute for Education Development Strategy of the Russian Academy of Education under the state assignment of the Ministry of Education of the Russian Federation as part of the project "Monitoring the formation of a functional student literacy." The subject of the analysis was the criteria for identifying the levels of complexity of financial literacy tasks, multi-level complex tasks for financial literacy, and the results of their approbation. Keywords: financial literacy, functional literacy, task difficulty levels,
complex tasks, bank of financial literacy tasks
Funding: the article was fulfilled within the framework of the government task No. 073-00058-22-01 of 18.01.2022 "Updating and enriching the open task bank to develop functional literacy of students on a digital platform" by the Institute for Strategy of Education Development of the Russian Academy of Education.
For citation: Rutkovskaya E. L., Kozlova A. A., Kolachev N. I. Criteria-level approach to the development of educational and diagnostic materials for the formation of financial literacy. Domestic and Foreign Pedagogy. 2023;2(1):65-87. (In Russ.). https://doi.org/10.24412/2224-0772-2023-90-65-87.
Введение
Оценка образовательных достижений обучающихся в свете требований действующего ФГОС должна отличаться рядом особенностей, среди которых особого внимания заслуживают следующие позиции:
- индивидуальный характер оценивания, при котором фиксируется результат конкретного учащегося, а не только уровень класса или учебной группы, и задания подбираются с учетом уровня образовательных достижений конкретного обучающегося;
- комплексный характер оценки, при котором оценочные материалы позволяют фиксировать уровень достижения различных образовательных результатов;
- критериальный характер оценки, предполагающий выделение критерия с его детализацией (операционализацией критерия) и описание уровней освоения [6; 13; 14].
Уровневая дифференциация должна осуществляться не за счет того, что одним ученикам дают меньше учебного материала, а другим больше, а в силу того, что, предлагая ученикам его одинаковый объем, устанавливаются различные уровни требований к усвоению [4]. Для каждого уровня даются соответствующие описания, включающие характерные для них критерии, и при проведении оценивающих мероприятий учитель и ученик видят ту позицию, на которой в данный момент находится обучающийся, и определяют продвижение по его индивидуальной образовательной траектории. В результате у учителей появляется возможность организовать учебный процесс таким образом, чтобы у учащихся формировалась оценка своих достижений и дефицитов, своих действий и возможностей, т.е. самооценка образовательных результатов — способ-
ность понять, что «я это уже умею и знаю», «я этому не совсем научился», «я этого совсем не знаю» [1].
В отличие от оценки предметных результатов, которая строится на понятных большинству педагогов материалах и принципах, оценка сфор-мированности функциональной грамотности — явление сравнительно новое для отечественной педагогической практики и пока не всегда способное фиксировать уровень каждого обучающегося. Институт стратегии развития образования предложил модель оценивания уровня функциональной грамотности, в которой описание критериев ведется на основе внешних проявлений/свидетельств достижения планируемых результатов / освоения и присвоения системы формируемых знаний, умений, навыков, отношений на различных уровнях [6; 15].
Важным инструментом обеспечения разноуровневых требований и в конечном счете реализации образовательных задач могут стать задания разных уровней сложности, предназначенные для учащихся с разным уровнем образовательных достижений. Они предполагают интеллектуальные действия разной сложности, которые необходимо осуществить при выполнении заданий, и это, с одной стороны, увеличивает доступность и помогает освоению материала всеми обучающимися, с другой стороны, это помогает обучающемуся, понимающему свои дефициты и видящему, какие задания направлены на их преодоление, отбирать их для выполнения в обучающих целях и, как следствие, осуществлять переход на более высокий уровень. И наконец, задания разных уровней сложности помогают обеспечить интерес, мотивацию, что, в свою очередь, влияет на индивидуальное продвижение, прогресс, в отличие от ситуации, когда все задания ориентированы на примерно один условно средний уровень, и ученики с низким уровнем сфор-мированности функциональной грамотности испытывают ситуацию неуспеха и не продвигаются, а учащиеся с высоким уровнем не имеют возможности дальнейшего прогресса.
Цель статьи
При создании Банка заданий по финансовой грамотности разработчики акцентировали внимание на уровнях их сложности. Каждое комплексное задание применительно к одной и той же ситуации решения финансовой проблемы предлагает задания разных уровней сложности и позволяет педагогу отобрать задания сообразно уровню познавательных
возможностей обучающихся и их финансовой грамотности. Разработка заданий разного уровня сложности в начале работ по созданию Банка строилась в основном на экспертной, зачастую интуитивной, оценке возможностей обучающихся и того содержания, тех интеллектуальных операций, тех требований, которые, по мнению разработчиков, соответствовали низкому, высокому или среднему уровням сложности. Уровень сложности, присвоенный тому или иному заданию разработчиками, не всегда подтверждался в ходе апробационных процедур и нуждался в корректировке, зачастую значительной.
Ситуацию могло изменить внедрение критериально-уровневого подхода, требующего проанализировать факторы, влияющие на сложность заданий, и разработать описания уровней сложности, по которым могут выстраиваться задания в процессе их разработки. Именно это стало предметом внимания разработчиков заданий по финансовой грамотности.
Цель статьи — описание факторов, влияющих на уровень сложности заданий по финансовой грамотности, выявленных в процессе разработки учебно-диагностических материалов, включающих разноуровневые комплексные задания, их характеристики и системы оценивания, а также методические комментарии по их использованию.
Методология и методы исследования
Уровень сложности заданий Банка заданий для 5-9-х классов — одна из важнейших характеристик каждого из них [13]. Эти уровни изначально были определены экспертным путем разработчиками, затем они проверялись и корректировались в ходе их экспериментальной проверки в процессе апробации каждой новой серии подготовленных заданий. Примеры заданий по финансовой грамотности разного уровня сложности с описаниями и комментариями были представлены в ряде публикаций [5; 7-12].
Работа в команде исследователей, создающих материалы по разным направлениям функциональной грамотности в Институте развития образования РАО, позволила учитывать опыт определения факторов, от которых зависит уровень сложности заданий в области математической грамотности, и выделение трех уровней математической грамотности: достаточного, повышенного и оптимального (опережающего) [3, с. 186-187]. На каждом уровне были рассмотрены характер описания ситуации, лежащей в основе задания (с акцентированием степени зна-
комства обучающихся с подобными ситуациями), формат представления информации, которую нужно использовать при ответе, и особенности задаваемого вопроса в контексте числа логических шагов (действий), необходимых для ответа на него. В заданиях достаточного уровня предъявлялись: а) описание ситуации, идентичной известным обучающимся, или несложной ситуации, типичной для повседневной жизни; б) в явном виде информация, необходимая для ответа на поставленный вопрос; в) вопрос, для ответа на который нужно выполнить 1-2 логических шага или действия. Задания повышенного уровня представляли: а) ситуацию, аналогичную изученной или известную из повседневной жизни;
б) справочную информацию, представленную в одной-двух формах;
в) вопросы, для ответа на которые нужно выполнить 2-3 логических шага или 2-4 действия. Задания оптимального уровня включали: а) описание ситуации, которая была незнакома, но могла быть сведена к известной; б) новый материал, незнакомый учащимся (который не предлагался или был представлен эпизодически на уроках, ученику не приходилось встречаться с подобными ситуациями в повседневной жизни); в) справочную информацию разного формата, на основе которой делаются выводы или разрабатывается способ решения.
В работе были учтены также подходы к выделению трех уровней сложности заданий (низкий, средний и высокий), представленные Институтом стратегии развития образования в докладе «Типовые критерии оценки достижения результатов обучающихся в соответствии с ФГОС основного общего образования». В основу разделения заданий на уровни были положены следующие критерии: сложность предметного содержания, сложность читательских умений, сложность контекста, а также сочетание когнитивных операций. Для выполнения заданий низкого уровня сложности достаточно опоры на житейский опыт, базовых читательских умений и несложных мыслительных операций. Чем выше уровень сложности, тем больше предъявляется требований [15, с. 7-8, 22-23].
В 2021 году разработке новых заданий по финансовой грамотности предшествовала работа с экспериментальными данными по заданиям прошлых лет, полученными в ходе их апробаций, и выделение заданий с экспериментально выявленными уровнями сложности в три отдельные группы: низкого, среднего и высокого уровней. Далее был проведен качественный анализ заданий по каждому уровню, включивший рассмо-
трение особенностей содержания, формы предъявления информации, требований к познавательным умениям и характера вопросов. В процессе этой работы были выявлены особенности, определяющие фактический уровень сложности заданий по финансовой грамотности, и на их основе сделаны описания заданий разного уровня сложности. С учетом того, что задания разной сложности ориентированы на учащихся с разным уровнем финансовой грамотности, получившиеся описания были сопоставлены с описаниями уровней в материалах исследования PISA-финансовая грамотность [8, с. 7] и дополнены отдельными положениями на основе этого сопоставления.
Дальнейшие работы по созданию заданий Банка строились на полученных результатах, что помогло проектировать ожидаемый уровень сложности разрабатываемых заданий, подтвержденный последующей экспериментальной проверкой в ходе апробации. В то же время описания элементов (составляющих) разного уровня позволили наглядно представить конкретизированные требования, предъявляемые заданиями к обучающимся на том или ином уровне сложности и помогающие педагогам работать над повышением уровня финансовой грамотности школьников.
Ход и результаты исследования. Обсуждение
Международное исследование функциональной грамотности PISA, описывая уровни финансовой грамотности [8], позволяет выделить несколько линий, по которым происходит усложнение заданий:
- интерпретация финансовой информации, представленной в разной форме, с учетом связи между ее элементами;
- понимание назначения финансовых продуктов разной сложности, умение выбирать наиболее предпочтительные из них в конкретной ситуации;
- характер решаемых финансовых вопросов: от типичных обыденных проблем к малознакомым, которых пока не доводилось касаться, и нестандартным проблемам, непростым контекстам, которых учащиеся будут касаться по мере взросления;
- понимание последствий конкретных финансовых решений (позитивных и негативных, близких и долгосрочных);
- арифметические действия с числами разной сложности.
Задача обеспечения учащихся с разным уровнем финансовой гра-
мотности возможностью выполнить определенные задания в каждом разрабатываемом комплексе постоянно находится в фокусе внимания разработчиков Института стратегии развития образования РАО. Например, задание с выбором одного верного ответа, требующее на основе выявления явно представленной информации определить, с какой финансовой проблемой столкнулась семья, предполагает, что даже учащийся с недостаточным уровнем финансовой грамотности с ним справится. А это позволяет вовлечь его в работу над комплексным заданием и постепенно повышать уровень финансовой грамотности, предлагая ему задания более высоких уровней сложности. Заметим: на низком уровне сложности формулировки вопросов и элементов информации в тексте самого задания должны быть максимально синонимичны. Другой пример — задания, требующие развернутого ответа или использования онлайн-калькулятора. Они, как показывает опыт анализа использования комплексных заданий по финансовой грамотности, отличаются высокой сложностью и могут быть ориентированы на учащихся с высоким уровнем финансовой грамотности. Третий пример — задания на расчеты. Они, как правило, средней сложности и могут быть ориентированы на учащихся со средним и с повышенным уровнем финансовой грамотности.
В основе выделения уровней сложности заданий по финансовой грамотности лежат несколько критериев. Одним из важнейших является способ представления информации в задании. Информация может быть представлена в явном виде (текст, диалог) и неявном виде (инфографика, изображение, результаты статистики). Задания низкого уровня сложности предполагают, что необходимую информацию легко локализовать, она обобщается в начале или в конце текста, стиль текста приближен к повседневной речи и не перегружен терминами. В заданиях среднего уровня может сочетаться информация, представленная в явном и неявном виде, может потребоваться соотнести и сравнить информацию из двух источников (например, таблицы стоимости билетов на каток в разные дни для разных категорий посетителей и диалога героев, в котором они определяют, когда им удобнее всего посетить каток). Стиль текста может быть публицистическим, напоминающим фрагмент журнальной статьи или интернет-статьи, объявление рекламного характера. При составлении заданий высокого уровня сложности информация часто представлена в неявном виде с использованием нескольких источников,
зачастую незнакомых обучающимся: счет, квитанция, детализация звонков, договор об оказании услуг и пр. Часть текстов заданий может быть отнесена к официально-деловому стилю, включающему специальную терминологию, к примеру юридическую. Для ответа необходимо выявлять единицы информации из разных частей текста, связывать вербальную и визуальную информацию.
В качестве примера обратимся к комплексному заданию «Безопасность в социальных сетях», предлагаемому на двух уровнях сложности учащимся 6-го класса [2]. Сюжет задания прост: его герой Дима выложил на странице в социальной сети фото билета на концерт.
В задании среднего уровня сложности друг героя прямо указывает ему на ошибку: «Ты поступил неправильно: ты разместил фото своего билета вместе со штрихкодом и с QR-кодом. Этот поступок может привести к финансовым потерям». Учащихся просят объяснить, в чем ошибка Димы. Как мы видим, информация представлена в явном виде и направляет размышления ученика в конкретное русло. В задании высокого уровня сложности вместо прямой речи героя предложены три варианта размещения фото билета в социальных сетях. В задании требуется выбрать наиболее безопасный с финансовой точки зрения вариант и аргументировать свой выбор. В данной версии задания информация представлена в неявном виде, ученику нужно самому делать вывод о том, что необходимо закрасить (закрыть) и штрихкод , и ОЯ-код, чтобы мошенники не смогли воспользоваться билетом, так как в этом случае Дима не сможет попасть на концерт и потеряет деньги.
В том же комплексном задании на двух уровнях сложности предлагается оценить верность суждений о безопасности в социальных сетях. Сравним тексты, с помощью которых учащимся представлена информация.
Задание низкого уровня сложности Задание среднего уровня сложности
«В первую очередь нужно помнить, что мошенники могут украсть твои деньги, присылая ссылки и сообщения с, казалось бы, привлекательными предложениями. Такие сообщения нужно отличать от, например, Когда вы начинаете пользоваться социальными сетями, нужно помнить, что в интернете существует множество опасностей для ваших финансов. Угроза потери денег в социальных сетях может быть связана с двумя обстоятельствами: 1) проникновение вирусных программ в ком-
просто рекламы товаров,— начал рассказывать Миша.— Кроме того, опасайся ссылок от тех пользователей, которых ты не знаешь: это могут быть вредоносные программы, чтобы похитить твои пароли или данные банковской карты».
пьютер или смартфон, которые способны похитить данные, например, банковских карт; 2) действия мошенников в интернете, которые стремятся похитить ваши деньга путем обмана. Мошенники рассчитывают на вашу невнимательность, доверчивость, нежелание вчитываться в сообщения, низкий уровень финансовой грамотности.
Мы видим, что тексты отличаются по стилю, структуре, объему и числу единиц информации.
Следующим критерием выделения уровней задания важно упомянуть особенность финансового продукта, с которым предстоит работать учащимся в ходе выполнения комплексного задания. На низком уровне сложности ученики имеют дело с продуктами, которые лежат в плоскости повседневных экономических действий, например покупкой продуктов питания или книг, оплатой билета в кино или развлекательный центр, приобретением проездного билета, накоплением денег на желаемую покупку. Предполагается, что обучающиеся сталкиваются с теми же проблемами, что и герои комплексного задания. На среднем уровне экономические действия лежат в плоскости продуктов, о которых у учащихся есть представление, но они нечасто с ними сталкиваются в рамках социального опыта. К подобным действиям можно отнести выбор тарифа мобильной и интернет-связи, составление семейного бюджета, принятие финансовых решений, касающихся всей семьи, и пр. В заданиях высокого уровня сложности финансовый продукт выходит за рамки социального опыта ученика. К подобным продуктам можно отнести инвестиции, кредитование, страхование, налогообложение и пр. В заданиях предлагается принимать финансовые решения, которые ученикам вряд ли приходилось принимать в реальной жизни. В этой ситуации от учеников требуется удерживать внимание на той информации, которую они получили в процессе выполнения предыдущих заданий комплекса: каждое отдельное задание способствует формированию нового умения по тому или иному аспекту финансовой грамотности и расширяет социальный опыт. Данный аспект определяет высокий уровень сложности ряда заданий: требование применить ранее полученные знания в новой учебной ситуации, удерживая в памяти сюжетную линию, цифры и факты. В подобных заданиях опоры лишь на собственный опыт недостаточно.
Часто задания по финансовой грамотности предполагают проведение расчетов. Если предлагается рассчитать стоимость покупки в одно действие, задание может быть отнесено к низкому уровню сложности. Более сложные задания уже включают необходимость проведения более сложных расчетов в несколько действий, сложные задания содержат действия с процентами.
Формат задания также определяет уровень сложности. На низком уровне может быть предложено выбрать один верный из четырех вариантов ответа, произвести группировку вариантов ответа на две группы (оценить, является ли совет рациональным, можно ли сэкономить и т.п.), соотнести две группы объектов, например виды страхования и конкретные жизненные ситуации. Задания среднего уровня включают задания на множественный выбор и выбор варианта ответа с последующим объяснением (например, необходимо выбрать модель поведения в ситуации угрозы финансового мошенничества и объяснить, почему данное поведение является рациональным и позволяет избежать потери финансов). Увеличение трудности связано с тем, что обучающиеся не имеют четких ориентиров, как в заданиях низкого уровня сложности, они не знают, сколько конкретно верных ответов они должны отметить, приходится анализировать и оценивать каждый вариант. Требование аргументировать выбор подразумевает навыки формулировать мысли, отличать аргументированный ответ от общих рассуждений, обобщать. Для заданий высокого уровня были определены такие форматы, как задание с кратким ответом (результат сложного расчета, в том числе с использованием онлайн-калькулятора), множественный выбор, задание с развернутым ответом.
Рекомендации по оцениванию выполнения заданий учитывают ориентацию заданий на учащихся с разным уровнем финансовой грамотности. Это касается в первую очередь заданий, оцениваемых в два балла. Предполагается, что учащиеся с высоким уровнем финансовой грамотности смогут ответить без ошибок и наберут два балла. А вот учащиеся, совершившие одну ошибку и получившие один балл, скорее всего, продемонстрируют средний уровень финансовой грамотности.
Уровень сложности определяет также выбор варианта решения проблемы с соответствующей аргументацией. Задания на выбор решения можно условно разделить на две группы: задания, подразумевающие один финансово верный выбор, и задания, в котором можно выбрать
несколько вариантов. Например, комплексное задание «Климатический магазин» [2] повествует о необычном супермаркете в Швеции, где в дни акций можно приобрести продукты растительного происхождения со значительной скидкой, в то время как продукты животного происхождения будут стоить дороже. Учащимся предлагается дать ответ на вопрос, будет ли вегану или вегетарианцу выгодно воспользоваться подобной акцией. Ответ требуется аргументировать. На среднем уровне учащийся выберет один из вариантов и приведет аргументацию. На высоком уровне предполагается указание того, что при обоих типах питания немалую долю рациона могут составлять растительные продукты, которые во время акции стоят дешевле.
Рассмотрим два комплексных задания, на примере которых можно наглядно продемонстрировать особенности разработки заданий разного уровня сложности, ориентированных на учащихся с разным уровнем финансовой грамотности. Оба задания носят название «Мобильная связь» и включают в название цифры 1 или 2, отражающие низкий или высокий уровень сложности [2]. Герой каждого из комплексов хочет меньше платить за сотовую связь и просит помочь ему подобрать новый тариф. Ученики 6-7-х классов являются активными пользователями мобильной связи и мобильного интернета, следовательно, данная ситуация является понятной для них. С другой стороны, оплату мобильной связи часто осуществляют родители, поэтому данное задание может научить экономить на мобильной связи и осуществлять целесообразный выбор из существующих предложений. Если у ученика нет опыта выбора тарифа мобильной связи и он никогда не задумывался над тем, сколько стоит пользование телефоном, данное задание позволит расширить рамки его социальной практики.
Выбранные для рассмотрения комплексные задания были разработаны и апробированы в 2021 году. В настоящее время они включены в Банк заданий по финансовой грамотности [13].
Комплексное задание «Мобильная связь — 1» состоит из пяти заданий, в числе которых четыре задания низкого уровня и одно среднего уровня сложности. Выполняя первое задание низкого уровня сложности, обучающиеся отвечают на вопрос «Какую финансовую проблему хочет решить Артем?», выбирая ответ из следующих вариантов:
□ Как накопить денег на новый телефон
□ Как меньше пользоваться интернетом
□ Какая модель телефона ему подходит
□ Как сэкономить на мобильной связи
Подключенные услуги
На связи — Сообщите всем, кто вам звонил, что вы снова на связи. 0 руб./мес. Переадресация вызова — Установите переадресацию на любой номер телефона. 0 руб./мес.*
Кто звонил — Будьте в курсе того, кто вам звонил. 0 руб./мес.**
ТВ в телефоне — Смотрите передачи на вашем телефоне в любом месте.
0 руб./мес.
*Услуга автоматически входит в тариф.
**Бесплатно первые 30 дней. Далее — 1 руб./день._
Обучающиеся должны определить, что за услугу «<Кто звонил» списывается примерно 30 рублей в месяц. Данное задание было отнесено к среднему уровню сложности, несмотря на то что необходимые для его выполнения сведения даны только в одном источнике и не нужно производить сложных расчетов. Оно вызывает затруднение у учащихся, которым сложно внимательно изучить документ и обратить внимание на мелкий шрифт (навык, отсутствие которого может стать причиной финансовых потерь в реальной жизни). Процент выполнения — 66%.
На втором этапе в обоих комплексных заданиях для анализа предлагается следующая информация: «Я плачу 500 рублей в месяц. В тариф входят 300 минут, 300 СМС и 10 ГБ интернета, которых часто не хватает, — ответил Артем». Кроме того, приводится детализация оказанных услуг за два последних месяца:
Апрель Май
Звонки — 180 минут Звонки — 150 минут
СМС — 10 сообщений СМС — 23 сообщения
Интернет — 10 ГБ Интернет — 10 ГБ
Итого: 500 руб. Итого: 500 руб.
Сравним два задания, основанных на представленной информации.
Мобильная связь — 1, низкий уровень сложности
Мобильная связь — 2, средний уровень сложности
Какие услуги Артем использует в полном объеме, а какие — нет? Отметьте «Использует полностью» или «Использует частично» для каждого утверждения.
Утверждение Использует полностью Использует частично
Звонки □ □
СМС-сообщения □ □
Интернет □ □
Какие выводы могут сделать Артем и Максим, принимая во внимание все данные?
Отметьте «Верно» или «Неверно» для каждого вывода.
Вывод Верно Неверно
Артем активно пользуется мобильным интернетом, ему нужен тариф, предлагающий больше ГБ. □ □
Артем предпочитает писать СМС-сообщения, поэтому ему нужен тариф с большим количеством СМС. □ □
Артем не использует все минуты в тарифе, следовательно, ему нужен тариф с меньшим количеством минут. □ □
По формату ожидаемого ответа данные два задания однотипны. В то же время очевидно, что в первом варианте ученикам нужно просто сравнить величины по соответствующим позициям, причем формулировки в задании и данных, которые содержит описание ситуации, идентичны. С этим заданием справились 80% учащихся 6-го класса. Во втором варианте предполагаются выводы на основании проведенного анализа: при выполнении задания необходимо увидеть, что Артему не хватает интернета, и распознать как правильный вывод то, что в новом тарифе гигабайт должно быть больше. Верное выполнение задания — лишь 41%, что подтверждает его более высокий уровень сложности.
Приближаясь к решению главной проблемы задания, связанной с подбором нового выгодного тарифа мобильной связи, герои решают
ознакомиться с советами в интернете. На низком уровне сложности в комплексном задании «Мобильная связь — 1» достаточно из пяти советов выбрать один — рациональный с финансовой точки зрения. Стоит отметить, что советы в задании низкого уровня сложности даны в формате, хорошо знакомом подросткам,— в виде сообщений в обсуждении на форумах. Например: «Каждый месяц я изучаю детализацию своих звонков. Делай так же и отключай те услуги, которыми не пользуешься». Мы наблюдаем высокий процент выполнения задания во время апробации: 83%.
В комплексном задании «Мобильная связь — 2» герои также выбирают рациональные советы по экономии денег при оплате услуг мобильной связи. Текст советов, предъявляемый в задании, по стилю, можно сказать, инструктивно-публицистический, например: «Внимательно следите за детализацией и меняйте тарифный план на подходящий именно вам». Для того чтобы сделать верный выбор, учащемуся нужно использовать знания, полученные при выполнении предыдущих заданий. Задание представлено в формате множественного выбора, а этот формат является одним из трудных. Лишь 46% обучающихся смогли полностью верно ответить на вопрос и получить 2 балла; 36% допустили одну ошибку и получили 1 балл. Это означает, что выполнение задания на два бала соответствует требованиям среднего уровня сложности, на один балл — более низкому уровню.
В последнем задании учащиеся применяют полученные знания и понимание финансовой проблемы. В частности, соотносят три тарифа мобильной связи с тремя пользователями, учитывая их потребности в различных услугах. Такой формат заданий казался посильным для учащихся с низким уровнем финансовой грамотности. Процент выполнения оказался равным 64%, что означает приближение задания по сложности к среднему уровню. Часть шестиклассников невнимательно ознакомились с запросами пользователей мобильной связи, и они чаще всего путали тарифы, подходящие двум подросткам. Результат наглядно показывает, что уровень сложности задания увеличивается, если его выполнение предполагает использование ранее полученной информации, а также работу со значительным количеством элементов информации и числовых показателей.
Отдельно остановимся на заданиях, предполагающих развернутый ответ.
В процессе выполнения комплексного задания «Мобильная связь» [2] шестиклассники подбирают герою подходящий тариф. В комплексе «Мобильная связь — 1» представлено описание тарифа, на основе которого учащимся предлагается ответить на вопрос: «Подойдет ли данный тариф Артему?» — и обосновать свой ответ. При этом текст задания напоминает, насколько активно герой пользуется различными услугами мобильной связи. Задание считалось выполненным (выставлялся 1 балл), если был выбран ответ «Нет» («не подходит») и указано, что данный тариф предлагает еще меньше гигабайт интернета, а герою и раньше интернета не хватало. Оценка 0 баллов выставлялась, если был выбран ответ «Нет», но объяснение было приведено неверно или отсутствовало, либо был выбран ответ «Да» и приведено любое объяснение, либо если ответ отсутствовал.
Значительно сложнее задание комплекса «Мобильная связь — 2», в котором предлагается самостоятельно выбрать один подходящий тариф из трех предложенных (демонстрируя все тот же навык: умение решить финансовую проблему, исходя из индивидуальных потребностей) и объяснить свой выбор. Эти требования определили изначально высокий уровень задания, который подтвердился в ходе апробации: лишь около 30% учащихся полностью правильно выполнили задание и получили 2 балла. Согласно рекомендациям по оцениванию, 2 балла выставлялись, если был выбран ответ «На связи» и было приведено объяснение, в котором указаны конкретные преимущества тарифа для Артема с учетом его потребностей. 1 балл выставлялся, если был выбран ответ «На связи», но приведенное суждение не являлось объяснением. 0 баллов выставлялось, если был выбран неверный тариф или ответ отсутствовал [2]. Как видим, система оценивания, позволяющая дифференцировать полностью правильный и частично правильный ответы (политомическая модель), позволяет проектировать в соответствии с каждым результативным баллом различные уровни сложности заданий.
В целях подтверждения состоятельности соотнесения представленных описаний элементов учебно-диагностических материалов с определенным уровнем сложности задания мы обратились к изучению эмпирических уровней заданий по финансовой грамотности, зафиксированных в ходе их апробации. Сравнение уровней заданий в комплексах по финансовой грамотности происходило на основе эмпирических данных в рамках психометрической модели Г. Раша [17] и ее расширения на политоми-
ческие задания [16]. Эти модели позволяют расположить на единой шкале трудность заданий и результаты учащихся (так называемая шкала логитов). Чтобы понять, к какому уровню каждое анализируемое задание относится, мы разделили результаты учащихся на три группы по количеству набранных баллов за выполнение совокупности заданий по финансовой грамотности — с условно низким, средним и высоким уровнем финансовой грамотности. Разделение по уровням происходило на основе 33-го и 66-го перцентилей. Перцентиль указывает на долю учащихся в выборке, результат которых ниже определенного показателя по шкале результатов (в нашем случае шкале логитов). По нашим данным, 33% учеников получили результат менее -0,81 логита, 33% учащихся получили результат от -0,81 до 0,2 логита, оставшаяся треть получила результат выше 0,2 логита. Напомним: результаты учеников и трудность заданий расположены на единой шкале (с едиными единицами измерения) и могут быть сопоставлены. Если трудность задания на единой шкале логитов попадала в область значений, характерных для результатов учащихся с низким уровнем финансовой грамотности (меньше -0,81 логита), то оно обозначалось как задание низкого уровня; если трудность задания на единой шкале логитов попадала в область значений, характерных для результатов учащихся со средним уровнем финансовой грамотности (от - 0,81 логита до 0,2 логита), то оно обозначалось как задание среднего уровня; задание высокого уровня — это задание, трудность которого попадала в область значений, характерных для результатов учащихся с высоким уровнем финансовой грамотности (более 0,2 логита). Иными словами, задания, которые соответствуют результатам учащихся с низким уровнем финансовой грамотности (до 33-го перцентиля), доступны для выполнения этой группе учеников (немалая их доля верно выполняет эти задания); задания, соответствующие результатам учеников со средним уровнем финансовой грамотности (от 33-го до 66-го перцентиля), в большей степени доступны этой группе учеников, нежели учащимся с низким уровнем финансовой грамотности; задания, соответствующие результатам учащихся с высоким уровнем финансовой грамотности (от 66-го перцентиля), лучше выполняются именно этой группой учеников, нежели учащимися с более низким уровнем финансовой грамотности.
На рисунке 1 представлено распределение заданий «Безопасность в социальных сетях — 1» и «Безопасность в социальных сетях — 2» по
уровням трудности, зафиксированным в ходе апробации. Отметим, что в комплексе «Безопасность в социальных сетях — 1» два задания находятся на низком уровне, одно — на среднем и одно — на высоком. В то же время в комплексе «Безопасность в социальных сетях — 2» одно задание относится к низкому уровню, два задания — к среднему и одно — к высокому. Кроме того, средняя трудность заданий комплекса «Безопасность в социальных сетях — 1» составляет -1,81 логита, а «Безопасности в социальных сетях — 2» равняется 0,54 логита, что больше на 2,35 логита. То есть в среднем комплекс «Безопасность в социальных сетях — 2» существенно труднее, чем «Безопасность в социальных сетях — 1», как и было задумано разработчиками.
Рисунок 1. Распределениезаданий комплексов«Безопасностьвсоциальных сетях — 1» и «Безопасность в социальных сетях — 2» по уровням трудности
На рисунке 2 представлено распределение заданий комплексов «Мобильнаясвязь — 1»и «Мобильнаясвязь — 2» по уровням трудности. Можно заметить, что в комплексе «Мобильная связь — 1» два задания находятся на низком уровне, два — на среднем и одно — на высоком. В то же время в комплексе «Мобильная связь — 2» два задания относятся к низкому уровню, а три задания — к высокому. Кроме того,
средняя трудность заданий комплекса «Мобильная связь — 1» составляет -0,63 логита, а «Мобильной связи — 2» равняется 0,03 логита, что больше на 0,66 логита. То есть в среднем комплекс «Мобильная связь — 2» заметно труднее, чем «Мобильная связь — 1», как и было задумано разработчиками.
Рис. 2. Распределение заданий комплексов «Мобильная связь — 1» и «Мобильнаясвязь — 2»поэмпирическимуровням трудности
Заключение. Разработка заданий по финансовой грамотности с учетом выделенных составляющих,определяющих уровень их сложности^ последующиманализом результатов выполнениязаданийпо эмпирически выявленным уровням стала продолжением серьезного направления работы,связанногос выделениемкритериевопределения уровнейсложностизаданийпофункциональнойграмотностив целом. Результаты продвижения в этом направлении применительно к финан-совойграмотности представлены в таблице 1.
Таблица 1
Критерии определения уровней сложности заданий по финансовой грамотности (рабочий вариант)
Уровень сложности заданий Представление информации, требования к умениям и социальному опыту Форматы заданий
Задания низкого уровня сложности Информация представлена в явном виде и касается экономических действий, лежащих в плоскости повседневных действий учащегося. Формулировки заданий и текста описания ситуации синонимичны. Источник информации один, текстовый, объяснение дано в разговорном стиле, на бытовом уровне. Также источник может быть представлен в формате таблицы с максимально понятными формулировками. Простой расчет в одно действие. Соотнесение, группировка (объединение) объектов в две группы, простой расчет стоимости в одно действие, выбор одного верного ответа
Задания среднего уровня сложности Информация представлена в менее явном виде (может присутствовать общее объяснение) и касается финансовых решений, лежащих в плоскости продуктов, о которых учащийся может иметь представление на основе своего опыта. Используются, как правило, два источника информации в разных форматах. Несложные расчеты в два действия. Выбор и объяснение, множественный выбор
Задания высокого уровня сложности Информация представлена в неявном виде с использованием нескольких источников. Задания требуют применить новые знания, полученные в процессе выполнения комплексного задания. Задания включают несколько математических действий и расчет процентов. Финансовый продукт выходит за рамки социального опыта учащегося. Расчет, развернутый ответ, множественный выбор в тексте, онлайн-калькулятор
Опыт разработки учебно-диагностических материалов Банка заданий по финансовой грамотности (текстов заданий, их уровневых характеристик и системы оценивания) позволяет сделать вывод о состоятельности выявленных критериев при создании заданий разного уровня сложности.
Описания критериев заданий разного уровня сложности могут быть использованы как при разработке заданий, так и в реальном учебном процессе в качестве инструмента содействия развитию финансовой грамотности школьников и их переходу на более высокий уровень.
Продолжение разработки учебно-диагностических материалов для
формирования финансовой грамотности и функциональной грамотности в целом на основе критериев, позволяющих моделировать задания разных уровней сложности в их ориентации на учащихся с разным уровнем финансовой грамотности, видится одним из перспективных направлений работ по созданию учебно-методического обеспечения развития функциональной грамотности учащихся.
Список источников
1. Аскарова М. А. О системе критериального оценивания в обучении (из наблюдений опыта учителей на практике в школе) // Молодой ученый. 2014. № 20.1 (79.1). С. 34-36 [Электронный ресурс]. URL: https://moluch.ru/archive/79/14071/ (дата обращения: 21.11.2022).
2. Банк заданий по финансовой грамотности. 2021 год. 6 класс. «Безопасность в социальных сетях — 1»; «Безопасность в социальных сетях — 2». «Мобильная связь — 1»; «Мобильная связь — 2». 9 класс. «Климатический магазин». Задания. Характеристики заданий и система оценивания. Методические комментарии к заданиям [Электронный ресурс]. URL: http://skiv.instrao.ru/bank-zadaniy/finansovaya-gramotnost/ (дата обращения: 30.10.2022).
3. ДенищеваЛ. О., КраснянскаяК. А., Рыдзе О. А. Подходы к составлению заданий для формирования математической грамотности учащихся 5-6 класса // Отечественная и зарубежная педагогика. 2020. Т. 2, № 2 (70). С. 181-201.
4. Жанбаева Л. А., Жандабаева И. С., Жунисбекова Ж. А. Уровневая дифференциация как средство повышения уровня знаний учащихся // Успехи современного естествознания. 2015. № 6. С. 151-155 [Электронный ресурс]. URL: https://natural-sciences.ru/ru/article/view?id=35472 (дата обращения: 21.11.2022).
5. Ковалева Г. С. Финансовая грамотность как составляющая функциональной грамотности: международный контекст // Отечественная и зарубежная педагогика. 2017. Т. 1, № 2 (37). С. 31-43.
6. Ковалева Г. С., Логинова О. Б., Рослова Л. О. и др. Основные подходы к формированию критериев освоения обучающимися ФГОС (материалы для обсуждения) // Единое содержание общего образования [Электронный ресурс]. URL: https://edsoo.ru/download/207?hash=49a6899482 1afa2825322a32ef5f17db (дата обращения: 21.11.2022).
7. Королькова Е. С., Козлова А. А. Формирование финансовой грамотности учащихся основной школы: работа учителей-предметников // Отечественная и зарубежная педагогика. 2020. Т. 2, № 2 (70). С. 100-116.
8. Новые достижения российских учащихся. Финансовая грамотность (по результатам международной программы PISA-2015) [Электронный ресурс]. URL: https://vashifinancy.ru/up-load/iblock/58c/58cd4b647f3db00fbb58c50b6ab7a952.pdf (дата обращения: 27.09.2022).
9. Половникова А. В., Козлова А. А. Задания по финансовой грамотности в контексте реализации системно-деятельностного подхода: особенности моделирования и опыт апробации // Отечественная и зарубежная педагогика. 2019. Т. 1, № 4 (61). С. 159-176.
10. РутковскаяЕ. Л. Развитие функциональной грамотности: опыт анализа и разработки заданий // Актуальные вопросы гуманитарных наук: теория, методика, практика. К 25-летию Московского городского педагогического университета: сб. науч. ст. Вып. VII / науч. ред. А. А. Сорокин. М.: Книгодел, 2020. С. 420-429.
11. Рутковская Е. Л. Финансовая грамотность как компонент функциональной грамотности: подходы к разработке учебных заданий // Отечественная и зарубежная педагогика. 2019. Т. 1, № 4 (61). С. 98-111.
12. Рутковская Е. Л., Половникова А. В. Оценка и формирование финансовой грамотности: модели заданий и их развитие // Отечественная и зарубежная педагогика. 2020. Т. 2, № 2 (70). С. 24-41.
13. Сетевой комплекс информационного взаимодействия субъектов Российской Федерации
в проекте «Мониторинг формирования функциональной грамотности учащихся. Банк заданий. Финансовая грамотность [Электронный ресурс]. URL: http://skiv.instrao.ru/bank-zadaniy/ finansovaya-gramotnost/ (дата обращения: 30.10.2022).
14. Тимерханов Д. Г., Кацай И. И. Система оценки образовательных результатов на основе комплексного и критериально-уровневого подходов // Научно-методическое обеспечение оценки качества образования. 2022. № 1 (15). С. 34-39.
15. Типовые критерии оценки достижения результатов обучающихся в соответствии с ФГОС основного общего образования. Аналитический доклад [Электронный ресурс]. URL: https: 3_Аналитический_доклад_Типовые_критерии^1г (iro86.ru) (дата обращения: 21.11.2022).
16. Masters G. N. A Rasch model for partial credit scoring // Psychometrika. 1982. Vol. 47, no. 2. P. 149-174.
17. Rasch G. Studies in mathematical psychology: I. Probabilistic models for some intelligence and attainment tests. Nielsen & Lydiche, 1960. 184 p.
References
1. Askarova M. A. O sisteme kriterial'nogo ocenivaniya v obuchenii (iz nablyudenij opyta uchitelej na praktike v shkole) // Molodoj uchenyj. 2014. № 20.1 (79.1). S. 34-36 [Elektronnyj resurs]. URL: https://moluch.ru/archive/79/14071/ (data obrashcheniya: 21.11.2022). [In Rus].
2. Bank zadanij po finansovoj gramotnosti. 2021 god. 6 klass. «Bezopasnost' v social'nyh setyah — 1»; «Bezopasnost' v social'nyh setyah — 2». «Mobil'naya svyaz' — 1»; «Mobil'naya svyaz' — 2». 9 klass. «Klimaticheskij magazin». Zadaniya. Harakteristiki zadanij i sistema ocenivaniya. Metodicheskie kommentarii k zadaniyam [Elektronnyj resurs]. URL: http://skiv.instrao.ru/bank-zadaniy/finansova-ya-gramotnost/ (data obrashcheniya: 30.10.2022). [In Rus].
3. Denishcheva L. O., Krasnyanskaya K. A., Rydze O. A. Podhody k sostavleniyu zadanij dlya formirovani-ya matematicheskoj gramotnosti uchashchihsya 5-6 klassa // Otechestvennaya i zarubezhnaya peda-gogika. 2020. T. 2, № 2 (70). S. 181-201. [In Rus].
4. Zhanbaeva L. A., Zhandabaeva I. S., Zhunisbekova Zh. A. Urovnevaya differenciaciya kak sredstvo povysheniya urovnya znanij uchashchihsya // Uspekhi sovremennogo estestvoznaniya. 2015. № 6. S. 151-155 [Elektronnyj resurs]. URL: https://natural-sciences.ru/ru/article/view?id=35472 (data obrashcheniya: 21.11.2022). [In Rus].
5. Kovaleva G. S. Finansovaya gramotnost' kak sostavlyayushchaya funkcional'noj gramotnosti: mezh-dunarodnyj kontekst // Otechestvennaya i zarubezhnaya pedagogika. 2017. T. 1, № 2 (37). S. 31-43. [In Rus].
6. Kovaleva G. S., Loginova O. B., Roslova L. O. i dr. Osnovnye podhody k formirovaniyu kriteriev os-voeniya obuchayushchimisya FGOS (materialy dlya obsuzhdeniya) // Edinoe soderzhanie obshchego obrazovaniya [Elektronnyj resurs]. URL: https://edsoo.ru/download/207?hash=49a68994821afa2825 322a32ef5f17db (data obrashcheniya: 21.11.2022). [In Rus].
7. Korol'kova E. S., Kozlova A. A. Formirovanie finansovoj gramotnosti uchashchihsya osnovnoj shkoly: rabota uchitelej-predmetnikov // Otechestvennaya i zarubezhnaya pedagogika. 2020. T. 2, № 2 (70). S. 100-116. [In Rus].
8. Novye dostizheniya rossijskih uchashchihsya. Finansovaya gramotnost' (po rezul'tatam mezhdun-arodnoj programmy PISA-2015) [Elektronnyj resurs]. URL: https://vashifinancy.ru/upload/iblock/58 c/58cd4b647f3db00fbb58c50b6ab7a952.pdf (data obrashcheniya: 27.09.2022). [In Rus].
9. Polovnikova A. V., Kozlova A. A. Zadaniya po finansovoj gramotnosti v kontekste realizacii sistemno-deyatel'nostnogo podhoda: osobennosti modelirovaniya i opyt aprobacii // Otechestvennaya i zarubezhnaya pedagogika. 2019. T. 1, № 4 (61). S. 159-176. [In Rus].
10. Rutkovskaya E. L. Razvitie funkcional'noj gramotnosti: opyt analiza i razrabotki zadanij // Aktual'nye voprosy gumanitarnyh nauk: teoriya, metodika, praktika. K 25-letiyu Moskovskogo gorodskogo ped-agogicheskogo universiteta: sb. nauch. st. Vyp. VII / nauch. red. A. A. Sorokin. M.: Knigodel, 2020. S. 420-429. [In Rus].
11. Rutkovskaya E. L. Finansovaya gramotnost' kak komponent funkcional'noj gramotnosti: podhody k razrabotke uchebnyh zadanij // Otechestvennaya i zarubezhnaya pedagogika. 2019. T. 1, № 4 (61). S. 98-111. [In Rus].
12. Rutkovskaya E. L., Polovnikova A. V. Ocenka i formirovanie finansovoj gramotnosti: modeli zadanij i ih razvitie // Otechestvennaya i zarubezhnaya pedagogika. 2020. T. 2, № 2 (70). S. 24-41. [In Rus].
13. Setevoj kompleks informacionnogo vzaimodejstviya sub'ektov Rossijskoj Federacii v proekte «Monitoring formirovaniya funkcional'noj gramotnosti uchashchihsya. Bank zadanij. Finansovaya gramotnost' [Elektronnyj resurs]. URL: http://skiv.instrao.ru/bank-zadaniy/finansovaya-gramotnost/ (data obrashcheniya: 30.10.2022). [In Rus].
14. Timerhanov D. G., Kacaj 1.1. Sistema ocenki obrazovatel'nyh rezul'tatov na osnove kompleksnogo i kriterial'no-urovnevogo podhodov // Nauchno-metodicheskoe obespechenie ocenki kachestva ob-razovaniya. 2022. № 1 (15). S. 34-39. [In Rus].
15. Tipovye kriterii ocenki dostizheniya rezul'tatov obuchayushchihsya v sootvetstvii s FGOS osnovnogo obshchego obrazovaniya. Analiticheskij doklad [Elektronnyj resurs]. URL: https: 3_Analiticheskij_ doklad_Tipovye_kriterii.pdf (iro86.ru) (data obrashcheniya: 21.11.2022). [In Rus].
16. Masters G. N. A Rasch model for partial credit scoring // Psychometrika. 1982. Vol. 47, no. 2. P. 149-174.
17. Rasch G. Studies in mathematical psychology: I. Probabilistic models for some intelligence and attainment tests. Nielsen & Lydiche, 1960. 184 p.
Информация об авторах
Е. Л. Рутковская — кандидат педагогических наук, старший научный сотрудник лаборатории социально-гуманитарного общего образования
А. А. Козлова—кандидат исторических наук, ассистент кафедры методики преподавания истории, обществознания и права
Н. И. Колачев—стажер-исследователь Международной лаборатории позитивной психологии личности и мотивации Information about the authors
E. L. Rutkovskaya — PhD (Education), Senior researcher at the Laboratory of social and humanitarian general education
A. A. Kozlova — PhD (History), Assistant at the Chair of history, social studies and law teaching methods
N. I. Kolachev — Research assistant at the international laboratory of positive psychology of personality and motivation
