CC BY
24
РАЗРАБОТКА НАЦИОНАЛЬНОГО ИНСТРУМЕНТАРИЯ ПО ФОРМИРОВАНИЮ ФУНКЦИОНАЛЬНОЙ ГРАМОТНОСТИ
УДК 303
К. П. Вергелес
Младший научный сотрудник Центра оценки качества образования ФГБНУ «Институт стратегии развития образования Российской академии образования», г. Москва E-mail: vergeles.k.soc@gmail.com
Ksenia P. Vergeles
Junior Researcher at the Education Quality Assessment Centre, the Institute for Strategy of Education Development of the Russian Academy of Education, Moscow, Russia
Г. С. Ковалева
Кандидат педагогических наук, заведующая Центром оценки качества образования ФГБНУ «Институт стратегии развития образования Российской академии образования», г. Москва E-mail: galina_kovaleva_rao@ mail.ru
Galina S. Kovaleva
PhD (Education), Head of the Education Quality Assessment Centre, the Institute for Strategy of Education Development of the Russian Academy of Education, Moscow, Russia
ОПЫТ ПРЕДОСТАВЛЕНИЯ ОБРАТНОЙ СВЯЗИ В ПРОЦЕССЕ ОЦЕНКИ И ФОРМИРОВАНИЯ ФУНКЦИОНАЛЬНОЙ ГРАМОТНОСТИ
В статье приводится анализ существующих подходов к предоставлению обратной связи с учетом критериального подхода к оценке и предоставлению результатов с целью выявления особенностей, которые могут использоваться в национальном инструментарии формирования функциональной грамотности. Проанализированы ключевые понятия в области формирующего оценивания, описан опыт международных сравнительных исследований (PISA, TIMSS, PIRLS) и способ предъявления обратной связи на основе компетент-ностных профилей. Для сравнения приводится подход к предоставлению обратной связи, который использовался в проекте «Мониторинг формирования функциональной грамотности» на первом этапе разработки и апробации инструментария. В заключение описаны направления дальнейшей работы по развитию инструментария.
Ключевые слова: функциональная грамотность, обратная связь, представление результатов, формирующее оценивание, международные исследования PISA, TIMSS, PIRLS, уровни достижения, уровни освоения, профили компетенций.
Введение
Главной задачей проекта «Мониторинг формирования функциональной грамотности» является создание национального инструментария, направ-
Как цитировать статью: Вергелес К. П., Ковалева Г. С., Колачев Н. И., Садовщикова О. И. Опыт предоставления обратной связи в процессе оценки и формирования функциональной грамотности // Отечественная и зарубежная педагогика. 2020. Т. 2, № 2 (70). С. 8-23.
ленного на развитие «навыков XXI века», «функциональной грамотности, позитивных личностных установок, мотивации обучения и стратегий поведения обучающихся в различных ситуациях» [ 1, с. 16]. Чтобы реализовать развивающий потенциал инструментария, необходимо предоставлять учителям, родителям и учащимся соответствующую обратную связь, с учетом которой будет формироваться и совершенствоваться функциональная грамотность. Однако как это сделать? Какие существуют подходы? Каковы условия, при которых учителя получают необходимую и достаточную информацию для выстраивания индивидуальной траектории учащихся, обеспечивающей развитие функциональной грамотности?
Целью проводимого исследования является выявление наиболее оптимальных подходов к предоставлению обратной связи в процессе формирования функциональной грамотности.
Актуальность исследования заключается в том, что на данный момент практически нет инструментов, направленных на формирование функциональной грамотности и имеющих исчерпывающую обратную связь для всех участников образовательного процесса.
Существующие в нашей стране измерительные материалы для проведения Национальных исследований качества образования (НИКО), Всероссийских проверочных работ (ВПР) в основном используют в качестве обратной связи средний балл за выполнение работы и эквивалент этого балла по пятибалльной шкале отметок. К примеру, в отчетах НИКО по математике приводится описание результатов на уровне средних баллов по тесту, максимальных баллов, эквивалентности баллов по тесту традиционной системе отметок, некоторой сопоставимости с баллами Единого го-
Н. И. Колачев
Стажер-исследователь Международной лаборатории позитивной психологии личности и мотивации, Национальный исследовательский университет «Высшая школа экономики»; младший научный сотрудник Центра оценки качества образования ФГБНУ «Институт стратегии развития образования Российской академии образования», г. Москва E-mail: nikita.kolachev@yandex.ru
Nikita I. Kolachev
Research Assistant at the International Laboratory of Positive Psychology of Personality and Motivation, HSE University; Junior Researcher at the Education Quality Assessment Centre, the Institute for Strategy of Education Development of the Russian Academy of Education, Moscow, Russia
О. И. Садовщикова
Младший научный сотрудник Центра оценки качества образования ФГБНУ «Институт стратегии развития образования Российской академии образования», г. Москва E-mail: olg.sadov@gmail.com
Olga I. Sadovshchikova
Junior Researcher at the Education Quality Assessment Centre, the Institute for Strategy of Education Development of the Russian Academy of Education, Moscow, Russia
сударственного экзамена, а также процент выполнения заданий с типичными ошибками [3; 4]. Такой подход дает учителям очень ограниченный спектр информации о проблемных местах учащихся и не раскрывает в полной мере компетентностную составляющую результатов учеников. Соответственно, у учителей имеется недостаточно данных, которые бы позволили работать над индивидуальной траекторией развития учащихся.
Практическая значимость предоставления обратной связи определяется возможностью использования результатов выполнения заданий для описания сформированности основных компетенций, лежащих в основе функциональной грамотности, позволяющей организовать учебный процесс, опираясь на уже сформированные умения и учитывая проблемы, выявленные на стадии диагностики.
Постановка проблемы
Для выявления наиболее оптимальных подходов к предоставлению обратной связи в процессе формирования и оценки функциональной грамотности необходимо сформулировать критерии, на основе которых можно будет оценить анализируемые подходы. Для этого рассмотрим особенности формирующего оценивания, которое определяется Д. Николом и Д. Макфарлэн-Дик в статье «Формирующее оценивание и саморегулируемое обучение: модель и семь принципов успешной практики обратной связи» как «оценивание, специально предназначенное для получения обратной связи по результатам работы с целью улучшения и ускорения обучения» [12, р. 199], а также подходы к представлению результатов, которые используются в различных измерительных процедурах.
Основной отличительной особенностью формирующего оценивания является его диагностическая направленность. Оно призвано выявить пробелы в освоении учащимся элемента содержания образования с тем, чтобы восполнить их с максимальной эффективностью.
Формирующее оценивание подразделяют на два типа: оценивание для обучения и оценивание как обучение [5]. Первое означает «отслеживание прогресса ученика в направлении желаемой цели, стремясь сократить разрыв между текущим уровнем компетенций ученика и желаемым результатом» [Там же, р. 208]. Второе — «процесс, в котором учащиеся и учителя устанавливают цели обучения, делятся учебными намерениями и критериями успеха, оценивают свое обучение через диалог и самооценивание, а также через оценивание сверстников» [Там же].
Ключевым компонентом формирующего оценивания является обратная связь по результатам оценивания, которая помогает выстраивать траектории развития как на уровне традиционного обучения, так и в рамках самообразования и самообучения [12; 18]. В рамках школьного образования традиционно считается, что обратная связь формируется учителем и транслируется учащимся через призму восприятия, опыта учителя [21]. Тем не менее современные исследования свидетельствуют о том, что целью формирующей обратной связи является глубокая вовлеченность учащихся в применение таких метакогнитивных стратегий, как личное целеполагание и рефлексия [5]. То есть предполагается развитие учащихся как субъектов самостоятельного, саморегулируемого обучения. Было показано, что внешняя обратная связь влияет на то, как учащиеся относятся к себе (положительно или отрицательно), а также на то, чему и как они учатся [7]. Исследования также показывают [9], что убеждения (установки) учащихся могут регулировать воздействие обратной связи (например, восприятие самоэффективности может поддерживаться путем переосмысления причин неудачи).
Обратная связь может предоставляться как напрямую ученику, так и непосредственно учителю, который впоследствии донесет ее до ученика. В случае предоставления обратной связи через учителя большая роль принадлежит его преподавательскому таланту [18].
Проведенный анализ позволил выделить требования, которым должна удовлетворять обратная связь в процессе формирования функциональной грамотности. Требования включают:
- направленность на «улучшение и ускорение обучения»;
- диагностичность (выявление пробелов учащихся в освоении учебного материала);
- отслеживание прогресса ученика в направлении поставленной цели;
- возможность определения целей обучения и отслеживания их достижения на основе критериев продвижения;
- возможность формирования и применения метакогнитивных стратегий, таких как личное целеполагание, рефлексия и самооценка;
- возможность установления сотрудничества в обучении при условии понятной и принимаемой обратной связи учащимся и учителем;
- возможность использования в традиционном обучении, в рамках самообразования и самообучения.
Рассмотрение подходов к представлению результатов, которые ис-
пользуются в различных измерительных процедурах, целесообразнее всего начать с напоминания о двух основных подходах к оценке, реализуемых в педагогических измерениях: нормативно-ориентированном и критериально-ориентированном.
Нормативно-ориентированная оценка направлена на выявление относительной позиции результатов тестируемого в распределении всех оценок [2], то есть важно получить информацию об учащемся, связанную со степенью его обученности в сравнении с другими учащимися. Например, в международных сравнительных исследованиях качества общего образования, таких как PISA, TIMSS, PIRLS, при выстраивании позиций стран в рейтинге используется именно нормативно-ориентированный подход, который позволяет с учетом ошибки измерения определить, какая страна набрала наибольший балл в сравнении с другими, какая страна получила наименьший балл и т.д. Критериально-ориентированная оценка предполагает интерпретацию результатов в терминах деятельностных критериев (стандартов), которые учащийся может продемонстрировать [Там же].
Международные сравнительные исследования при представлении результатов странам используют уровни освоения (levels of proficiency в PISA либо benchmarks в TIMSS, PIRLS), которые формируются статистически и затем описываются в терминах знаний, умений, компетенций, которые продемонстрировали учащиеся того или иного уровня. В исследованиях TIMSS и PIRLS используются 4 уровня: низкий (low), средний (intermediate), высокий (high), продвинутый (advanced). В исследовании PISA используются 6 уровней: с уровня 1 по уровень 6 [13]. В финансовой грамотности PISA применяются 5 уровней.
Уровни освоения, как отмечают А. Фишбах, У Келлер, Ф. Прекель и др. в работе «Баллы PISA предсказывают образовательные результаты», представляют собой обобщенное описание того, «в какой степени учащиеся овладели необходимыми знаниями и навыками» [8, p. 63]. В первую очередь они используются для того, чтобы широкая аудитория смогла понять результаты международных исследований [15]. Как правило, уровни освоения навыков устанавливаются экспертами с учетом эмпирических данных по выполнению заданий. Как отмечают Р. Олсен и Т. Нильсен [16], эксперты нередко для конструирования и описания уровней используют карту переменных, на которой одновременно отмечены результаты учащихся и трудность заданий.
Характер описания уровней в международных исследованиях отличается в зависимости от целей оценки. Например, в исследовании TIMSS уровни освоения математики описываются в терминах знаний и умений, которые демонстрируют учащиеся при выполнении заданий международного теста: низкий уровень (400 баллов по 1000-балльной шкале) — учащиеся имеют элементарные знания по математике и могут сопоставить информацию из таблиц и графиков; средний уровень (475 баллов) — учащиеся могут применить только базовые знания в знакомых ситуациях, способны интерпретировать некоторые таблицы и графики; высокий (550 баллов) — учащиеся применяют свои знания в различных ситуациях, могут анализировать данные, предоставляемые на разнообразных графиках и диаграммах; продвинутый (625 баллов) — учащиеся способны самостоятельно делать выводы и рассуждать на основе предоставляемой информации, они способны решать нестандартные задачи и задания, требующие выполнение нескольких шагов [11].
Для сравнения в исследовании PISA уровни математической грамотности описываются в терминах способности использовать полученные в школе знания и умения для решения широкого круга задач.
Второй уровень считается пороговым. После достижения этого уровня учащиеся могут применить знания в простейших неучебных ситуациях. На четвертом уровне учащиеся способны получать и интерпретировать новую информацию на основе имеющихся знаний и умений. На 5-6 уровнях они самостоятельно разбираются в сложных ситуациях.
Математическую грамотность учащихся, показавших достижение второго, порогового, уровня, можно охарактеризовать следующим образом: они могут использовать базовые алгоритмы, формулы, процедуры или соглашения для решения проблем, в которых приходится иметь дело с натуральными числами, например, подсчитать примерную цену объекта в различной валюте или сравнить длину двух различных маршрутов. Они могут интерпретировать и распознавать ситуации в контекстах, которые требуют сделать не более одного прямого вывода или заключения, извлечь нужную информацию из единственного источника и использовать информацию, представленную в единственной форме.
Другой подход к предоставлению обратной связи — формирование профилей учащихся. В области измерений в образовании основой для выстраивания профилей являются когнитивные диагностические модели. Эти модели позволяют понять, за счет каких компетенций учащийся
правильно выполняет то или иное задание [17]. Как и в случае с уровнями освоения, при выстраивании профилей основную роль играют эксперты в той или иной оцениваемой области. Это связано с тем, что когнитивные диагностические модели при выстраивании профилей используют так называемую О-матрицу, в которой содержится информация о необходимых для решения того или иного задания навыках [6]. Например, в области читательской грамотности или понимания прочитанного можно использовать следующие компетенции: словарный запас, синтаксис, нахождение информации, выраженной в явном виде, и понимание информации, выраженной в неявном виде [10]. После составления О-матрицы следует подбор модели, которая наилучшим образом описывает данные [6]. Существующие когнитивные модели делятся на две группы — компенсаторные и некомпенсаторные [10]. Первые предполагают, что для того чтобы решить задание верно, не обязательно овладевать всеми навыками, требуемыми для решения этого задания. Последние имеют в своей основе допущение о том, что для решения задачи необходимы все или почти все навыки. После подбора модели проводится классификация учащихся по выделенным экспертами умениям (навыкам). В своем исследовании Х. Ли, В. Хантер и П.-В. Лей [10] выяснили, что в тесте английского как иностранного 46% взрослых тестируемых не овладели ни одним из названных выше навыков; 1% овладел только навыком работы с синтаксисом; 6% овладели навыком работы с неявной информацией; 18% овладели всеми четырьмя необходимыми навыками.
Оба описанных выше подхода основаны на работе экспертов. Именно от проработки описаний либо уровней, либо навыков для когнитивных моделей зависит надежность и валидность обратной связи. Также не стоит забывать, что для работы экспертов нужен надежный и валидный инструментарий, и объективные данные.
Исследователи выделяют и другие подходы к предоставлению обратной связи: конвергентный и дивергентный [20]. Конвергентный подход фокусируется на освоении традиционной программы обучения. Дивергентный же подход ставит в центр внимания ученика и его возможную «зону ближайшего развития» по Выготскому. То есть важным становится донести до ученика его уровень освоения предмета, а также тот уровень, на который он может претендовать при усвоении компетенций последующего уровня [18].
При формирующем оценивании критериально-ориентированный дивергентный подход представляется более уместным, так как он позволяет адаптировать дальнейший процесс обучения к потребностям учащихся [19].
Результаты
Реализация критериально-уровнего подхода к обратной связи в инструментарии для формирования и оценки функциональной грамотности (начальный этап). На данный момент в инструментарии по формированию и оценке функциональной грамотности реализована обратная связь в виде уровней освоения знаний и умений (по примеру международных исследований).
С учетом опыта проведения региональных мониторингов достижения образовательных стандартов была предложена пятиуровневая система представления результатов выполнения диагностических работ по функциональной грамотности. Данная система апробировалась при обработке и анализе результатов региональных диагностических работ, проводимых в Московской области. Всего диагностические работы выполняли 60 205 учащихся из 3 083 девятых классов 1 276 образовательных организаций и 72 543 учащихся из 3 137 восьмых классов 1 269 образовательных организаций Московской области.
Уровни формировались по отдельным направлениям функциональной грамотности, как в исследовании PISA. По каждому из шести направлений: математической, читательской, естественнонаучной и финансовой грамотности, а также глобальным компетенциям и креативному мышлению — на первом этапе было выделено 5 уровней (недостаточный, низкий, средний, повышенный и высокий).
В зависимости от характера распределения баллов по отдельным направлениям использовались два подхода: преобразование первичных баллов в Z-оценки и экспертный анализ полученных распределений.
Z-оценки получаются путем вычитания среднего балла по выборке из индивидуальных баллов учащихся, а затем эта разность делится на стандартное (среднеквадратическое) отклонение. Z-шкала является стандартной с нулевым средним значением и единичным стандартным отклонением: ц = 0, о = 1. Размах оценок, как правило, равен 6 стандартным отклонениям: от -3 до +3. На втором этапе на основе распределения Z-оценок были выбраны следующие интервалы для уровней:
недостаточный < -1 -1 < низкий < 0 0 < средний < +1 + 1 < повышенный < +2 высокий > +2
Важно отметить, что такой подход уместен при условии нормального или близкого к нормальному распределению баллов по результатам выполнения диагностической работы. Данный подход использовался при шкалировании результатов по читательской грамотности, естественно-научной грамотности, креативному мышлению и финансовой грамотности. Шкалирование производилось по каждому варианту отдельно, поскольку варианты могли отличаться по количеству заданий и максимально возможному баллу. В итоге каждому учащемуся был приписан уровень освоения в соответствии с изложенным выше алгоритмом.
В Таблице 1 представлено распределение учащихся по выделенным уровням. Видно, что на недостаточном уровне находится примерно 16-18% учащихся, принявших участие в региональных диагностических работах; на низком уровне — от 29% до 39%; на среднем — от 32% до 34%; на повышенном уровне — от 13% до 15%; на высоком уровне — от 1% до 4%. Такое распределение в целом повторило распределение российских учащихся в исследовании PISA [22].
Таблица 1
Распределение учащихся, участвовавших в региональных диагностических работах, по уровням сформированности функциональной грамотности
8 класс 9 класс
-0
1—
о СО ^ ю О ^ I W ZS о Недостаточный Низкий Средний Повышенный Высокий Недостаточный Низкий Средний Повышенный Высокий
ее _0
CÖ н
о
о -0 0 1
W н о 18% 32% 34% 14% 2% 17% 32% 34% 15% 2%
н CÖ 2
н CÖ
ср
ZT 1_
Естествено- научная грамотность
16% 36% 32% 13% 3% 16% 39% 28% 13% 4%
Креативное мышление 18% 35% 29% 16% 2% 19% 33% 30% 15% 3%
СС £ 2 Ь я °
I Ь !§ иа ■е е- 16% 32% 35% 15% 2% 18% 29% 36% 16% 1%
Распределения результатов по математической грамотности оказались значимо отличными от нормального распределения. В частности, чаще всего распределение баллов оказывалось скошенным влево, то есть в сторону более низких значений. Для того чтобы установить уровни в этой дисциплине, эксперты, основываясь на распределениях баллов по варианту, принимали решение о том, сколько баллов соответствует каждому уровню (отдельно для каждого варианта).
В случае недостатка информации для установления порогов были использованы баллы этих же учащихся по естествознанию или финансовой грамотности (в зависимости от той дисциплины, которая шла в том же наборе тестов для тех же учащихся). Эти две дисциплины были выбраны как наиболее близкие по используемым для решения когнитивным навыкам. Экспертами было замечено, что при решении заданий по математике у учащихся возникали проблемы с технической возможностью записи формул или обоснования решения; это могло быть связано с тем, что эти учащиеся выполняли задания в электронном формате. В связи с этим было сделано допущение о том, что их способности совершать простые арифметические операции можно вычислить исходя из того, как они отвечали на другие дисциплины. В частности, в естественно-научной и финансовой грамотности часто не нужно было записывать формулу, но для ответа было необходимо произвести соответствующие вычисления. Следовательно, если проблема
учащегося заключалась в написании формулы (что могло быть связано с чисто технической стороной вопроса), то его более высокий балл по другой дисциплине мог свидетельствовать о более высоком уровне по математической грамотности. Высокая корреляция между результатами российских учащихся по математической и финансовой грамотности была выявлена в результатах исследования РКА-2018 [14].
Разумеется, подобное преобразование баллов в уровни при недостатке информации (минимальных баллов) имеет под собой не столько статистические обоснования, сколько логические допущения при необходимости обратной связи для учителя и учащегося.
Распределение результатов учащихся по глобальным компетенциям также не является нормальным. В связи с этим в этой области оценки невозможно использовать метод установления уровней с использованием 7-оценок. Установление уровней может быть проведено с учетом экспертного анализа полученных распределений.
Для описания полученных уровней в терминах освоения компетенций были рассчитаны проценты выполнения каждого задания пятью группами учащихся, получившими результаты в пределах данного уровня. Таким образом устанавливалось соответствие между уровнями учащихся и заданиями и формировалось описание каждого уровня в соответствии с методологией исследований Т1М88 и РШЬ8.
Приведем основные правила выявления соответствия заданий определенному уровню функциональной грамотности. Если результат выполнения задания с выбором ответа группой учащихся того или иного уровня выше или равен 65%, то это означает, что такое задание характеризует знания и компетенции этого уровня учащихся при условии, что группа учащихся более низкого уровня выполняет данное задание с результатом 50% или ниже [11; 22]. Для заданий с открытым ответом эта планка составляет 50% [Там же]. Например, есть некоторое задание N с выбором ответа, результаты его выполнения разными группами учащихся по уровням следующие: недостаточный уровень — 15%, низкий — 45%, средний — 70%, повышенный — 81% и высокий — 82%. Следовательно, это задание соответствует среднему уровню функциональной грамотности учащихся, так как именно эта группа детей начинает выполнять это задание выше, чем 65%. Описанная процедура проводится со всеми заданиями, составляющими диагностические работы, что позволяет сопоставить уровень учащихся и выполнение этими учащимися заданий
и описать уровни максимально приближенно к наблюдаемому поведению учащихся. В проекте сопоставление заданий и уровней учащихся позволило описать каждый из уровней в терминах компетенций.
В статьях, представленных в данном выпуске журнала, приводятся описания результатов выделения уровней по отдельным направлениям функциональной грамотности с примерами заданий и интерпретацией их выполнения (например, статья Рутковской Е. Л. и Половниковой А. В. «Оценка и формирование финансовой грамотности: модели заданий и их развитие»).
Стоит отметить, что особого внимания в интерпретации результатов требуют направления «креативное мышление» и «глобальные компетенции», наименее привязанные к конкретному учебному предмету. Так, например, компонент «глобальные проблемы» представлен во ФГОС основного общего образования, примерных учебных программах по географии, обществознанию, биологии, истории. В связи с указанными особенностями заданий они разрабатываются с опорой на пройденный изученный материал в смежных предметных областях с учетом возрастных особенностей учащихся. Используются релевантные возрасту ситуации и лексический материал. Эта особенность данных направлений делает задания более сложными для анализа с тестологической точки зрения. Для анализа результатов в рамках этих направлений в большей мере необходима работа экспертов.
На примере анализа результатов учащихся по креативному мышлению покажем значимость полученных результатов по предоставлению обратной связи для совершенствования функциональной грамотности.
Экспертный анализ выполнения отдельных заданий группами учащихся разного уровня функциональной грамотности направления «креативное мышление» позволил сделать ряд выводов, например, относительно сильных и слабых сторон функциональной грамотности учащихся: «Повышенный уровень демонстрирует шестая часть участников — 16% восьмиклассников и 15% девятиклассников. Эти ученики успешно выполняют большую часть работы — до 75%. Они выполняют задания на письменное и визуальное самовыражение, на разрешение социальных проблем, демонстрируя уверенное владение всеми оцениваемыми компетентностями практически в любых контекстах. Наибольшую трудность в естественно-научной области для них представляют задания на классификацию объектов и задания, при
ответе на которые требуется уверенное владение изученным материалом. Проблемы в визуальном самовыражении связаны с созданием инфогра-фик» (см. статью О. Б. Логиновой и др. «Проект Статья «Мониторинг функциональной грамотности». Креативное мышление: первые результаты» в данном журнале).
Заключение
Подводя итоги первого этапа работы, необходимо отметить, что описанные в статье результаты демонстрируют элементы создания содержательной обратной связи. Использованный в национальном инструментарии функциональной грамотности подход к предоставлению обратной связи более понятен как для экспертов, так и для получателей обратной связи; позволяет давать унифицированную обратную связь всем участникам тестирования. Однако при таком методе предъявления обратной связи описание уровней довольно общее и не учитывает особенности освоения компетенций отдельными учащимися.
Предположим, два ученика набрали по 15 баллов по читательской грамотности, что соответствует среднему уровню освоения компетенций. При этом один ученик решил верно больше заданий на нахождение информации, а второй ученик на интерпретацию и оценку информации. Очевидно, что профили их результатов различаются, хотя в рамках уровневого подхода они будут находиться на одном уровне с единым описанием компетенций.
Формирование профилей компетенций представляется важным перспективным направлением.
Также важно учитывать, что выделенные уровни компетенций могут интерпретироваться только на групповом уровне — уровне школы, муниципалитета или региона. Связано это с тем, что на данном этапе разработанный инструмент не подходит для индивидуальной оценки.
Несмотря на проделанную большую работу по разработке методологии и инструментария для формирования и оценки функциональной грамотности, остается несколько проблем, которые необходимо решить в дальнейшем.
Во-первых, в ходе анализа заданий и выстраивания уровней выяснилось, что в целом разработанные задания довольно трудны для учащихся 8 и 9 класса, следовательно, обнаружился недостаток заданий, которые бы были по силам и соответствовали недостаточному и низкому уровням.
В дальнейшем, в ходе доработки инструмента, предполагается расширить банк заданий за счет разработки более легких заданий.
Во-вторых, в связи с возможным отслеживанием прогресса в области формирования функциональной грамотности возникает вопрос соответствия уровней освоения знаний и навыков в разных классах. К примеру, как соотносится между собой низкий уровень в 5 классе и в 7 классе? Какова роль возрастных особенностей при освоении тех или иных навыков? Эта проблема требует дальнейшего обсуждения и дополнительных исследований.
Статья выполнена в рамках государственных заданий ФГБНУ «Институт стратегии развития образования Российской академии образования» № 073-00007-20-01 на 2020 год «Создание методологии исследования, анализа и прогноза результатов международных и национальных исследований качества образования. Научное обоснование и проведение работ по оценке качества общего образования на основе методологии и инструментария международных исследований качества подготовки обучающихся» и «Методическое сопровождение разработки электронной платформы для проекта „Мониторинг формирования и оценки функциональной грамотности"».
Литература
1. Басюк В. С., Ковалева Г. С. Инновационный проект Министерства просвещения «Мониторинг формирования функциональной грамотности»: основные направления и первые результаты // Отечественная и зарубежная педагогика. 2019. Т. 1, № 4 (61). С. 13-33.
2. Крокер Л., Алгина Дж. Введение в классическую и современную теорию тестов: учебник / под общ. ред. В. И. Звонникова и М. Б. Челышковой. М.: Логос, 2012. 668 с.
3. Аналитические материалы. По результатам проведения Национального исследования качества математического образования в 5-7 классах. Часть 1. Московский центр непрерывного математического образования. 2015. 62 с.
4. Аналитические материалы. По результатам проведения Национального исследования качества математического образования в 5-7 классах. Часть 2. Московский центр непрерывного математического образования. 2015. 62 с.
5. Clark I. Formative assessment: Assessment is for self-regulated learning // Educational psychology review. 2012. Vol. 24, No. 2. P. 205-249.
6. De La Torre J. The generalized DINA model framework // Psychometrika. 2011. Vol. 76, No. 2. P. 179-199.
7. Dweck C. S. Self-theories: Their role in motivation, personality, and development. Psychology press, 2000. 212 p.
8. Fischbach A., Keller U., Preckel F., et al. PISA proficiency scores predict educational outcomes // Learning and individual differences. 2013. Vol. 24. P. 63-72.
9. Garcia T. The role of motivational strategies in self-regulated learning // Understanding self-regulated learning. San Francisco: Jossey-Bass, 1995. 128 p.
10. Li H., Hunter C. V., Lei P. W. The selection of cognitive diagnostic models for a reading compre-
hension test // Language testing. 2016. Vol. 33, No. 3. P. 391-409.
11. Mullis I. V., Martin M. O., Foy P., et al. TIMSS2015 international results in mathematics. Chestnut Hill, MA: TIMSS & PIRLS International Study Center, 2016. 380 p.
12. Nicol D. J., Macfarlane-Dick D. Formative assessment and self-regulated learning: A model and seven principles of good feedback practice // Studies in higher education. 2006. Vol. 31, No. 2. P. 199-218.
13. OECD. PISA 2012 Assessment and Analytical Framework: Mathematics, Reading, Science, Problem Solving and Financial Literacy. OECD Publishing, 2013. 261 p.
14. OECD. PISA 2018 Results. What Students Know and Can Do [Электронный ресурс]. URL: https://www.oecd-ilibrary.org/education/pisa-2018-results-volume-i_5f07c754-en; jsessionid=3LGLQhe R07y7AQ8Wp4q7YiDa.ip-10-240-5-93_feaTa обращения: 16.06.2020).
15. OECD. PISA Data Analysis Manual SPSS, Second Edition. Organisation for Economic Cooperation and Development, 2009. 475 p.
16. Olsen R. V., Nilsen T. Standard setting in PISA and TIMSS and how these procedures can be used nationally // Standard setting in education. Springer, Cham, 2017. P. 69-84.
17. Ravand H., Robitzsch A. Cognitive diagnostic modeling using R // Practical Assessment, Research, and Evaluation. 2015. Vol. 20, No. 1. P. 1-11.
18. Rushton A. Formative assessment: a key to deep learning? // Medical teacher. 2005. Vol. 27, No. 6. P. 509-513.
19. Schulz A., Leuders T., Rangel U. The use of a diagnostic competence model about children's operation sense for criterion-referenced individual feedback in a large-scale formative assessment // Journal of Psychoeducational Assessment. 2020. Vol. 38, No. 4. P. 426-444.
20. Torrance H., Pryor J. Investigating formative assessment: Teaching, learning and assessment in the classroom. McGraw-Hill Education (UK), 1998. 184 p.
21. Tunstall P., Gsipps C. Teacher feedback to young children in formative assessment: A typology // British educational research journal. 1996. Vol. 22, No. 4. P. 389-404.
22. Watermann R., Klieme E. Reporting results of large-scale assessment in psychologically and educationally meaningful terms: Construct validation and proficiency scaling in TIMSS // European Journal of Psychological Assessment. 2002. Vol. 18, No. 3. P. 190-203.
SHARING EXPERIENCE IN PROVIDING FEEDBACK IN THE PROCESS OF ASSESSING AND DEVELOPING FUNCTIONAL LITERACY
The article focuses on an analysis of existing approaches to providing feedback based on a criterion-referenced approach for evaluating and reporting results with the aim to identify features that can be used in the national functional literacy instrument. Critical concepts in the field of formative assessment are analyzed, the experience of international comparative studies (PISA, TIMSS, PIRLS), and the way of providing feedback based on competency profiles are described. For comparison, the approach to providing feedback, which was used in the project "Monitoring the formation of functional literacy" in the first stage of the instrument's development and testing, is given. In conclusion, the directions for further work on the development of the instrument are featured.
Keywords: functional literacy, feedback, reporting of results, formative assessment, PISA, TIMSS, PIRLS, proficiency levels, achievement levels, competency profiles.
References
• Analiticheskie materialy. Po rezul'tatam provedeniya Nacional'nogo issledovaniya kachest-va matematicheskogo obrazovaniya v 5-7 klassah. Chast' 1. Moskovskij centr nepreryvnogo matematicheskogo obrazovaniya. 2015, 62 s. [In Rus].
• Analiticheskie materialy. Po rezul'tatam provedeniya Nacional'nogo issledovaniya kachest-va matematicheskogo obrazovaniya v 5-7 klassah. Chast' 2. Moskovskij centr nepreryvnogo matematicheskogo obrazovaniya. 2015, 62 s. [In Rus].
• Basyuk V. S., Kovaleva G. S. Innovacionnyj proekt Ministerstva prosveshcheniya «Monitoring formirovaniya funkcional'noj gramotnosti»: osnovnye napravleniya i pervye rezul'taty // Otechestvennaya i zarubezhnaya pedagogika. 2019. T. 1, № 4 (61). S. 13-33. [In Rus].
• Clark I. Formative assessment: Assessment is for self-regulated learning // Educational Psychology Review. 2012. Vol. 24, No. 2. P. 205-249.
• De La Torre J. The generalized DINA model framework // Psychometrika. 2011. Vol. 76, No. 2. P. 179-199.
• DweckC. S. Self-theories: Their role in motivation, personality, and development. Psychology press, 2000. 212 p.
• Fischbach A., Keller U., Preckel F., et al. PISA proficiency scores predict educational outcomes // Learning and Individual Differences. 2013. Vol. 24. P. 63-72.
• Garcia T. The role of motivational strategies in self-regulated learning // Understanding self-regulated learning. San Francisco: Jossey-Bass, 1995. 128 p.
• Kroker L., Algina Dzh. Vvedenie v klassicheskuyu i sovremennuyu teoriyu testov: uchebnik / pod ob-shch. red. V. I. Zvonnikova i M. B. Chelyshkovoj. M.: Logos, 2012. 668 s. [In Rus].
• Li H., Hunter C. V., Lei P. W. The selection of cognitive diagnostic models for a reading comprehension test // Language Testing. 2016. Vol. 33, No. 3. P. 391-409.
• Mullis I. V., Martin M. O., Foy P., et al. TIMSS2015 international results in mathematics. Chestnut Hill, MA: TIMSS & PIRLS International Study Center, 2016. 380 p.
• NicolD. J., Macfarlane-Dick D. Formative assessment and self-regulated learning: A model and seven principles of good feedback practice // Studies in higher education. 2006. Vol. 31, No. 2. P. 199-218.
• OECD. PISA 2012 Assessment and Analytical Framework: Mathematics, Reading, Science, Problem Solving and Financial Literacy. OECD Publishing, 2013. 261 p.
• OECD. PISA 2018 Results. What Students Know and Can Do [Elektronnyj resurs]. URL: https://www. oecd-ilibrary.org/education/pisa-2018-results-volume-i_5f07c754-en; jsessionid=3LGLQheRO7y7A Q8Wp4q7YiDa.ip-10-240-5-93 (data obrashcheniya: 16.06.2020).
• OECD. PISA Data Analysis Manual SPSS, Second Edition. Organisation for Economic Co-operation and Development, 2009. 475 p.
• Olsen R. V., Nilsen T. Standard setting in PISA and TIMSS and how these procedures can be used nationally // Standard setting in education. Springer, Cham, 2017. P. 69-84.
• Ravand H., Robitzsch A. Cognitive diagnostic modeling using R // Practical Assessment, Research, and Evaluation. 2015. Vol. 20, No. 1. P. 1-11.
• Rushton A. Formative assessment: a key to deep learning? // Medical teacher. 2005. Vol. 27, No. 6. P. 509-513.
• Schulz A., Leuders T., Rangel U. The use of a diagnostic competence model about children\'s operation sense for criterion-referenced individual feedback in a large-scale formative assessment // Journal of Psychoeducational Assessment. 2020. Vol. 38, No. 4. P. 426-444.
• Torrance H., Pryor J. Investigating formative assessment: Teaching, learning and assessment in the classroom. McGraw-Hill Education (UK), 1998. 184 p.
• TunstallP., Gsipps C. Teacher feedback to young children in formative assessment: A typology // British educational research journal. 1996. Vol. 22, No. 4. P. 389-404.
• Watermann R., Klieme E. Reporting results of large-scale assessment in psychologically and educationally meaningful terms: Construct validation and proficiency scaling in TIMSS // European Journal of Psychological Assessment. 2002. Vol. 18, No. 3. P. 190-203.
