CC BY
766
ОСОБЕННОСТИ РАЗРАБОТКИ И ИСПОЛЬЗОВАНИЯ ЗАДАНИЙ
ДЛЯ ФОРМИРОВАНИЯ И ОЦЕНКИ ФУНКЦИОНАЛЬНОЙ ГРАМОТНОСТИ
УДК 373
Т.В.Коваль
Кандидат педагогических наук, старший научный сотрудник лаборатории социально-гуманитарного образования ФГБНУ «Институт стратегии развития образования Российской академии образования», г. Москва E-mail: nastiakovalt@mail.ru
Tatiana V. Koval
PhD (Education), Senior Researcher, Institute for Strategy of Education Development of the Russian Academy of Education, Moscow, Russia
С. Е. Дюкова
Аналитик лаборатории социально-гуманитарного образования ФГБНУ «Институт стратегии развития образования Российской академии образования», г. Москва E-mail: s.dyukova@gmail.com
Svetlana E. Dukova
Analyst, Institute for Strategy of Education Development of the Russian Academy of Education, Moscow, Russia
КАК ОЦЕНИВАТЬ УМЕНИЯ УЧАЩИХСЯ В СФЕРЕ ГЛОБАЛЬНЫХ КОМПЕТЕНЦИЙ
Статья анализирует подходы и результаты создания и корректировки рамки оценивания функциональной грамотности в сфере глобальной компетентности. Авторы показывают значение критериев международных исследований качества образования для развития национальных систем образования и созданный в этом контексте инструментарий оценки — определитель проверяемого содержания и умений, на основе которого разрабатываются ситуации и задания, которые используются и в целях формирования глобальной компетентности школьников 5-х—9-х классов. Авторы определяют основные требования к разрабатываемому инструментарию; акцентируя значение когнитивных лабораторий и экспертизы заданий мониторинга, они характеризуют роль апробации и особенности корректировки рамки оценивания на каждом этапе; предъявляют исходный и конечный результат, включающий блоки «знания — понимание» и «умения»; раскрывают блок «умения». Статья содержит примеры экспертных оценок и анализ их с позиций международного сравнительного исследования качества образования PISA.
Ключевые слова: PISA, функциональная грамотность, глобальная компетентность (глобальные компетенции), оценка качества образования, рамка оценивания глобальной компетентности.
Как цитировать статью: Коваль Т. В., Дюкова С. Е. Как оценивать умения учащихся в сфере глобальных компетенций // Отечественная и зарубежная педагогика. 2019. Т. 1, № 4 (61). С. 208-217.
Введение. Результаты международных сравнительных исследований качества образования показывают особенности и дефициты сформированности у школьников разных стран компетенций функциональной грамотности, признанных на международном уровне. Для национальных образовательных систем ориентация на требования международных исследований качества образования важна, потому что, во-первых, так формируется глобальное образовательное пространство с едиными образовательными ориентирами; во-вторых, появляется возможность целенаправленно использовать эти ориентиры и для совершенствования национальных образовательных стандартов, и в практике образовательных учреждений, и в работе учителей; в-третьих, функционирование глобального образовательного пространства в режиме развития выступает стимулом для национальных систем образования, влияет на совершенствование формирования «классических» компонентов функциональной грамотности и на введение инноваций [3]. Инновацией PISA-2018 стала проверка сформированности у пятнадцатилетних школьников «global competence» («глобальной компетентности» или «глобальных компетенций») [9]. Создание нового направления международного мониторинга, предварительная информация о результатах его проверки поставили задачу разработки методических путей формирования глобальной компетентности и способов оценивания ее сформированности у российских школьников. Продвижение в этом направлении происходит в рамках инновационного проекта Министерства просвещения РФ «Мониторинг формирования и оценки функциональной грамотности», первые результаты этой деятельности продемонстрировал проведенный весной 2019 г. федеральный мониторинг [4]. Более 10 тысяч учащихся 5-х и 7-х классов (5 493 и 5 189 человек соответственно) выполняли задания по направлению «глобальная компетентность».
Постановка проблемы. Цель и методы исследования. Целью данной статьи является обоснование подходов к созданию и совершенствованию рамки оценивания глобальной компетентности. Использовались такие методы исследования, как анализ подходов к оцениванию сформированности глобальных компетенций в исследовании PISA-2018; метод когнитивной лаборатории при проведении апробации модели предметного проверяемого содержания и умений; анализ статистических данных апробации инструментария и техноло-
гии мониторинга формирования функциональной грамотности учащихся; анализ экспертных заключений.
Результаты исследования. Рамка («framework») оценивания глобальной компетентности — это определитель проверяемых содержания и умений, на основе которых разрабатываются ситуации и задания. Созданию данного инструментария предшествовало обсуждение его в команде специалистов-разработчиков (1 этап), апробация на уровне школы (2 этап), когнитивная лаборатория (3 этап), экспертиза профессионального сообщества (4 этап). На каждом из этих этапов инструментарий и задания, созданные на его основе, подвергались корректировке, часть заданий была отклонена.
Содержательно рамка оценивания глобальной компетентности должна была соответствовать формату и требованиям международного мониторинга, учитывать возрастные особенности школьников, соответствовать образовательным результатам ФГОС основного общего образования, выстраиваться на основе ценностей общественного развития, использовать потенциал воздействия на школьников, связанный с проявлением универсальных жизненных навыков [2; 5].
В соответствии с этими требованиями разрабатывались блоки заданий (так называемые комплексные задания). Каждый блок был представлен ситуацией в развитии (вопросы к блоку могли развивать и дополнять ситуативный сюжет). Проверялись знание пяти- и семиклассниками глобальных проблем и понимание сущности межкультурных взаимодействий на уровне, соответствующем их образовательному опыту и потенциалу их контекстных знаний; сформированность познавательных (когнитивных) умений учеников, связанных с аналитическим и критическим мышлением.
Проверка сформированности глобальной компетентности в PISA включает два компонента:
1)«Знание и понимание»
а) осознание и понимание глобальных проблем:
• осведомленность о наиболее значимых глобальных проблемах;
• понимание взаимосвязей между глобальными проблемами, влияния глобальных проблем на локальные тенденции.
б) осознание и понимание межкультурных различий, взаимопонимание:
• осознание сходства и различий разных культур;
• понимание иной точки зрения, осознание факторов, влияющих на выбор той или иной позиции.
2)«Умения»
а) аналитическое мышление:
• следование логике;
• системность рассмотрения проблемы;
• соблюдение последовательности рассмотрения проблемы;
• способность интерпретировать смысл элементов текста;
• способность устанавливать связи и выявлять противоречия при рассмотрении проблемы.
б) критическое мышление:
• оценка значимости, обоснованности, достоверности информации (текста, источника, утверждения) с позиций внутренней целостности, непротиворечивости объективным данным и личному опыту;
• осознание связи собственных взглядов с определенными ценностями и культурными традициями, понимание обусловленности взглядов и суждений культурными и иными традициями [8; 10].
Таким образом, оба компонента раскрывались в наборе процедур (видов деятельности), которые необходимо было представить на уровне конкретного задания с учетом полноты и качества выполнения задания. Еще одна сложность заключалась в том, что необходимо было представить умения в развитии, так как требовалось сформировать банк заданий по уровням (классам), начиная с пятого. На основе общих подходов разрабатывался формат проверки и оценивания сфор-мированности глобальной компетентности в условиях российской школы. В частности, для конструкта «умения» первоначально были предложены три компонента, внутри которых выделялись конкретные виды познавательной деятельности учащихся, составляющие объект оценивания. Вопросы в системе комплексных заданий проверяли уровень сформированности одного из умений. В 7-м классе этот фрагмент когнитивной рамки первоначально имел следующую структуру:
А. Оценивать информацию, формулировать аргументы, объяснять.
1. Идентифицировать (распознавать) проблему (явление, действие, взаимодействие и пр.) в информации источника.
2. Идентифицировать проявления культурного сходства и различий на основе информации источника и контекстных знаний.
3. Описывать проявления культурного сходства и различий на ос-
нове информации источника и контекстных знаний.
4. Объяснять взаимосвязь глобального и локального аспектов проблемы (явления, действия, взаимодействия и пр.) на основе информации источника.
5. Объяснять причины и последствия существования проблемы (явления, действия, взаимодействия и пр.) с опорой на информацию текста и контекстные знания.
6. Приводить аргументы (доводы, факты, примеры) в поддержку или опровержение приведенного тезиса с опорой на информацию текста и контекстные знания.
Б. Выявлять и анализировать различные перспективы, распознавать перспективы.
1. Объяснять перспективы развития проблемы (явления, действия, взаимодействия и пр.) в зависимости от принятого решения.
2. Высказывать предположения о перспективах (последствиях) развития проблемы (явления, действия, взаимодействия и пр.) на основе информации текста и контекстных знаний.
В. Оценивать действия и их последствия.
1. Оценивать информацию о проблеме (явлении, действии, взаимодействии и пр.) с точки зрения выбора источников, полноты описания проблемы, соответствия контексту задания.
2. Оценивать информацию / высказывать мнение о проблеме (явлении, действии, взаимодействии и пр.) с позиций внутренней целостности, непротиворечивости объективным данным и личному опыту.
3. Соотносить личную и общественную оценку проблемы, явления, действия, взаимодействия (информации).
4. Объяснять сходства и различия в оценке проблемы, явления, действия, взаимодействия, обусловленные в числе прочего культурными и иными особенностями и традициями.
Апробация предложенного подхода к оцениванию проходила на уровне школы (учащиеся 5-х и 7-х классов выполняли первоначальный вариант комплексных заданий). Особый интерес представляли результаты когнитивной лаборатории — экспериментального метода, предполагающего, что исследователь проводит анализ деятельности ученика непосредственно в процессе выполнения задания [1; 6; 7; 11;
12]. Учащиеся проговаривали свои действия при выполнении заданий; объясняли термины, использованные в текстах; причины выбора тех или иных ответов, в том числе связанные с их личным жизненным опытом. После выполнения работы они ответили на дополнительные вопросы, которые выяснили степень интереса к предложенным ситуациям. Проводился хронометраж чтения текстов, ответов на каждый вопрос и выполнения комплексного задания в целом. Анализ результатов позволил выявить «чувствительные» ситуации, проблемы и вопросы, вызывавшие эмоциональную реакцию: состояние здоровья, внешность, имущественное неравенство, отношения в семье. Работая с подобными ситуациями, школьники переставали думать о сути задания и в результате не справлялись с ним.
По итогам школьной апробации и когнитивной лаборатории структура рамки оценивания глобальной компетентности в целом не изменилась, но перечни проверяемых умений были скорректированы. Значимым оказалось и то, что были уточнены маркеры базового, начального уровня сформированности глобальных компетенций. Результаты апробации дали возможность создать некоторые контуры этой шкалы, получить ориентиры для определения базового, повышенного и высокого уровня сложности заданий, работающих на проверку / формирование определенных умений.
На четвертом этапе (экспертиза заданий мониторинга) экспертное сообщество высказало мнение о соответствии в целом ситуаций и вопросов к ним возрастным особенностям школьников. Была отмечена социальная значимость заданий, их воспитательный потенциал — связь с формированием ценностей и отношений, соответствующих современному этапу развития общества: «В целом задания, разработанные для мониторинга функциональной грамотности по направлению „Глобальные компетентности (проблемы)", составлены с учетом таких возрастных особенностей учащихся 7-х классов, как познавательная активность, стремление делать что-то значимое, социально поощряемое; осознание значимости ценностей, активизация межличностных отношений, самовоспитания и др. Темы и проблемы образования, права и бизнеса, семейных ценностей, межличностных отношений, экологических, экономических, социальных проблем представляют интерес для подростков» (из отзыва педагогов Агинской гимназии, Бурятия). Эксперты отметили, что задания соответствуют целям, поставленным
при их конструировании, и формируют (проверяют) те умения, которые были заявлены.
Однако мнения экспертов о соответствии ситуаций жизненному опыту школьников разошлись, что говорит о сложности попыток переложения концепции этого направления функциональной грамотности на язык инструментария. Были высказаны сомнения в приемлемости некоторых особенностей формата PISA. Например, комплексное задание «Между горами и морем» для 7 класса содержало информацию о воображаемой стране Зедландии, в которой начинается строительство дорог, чтобы связать воедино горную и прибрежную территории и повысить уровень и качество жизни жителей гор. Несмотря на предварительные разъяснения, название Зедландия вызвало определенные «казусы» и в процессе апробации, и в последующем мониторинге: учащиеся стремились использовать название реально существующего места (Зеландия), а некоторые эксперты высказывали недовольство фактом обращения к «несуществующим проблемам несуществующей страны». Однако в исследовании PISA сформиро-ванность многих знаний и умений, относящихся к глобальным компетенциям, рассматривается на примере ситуаций в «модельной» стране Зедландии. Разработчики международного мониторинга полагали, что таким образом можно повысить объективность измерений: рассуждая о ситуации в вымышленной стране, 15-летние школьники в меньшей мере проявят эмоции и уже сложившиеся стереотипы (например, о развитых и развивающихся странах, о традициях и обычаях народов, живущих в разных социально-экономических условиях). Отдельные эксперты отмечали некоторую перегруженность заданий текстовой информацией (что также соответствует формату международного мониторинга), обращали внимание на использование понятий и терминов, которые могут, по их мнению, вызвать трудности у учащихся.
Результаты четвертого этапа апробации повлияли на корректировку рамки оценивания глобальной компетентности. Было принято решение в дальнейшем использовать двухчастный формат, включающий блоки «знания — понимание» как поле проверки содержания и «умения» как совокупность объектов оценивания деятельностных компонентов. Представим структуру блока «умения»:
1. Указывать причины существования проблемы (явления, действия, взаимодействия и пр.) с опорой на представленную информа-
цию и контекстные знания.
2. Приводить адекватные аргументы о возможных перспективах развития проблемы (явления, действия, взаимодействия и пр.) с опорой на представленную информацию и контекстные знания.
3. Оценивать информацию о проблеме (явлении, действии, взаимодействии и пр.) с точки зрения выбора источников.
4. Оценивать информацию о проблеме (явлении, действии, взаимодействии и пр.) с позиций внутренней целостности, непротиворечивости объективным данным и личному опыту.
5. Объяснять сходства и различия в оценке проблемы, явления, действия, взаимодействия, обусловленные культурными и иными особенностями и традициями.
Заключение. Проведенная апробация инструментария и технологии мониторинга формирования функциональной грамотности учащихся подтвердили, что созданный инструментарий (рамка оценивания глобальной компетентности и база комплексных заданий) в целом соответствует предъявленным требованиям. Дальнейшая разработка базы заданий будет происходить на основе обновленной рамки оценивания с учетом полученного опыта в направлении разработки заданий, которые точнее диагностируют дефициты в формировании умений. Совершенствование инструментария предполагает разработку новых моделей заданий; коррекцию критериев их оценивания с целью повышения объективности и надежности проверки.
Статья выполнена в рамках государственного задания ФГБНУ «Институт стратегии развития образования Российской академии образования» на 2018-2019 годы «Создание методологии исследования, анализа и прогноза результатов международных и национальных исследований качества образования. Научное обоснование и проведение работ по оценке качества общего образования на основе методологии и инструментария международных исследований качества подготовки обучающихся».
Литература
1. Барабанщиков В. А. Лабораторный эксперимент в психологии // Вестник Российского университета дружбы народов. Серия: Психология и педагогика. 2011. № 1. С. 5-15.
2. БацуновС. Н., ДеречаИ. И., Кунгурова И. М. и др. Современные детерминанты развития soft skills // Концепт: научно-методический электронный журнал. 2018. № 4. С. 198-207
[Электронный ресурс]. URL: http://e-koncept.ru/2018/181018.htm (дата обращения: 07.07.2019).
3. Об утверждении Методологии и критериев оценки качества общего образования в общеобразовательных организациях на основе практики международных исследований качества подготовки обучающихся: приказ Рособрнадзора № 590, Минпросвещения России № 219 от 06.05.2019 // КонсультантПлюс: официальный сайт компании «КонсультантПлюс» [Электронный ресурс]. URL: http://www.consultant.ru/document/cons_doc_LAW_325095 (дата обращения: 06.06.2019).
4. Подведение итогов апробации инструментария и технологии мониторинга формирования функциональной грамотности учащихся: вебинар Центра оценки качества образования ФГБНУ «ИСРО РАО». 02.07.2019 [Электронный ресурс]. URL: https://youtu.be/NxH_Olrm3ug (дата обращения: 07.07.2019).
5. Фрумин И. Д., Добрякова М. С., Баранников К. А. и др. Универсальные компетентности и новая грамотность: чему учить сегодня для успеха завтра. Предварительные выводы международного доклада о тенденциях трансформации школьного образования. М.: НИУ ВШЭ, 2018. 28 с.
6. Forsyth B. H., Lessler J. T. Cognitive Laboratory Methods: A Taxonomy // Measurement Errors in Surveys / Edited by Paul P. Biemer, Robert M. Groves, Lars E. Lyberg, Nancy A. Mathiowetz, S. Sudman. John Wiley & Sons, Inc., 2004. P. 393-418. DOI: https://doi.org/10.1002/9781118150382.fmatter.
7. Levine R., Huberman M., Buckne K. The Measurement of Instructional Background Indicators: Cognitive Laboratory Investigations of the Responses of Fourth and Eighth Grade Students and Teachers to Questionnaire Items. U. S. Department of Education, National Center for Education Statistics, NCES2002-06, Washington, DC. 295 p.
8. PISA 2018 Assessment and Analytical Framework. Paris: OECD Publishing, 2019. 308 p. DOI: https://doi.org/10.1787/b25efab8-en.
9. PISA 2018 Global Competence // OECD [Электронный ресурс]. URL: http://www.oecd.org/ pisa/pisa-2018-global-competence.htm (дата обращения: 06.07.2019).
10. Preparing our youth for an inclusive and sustainable world. The OECD PISA global competence framework. OECD, 2018. 57 p. [Электронный ресурс] Режим доступа.—URL: chttp://www.oecd.org/ pisa/Handbook-PISA-2018-Global-Competence.pdf (дата обращения 06.07.2019).
11. Schwarz N. Cognitive Aspects of Survey Methodology // Applied Cognitive Psychology. 2007. Vol. 21, Iss. 2. P. 277-287. DOI: https://doi.org/10.1002/acp.1340.
12. Zucker S., Sassman C., Case B. J. Cognitive labs. 2004. 10 p. // Pearson [Электронный ресурс]. URL: http://images.pearsonassessments.com/images/tmrs/tmrs_rg/CognitiveLabs.pdf (дата обращения: 10.07.2019).
HOW TO EVALUATE STUDENTS' SKILLS IN THE AREA OF GLOBAL COMPETENCE
The article analyzes the approaches and results of creating and developing the framework for assessing functional literacy in the area of global competence. The authors show the importance of the criteria of international studies of the quality of education for the development of national education systems and the assessment tools created in this context — the determinant of verifiable content and skills, on the basis of which situations and tasks are developed and used to form global competence of 5th-9th grades' schoolchildren. The authors define the basic requirements for the developed toolkit; emphasizing the importance of cognitive laboratories and the experts' assessment of monitoring tasks, they characterize the role of testing and the peculiarities of adjusting the assessment framework at each stage; show the initial and final result, including the blocks "knowledge — understanding" and "skills"; reveal the block "skills". The article contains examples of expert assessments and gives their analysis from the standpoint of the international comparative study of the quality of education PISA.
Keywords: PISA, functional literacy, global competence, education quality assessment, global competence evaluation framework.
References
• Bacunov S. N., Derecha I.I., Kungurova I. M. i dr. Sovremennye determinanty razvitiya soft skills // Koncept: nauchno-metodicheskij elektronnyj zhurnal. 2018. № 4. S. 198-207 [Elektronnyj resurs]. URL: http://e-koncept.ru/2018/181018.htm (data obrashcheniya: 07.07.2019). [In Rus].
• Barabanshchikov V. A. Laboratornyj eksperiment v psihologii // Vestnik Rossijskogo universiteta dru-zhby narodov. Seriya: Psihologiya i pedagogika. 2011. № 1. S. 5-15. [In Rus].
• Forsyth B. H., Lessler J. T. Cognitive Laboratory Methods: A Taxonomy // Measurement Errors in Surveys / Edited by Paul P. Biemer, Robert M. Groves, Lars E. Lyberg, Nancy A. Mathiowetz, S. Sudman. John Wiley & Sons, Inc., 2004. P. 393-418. DOI: https://doi.org/10.1002/9781118150382. fmatter.
• Frumin I. D., Dobryakova M. S., Barannikov K. A. i dr. Universal'nye kompetentnosti i novaya gramot-nost': chemu uchit' segodnya dlya uspekha zavtra. Predvaritel'nye vyvody mezhdunarodnogo doklada o tendenciyah transformacii shkol'nogo obrazovaniya. M.: NIU VShE, 2018. 28 s. [In Rus].
• Levine R., Huberman M., Buckne K. The Measurement of Instructional Background Indicators: Cognitive Laboratory Investigations of the Responses of Fourth and Eighth Grade Students and Teachers to Questionnaire Items. U. S. Department of Education, National Center for Education Statistics, NCES2002-06, Washington, DC. 295 p.
• Ob utverzhdenii Metodologii i kriteriev ocenki kachestva obshchego obrazovaniya v obshche-obrazovatel'nyh organizaciyah na osnove praktiki mezhdunarodnyh issledovanij kachestva podgotovki obuchayushchihsya: prikaz Rosobrnadzora № 590, Minprosveshcheniya Rossii № 219 ot 06.05.2019 // Konsul'tantPlyus: oficial'nyj sajt kompanii «Konsul'tantPlyus» [Elektronnyj resurs]. URL: http://www. consultant.ru/document/cons_doc_LAW_325095 (data obrashcheniya: 06.06.2019). [In Rus].
• PISA 2018 Assessment and Analytical Framework. Paris: OECD Publishing, 2019. 308 p. DOI: https:// doi.org/10.1787/b25efab8-en.
• PISA 2018 Global Competence // OECD [Elektronnyj resurs]. URL: http://www.oecd.org/pisa/pi-sa-2018-global-competence.htm (data obrashcheniya: 06.07.2019).
• Podvedenie itogov aprobacii instrumentariya i tekhnologii monitoringa formirovaniya funkcional'noj gramotnosti uchashchihsya: vebinar Centra ocenki kachestva obrazovaniya FGBNU «ISRO RAO». 02.07.2019 [Elektronnyj resurs]. URL: https://youtu.be/NxH_Olrm3ug (data obrashcheniya: 07.07.2019). [In Rus].
• Preparing our youth for an inclusive and sustainable world. The OECD PISA global competence framework. OECD, 2018. 57 p. [Elektronnyj resurs] Rezhim dostupa.—URL: chttp://www.oecd.org/ pisa/Handbook-PISA-2018-Global-Competence.pdf (data obrashcheniya 06.07.2019).
• Schwarz N. Cognitive Aspects of Survey Methodology // Applied Cognitive Psychology. 2007. Vol. 21, Iss. 2. P. 277-287. DOI: https://doi.org/10.1002/acp.1340.
• Zucker S., Sassman C., Case B. J. Cognitive labs. 2004. 10 p. // Pearson [Elektronnyj resurs]. URL: http://images.pearsonassessments.com/images/tmrs/tmrs_rg/CognitiveLabs.pdf (data obrashcheniya: 10.07.2019).
