CC BY
107
Вестник ПСТГУ.
Серия IV: Педагогика. Психология.
2017. Вып. 46. С. 119-128
Фомин Анатолий Алексеевич, аспирант кафедры педагогической психологии Факультета психологии образования, ФГБОУ ВО МГППУ, зам. директора по воспит. работе
МАОУ «Радумльский лицей-интернат
Российская Федерация, 127051, г. Москва, ул. Сретенка, д. 29 [email protected]
Опыт диагностики
МЕТАПРЕДМЕТНЫХ КОМПЕТЕНЦИЙ УЧАЩИХСЯ
основной школы (на основе работы с текстами)
А. А. Фомин
Статья посвящена проблеме диагностики метапредметных компетенций в свете введения новых ФГОС ООО. Также рассматривается подход к проектированию заданий для диагностики метапредметных образовательных результатов на основе работы с текстом, анализируется зарубежный опыт немецкой National Education Panel Study и международный опыт проектирования диагностических заданий в исследованиях PISA и PIRLS. Вместе с тем приводится пример диагностического задания для учащихся 5-9-х классов, разработанного на базе МГППУ и построенного на основе работы с текстовым материалом. Кроме того, рассматриваются результаты апробации предложенного диагностического задания на первом и втором этапах лонгитюдного исследования со школьниками 5-8-х классов. Помимо прочего, проводится сравнительный анализ результатов выполнения диагностических заданий между учениками 5, 6, 7 и 8-х классов, оценивается качество выполнения заданий, обсуждаются резервы в развитии метапредметных компетенций учащихся. Также в статье обосновывается возможность использования данного задания для учащихся 5-9-х классов.
Федеральный государственный образовательный стандарт основного общего образования (ФГОС ООО) устанавливает принципиально новые требования к образовательным результатам: метапредметным, личностным и предметным. Вместе с постановкой вопроса формирования образовательных результатов неизбежно встает и вопрос их диагностики. Таким образом, особо актуальной становится задача диагностики сравнительно нового для отечественного образования показателя — метапредметные образовательные результаты.
Непосредственно в ФГОС ООО выделяются, помимо прочих, такие регулятивные и познавательные метапредметные компетенции, как умение осознанно использовать речевые средства в соответствии с задачей коммуникации для выражения своих чувств, мыслей и потребностей; планирование и регуляция своей деятельности; владение устной и письменной речью, монологической контекстной речью; умение оценивать правильность выполнения учебной задачи, собственные возможности ее решения; владение основами самоконтроля, са-
мооценки, принятия решений и осуществления осознанного выбора в учебной и познавательной деятельности и др.1
Размышляя над подходом к проектированию заданий для диагностики ме-тапредметных образовательных результатов, стоит обратиться к имеющимся отечественным, зарубежным и международным подходам к диагностике схожих категорий. В частности, стоит обратить внимание на опыт немецкой национальной образовательной панельной платформы обучения National Education Panel Study (NEPS), цель которой — сбор данных лонгитюдного характера об образовательных процессах, развитии компетенций, образовательных решениях относительно формального, неформального и дополнительного образования на протяжении всей жизни2. NEPS охватывает образование в шести возрастных когортах от раннего детства до взрослости и оценивает широкий спектр компетенций, включая в том числе предметные области (чтение, математические умения, естествознание и др.) и метакогнитивные знания, контроль и регуляцию, а также компетенции в решении конкретных проблем. Метакогнитивное знание включает в себя те знания о памяти, понимании, о процессах обучения, которые человек может вербализовать. Кроме того, метакогнитивное знание включает в себя знание о людях, задачах и стратегиях, своих собственных сильных и слабых сторонах процессов памяти и обучения, знание о средствах достижения образовательных и других целей. Метакогнитивный контроль и регуляция связаны с конкретной ситуацией обучения, однако они необязательно выражаются в конкретном знании, которое человек способен вербализовать, а могут происходить спонтанно и автоматизированно. Фактическая и сознательная регуляция процесса обучения выполняется через действия планирования, мониторинга, оценивания собственного обучения и метастратегических действий (metastrategic activities), что, по своей сути, есть использование метакогнитивных знаний в процессе обучения.
Оценка метакогнитивного контроля и регуляции осуществляется с помощью метакогнитивных суждений о ходе обучения и исполнения конкретной задачи, самоотчетов или фактического использования тех или иных стратегий и анализ их успешности3. Кроме того, для оценивания метакогнитивного знания используется работа с текстами, методики, основанные на сценариях, описывающие те или иные стратегии в типичных жизненных ситуациях, а респонденту предлагается выбрать тот или иной сценарий и оптимальную стратегию поведения из ряда предложенных в данной ситуации. В целом опыт проектирования заданий для диагностики метакогнитивной регуляции и контроля в NEPS может быть экстраполирован на подход к проектированию заданий для диагностики ряда метапредметных компетенций.
1 Федеральный государственный образовательный стандарт основного общего образования. URL: http://минoбрнауки.рф/дoкумeнты/543/файл/749/приказ%20Об%20утвeрждe-нии%201897.1#
2 Artelt C., Weinert S., Carstensen C. H. Assessing competencies across thelifespan within the German National Educational Panel Study (NEPS). Editorial, 2013.
3 Händel M., Artelt C., Weinert S. Assessing metacognitive knowledge: Development and evaluation of a test instrument // Journal for Educational Research Online. 2013. Vol. 5. No. 2.
С другой стороны, для проектирования заданий на диагностику метапредметных компетенций в рамках работы с текстовым материалом особый интерес представляет опыт международных исследований Programme for international Student Assessment (PISA) (Международная программа по оценке образовательных достижений учащихся) и Progress in Intarnational Reading Literacy Study (PIRLS) (Международное исследование качества чтения и понимания текста), которые оперируют понятием читательской грамотности (reading literacy)4. При этом под читательской грамотностью в PISA понимается не только умение читать тексты, но и понимать их, размышлять, использовать для расширения своих знаний и возможностей, для достижения поставленных целей и участия в социальной жизни5. Данное понятие подразумевает функционально-прагматический подход к чтению и подчеркивает ориентацию на активность субъекта. В ходе чтения и размышления над прочитанным в процесс восприятия включается личный опыт, влияющий на понимание, осмысление и размышление субъекта чтения, что, в свою очередь, побуждает более глубоко анализировать содержание, структуру и форму текста. Кроме того, понятие читательской грамотности включает в себя не только работу с рукописными и электронными текстами различной специфики (научные, художественные и т. д.), но и работу с графиками, формулами, рисунками, таблицами и картами. Также важным аспектом читательской грамотности является использование чтения в качестве средства развития и саморазвития, применения навыков чтения в профессиональной, личной и социальной сферах.
Хотя чтение по своей природе является целостным процессом, однако для диагностической оценки необходимо определить структуру чтения и его составляющие элементы, которые могли бы быть диагностированы. В связи с этим в PISA были предложены различные классификации. Так, для классификации коммуникативных ситуаций, опираясь на опыт обучения иностранным языкам, может быть использована классификация Common European Framework of Reference (CEFR). Подход CEFR, интегрированный в построение диагностических заданий PISA, предполагает следующие цели и коммуникативные ситуации:
♦ личные. В текстах с ориентацией на личные коммуникативные ситуации и цели акцентируется внимание на различных частных интересах личности, касающихся вопросов проведения досуга, удовлетворения интеллектуальных и информационных потребностей, поддержки межличностных и дружеских отношений между людьми;
♦ общественные. Тексты с ориентацией на общественные ситуации оперируют к деятельности социальных и общественных операций, заботе об общественном благе;
♦ учебные. Тексты с ориентацией на учебные ситуации отражают направленность на обучение и решение конкретных образовательных задач;
4 Основные результаты международного исследования читательской грамотности PIRLS-2011: Аналитический отчет / Г. С. Ковалева, науч. ред. М., 2013.
5 Цукерман Г. А. Оценка читательской грамотности // Презентация и обсуждение первых результатов международной программы PISA-2009, 7 декабря 2010 г. М., 2010. С. 5.
• деловые. Данные тексты с акцентом на деловые ситуации отражают профессиональную ориентацию и присущие ей деловые ситуации, к которым учащийся приступит в скором будущем, после окончания школы.
Кроме того, одной из важных составляющих проектирования тестов читательской грамотности являются читательские умения. В заданиях PISA выделяются следующие читательские умения:
1) способность находить и извлекать информацию. В тестовых заданиях PISA, как правило, необходимо проанализировать условие задачи, то есть определить, что именно необходимо найти, а после этого обнаружить нужную информацию в тексте;
2) способность интегрировать и интерпретировать сообщение текста. Интерпретация текста подразумевает наличие в нем некой скрытой информации, подтекста, который необходимо найти и истолковать;
3) способность осмыслить и оценить сообщение. Данное читательское умение предполагает использование личного опыта читателя, его ценностей и установок и их применение относительно заданного текста. Диагностические вопросы к данному читательскому умению предполагают, как правило, оценку приведенных аргументов, согласие или несогласие с ними, высказывание своего собственного мнения о тексте6.
Резюмируя вышесказанное, можно отметить, что понятие читательской грамотности, используемое в PISA, и понятия метакогнитивной регуляции и контроля, используемые в NEPS, имеют генетическое сходство с рядом частных характеристик метапредметных компетенций. В связи с этим с опорой на ряд ранее вышеперечисленных компетенций, упомянутых в Федеральном государственном образовательном стандарте основного общего образования, а также на опыт проектирования диагностических заданий в рамках теории развивающего обучения7 и международного опыта оценки образовательных достижений мы предлагаем рассмотреть задание для диагностики метапредметных компетенций, основанное на работе с текстовыми материалами, разработанное на базе МГППУ:
Ситуация: родители маленького ребенка решают вопрос о целесообразности просмотра для него некоего мультсериала. Чтобы определить для себя все «за» и «против», они ищут в Интернете отзывы других родителей об этом мультфильме. Ниже представлены несколько таких отзывов.
6 PISA-2015: assessment and analytical framework: science, reading, mathematic and financial literacy // OECD 2016.
7 Соколов В. Л. Опыт диагностики анализа и рефлексии как универсальных учебных действий // Психологическая наука и образование. 2012. № 3. С. 29—33; Гуружапов В. А., Шилен-кова Л. Н. Умение анализировать условие задачи как метапредметный результат обучения // Психологическая наука и образование psyedu.ru. 2013. № 5. URL: http://psyjournals.ru/psyedu_ ru/2013/n5/Gurugapov_Schilenkova.shtml; Соколов В. Л., Фомин А. А. Опыт диагностики мета-предметных компетенций учащихся основной школы (на математическом материале). URL: Психологическая наука и образование psyedu.ru. 2016. Т. 8. № 4. С. 174—184; Улановская И. М. Компьютерный пакет методик оценки метапредметных результатов начальной школы. URL: Психологическая наука и образование psyedu.ru. 2014. Т. 6. № 2. С. 306-319.
1. Мультсериал рассказывает о прикольных круглых существах, которые живут в их собственном сказочном мире. У каждого из героев есть своя история жизни и свой, неповторимый характер, среди них нет отрицательных персонажей. Почти каждая серия построена на какой-то проблемной ситуации, которая может встретиться ребенку в жизни. За внешней простотой и детской наивностью сюжета скрываются вполне серьезные и даже философские темы, поэтому мультфильм часто смотрят даже взрослые.
2. Это на самом деле мультфильм для малюсеньких деток, никаких тебе чудовищ, злодеев и прочей нечисти, никакого насилия. Очень добродушный и поучительный мультфильм. Он идет маленькими сериями, благодаря чему ребенок не устает и не переутомляется. В общем, если у Вас есть ребенок младше четырех лет, то этот мультик я Вам рекомендую!
3. Что вообще за мультик такой дурацкий?! Все животные нарисованы круглыми. Вот посмотрит ребенок на такую живность и подумает, что и в реальности животное так выглядит! Вот раньше мультики рисовали, там хоть животные сами на себя похожи были!
4. Спорный мультик... В целом он добрый, неагрессивный и содержательный. Детям можно давать к просмотру отдельные серии, чтоб потом обсудить их. Но далеко не все серии. Дело в том, что со временем мульт перерос детскую аудиторию. В каждую историю авторы вложили глубокий смысл, который порой не способен понять и ребенок 10—12 лет. Смысловая нагрузка и внешне сумбурно-суматошное поведение героев в некоторых сериях вредны, на мой взгляд, для детей. Создается впечатление, что авторы на каком-то этапе создания мультфильма заигрались, забыв, для чего и для кого они делали мультфильм.
Задание № 1.
Определите среди приведенных отзывов аннотацию к мультфильму:
1) Отзыв № 3; 2) Отзыв № 2; 3) Отзыв № 1; 4) Отзыв № 4.
Задание № 2.
Определите один наиболее объективный и аргументированный отзыв:
1) Отзыв № 1; 2) Отзыв № 3; 3) Отзыв № 2; 4) Отзыв № 4.
Задание № 3.
Отметьте все верные утверждения:
1) Отзыв № 4 не содержит прямого призыва к просмотру мультфильма;
2) Даже учитывая все остальные, отзыв № 2 легко убедит родителя показать этот мультфильм ребенку;
3) Отзыв № 4 указывает на то, что этот мультфильм ориентирован на взрослых;
4) Отзыв № 2 содержит прямой призыв к просмотру мультфильма.
Данное задание входит в состав диагностической батареи, направленной на измерение уровня развития ряда метапредметных компетенций. Кроме того, предполагается, что указанное задание может быть равно использовано для диагностики метапредметных компетенций с 5 по 9-й класс. В рамках данного зада-
ния учащемуся требуется проанализировать содержание текстов, классифицировать их, оценить с точки зрения объективности, определить аргументацию и факты, приведенные автором, отличить факты от суждений, мнений и оценок, отнестись критически к высказываниям. Оперируя понятиями ФГОС ООО, данные задания предполагают оценку смыслового чтения; умения осознанно использовать речевые средства в соответствии с задачей коммуникации для выражения своих чувств, мыслей и потребностей; умения устанавливать причинно-следственные связи, строить логическое рассуждение, умозаключение и делать выводы; умения формулировать, аргументировать и отстаивать свое мнение, а также ряда других компетенций.
В настоящий момент нами проводится лонгитюдное эмпирическое исследование возможности использовать данное задание (и ряд других) для диагностики метапредметных компетенций с 5 по 9-й класс. В исследовании приняли участие ученики 5-7-х классов четырех образовательных учреждений (Московская городская школа, Московская областная гимназия, поселковая школа и кадетский корпус) в 2015 г. в количестве 161 человек и те же учащиеся в 2016 г. (6—8 классы).
В ходе проведения исследования были получены результаты, отображенные в таблицах № 1, № 2 и № 3.
Таблица 1
Процент выполнения заданий в зависимости от класса (первый год эксперимента)
5 кл. 6 кл. 7 кл. Уровень статистической значимости достоверности различий по критерию Фишера между классами
5 и 6 кл. 6 и 7 кл. 5 и 7 кл.
Задание 1 36,5 50 62 - — <0,01
Задание 2 42,9 47 68 — <0,05 <0,01
Задание 3 9,5 20,6 16 - — —
В данной таблице отражены результаты выполнения указанных заданий по работе с текстом. Как мы видим, в ряде случаев наблюдаются достоверные различия по критерию Фишера между выполнением заданий 5-ми и 7-ми классами, а также 6-ми и 7-ми классами по заданию № 2.
При этом процент правильно выполнивших заданий тем выше, чем старше класс. Примечательно, что 36,5% учащихся 5-х классов справились с заданием № 1 и 42,9% учащихся справились с заданиями № 2. Данные показатели могут свидетельствовать о том, что отобранные задания доступны учащимся уже в 5-м классе, следствием чего является наличие резерва для развития спектра метапредметных компетенций в данной возрастной группе.
Таблица 2
Процент выполнения заданий в зависимости от класса (второй год эксперимента)
6 кл. 7 кл. 8 кл. Уровень статистической значимости достоверности различий по критерию Фишера между классами
6 и 7 кл. 7 и 8 кл. 6 и 8 кл.
Задание 1 42,4 57,9 84,7 <0,05 <0,01 <0,01
Задание 2 60,6 69,1 69,5 — — —
Задание 3 7,6 21,5 23,7 <0,01 - <0,01
Данная таблица отображает результаты выполнения указанных заданий среди тех же учащихся через год, т. е. в 6-х, 7-х и 8-х классах. Исходя из таблицы видно, что значимые различия наблюдаются по результатам первого и третьего заданий между 5-ми и 7-ми, 6-ми и 8-ми, 7-ми и 8-ми классами. Примечательно и то, что хотя 7-е и 8-е классы показали достаточно высокий процент выполнения заданий, многие из учащихся допускали ошибки.
Таблица 3
Динамика роста качества выполнения заданий за год, %
5 и 6 кл. 6 и 7 кл. 7 и 8 кл. Уровень статистической значимости достоверности различий по критерию Фишера между классами
5 и 6 кл. 6 и 7 кл. 7 и 8 кл.
Задание 1 36,5 42,4 50 57,9 62 84,7 — — <0,01
Задание 2 42,9 60,6 47 69,1 68 69,5 <0,05 <0,05 —
Задание 3 9,5 7,6 20,6 21,5 16 23,7 — — —
В данной таблице показаны результаты качества выполнения указанных заданий одними и теми же учащимися в 5-х и 6-х, 6-х и 7-х, 7-х и 8-х классах. По критерию Фишера статистически значимо различаются результаты между 7-ми и 8-ми классами по выполнению первого задания и между 5-ми и 6-ми, 6-ми и 7-ми классами по выполнению второго задания. Обратим внимание, что во всех случаях наблюдается положительная динамика процента выполнения заданий в зависимости от перехода из младшего класса в более старший.
Таким образом, исходя из результатов приведенных таблиц, можно заключить, что наблюдается положительная динамика роста метапредметных компетенций от младшего класса к старшему. Одновременно с этим наблюдаются резервы в развитии метапредметных компетенций у учащихся основной школы как среди 5-х и 6-х классов, так и среди 7-х и 8-х классов. В целом можно заключить, что данное диагностическое задание, построенное на основе работы с текстом, может применяться для оценки ряда метапредметных компетенций с 5-го по 8-й класс. Вместе с тем важно отметить, что представленные результаты отражают промежуточный этап лонгитюдного исследования и включают в себя
только часть диагностических заданий, направленных на оценку ряда метапред-метных компетенций.
Подводя итог всему сказанному, можно сделать следующие выводы:
1) наблюдается положительная динамика в развитии уровня выделенных метапредметных компетенций учащихся за год;
2) данное диагностическое задание, построенное на основе работы с текстом, может использоваться для оценки уровня развития выделенных метапред-метных образовательных результатов учащихся основной школы;
3) принцип построения данного задания может быть применим для проектирования инструментария диагностики метапредметных образовательных результатов учащихся основной школы;
4) имеются определенные резервы в развитии метапредметных компетенций учащихся основной школы, о чем могут свидетельствовать невысокие результаты выполнения заданий в 5-х и 6-х классах, а также процент несправившихся с заданиями в 7-х и 8-х классах;
5) дальнейшее накопление эмпирических данных по результатам апробации данного и других схожих заданий диагностической батареи позволит провести содержательный анализ качества представляемых заданий, возрастных возможностей учащихся, получить для практического использования диагностический инструментарий определения уровня развития метапредметных компетенций учащихся основной школы.
Ключевые слова: метапредметные образовательные результаты, метапредметные компетенции, диагностика метапредметных образовательных результатов на основе работы с текстом, читательская грамотность, Федеральный государственный образовательный стандарт основного общего образования, метакогнитивный контроль, метакогнитивная регуляция, метакогнитивное знание, лонгитюдное исследование, проектирование диагностических заданий, смысловое чтение.
Список литературы
Гуружапов В. А., Шиленкова Л. Н. Умение анализировать условие задачи как метапредмет-ный результат обучения // Психологическая наука и образование psyedu.ru. 2013. № 5. URL: http://psyjournals.ru/psyedu_ru/2013/n5/Gurugapov_Schilenkova.shtml Основные результаты международного исследования читательской грамотности
PIRLS-2011: Аналитический отчет / Г. С. Ковалева, науч. ред. М., 2013. Соколов В. Л. Опыт диагностики анализа и рефлексии как универсальных учебных действий // Психологическая наука и образование. 2012. № 3. С. 29—33. Соколов В. Л., Фомин А. А. Опыт диагностики метапредметных компетенций учащихся основной школы (на математическом материале). URL: Психологическая наука и образование psyedu.ru. 2016. Т. 8. № 4. С. 174-184. Улановская И. М. Компьютерный пакет методик оценки метапредметных результатов начальной школы. URL: Психологическая наука и образование psyedu.ru. 2014. Т. 6. № 2. С. 306-319.
Федеральный государственный образовательный стандарт основного общего образования. URL: http://минобрнауки.рф/документы/543/файл/749/приказ%20Об%20 утверждении%201897Л1'
Цукерман Г. А. Оценка читательской грамотности // Презентация и обсуждение первых результатов международной программы PISA-2009, 7 декабря 2010 г. М., 2010. C. 67.
Artelt C., Weinert S., Carstensen C. H. Assessing competencies across thelifespan within the German National Educational Panel Study (NEPS). Editorial, 2013.
Händel M., Artelt C., Weinert S. Assessing metacognitive knowledge: Development and evaluation of a test instrument // Journal for Educational Research Online. 2013. Vol. 5. No. 2.
PISA-2015: assessment and analytical framework: science, reading, mathematic and financial literacy // OECD 2016.
This article deals with assessing meta-subject competences in the light of the new Federal Government Educational Standards for Secondary School. It also discusses the approach to designing tests for assessing meta-subject educational results based on work with the text and analyses the expertise of the German National Education Panel Study as well as foreign expertise of designing assessment tests in the studies of PISA and PIRLS. Besides, it takes into account the example of an assessment test for school students of 5th-9th forms designed at Moscow State University of Psychology and Education and developed on the basis of work with textual material. We also discuss the results of employing the proposed assessment test on the first and second stages of longitudinal research aimed at school students of 5th-8th forms. Moreover, the article proposes a comparative analysis of results of assessment tests for students of the 5th, 6th, 7th, 8th forms, evaluates the quality of the tasks done, discusses opportunities of developing meta-subject competences of students. The article also shows the possibility of employing this task for students of 5th-9th forms.
Keywords: meta-subject educational outcomes, meta-subject competences, assessment of meta-subject educational outcomes, reading literacy, Federal Government Educational Standards for Secondary School, metacognitive control, metacognitive regulation, metacognitive knowledge, longitudinal study, designing assessment tasks, semantic reading.
St. Tikhons University Review. Series IV: Pedagogy. Psychology.
Fomin Anatoliy, Graduate Student,
Moscow State University of Psychology and Education, 29 Sretenka, Moscow, 127051, Russian Federation [email protected]
2017. Vol. 46. P. 119-128
An Attempt at Assessing Meta-Subject Competences of Secondary School Students (Based on the Work with Texts)
А. Fomin
References
Guruzhapov V. A., Shilenkova L. N., "Umenie analizirovat' uslovie zadachi kak metapred-metnyi rezul'tat obucheniia", in: Psikho-logicheskaia nauka i obrazovanie psyedu.ru 2013, 5, available at: http://psyjournals.ru/ psyedu_ru/2013/n5/Gurugapov_Schilen-kova.shtml
Kovaleva G. S., ed. Osnovnye rezul'taty mezhdu-narodnogo issledovaniia chitatel'skoi gramot-nosti PIRLS-2011: Analiticheskii otchet, Moscow, 2013.
Sokolov V. L., "Opyt diagnostiki analiza i re-fleksii kak universal'nykh uchebnykh deist-vii", in: Psikhologicheskaia nauka i obrazovanie, 3, 2012, 29-33.
Sokolov V. L., Fomin A. A., Opyt diagnostiki metapredmetnykh kompetentsii uchashchikh-sia osnovnoi shkoly (na matematicheskom materiale), available at: Psikhologicheskaia nauka i obrazovanie psyedu.ru. 2016, 8, 4, 174-184.
Ulanovskaia I. M., Komp'iuternyi paket me-todik otsenki metapredmetnykh rezul'tatov nachalnoi shkoly, available at: Psikholog-
icheskaia nauka i obrazovanie psyedu.ru. 2014, 6, 2, 306-319.
Federal'nyi gosudarstvennyi obrazovatelnyi standart osnovnogo obshchego obrazo-vaniia, available at: http://minobrnauki. rf/dokumenty/543/fail/749/prikaz%20 0b%20utverzhdenii%201897.rtf
Tsukerman G. A., "Otsenka chitatel'skoi gra-motnosti", in: Prezentatsiia i obsuzhdenie pervykh rezul'tatovmezhdunarodnoi program-my PISA-2009, 7 dekabria 2010 g. Moscow, 2010, 67.
Artelt C., Weinert S., Carstensen C. H., Assessing competencies across thelifespan within the German National Educational Panel Study (NEPS0), Editorial, 2013.
Händel M., Artelt C., Weinert S., "Assessing metacognitive knowledge: Development and evaluation of a test instrument", in: Journal for Educational Research Online, 5, 2013, 2.
PISA 2015: assessment and analytical framework: science, reading, mathematic and financial literacy, in: OECD 2016.
