CC BY
75
ИСПОЛЬЗОВАНИЕ НАЦИОНАЛЬНОГО ИНСТРУМЕНТАРИЯ ПО ФОРМИРОВАНИЮ ФУНКЦИОНАЛЬНОЙ ГРАМОТНОСТИ В ШКОЛЬНОЙ ПРАКТИКЕ_
УДК 373
О. Б. Логинова
Кандидат педагогических наук, руководитель департамента развития АО «Издательство „Просвещение"», г. Москва E-mail: olg9527@yandex.ru
Olga B. Loginova
PhD (Education), Head of the Department for Development, Publishing House "Prosveschenie", Moscow, Russia
ПРОЕКТ «МОНИТОРИНГ ФОРМИРОВАНИЯ
ФУНКЦИОНАЛЬНОЙ ГРАМОТНОСТИ».
КРЕАТИВНОЕ МЫШЛЕНИЕ: ПЕРВЫЕ РЕЗУЛЬТАТЫ
В статье описывается концептуальная модель оценки сформированности креативного мышления, особенности инструментария и первые результаты диагностических работ учащихся 5-х — 9-х классов (2019-2020 гг.).
В фокус проведенного исследования ставится выявление и описание границ, в рамках которых учащиеся демонстрируют способность мыслить креативно, т. е. продуктивно участвовать в выдвижении, оценке и совершенствовании идей, что позволяет им предлагать оригинальные и эффективные решения, генерировать новое знание и / или демонстрировать впечатляющие результаты проявления воображения.
Полученные результаты показывают, что учащимся гораздо легче демонстрировать креативное мышление в более привычных ситуациях — ситуациях создания текстов и принятия социально окрашенных решений.
Учащимся легче выдвинуть одну идею, чем предложить спектр разных идей. Большинство учащихся затрудняется в демонстрации способности оценить и доработать идеи.
Ключевые слова: функциональная грамотность, креативное мышление, содержательная и компетентностная модели оценки креативного мышления, исследование PISA, оценка качества образования, образовательный результат, учебная ситуация и учебное задание.
Н. А. Авдеенко
Аналитик, Институт образования НИУ ВШЭ, г. Москва E-mail: nad-avdeenko@mail.ru
Nadezhda A. Avdeenko
Analyst, HSE Institute of Education, Moscow, Russia
Как цитировать статью: Логинова О. Б., Авдеенко Н. А., Яковлева С. Г., Садовщикова О. И. Проект «Мониторинг формирования функциональной грамотности». Креативное мышление: первые результаты // Отечественная и зарубежная педагогика. 2020. Т. 2, № 2 (70). С. 132-154.
Введение. В 2019-2020 гг. в рамках проекта «Мониторинг формирования функциональной грамотности обучающихся», реализуемого Институтом стратегии развития образования РАО по заданию Министерства просвещения РФ, в ряде субъектов Российской Федерации были проведены диагностические работы по всем направлениям функциональной грамотности, включая направление «Креативное мышление». В 2019 г. в них участвовали около 70 тыс. учащихся 5-х и 7-х классов, в 2020 г.— около 100 тыс. учащихся 8-х и 9-х классов. Каждое задание диагностической работы выполняли в 5-х и 7-х классах около тысячи учащихся, в 8-и и 9-х классах — от 3 до 4,5 тысяч учащихся.
Концептуальная модель оценки креативного мышления. В проведенном исследовании креативное мышление рассматривается как способность продуктивно участвовать в выдвижении, оценке и совершенствовании идей, направленных на получение оригинальных и эффективных решений, генерацию нового знания или создание продуктов проявления творчества и воображения [13].
В соответствии с определением компетентност-ная модель оценки «креативное мышление» включает три компонента:
- выдвижение разнообразных идей,
- выдвижение креативных идей,
- оценка и совершенствование идей.
В содержательной (тематической) модели выделяются следующие области:
- творческое самовыражение (с помощью вербальных или визуальных средств),
- решение проблем и получение нового знания (гуманитарного или научного) [1].
Таким образом, сформированность креативного
С. Г. Яковлева
Кандидат педагогических наук, старший научный сотрудник Центра оценки качества образования ФГБНУ «Институт стратегии развития образования Российской академии образования», директор НП «Объединение профессионалов, содействующих системе развивающего обучения Л. В. Занкова», г. Москва
E-mail: svetlana.g.yakovleva@ gmail.com
Svetlana G. Yakovleva
PhD (Education), Senior Researcher of the Education Quality Assessment Centre, the Institute for Strategy of Education Development of the Russian Academy of Education, Head of the Association of Professionals Promoting the System of Developmental Education by L. V. Zankov, Moscow, Russia
О. И. Садовщикова
Младший научный сотрудник Центра оценки качества образования ФГБНУ «Институт стратегии развития образования Российской академии образования», г. Москва E-mail: olg.sadov@gmail.com
Olga I. Sadovshchikova
Junior Researcher, the Institute for Strategy of Education Development of the Russian Academy of Education, Moscow, Russia
мышления определяется на основе оценки владения учащимися навыками выдвижения, оценки и совершенствования идей в четырех тематических областях: письменное самовыражение, визуальное самовыражение, решение социальных проблем и решение естественнонаучных проблем.
Особенности инструментария для оценки креативного мышления
В соответствии с принятым подходом инструментарий для оценки креативного мышления предполагает вовлечение учащихся в несколько когнитивных процессов, каждый из которых соответствует одному из компонентов компетентностной модели.
Задания для оценки носят комплексный характер и состоят из нескольких частей. В первой части (так называемой мотивационной, или стимульной, части комплексного задания) дается общее описание проблемной ситуации, для разрешения которой далее предлагается система трех-пяти заданий, каждое из которых направлено на оценку одного из компонентов компетентностной модели (одного из когнитивных процессов). Система заданий подбирается так, чтобы охватывались все оцениваемые компетентности.
В заданиях, предметом оценки в которых является выдвижение разнообразных идей, обычно просят придумать несколько идей, которые оцениваются вместе как ОДИН ответ. Разными считаются идеи, отличающиеся между собой по смыслу или по способу исполнения. Если в ответе присутствует только одна идея, которая повторяет приводимый в задании пример, такой ответ не принимается и оценивается нулем баллов. Если в ответе присутствует более одной идеи, оценивается а) их соответствие теме и инструкции задания и б) отличие этих идей друг от друга (т.е. их разнообразие).
В заданиях на выдвижение креативных идей оценивается способность выдвигать оригинальные идеи или нестандартно подходить к ситуации. При ответе на данные задания достаточно выдвинуть одну идею. Креативной считается такая идея, которая
- является осмысленной,
- имеет определенную художественную, научную или социальную ценность,
- тщательно оформлена и
- необычна — такая, которая приходит в голову не каждому; такая, которая обращает на себя внимание.
Критериями оценки ответов на такие задания служат а) их соответствие теме и инструкции задания и б) оригинальность.
Последний показатель является статистическим, определяемым на основе частотности ответов учащихся в выборке. Как правило, первые одна-три наиболее часто называемые учащимися темы (идеи) ответов считаются обычными, не оригинальными. Отличающиеся от них по смыслу темы (идеи) ответов рассматриваются как необычные, оригинальные. Идея, тема или содержание которой является обычным, часто называемым, тем не менее может рассматриваться как креативная, если ее отличает необычный подход или способ исполнения [10].
В заданиях на оценку и совершенствование идей оценивается способность вносить нестандартные изменения и улучшения в существующие идеи. При ответе на эти задания, как правило, требуется предложить одно изменение существующей идеи. Аспекты и позиции, в соответствии с которыми надо провести доработку идеи, или формулируются в самом задании, или вытекают из сопутствующего (или предшествующего) анализа сильных и слабых сторон различных идей, их достоинств и недостатков. В ответах на эти задания также всегда оценивают только осмысленные и реалистичные идеи, имеющие непосредственное отношение к заданию. Критериями оценки служат а) соответствие ответа теме и инструкции задания и б) оригинальность. В этом типе заданий критерий оригинальность также является не абсолютным, а относительным показателем, который оценивается по частотности, на основе статистики в данной выборке.
Контекстные ситуации подбираются так, чтобы они привлекали внимание учащихся соответствующего возраста, не выпадали из спектра их жизненных или познавательных интересов, соотносились с изучаемым в школе учебным материалом.
Придумать сюжет или сценарий игры, текст рекламы, составить диалог между литературными героями или героями мультиков — такие контексты используются для заданий на письменное самовыражение для младших школьников. Для старших учащихся такого рода задания могут усложняться. Например, им можно уже предложить написать аннотацию или создать текст определенной стилистической окрашенности.
Для визуального самовыражения также используются самые разнообразные контексты. Учащимся можно предложить создать рисунки на определенную тему или по определенным правилам (например, только
из геометрических фигур или на основе заготовок). Или проиллюстрировать смысл изучаемого учебного материала (например, математического выражения или фразеологизма). Создать инфографику, шаблон для презентации, использовать иные способы наглядного представления данных или текстовой информации.
В заданиях на решение социальных проблем обычно используются ситуации социального проектирования (как помочь нуждающимся, как привлечь общественное внимание к какой-либо социально значимой проблеме и т.п.), а также ситуации, связанные с межличностными отношениями (например, с буллингом) или с проблемами в учении (как помочь отстающему, как выбрать нужный предмет и т.п.).
В заданиях на решение естественно-научных проблем обычно используются ситуации, связанные с постановкой научного эксперимента (выдвижение и проверка гипотез, анализ и интерпретация данных, другие методы научного исследования), а также ситуации технического творчества и изобретательства, ситуации новых сфер применения научного знания и ситуации взаимоотношения человека и окружающей среды.
С учетом специфики решаемых задач в измерительных материалах преимущественно используются задания с открытыми ответами, требующие экспертной проверки.
Вместе с тем в ряде заданий, преимущественно на оценку идей, используется множественный или единичный выбор ответа из ряда предложенных. Отметим, однако, что выбор ответа не предполагает выбор единственно верного ответа. Дистракторы составлены так, чтобы позволить учащимся осуществить альтернативный выбор такого ответа, который, по их мнению, будет лучше соответствовать тем или иным условиям. Фактически учащимся, делающим выбор, необходимо отсечь такие варианты ответов, которые по тем или иным признакам не отвечают требованиям или инструкциям задания.
Оценка заданий в основном ведется по трехбалльной шкале (0, 1 или 2 балла), где «0 баллов» означает, что ответ НЕ принимается, «1 балл» означает, что ответ принимается частично, «2 балла» означает, что ответ принимается полностью. В ряде заданий (как правило, на проверку умения оценивать и отбирать идеи) используется дихотомическая шкала (0 или 1 балл), где «0 баллов» по-прежнему означает, что ответ НЕ принимается, а «1 балл» означает, что ответ принимается.
Всего для оценки сформированности креативного мышления в 2019-
2020 гг. в диагностических работах использовались 52 комплексных задания (ситуации), в составе которых содержались 208 заданий, направленных на оценку отдельных когнитивных умений (компетентно-стей). Из них
- для 5 класса — 12 ситуаций с 50 заданиями для оценки отдельных компетентностей,
- для 7 класса — 12 ситуаций с 48 заданиями,
- для 8 класса — 16 ситуаций с 58 заданиями,
- для 9 класса — 12 ситуаций с 52 заданиями.
Структура банка заданий, отобранных для 5-х, 7-х, 8-х и 9-х классов, представлена в Таблице 1.
Таблица 1. Структура банков заданий
Область Доля заданий
5 класс 7 класс 8 класс 9 класс
1 Визуальное самовыражение 28% 29% 23% 22%
Содержатель ная Письменное самовыражение 22% 23% 23% 24%
Решение естественнонаучных проблем 26% 23% 25% 28%
Решение социальных проблем 24% 25% 29% 26%
■ н I СЕ Выдвижение разнообразных идей 36% 38% 34% 32%
еа тн ф 1-1= О 2 X о 1 Выдвижение креативной идеи 6% 6% 18% 18%
Доработка идеи 23% 23% 21% 24%
Оценка и отбор идей 35% 33% 27% 26%
Методология исследования. Проведенное исследование не ставило своей задачей выявление одаренных детей или определение индивидуального уровня креативности у каждого участника. Его целью служило выявление и описание границ, в рамках которых учащиеся демонстрируют способность мыслить креативно. Масштаб выборки, краткая характеристика которой приведена во введении к данной статье, позволяет ставить и решать подобную задачу. При проведении исследования использовались следующие методы:
- изучение и анализ различных подходов к оцениванию сформиро-ванности креативного мышления, при этом особое внимание уделя-
лось концептуальной рамке в исследовании PISA-2021 [9];
- тестологический анализ результатов выполнения заданий в рамках современной теории тестирования, направленный на оценку уровня сформированности группы когнитивных умений креативного мышления [11];
- сравнительный анализ результатов учащихся 5-х, 7-х, 8-х и 9-х классов;
- качественный анализ содержания ответов учащихся.
Тестологический анализ результатов выполнения заданий в рамках
современной теории тестирования включал: анализ статистик согласия InFit и OutFit; анализ карты переменных; анализ степени близости теоретической и эмпирической кривых дихотомических заданий; анализ качества функционирования категорий заданий, оцениваемых политомически; исследование надежности теста; исследование размерности теста [3; 6; 7;].
Поскольку учащиеся выполняли различные варианты теста, было необходимо применение методик выравнивания, которые способны обеспечить сопоставимость результатов тестирования. Для 5-х и 7-х классов использовалась модель Latent Linear Test Model (LLTM) современной теории тестирования [8]. Модель LLTM предложена для моделирования когнитивных процессов, стоящих за выполнением задания. Модель LLTM основана на логит-преобразовании и линейной комбинации свойств задания [5]. Основная идея модели LLTM заключается в том, что вклад каждого задания объясняется свойствами задания (X) и их фиксированными эффектами (в). Модель подразумевает, что эффекты задания полностью объясняются свойствами задания [12].
При обработке данных по 8-м и 9-м классам для размещения на одной шкале результатов, полученных при выполнении различных вариантов работы, выравнивание проводилось за счет использования общих заданий в различных вариантах теста [4]. Примерно 20% заданий в каждом варианте были общими с другими вариантами, а 80% — индивидуальными для этого варианта. В этом случае, с помощью применения математико-ста-тистического аппарата современной теории тестирования, параметры общих заданий послужили «якорными» параметрами, которые обеспечили сопоставимость данных между шкалами каждого отдельного варианта.
Вышеперечисленные процедуры подготовки и анализа диагностических материалов позволили получить достаточно надежные данные о сформированности у учащихся креативного мышления.
Результаты исследования
Анализ полученных данных по всем работам велся на основе следующих показателей:
- средний процент выполнения заданий,
- средний процент учащихся, давших полностью принимаемый ответ, частично принимаемый ответ или НЕпринимаемый ответ.
Для 8-го и 9-го классов использовался, кроме того, показатель уровня сформированности креативного мышления
Успешность выполнения заданий. Средний процент выполнения всех заданий работы в целом и размах значений в зависимости от выполняемых ситуаций для каждого класса приведен в Таблице 2.
Таблица 2. Средний процент выполнения работы
Средний процент 5 класс 7 класс 8 класс 9 класс
По работе в целом 37% 43% 39% 38%
Размах значений по разным ситуациям 14% — 65% 16% — 69% 17% — 55% 20% — 58%
Как видно из приводимых данных, средний процент выполнения заданий диагностической работы ни в одной из параллелей не превышает 50%. При этом наиболее трудными для учащихся оказываются задания на визуальное самовыражение и естественно-научную грамотность. Так, только 14% пятиклассников полностью или относительно успешно справились с заданием пояснить с помощью рисунка смысл математического выражения a + Ь = c. Только 16% семиклассников полностью или относительно успешно справились с заданием визуализировать табличные данные в ситуации «Проездной». Восьмиклассники затруднились с выполнением заданий в ситуации «Зоопарк», где требовалось продемонстрировать умение проводить сортировку и классификацию объектов, а для девятиклассников самым трудным заданием стало пояснить с помощью рисунка смысл фразеологизма «газетная утка».
Наиболее успешными стали задания на письменное самовыражение (в 5-м классе) и решение социальных проблем (в 7-м, 8-м и 9-м классах).
Результаты сформированности креативного мышления по основным содержательным и компетентностным областям представлены в Таблицах 3 и 4 и на соответствующих им Рисунках 1 и 2.
Таблица 3. Средний процент выполнения заданий по разным содержательным областям
Содержательная область 5 класс 7 класс 8 класс 9 класс
Визуальное самовыражение 21% 22% 35% 25%
Письменное самовыражение 54% 54% 47% 43%
Разрешение естественнонаучных проблем 35% 43% 27% 31%
Разрешение социальных проблем 41% 57% 47% 51%
Таблица 4. Средний процент выполнения заданий по разным компетентностным областям
Компетентностная область 5 класс 7 класс 8 класс 9 класс
Выдвижение разнообразных идей 36% 47% 47% 38%
Выдвижение креативной идеи 51% 47% 50% 38%
Доработка идеи 34% 36% 34% 33%
Оценка и отбор идей 38% 43% 31% 45%
х оценка и отбор одной наиболее удачной идеи 51% 50% 45% 54%
Из ни: оценка и отбор наиболее и наименее удачной идеи 29% 35% 31% 44%
оценка и отбор идеи по заданному критерию 31% 20% 14% 29%
Средний процент выполнения заданий по разным содержательным областям
60% 50% 40°% 30% 20% 10% 0%
54% 54%
57%
35%
21% 22%
25%
47%
51%
43%
43%
I II
31%
Визуальное Письменное Решение е/н проблем Решение социальных
самовыражение самовыражение проблем
□ 5 класс Ш7 класс Н8 класс и9 класс
Рис. 1
50%
Средний процент выполнения заданий по разным компетентностным областям
51% 47% 50°%
40°% 36% 30% 20% 10% 0%
38%
38%
43%
45%
34% 36% 34% 33%
Выдвижение Выдвижение Доработка идей Оценка и отбор идей
разнообразных идей креативных идей
□ 5 класс П7 класс Н8 класс н9 класс
Рис. 2
Как видно из приводимых данных, средний процент выполнения заданий достигает50%и незначительно превышает этувеличину толь-ков двухобластях:в области«письменноесамовыражение»в 5-х и 7-х классах и в области «решение социальных проблем» в 7-х и 9-х классах.
Наиболее успешно учащиеся выполняют задания на создание текстов и наразрешениесоциальныхи межличностныхпроблем. Наибольшую трудность представляют задания на разрешение естественно-научных проблем, а также задания, требующие создания рисунков.
Отметим, что старшие школьники выполняли задания, предполагающие опору на более сложный учебный материал (который тем не менее не выходит за рамки школьной программы и достаточно подробно освещается в мотивационной части задания). Например, качественный анализ ответов учащихся обнаруживает многочисленные пробелы в естественно-научных знаниях учащихся. Так, восьмиклассники, выполняющие комплексное задание «Вращение Земли», не замечая очевидных подсказок, содержащихся в текстах заданий, затруднялись привести примеры движения тел по инерции.
Средний процент освоения компетентностей также практически не превышает 50% ни в одной из групп умений.
Более успешно учащиеся способны выдвинуть одну идею, а также выбрать одну наиболее удачную идею из ряда предложенных. Менее освоены ими следующие когнитивные процессы (названы в порядке
убывания трудности): критериальная оценка, доработка идей, а также выдвижение нескольких разных идей.
Качественный анализ ответов учащихся позволяет увидеть, что около пятой части младших школьников могут только с несущественными изменениями повторить пример, поясняющий требования к оформлению ответа, и не способны выйти за его рамки.
Почти половина учащихся не могут выдвинуть вторую идею, отличающуюся от первой по смыслу или способу исполнения.
Около половины учащихся искренне недоумевают, зачем вообще нужно выдвигать еще одну идею или что-то дорабатывать. «Мне эта идея и так нравится!»,— такой комментарий можно встретить в работах учащихся.
Учащиеся 9-го класса испытывают большие трудности при выдвижении идей, чем более младшие школьники. Возможно, это связано с возросшей сложностью заданий.
Примечательно, что в средний процент выполнения заданий на доработку идей остается неизменным при переходе от младшего школьного возраста к старшему, что свидетельствует о том, что такого рода задания в школе практически не используются.
К девятому классу совершенствуется навык оценки идей по всем его составляющим (отбор, ранжирование, критериальная оценка), что, возможно, связано с практикой подготовки к государственной итоговой аттестации в формате ОГЭ.
Качество ответов учащихся. При анализе приводимых ниже данных о распределении учащихся по качеству данных ими ответов, следует учитывать, что ответ НЕ принимается (0 баллов), как правило, в следующих случаях:
а) ответ отсутствует или продемонстрирован отказ от выполнения задания;
б) ответ не является самостоятельным (налицо плагиат или в ответе повторен пример, приводимый в задании);
в) ответ не отвечает требованиям задания.
Частично принимаемый ответ (1 балл) — это такой ответ, который только частично отвечает требованиям задания. Например, выдвинута только одна идея, а не несколько, как это требует задание. Или выдвинутая идея не является оригинальной для данной выборки, поскольку именно эту идею выдвигает большинство учащихся.
Важно понимать также, что полностью принимаемый ответ (2 балла) — это не вовсе не полностью правильный или тем более идеальный ответ. Как уже отмечалось, в заданиях на оценку креативного мышления нет «единственно правильного ответа». То, что данный ответ принимается полностью, означает всего лишь, что данный ответ и с позиции его содержания, и с позиции его представления и оформления отвечает требованиям задания и критериям разнообразия или оригинальности. Художественное мастерство, эффективность или оптимальность решения не являются предметом оценки в этих заданиях.
Отметим, что все особенности экспертной оценки тщательно оговариваются в рекомендациях.
Распределение учащихся по качеству данных ими ответов в целом по всей работе показано в Таблице 5.
Таблица 5. Средний процент учащихся, давших непринятый, частично и полностью принятые ответы
Качество ответа 5 класс 7 класс 8 класс 9 класс
Ответ НЕ принят 50% 42% 45% 40%
Ответ принят частично 33% 34% 26% 30%
Ответ принят полностью 17% 24% 29% 30%
Приведенные данные показывают, что от половины учащихся в 5-м классе до 40% учащихся в 9-м классе либо не дают ответа, либо дают ответ, не отвечающий требованиям задания.
Ответ, отвечающий требованиям задания, дают менее пятой части пятиклассников, примерно четверть семиклассников и около трети учащихся старших классов основной школы.
Отрадно наблюдать, что способность понять и реализовать требования задания хоть и медленно, но нарастает от 5-го к 9-му классу. Вместе с тем абсолютные значения этих показателей заставляют предположить, что подобная динамика, скорее всего, является результатом естественного взросления детей, а не результатом целенаправленного педагогического воздействия. Опыт системы развивающего обучения в нашей стране и опыт других стран показывает, что можно добиваться более высоких показателей за счет реализации практик развивающего обучения.
Распределение учащихся по качеству ответов в разных содержательных и компетентностных областях представлены в Таблицах 6, 7 и на
соответствующих им Рисунках 3 и 4.
Таблица 6. Средний процент учащихся, давших непринятый, частично и полностью принятые ответы по содержательным областям
Содержательная об- Качество ответа 5 класс 7 класс 8 класс 9 класс
ласть
Визуальное Ответ НЕ принят 71% 64% 56% 58%
самовыра- Ответ принят частично 24% 30% 20% 23%
жение Ответ принят полностью 5% 6% 24% 19%
Разрешение Ответ НЕ принят 54% 48% 62% 48%
естествен- Ответ принят частично 32% 35% 22% 33%
но-научных проблем Ответ принят полностью 14% 17% 16% 19%
Разрешение Ответ НЕ принят 41% 28% 30% 28%
социальных Ответ принят частично 35% 32% 32% 34%
проблем Ответ принят полностью 24% 40% 38% 38%
Письменное Ответ НЕ принят 30% 26% 34% 34%
самовыра- Ответ принят частично 41% 40% 28% 29%
жение Ответ принят полностью 29% 34% 38% 37%
Таблица 7. Средний процент учащихся, давших непринятый, частично и полностью принятые ответы по компетентностным областям
Компетент-ностная область Качество ответа 5 класс 7 класс 8 класс 9 класс
Выдвижение разнообразных идей Ответ НЕ принят 54% 39% 38% 39%
Ответ принят частично 27% 30% 35% 32%
Ответ принят полностью 19% 31% 27% 29%
Выдвижение креативной идеи Ответ НЕ принят 23% 31% 33% 36%
Ответ принят частично 51% 43% 35% 39%
Ответ принят полностью 26% 26% 32% 25%
Доработка идеи Ответ НЕ принят 51% 47% 40% 44%
Ответ принят частично 33% 40% 38% 36%
Ответ принят полностью 16% 13% 22% 20%
Оценка и отбор идей Ответ НЕ принят 50% 44% 59% 41%
Ответ принят частично 35% 32% 7% 36%
Ответ принят полностью 15% 24% 34% 20%
Распределение учащихся по качеству ответа. Содержательные области
5 класс
7 класс
8 класс
9 класс 5 класс
7 класс
8 класс
9 класс 5 класс
7 класс
8 класс
9 класс 5 класс
7 класс
8 класс
9 класс
□ Ответ НЕ принят □ Ответ принят частично □ Ответ принят полностью
Рис. 3
Распределение учащихся по качеству ответа. Компетентностные области
; 5 класс 7 класс
он
| 5 8 класс
р 9 класс
и 5 класс
! ^
) и 7 класс
: о
в н 8 класс
) <и
£ 9 класс
Ц 5 класс
ш 7 класс
о
^о 8 класс
о _
9 класс
0 5 класс
1 7 класс
! ч
: 5 8 класс г
> 9 класс
□ Отвгт НЕ принят ШОтвгт принят частично ШОтвгт принят полностью
Рис. 4
Приводимые данные показывают, что с заданиями на письменное самовыражение и на разрешение социальных проблем полностью НЕ справляется около трети учащихся, а с заданиями на визуальное самовыражение и на разрешение естественно-научных проблем — около половины учащихся.
В заданиях из естественно-научной области учащиеся затрудняются в постановке исследовательских вопросов, в проектировании и описании эксперимента. Большие трудности вызвали задания, в которых надо было предложить разные основания для классификации объектов — пищевых продуктов, животных, веществ и материалов. В последнем случае затруднения только отчасти были связаны с отсутствием необходимых предметных знаний. Так, например, для восьмиклассников неожиданно сложным оказалось задание разделить животных на две группы — диких и домашних. Большая же часть ошибочных ответов была связана с непониманием принципов и смысла классификации. Учащиеся в большинстве своем оказались способными только выделить у небольшого количества объектов какое-либо общее свойство и объединить их по этому признаку в группу. При этом тот факт, что остается значительное количество «лишних» объектов, учащихся не смущает.
В ответах учащихся на задания естественнонаучного характера проявилась еще одна проблема, которую условно можно описать как массовую потерю способности к инженерному мышлению. Подавляющее большинство детей смотрит на проблему усовершенствования технических изделий с социальных позиций. Например, для совершенствования велотрека предлагается разработать правила дорожного движения, организовать места для отдыха, открыть пункты проката велосипедов и т.п. Предложений по совершенствованию покрытия, конструкций, улучшению их технических характеристик практически не встречается. Другой пример. Большинство учащихся оценивает качество и перспективы использования технических устройств преимущественно только с точки зрения их влияния на окружающую среду. Надежность и прочность конструкции, функциональность, износостойкость и другие технические характеристики практические не рассматриваются и не анализируются. Пожалуй, о привычке смотреть на мир преимущественно сквозь призму экологии и различных социальных аспектов, но не инженерно-технических проблем можно говорить уже как о свершившемся факте.
Низкие результаты в выполнении заданий на визуальное самовыраже-
ние были вызваны несколькими обстоятельствами. Во-первых, выполнять рисунки надо было на компьютере в графическом редакторе, а далеко не все учащиеся, особенно пятиклассники, уверенно владеют навыками работы с графическим редакторами. Во-вторых, в ряде заданий создание рисунка преследовало цель прояснить смысл какого-либо понятия или выражения. В подавляющем большинстве непринятых ответов на такого рода задания проявились либо полное непонимание детьми обсуждаемых понятий и выражений, либо их формальное знание, не наполненное стоящими за ними смыслами. Еще одной причиной низких результатов выполнения заданий этой области послужило неумение учащихся использовать графические средства для визуализации данных. В частности, ни восьмиклассники, ни девятиклассники не умеют работать с инфографикой, системой условных обозначений и символической записью.
Фактически качественные ответы дают не больше трети детей в областях письменного самовыражения и решения социальных проблем, не больше четверти детей — в области визуального самовыражения и не более пятой части школьников — в области решения естественно-научных проблем. При этом не более трети детей демонстрируют способность к дивергентному мышлению и способность выдвигать нестандартные идеи и не более пятой части детей демонстрирует способность к оценке и доработке идей.
Уровни сформированности креативного мышления. Объем и состав выборки учащихся 8-х и 9-х классов, а также диапазон сложности используемых заданий позволил выделить и описать пять уровней сформированности креативного мышления: недостаточный, низкий, средний, повышенный, высокий.
Распределение обучающихся 8-х и 9-х классов по данным уровням представлено в Таблице 8.
Таблица 8. Распределение обучающихся 8-х и 9-х классов по уровням сформированности креативного мышления
Уровень Границы уровня(примерный объем выполненной работы,в%) Доля учащихся
8 класс 9 класс
Недостаточный 0-15% 18% 20%
Низкий 16-35% 35% 33%
Средний 36-55% 29% 30%
Повышенный 56-75% 16% 15%
Высокий 76-100% 2% 2%
Недостаточный уровень. Этот уровень продемонстрировала примерно пятая часть участников диагностической работы — 18% восьмиклассников и 20% девятиклассников. Результаты, соответствующие данному уровню, говорят о несформированности креативного мышления. Как правило, на данном уровне ученики либо НЕ выполняют ни одного задания, либо выполняют не более одного-двух заданий работы. Однако выполняют их не полностью, а давая лишь частично принимаемый ответ. Учащиеся способны оценить чужую идею — социальную или художественную, однако при этом учитывают, как правило, не всю совокупность требований, которые следует предъявлять оцениваемой идее, а только одно какое-либо требование.
Низкий (пороговый) уровень. Этот уровень продемонстрировала примерно треть участников — 35% восьмиклассников и 33% девятиклассников. Эти ученики могут уже не только дать адекватную оценку чужой идее, выполняя задания с выбором ответа на оценку и отбор наиболее удачных и креативных идей, но самостоятельно выдвинуть одну-две различающихся идеи, как правило, для знакомой ситуации в социальной сфере. Например, предложить одну-две идеи помощи бездомным животным или предложить идею социальной рекламы. Они достаточно уверенно чувствуют себя в обыденных повседневных ситуациях, в которых нет новых или расходящихся с их опытом идей. Так же, как и предыдущая группа, эти ученики выполняют два-три задания низкой сложности, с которыми справляется большинство учащихся.
Средний уровень также продемонстрировали около трети участников — 29% восьмиклассников и 30% девятиклассников. Эти ученики показывают средние по выборке результаты, выполняя примерно половину заданий работы. Они уверенно работают с заданиями на письменное самовыражение и на решение социальных проблем низкой и средней сложности, демонстрируя способность давать адекватную оценку чужим идеям, выдвигать разнообразные и оригинальные идеи, доработать предложенную идею. Они могут успешно справиться с некоторыми ситуациями на разрешение естественно-научных проблем и на визуальное самовыражение, прежде всего — с оценкой и отбором идей. Способны создать один или два различающихся рисунка на основе заготовки и доработать их.
Повышенный уровень демонстрирует шестая часть участников — 16% восьмиклассников и 15% девятиклассников. Эти ученики успешно
выполняют большую часть работы — до 75%. Они выполняют задания на письменное и визуальное самовыражение, на разрешение социальных проблем, демонстрируя уверенное владение всеми оцениваемыми компетентностями практически в любых контекстах. Наибольшую трудность в естественно-научной области для них представляют задания на классификацию объектов и задания, при ответе на которые требуется уверенное владение изученным материалом. Проблемы в визуальном самовыражении связаны с созданием инфографики.
Высокий уровень показывают только единицы — 2% старшеклассников. Эти учащиеся успешно работают с подавляющим большинством заданий. Они могут прояснить смысл утверждений с помощью рисунка, могут создать инфографику и наглядно представить данные. Они могут глубоко погрузиться в социальную ситуацию, демонстрируют способность к сопереживанию, способны предложить нестандартные способы ее разрешения. Они способны создавать тексты в точном соответствии с требованиями задания. Выполняя задания на разрешение естественнонаучных проблем, они способны описать несколько идей проведения эксперимента, предложив нестандартные методы и приемы. Они уверенно справляются с заданиями на классификацию и изобретательство. Некоторую трудность в естественно-научной области для них представляют задания, при ответе на которые требуется уверенное владение изученным материалом.
Заключение. Полученные результаты показывают, что учащимся гораздо легче демонстрировать креативное мышление в более привычных ситуациях — ситуациях создания текстов и принятия социально окрашенных решений.
Низкий уровень проявления креативности при разрешении естественно-научных проблем связан, видимо, с недостаточно сформированными предметными знаниями. Так, в 2020 г. в условиях проведения мониторинга учащиеся старших классов имели возможность пользоваться любой учебной и справочной литературой, а также поисковыми системами. Тем не менее свыше 60% учащихся либо отвечали на другие вопросы, а не на те, которые были поставлены в задании, либо не могли пояснить собственный ответ. Подавляющее большинство учащихся продемонстрировали неспособность оценить, насколько найденная информация подходит к заданию, уместна ли она при ответе на поставленный вопрос. В большей степени такое бездумное списывание относится к заданиям с естествен-
но-научным содержанием, но не только. Значительная часть учащихся обращались к поисковым системам, выполняя эти задания на решение социальных проблем. Отметим, что значительное количество учащихся, пользовавшихся источниками, не знакомы с правильным оформлением используемого чужого материала: вместо цитирования наблюдается плагиат.
Анализ непринятых ответов показывает, что около пятой части учащихся не способны выйти за рамки, заданные ситуацией, заданием или приведенным в нем примером.
Навыками оценки уверенно владеет не более трети учащихся. При этом сравнительная оценка, отбор и ранжирование представляют для них меньшую трудность, чем оценка по заданным критериям.
Полученные результаты позволяют предположить, что способность к креативному мышлению заметно ограничивается уровнем обученности (владением как теоретическими знаниями, так и практическими навыками). Это особенно заметно в области разрешения естественнонаучных проблем, но прослеживается и в других областях.
В ходе проверки работ учащихся были отмечены типичные для большинства учащихся трудности, влияющие на качество ответов.
Качественный анализ ответов обнаруживает проблемы с читательской грамотностью. Учащиеся не удерживают рамку задания. Работая с формулировкой задания, не обращают внимание на требования к содержанию и оформлению ответа. Часть учащихся учитывает только одно из требований и не обращает внимания на другое.
Ответы учащихся демонстрируют неумение переводить информацию из одного формата в другой. Это особенно заметно в заданиях на создание инфографики. Отметим, что этот формат — «инфографика» — детям знаком плохо.
Учащиеся демонстрируют неумение трансформировать информацию, добавляя в нее какие-то собственные детали. Например, при переделке уже собранной информации в пост для социальной сети оставляют сухое перечисление тех же самых фактов, хотя в задании сделан акцент на том, что пост должен быть интересен читателям.
Выполнение заданий на визуальное самовыражение показывает, что низкий процент выполнения отчасти связан с трудностями в использовании графических редакторов. Еще один источник трудностей — формальные знания, непонимание смыслов, заложенных в понятиях и утверждениях.
Выполнение заданий на разрешение естественнонаучных проблем показывает, что учащиеся не владеют таким общеучебным понятием, как классификация. В частности, не понимают, что выбирать основания для классификации надо так, чтобы можно было разложить по группам все объекты. Дети, как правило, выделяют из всего количества объектов только какую-то их часть, обладающую общими свойствами.
Исходя из полученных результатов, представляется целесообразным использовать в учебном процессе практики, способствующие формированию дивергентного мышления и провоцирующие учащихся на
- обсуждение проблем в малых группах или в парах, выдвижение и оценку (проверку) разных точек зрения, разных гипотез, постановку исследовательских вопросов;
- проведение учебных исследований и выполнение учебных проектов, поисковую активность;
- оценочную деятельность, на само-и взаимооценку, в том числе критериальную.
Развитию креативного мышления и функциональной грамотности в целом будет способствовать создание педагогами учебных ситуаций, инициирующих учебную деятельность учащихся, мотивирующих их на эту деятельность и проясняющих смыслы этой деятельности.
Необходимо использовать приемы, способствующие воссозданию целостности картины мира и интеграции знаний: общие методологические подходы, выявление связей, аналогий и т.п. Целесообразно использовать также синергетический эффект, возникающий при скоординированной работе группы учителей.
Необходимо наряду с тренировочными учебными заданиями, строящимися по принципу «от способа к задаче», предлагать учебные задания и иного типа («от задачи к выбору способа»), а также иные учебные задания, в которых
- проблема ставится ВНЕ предметной области, но решается с привлечением предметных и метапредметных знаний, умений и навыков, при этом требуется «перевод» с обыденного языка на язык предмета;
- ситуация требует осознанного принятия решения: выбора способа действий, модели поведения и т.п.;
- не содержится явного или неявного указания на способ действий;
- не только допустима, но и необходима возможность использования альтернативных подходов и решений.
«Хорошими» заданиями с точки зрения «пошагового» формирования креативного мышления (а также и других составляющих функциональной грамотности) являются:
- учебные исследования, проекты и задания проектного типа;
- кейсы, ролевые и деловые игры, моральные дилеммы и другие задания, способствующие приобретению опыта позитивных действий;
- задания на демонстрацию понимания смыслов (понятий, утверждений, фразеологизмов, математических выражений, многозначных терминов в разных предметах и т.п.);
- задания на выявление главного, на выявление сущностных свойств, черт и характеристик (например, в ходе описания предмета или постановки вопросов в играх типа «Угадайка»).
Ряд заданий, которые могут быть использованы как для оценки, так и для формирования креативного мышления, приводятся в сборнике эталонных заданий «Креативное мышление» [2].
Статья выполнена в рамках государственного задания ФГБНУ «Институт стратегии развития образования Российской академии образования» № O73-OOOO7-2O-O1 на 2O2O год «Создание методологии исследования, анализа и прогноза результатов международных и национальных исследований качества образования. Научное обоснование и проведение работ по оценке качества общего образования на основе методологии и инструментария международных исследований качества подготовки обучающихся».
Литература
1. Авдеенко Н. А., Демидова М. Ю., Ковалева Г. С. и др. Основные подходы к оценке креативного мышления в рамках проекта «Мониторинг формирования функциональной грамотности» // Отечественная и зарубежная педагогика. 2Q19. № 4. С. 124-145.
2. Ковалева Г. С., Логинова О. Б., Авдеенко Н. А. и др. Креативное мышление. Сборник эталонных заданий. Выпуск 1: учебное пособие для общеобразовательных организаций / под общ. ред. Г. С. Ковалевой, О. Б. Логиновой. М.; СПб.: Просвещение, 2Q2Q. 126 с.
3. Bond Tr. G., Fox C. M. Applying the Rasch Model: Fundamental Measurement in the Human Sciences. New Jersey: Lawrence Erlbaum Associates, Inc., Publishers, 2QQ8. P. 29-6Q.
4. Cook L. L., Eignor D. R. IRT equating methods // Educational measurement: Issues and practice. 1991. Vol. Ю (3). P. 37-45.
5. Embretson S. A general latent trait model for response processes // Psychometrika. 1984. Vol. 49 (2). P. 175-186.
6. Embretson S. E., Reise S. P. Item Response "fteory for Psychologists. New Jersey: Lawrence Erlbaum Associates, Publishers, 2QQQ. P. 95-125.
7. Hambleton R. K. Fundamentals of Item Response Theory (Measurement Methods for the Social Science). Sage Publications, Inc., 1991. P. 32-57.
8. Petersen N. S., CookL. L., StockingM. L. IRT versus conventional equating methods: A comparative study of scale stability // Journal of Educational Statistics. 1983. Vol. 8 (2). P. 137-156.
9. PISA 2021 Creative Thinking Framework (Third Draft). OECD, 2019. 56 p. [Электронный источник]. URL: https://www.oecd.org/pisa/publications/PISA-2021-creative-thinking-framework.pdf (дата обращения: 07.09.2020).
10. Plucker J. A., Makel M. C. Assessment of creativity // The Cambridge handbook of creativity / J. C. Kaufman, R. J. Sternberg (Eds.). New York: Cambridge University Press, 2010. P. 48-73.
11. Ravand H., Robitzsch A. Cognitive diagnostic modeling using R // Practical Assessment, Research, and Evaluation. 2015. Vol. 20, No. 1. P. 1-11.
12. Rijmen F., Tuerlinckx F., De Boeck P., et al. A nonlinear mixed model framework for item response theory // Psychological methods. 2003. No. 8 (2). P. 185.
13. SternbergR. J., Lubart T. I. The concept of creativity: Prospects and paradigms // Handbook of creativity / R. J. Sternberg (Ed.). Cambridge: Cambridge University Press, 1999. P. 3-15.
PROJECT "FUNCTIONAL LITERACY MONITORING".
CREATIVE THINKING: FIRST RESULTS
The article discusses Creative Thinking framework, tasks specificity and first results of diagnostic work, fulfilled by student of 5th — 9th grades in 2019-2020.
The research is focused on finding out and describing the areas in which students demonstrate the competence to think creatively, that is to engage productively in the generation, evaluation and improvement of ideas, which can result in original and effective solutions, generation of new knowledge, and impactful expressions of imagination.
The results show that it is easier to students to demonstrate creative thinking in common situations — when they are creating literary texts and making social decisions.
It is easier to students to generate ONE idea, than develop range of DIFFERENT ideas. It is difficult to the majority of students to demonstrate the competence to evaluate and improve ideas.
Keywords: functional literacy, creative thinking, content model of creative thinking, competency model of creative thinking, PISA, assessment of the quality of education, educational outcomes, learning situation and learning task.
References
• Avdeenko N. A., Demidova M. Yu., Kovaleva G. S. i dr. Osnovnye podhody k ocenke kreativno-go myshleniya v ramkah proekta «Monitoring formirovaniya funkcional'noj gramotnosti» // Otechestvennaya i zarubezhnaya pedagogika. 2019. № 4. S. 124-145. [In Rus].
• Bond Tr. G., Fox C. M. Applying the Rasch Model: Fundamental Measurement in the Human Sciences. New Jersey: Lawrence Erlbaum Associates, Inc., Publishers, 2008. P. 29-60.
• Cook L. L., Eignor D. R. IRT equating methods // Educational measurement: Issues and practice. 1991. Vol. 10 (3). P. 37-45.
• Embretson S. A general latent trait model for response processes // Psychometrika. 1984. Vol. 49 (2). P. 175-186.
• Embretson S. E., Reise S. P. Item Response Theory for Psychologists. New Jersey: Lawrence Erlbaum Associates, Publishers, 2000. P. 95-125.
• Hambleton R. K. Fundamentals of Item Response Theory (Measurement Methods for the Social Science). Sage Publications, Inc., 1991. P. 32-57.
• Kovaleva G. S., Loginova O. B., Avdeenko N. A. i dr. Kreativnoe myshlenie. Sbornik etalonnyh zadanij. Vypusk 1: uchebnoe posobie dlya obshcheobrazovatel'nyh organizacij / pod obshch. red. G. S. Kovalevoj, O. B. Loginovoj. M.; SPb.: Prosveshchenie, 2020. 126 s. [In Rus].
• Petersen N. S., CookL. L., StockingM. L. IRT versus conventional equating methods: A comparative
study of scale stability // Journal of Educational Statistics. 1983. Vol. 8 (2). P. 137-156.
• PISA 2021 Creative Thinking Framework (Third Draft). OECD, 2019. 56 p. [Elektronnyj istochnik]. URL: https://www.oecd.org/pisa/publications/PISA-2021-creative-thinking-framework.pdf (data ob-rashcheniya: 07.09.2020).
• Plucker J. A., Makel M. C. Assessment of creativity // The Cambridge handbook of creativity / J. C. Kaufman, R. J. Sternberg (Eds.). New York: Cambridge University Press, 2010. P. 48-73.
• Ravand H., Robitzsch A. Cognitive diagnostic modeling using R // Practical Assessment, Research, and Evaluation. 2015. Vol. 20, No. 1. P. 1-11.
• Rijmen F., Tuerlinckx F., De Boeck P., et al. A nonlinear mixed model framework for item response theory // Psychological methods. 2003. No. 8 (2). P. 185.
• SternbergR. J., Lubart T. I. The concept of creativity: Prospects and paradigms // Handbook of creativity / R. J. Sternberg (Ed.). Cambridge: Cambridge University Press, 1999. P. 3-15).
