CC BY-NC-ND
147
Что дают предметные знания для умения применять их в новом контексте
Первые результаты сравнительного анализа TIMSS-2011 и PISA-2012
Ю. А. Тюменева, А. И. Вальдман, М. Карной
Статья поступила в редакцию в июле 2013 г.
В работе использованы результаты проекта «Углубленный анализ результатов международных исследований качества образования и ЕГЭ в контексте экономических показателей образования», выполненного в рамках Программы фундаментальных исследований НИУ ВШЭ в 2013 г.
Тюменева Юлия Алексеевна
кандидат психологических наук, старший научный сотрудник Международной лаборатории анализа образовательной политики НИУ ВШЭ. Адрес: Москва, 101000, Милютинский пер., д. 13, стр. 1. E-mail: jtumeneva@hse.ru Вальдман Алена Игоревна стажер-исследователь Международной лаборатории анализа образовательной политики НИУ ВШЭ. Адрес: Москва, 101000, Милютинский пер., д. 13, стр. 1. E-mail: alena.valdman@gmail.com Карной Мартин
PhD, профессор Педагогического института Стэнфодского университета. Адрес: Stanford University, School of Education, Stanford, California 94305. E-mail: carnoy@stanford.edu
Аннотация. Цель исследования — оценить связь степени сформиро-ванности предметных знаний и умений с их переносом в неакадемический контекст. Работа основана на анализе российских данных международных исследований TIMSS и PISA. Задания TIMSS связаны скорее с владением предметным содержанием, задания PISA — с умением применять предметное знание в широком жизненном контексте. Выборка — 4241 школьник из России, принявший участие как в TIMSS-2011, так и в PISA-2012. На основании сред-
них результатов каждого учащегося в математических заданиях TIMSS (PV) все учащиеся были разделены на шесть групп. Определены 10 и 20 самых трудных заданий PISA на основании однопараметрической модели Раша. Подсчитан процент самых трудных заданий PISA, решенных в каждой TIMSS-группе. Этот показатель выступил мерой способности учащихся переносить предметные знания в новый контекст и применять их для решения реальных жизненных задач. В результате была выявлена положительная связь между уровнем сформированности предметного знания и способностью перенести и применить его в ситуации, приближенной к реальной: чем лучше учащийся владеет предметным материалом по математике, тем с большей вероятностью он сможет применить это знание для решения проблемы в неакадемическом контексте. Однако эта связь не является линейной:только владение материалом на самом высоком уровне значительно облегчает перенос. Средние уровни владения предметным материалом мало дифференцируют успешность в контекстуальных задачах.
Ключевые слова: школьное обучение, математика, контекстные задания, PISA, TIMSS.
8
Вопросы образования. 2014. № 1
Ю. А. Тюменева, А. И. Вальдман, М. Карной Г ■ Что дают предметные знания для умения применять их в новом контексте L.B
Ключевой вопрос любого обучения — может ли учащийся использовать знания, сформированные в рамках специфической предметной области, для решения задач вне этого предмета? Например, если в педагогическую практику вводится инновационный курс или новый подход к обучению, всегда более или менее явно подразумевается, что результат этого обучения будет виден не только в рамках этого курса или подхода.
Вопрос о применении предметных знаний в ином контексте, нежели тот, в котором эти знания были получены, имеет длинную историю изучения как в когнитивных науках, так и в психологии обучения. Проблема так называемого трансфера (transfer) настойчиво исследуется начиная с ранних работ Торндайка [Thorndike, Woodworth, 1901] до сегодняшнего дня, но согласия относительно сути явления переноса, механизма и условий его осуществления по-прежнему очень мало. Разноречивость результатов является следствием не столько несогласованности в подходах, обусловленной различием научных областей, в которых проводится исследование (когнитивная психология, искусственный интеллект или построение эффективных обучающих практик [Reed et al.,1974; Gravemeijer, Doorman, 1999; Engle, 2006]), сколько многогранности самого предмета изучения. Не ставя цель дать здесь детальный обзор истории и текущего состояния исследований переноса знаний, сошлемся на таксономию С. Барнет и С. Сеси [Barnett, Ceci, 2002], в которой предлагается несколько размерностей, по которым можно разнести ключевые работы этой области. Для нас эта таксономия полезна в первую очередь тем, что она позволит сразу расположить наше исследование на карте уже существующих работ и обосновать интерпретационную рамку для наших результатов.
Первое измерение, в котором могут рассматриваться исследования трансфера, — предмет переноса. Этим предметом может быть содержание (что именно переносится) и (или) контекст (когда и куда осуществляется перенос). Содержание может включать множество выученных умений — от знания факта, арифметической операции до понимания принципов. Контекст также подразделяется на несколько размерностей, в которых размещаются и характеристики ситуации обучения и задача, проверяющая выполнение переноса: 1) область знания (например, знание получено в ходе изучения ботаники, а проверяется перенос в область химии); 2) физический контекст (обучение происходило в классе, а проверяется перенос в магазине или дома); 3) временной контекст (сколько времени прошло между обучением и проверкой переноса); 4) функциональный контекст (для чего используется формируемый навык или знание и какой образ мыслей подразумевает, например академический контекст или практическую задачу расчета налога); 5) социальный контекст (в одиночку работает учащийся или в группе); 6) модаль-
1. Перенос формальнопредметного знания во внепредметный контекст
http://vo.hse.ru
9
ТЕОРЕТИЧЕСКИЕ И ПРИКЛАДНЫЕ ИССЛЕДОВАНИЯ
ность (например, зрительное восприятие или письменная речь). Эти размерности задают пространство, в котором могут разместиться исследования переноса.
С практической точки зрения для школ и, шире, для любой системы обучения было бы идеально, чтобы приобретаемые навыки учащиеся могли переносить на разные области знания, за рамки школы (физический контекст), чтобы эти навыки сохранялись несколько лет после завершения обучения (временной контекст) и использовались при решении разных задач (функциональный контекст). Смысл этой интенции может быть описан как далекий перенос (far transfer). Чем сильнее отличается ситуация формирования навыка от ситуации его проверки, тем более далеким может считаться трансфер. Предполагается, что каждое исследование трансфера может быть размещено на осях этих размерностей, что позволит уточнить, по какой оси получаемый результат касается далекого трансфера, а по какой — ближнего (near transfer).
Общий вывод из тех экспериментальных исследований, которые могут быть классифицированы по этим осям как исследования далекого переноса, состоит в следующем. Трансфер появляется при определенных обстоятельствах. Учащиеся более успешно переносят сформированное знание (осуществляют далекий трансфер), если они понимают предмет или тему на глубоком, структурном уровне [Brown, Kane, Long, 1989]. С. Барнет и С. Сеси подчеркивают, что фактор наличия или отсутствия глубокого понимания отношений в какой-то области знания или в изучаемом материале часто может объяснить несогласованность результатов исследований по трансферу [Barnett, Ceci, 2002].
Целое семейство работ концентрируется на исследовании путей, которыми такое глубокое понимание может быть достигнуто (например, обучение схемам действия, метакогнитивным навыкам, критическому мышлению), и условий, которые побуждают учащихся выстраивать отношения между формальным знанием, чаще всего математикой, и реальными жизненными ситуациями, где эти знания могут быть применены. В отличие от когнитивно ориентированных исследований, в данной категории работ часто не предполагается экспериментального контроля многих сопутствующих переносу переменных [Lobato, 2006]. Тем не менее в этих работах получены некоторые доказательства того, что обучение глубокому пониманию, происходящее в комплексных обучающих ситуациях, с использованием контекстуализированных задач, задач на метакогнитивные навыки и критическое мышление, обеспечивает перенос изученного материала в новые ситуации [Halpern, Hansen, Riefer, 1990; Needham, Begg, 1991; Gentner, Loewenstein, Thompson, 2003; Thompson, Senk, Yu, 2012]. Мы не будем вдаваться в детали относительно способов обучения глубокому пониманию изучаемого материала. Зафик-
10
Вопросы образования. 2014. № 1
Ю. А. Тюменева, А. И. Вальдман, М. Карной Г ■ Что дают предметные знания для умения применять их в новом контексте L.B
сируем только этот общий вывод, поддержанный многими исследованиями далекого трансфера.
Нам удалось найти лишь несколько исследований, авторы которых хотя бы отчасти коснулись вопроса о связи степени сфор-мированности предметных знаний и возможности их переноса в новый контекст. Так, Д. Леман, Р. Лемперт и Р. Нисбет установили, что обучение студентов по программам подготовки юристов, психологов и медиков оказывает влияние на их способность в дальнейшем строить статистическую и методологическую аргументацию и на характер обсуждения проблем из реальной жизни [Lehman, Lempert, Nisbett, 1988]. С. Вандерстоп и Дж. Шонес-си показали, что студенты-психологи после прохождения курса по методам исследования успешнее выполняют тесты на статистическое и методологическое рассуждение в реальных жизненных ситуациях, чем студенты, прошедшие курс по психологии развития [VanderStoep, Shaughnessy, 1997]. Однозначно интерпретировать эти данные как свидетельство влияния предметного обучения на перенос навыков в новые условия не позволяют по крайней мере две особенности дизайна проведенных исследований. Во-первых, приведенные авторами примеры тестовых задач для оценки переноса мало чем отличаются от типичных задач, предлагаемых студентам во время обучения по курсу «Методы исследования». Во-вторых, авторы никак не измеряли успешность овладения изученным предметным материалом. Схожие ограничения можно увидеть в работе [Fong, Krantz, Nisbett, 1986].
В общем, при том что исследований по проблеме переноса и применения знаний в новых ситуациях или в ситуациях, приближенных к реальным (real-life problems), огромное количество, среди них на удивление мало работ, связывающих успешность овладения предметным знанием с возможностью применения этих знаний во внепредметном контексте. Многочисленные исследования условий, при которых трансфер становится возможным, не позволяют ответить на вопрос о роли формального предметного обучения. А ведь именно такое обучение, а не лабораторные или экспериментальные условия, является самым массовым видом образования во многих странах, и оценить эффект формально-предметного обучения для решения задач во внеакадемическом контексте представляется чрезвычайно важным.
Крупномасштабные международные мониторинги качества образования TIMSS и PISA исследуют результаты обучения в основной школе в разной перспективе: TIMSS направлен на тестирование предметных знаний и умений, PISA позиционирует свой тестовый инструментарий как оценивающий способность применять знания для решения проблем в реальных жизненных ситуациях, которые моделируются в заданиях PISA.
2. TIMSS-2011 и PISA-2012 на одной и той же выборке как задание «на перенос»
http://vo.hse.ru
11
ТЕОРЕТИЧЕСКИЕ И ПРИКЛАДНЫЕ ИССЛЕДОВАНИЯ
В TIMSS и PISA формально есть и перекрывающиеся области оценки. Так, TIMSS предлагает задания для выявления умения применять знания (applying), а PISA оценивает владение предметным материалом. Детальный сопоставительный анализ спецификаций заданий TIMSS и PISA был сделан в работах [Dossey, McCrone, O’Sullivan, 2006; Wu, 2009a; 2009b; 2010].
Однако, несмотря на наличие перекрывающихся областей и на то, что направленность некоторых заданий определена разработчиками этих двух исследований почти синонимичным образом1, тесты PISA и TIMSS можно рассматривать как разные в смысле основного предмета оценки: задания TIMSS требуют владения предметным содержанием, задания PISA—умения применять предметное знание в широком жизненном контексте. Остановимся подробнее на этой концептуальной разнице.
Идея контекстных заданий PISA сводится к тому, что математическая составляющая задания «погружается» в нематематический, «жизненный», обыденный контекст. Для решения такого задания необходимо сначала идентифицировать возможность использовать математику и затем вычленить математическую структуру в задании, представленную в некоторой контекстуализированной форме. Нужно перевести ситуацию, описанную в терминах обыденной жизни, в математическую область и снабдить «жизненную» проблему математической структурой. Лишь на следующем этапе требуется применение собственно математических знаний, чтобы решить математически сформулированную проблему. В заключительной части решения контекстного задания происходит «обратный перевод» математически сформулированного решения в контекст проблемы и результатам придается смысл в контексте и на языке проблемы [OECD, 2013].
Та же схема решения присутствует в TIMSS, но только в заданиях «на применение» [Mullis et al., 2012]. А большинство заданий TIMSS являются предметными, направленными на оценку владения математическими принципами, знаниями, процедурами и их применения в разных по сложности математических задачах. Такие задания TIMSS являются, скорее, деконтекстуализированными: для решения предлагается задача, имеющая ясную математическую структуру. Однако даже те задания TIMSS, которые относятся к области «применение» и предполагают ту же схему решения, что и задания PISA, не содержат лишних, отвлекающих данных—учащемуся дается только та информация, которая должна быть переведена на математический язык и исполь-
1 Содержательная область математики PISA-2003 «Количество» (Quantity) имеет ряд общих черт с содержательной областью TIMSS-2003 «Числа» (Number), когнитивная область PISA-2003 «Репродукция» (Reproduction) — с областью TIMSS-2003 «Знание фактов и процедур» (Knowing facts and procedures) [Wu, 2010].
12
Вопросы образования. 2014. № 1
Ю. А. Тюменева, А. И. Вальдман, М. Карной Г ■ Что дают предметные знания для умения применять их в новом контексте L.B
зована для решения. Поэтому для перевода на язык математики достаточно использовать простые аналогии: каждый элемент «бытового описания» соответствует одному элементу математической модели. Для исследования TIMSS, в отличие от PISA, не характерно включение в одну задачу данных, представленных в разной форме — в виде текстов, таблиц или диаграмм, — что требовало бы предварительно соотнести информацию разного вида между собой, удерживая в памяти поставленный в задаче вопрос. Кроме того, хотя это и не столь принципиально, предметные задачи TIMSS знакомы учащимся по форме, они типичны для учебника, имеют узнаваемое математическое содержание, тогда как контекстные задачи PISA предлагаются во внепредметном контексте, их еще нужно идентифицировать как задание «по математике». Все перечисленные особенности двух типов задач — контекстных (PISA) и деконтекстуализированных, предметных (TIMSS) — можно видеть в примерах, представленных в приложении.
По изложенным выше основаниям мы считаем, что задания TIMSS и PISA можно расценивать как задания «на перенос»: их математическим содержанием является одна и та же тема (в частности, деление с остатком), но в одном случае (TIMSS) это содержание задается явно (только необходимая информация, изоморфная требующейся для решения математической модели, представленная единообразно в виде текста и имеющая «учебный» вид), а в другом случае (PISA) неявно (избыточная информация, данная в разных формах, неэквивалентная искомой математической модели и имеющая неакадемический контекст).
Совмещение двух этих исследований на одной и той же выборке могло бы пролить свет на вопрос о связи между сфор-мированностью предметных знаний и умений, с одной стороны, и их переносом в другой контекст (в данном случае в контекст реальных жизненных ситуаций) — с другой. Возможность для такого совместного анализа результатов TIMSS и PISA появилась, после того как большая часть российских восьмиклассников — участников TIMSS-2011 через год, когда эти подростки были уже в 9-м классе, была опрошена в рамках PISA-2012. Наличие в обоих исследованиях общей области — математики — и послужило отправной точкой нашей работьР.
Наше исследование следует отнести к линии работ, изучающих далекий трансфер, по крайней мере по двум размерностям из вышеописанной таксономии [Barnett, Ceci, 2002]. Во-первых, мы будем фокусироваться на переносе знаний и навыков, носящих предметный характер (разделы школьной математики), 2
2 Далее для краткости, если не оговорено другое, при упоминании заданий TIMSS или PISA мы имеем в виду только область математики, которую оценивают оба теста.
http://vo.hse.ru
13
ТЕОРЕТИЧЕСКИЕ И ПРИКЛАДНЫЕ ИССЛЕДОВАНИЯ
в иной, неакадемический функциональный контекст, приближенный к задачам реальной жизни. Во-вторых, с момента измерения сформированности предметных знаний до оценки их переноса в реально-жизненные ситуации прошло около года, что соответствует определению «далекий трансфер» во временном отношении.
Принципиальное отличие этого исследования от упомянутых выше работ состоит в том, что ни процесс обучения, ни учительские практики и подходы к преподаванию не являются предметом нашего внимания. Мы фокусируемся на оценке уровня владения предметным материалом, рассматривая его как репрезентант успешности в заданиях TIMSS [Hutchison, Schagen, 2007], и останемся на этом общем операциональном уровне без какого-либо указания на конкретные навыки и специфические знания из области школьной математики. Мы будем использовать термин «предметные знания в математике» и ее подразделах — алгебре, геометрии и т. д. — без уточнения того, какие правила учащийся знает, какими математическими операциями владеет, какую тему в алгебре или геометрии он понимает. Тест TIMSS устроен таким образом, что он не репрезентирует в полной мере каждую субпредметную область математики. Однако все задания TIMSS в комплексе, так же как задания на подразделы математики (такие как алгебра или геометрия), представляют все ключевые темы курса математики основной школы. Следовательно, наши выводы могут распространяться только на предметные знания и умения в математике в целом. Из-за этого мы мало что сможем сказать о содержании переноса: применяют ли учащиеся, и в какой степени, выученные процедуры или типовые шаги решения задач или они переносят и применяют то, что усвоено ими на глубоком уровне, например принципы, структуры или схемы. Наша первоочередная цель — зафиксировать отношения между степенью сформированности предметных знаний и возможностью применять их в другом контексте.
3. Метод Совместная выборка TIMSS-2011 (8-й класс) и PISA-2012 включает 3.1. Участники 4241 российского школьника из 229 школ. Доля девочек составила 49,8%, мальчиков соответственно 50,2%. Возраст учащихся (на 2012 г.) находился в пределах от 14 до 18 лет (M = 15,9; SD = 0,50).
3.2. Инструмент Для оценки предметных математических знаний использовались результаты учащихся в TIMSS по математике, представленной 219 заданиями, а также по субобластям математики: алгебра (71 задание), работа с данными (43 задания), числа (61 задание), геометрия (44 задания). Задания по математике распределялись по проверяемым когнитивным областям следующим образом: знание фактов — 80 заданий, применение — 87 зада-
14
Вопросы образования. 2014. № 1
Ю. А. Тюменева, А. И. Вальдман, М. Карной Г ■ Что дают предметные знания для умения применять их в новом контексте L.B
ний, рассуждение — 52 задания. Для оценки умения переносить предметные знания в контекст реальных жизненных ситуаций использовался инструмент когнитивной оценки PISA (математика), включающий 85 заданий.
Задача состояла в том, чтобы сопоставить успешность учащегося в решении заданий TIMSS с его успешностью в заданиях PISA3.
На первом шаге мы разделили учащихся на группы на основании средних результатов в математических заданиях TIMSS; в итоге было образовано шесть групп — от самых успешных до самых неуспешных. В данном случае общий средний балл (PV) в TIMSS выступал мерой овладения предметными знаниями в математике, т. е. позволял судить о степени их сформиро-ванности.
Затем были определены 10 и 20 самых трудных заданий в PISA.
Был рассчитан процент самых трудных заданий PISA, решенных в каждой TIMSS-группе. Этот показатель служит мерой способности переносить предметные знания в новый контекст и применять их для решения реальных жизненных задач.
Проведено сопоставление успешности в переносе предметных знаний со степенью их сформированности в группах учащихся, выделенных на основании результатов в TIMSS.
Баллы российских учащихся 8-го класса по математике в TIMSS варьируют в пределах от 309,85 до 804,03. Средний балл для России — 543,81 при среднем международном 500.
Поскольку наша объединенная выборка TIMSS-PISA могла отличаться от репрезентативной выборки TIMSS, был проведен тест на нормальность распределения, который показал, что оно отличается значимо от нормального с левосторонней скошенностью (скошенность = - 0,17; эксцесс = - 0,33; тест Колмогорова — Смирнова: стат. = 0,03; p < 0,00). Однако, как показала дополнительная проверка, распределение баллов в оригинальной выборке TIMSS-2011 (8-й класс) было идентично нашему. Оче- 3
3 Ограничивающим условием для этой работы стал тот факт, что к моменту ее написания мы не имели индивидуальных результатов учащихся по PISA-2012 — результатов, которые в подобных исследованиях выражаются не через тестовые, а через вероятностные баллы: plausible values (PV). Так что наиболее очевидно необходимого сопоставления «успешность в TIMSS» vs «успешность в PISA» не могло быть сделано. По той же причине невозможен пока и корреляционный анализ успешности в тестах TIMSS и PISA. Поэтому же мы прибегли к самостоятельному шкалированию результатов PISA и последующему выделению особенно трудных заданий. Подробнее об этой процедуре сказано в следующем разделе.
3.3. Стратегия анализа
4. Результаты
4.1. Описательная статистика
http://vo.hse.ru
15
Л ТЕОРЕТИЧЕСКИЕ И ПРИКЛАДНЫЕ ИССЛЕДОВАНИЯ
Рис. 1. Решаемость трудных заданий PISA
учащимися с разными достижениями по математике в TIMSS,%
% правильно решенных трудных заданий PISA
□ 10 заданий
□ 20 заданий
Группа с высшими баллами
Группа с низшими баллами
видно, это отражает общую особенность распределения измеряемых TIMSS знаний и умений в России: наличие некоторого количества экстремально низких баллов при общей высокой успешности в тесте.
4.2. Группировка участников TIMSS по их успешности
Для каждого учащегося был рассчитан средний балл по математике в TIMSS, и в соответствии с этим были выделены самые сильные 815 учащихся (16,7%, группа 1), затем чуть менее успешные в математике 816 учащихся (16,7%, группа 2) и так далее до группы 6. Распределение учащихся по группам представлено в табл. 1.
4.3. Выделение трудных заданий PISA
Основанием для определения степени трудности заданий PISA послужила современная теория тестирования (IRT), а именно однопараметрическая модель Раша (Rasch Partial-Credit model) [Masters, 1982]. Трудность каждого задания измерялась в шкале логитов. Для данного исследования были отобраны 10 и 20 заданий с наивысшими значениями по данной шкале (от 1,25 до 3,96 по шкале логитов).
В приложении приведен экземпляр типичного трудного задания из числа официально открытых заданий PISA. В трудном задании, как правило, требуется связать информацию, представленную в разных видах (например, текст и таблица), зафиксировать отношения между «переменными», чтобы проследить изменение этого отношения по времени, или смоделировать отношения, описанные обыденным языком, математически.
16
Вопросы образования. 2014. № 1
Ю. А. Тюменева, А. И. Вальдман, М. Карной Г ■ Что дают предметные знания для умения применять их в новом контексте L.B
Таблица 1. Распределение учащихся по группам на основе полученных ими баллов в исследовании TIMSS-2012
№ группы 1 2 3 4 5 6
Число учащихся в группе 815 816 816 816 815 815
Доля каждой группы в общем числе учащихся,% 16,7 16,7 16,7 16,7 16,7 16,7
Таблица 2. Решаемость 10 трудных заданий PISA учащимися с разными достижениями по субобластям математики в TIMSS.%
Группа Алгебра Работа с данными Числа Геометрия
Учащиеся с наивысшими баллами 20,5 20,7 20,2 20,0
2 10,1 10,7 11,4 11,1
3 7,5 6,9 7,1 7,5
4 5,7 5,4 5,5 5,5
5 4,6 4,6 4,0 4, 8
Учащиеся с наименьшими баллами 3,2 3,6 3,5 2,7
Таблица 3. Решаемость 10 трудных заданий PISA учащимися с разными достижениями по когнитивным областям в математике в TIMSS.%
Группа Знание Применение Рассуждение
Учащиеся с наивысшими баллами 20,4 21,0 20,2
2 10,1 10,4 10,1
3 8,6 7,5 7,3
4 4,5 5,2 5,1
5 4,5 4,0 4,8
Учащиеся с наименьшими баллами 3,5 3,5 4,1
Поскольку разным учащимся давалось разное число трудных заданий PISA, за 100% мы принимаем общее число трудных заданий, реально предъявленных каждой группе учащихся. Процент решаемости был рассчитан не только по математике в целом (рис. 1), но и в разрезе предметных (алгебра, работа с данными, числа, геометрия) и когнитивных (знание, применение и рассуждение) областей (см. табл. 2 и 3).
Как видно из рис. 1, существует прямая связь между достижениями в TIMSS и успешностью в решении заданий PISA: чем выше
4.4. Расчет
процента
решаемости
трудных
заданий
в группах
TIMSS
http://vo.hse.ru
17
ТЕОРЕТИЧЕСКИЕ И ПРИКЛАДНЫЕ ИССЛЕДОВАНИЯ
результаты учащегося в TIMSS, тем больше трудных заданий PISA он способен решить. Обращает, однако, на себя внимание разница между процентом решаемости в 1-й и 2-й по успешности в TIMSS группе: в 1-й, лучшей TIMSS-группе решается на 12% больше трудных заданий, чем во 2-й. Разница же между остальными группами TIMSS составляет от 2,5 до 1%. Такой же паттерн (сглаживание различия в успешности между 2-й и последующими группами по сравнению с резкой разницей между 1-й и 2-й группами) наблюдается и для 20 самых трудных заданий PISA.
Что касается субобластей математики, выделяемых в TIMSS (алгебра, работа с данными, числа и геометрия), то, помимо связи успешности в TIMSS и PISA, здесь также можно увидеть разрыв в 9-10% от числа решаемых заданий PISA между 1-й, лучшей TIMSS-группой и 2-й. Разница между 2-й и 3-й группой, между 3-й и 4-й и т. д. группами относительно небольшая — от 3 до 1% (табл. 2).
Такая же закономерность наблюдается, если разделить задания TIMSS по когнитивным областям: знание, применение и рассуждение (табл. 3). Каждый уровень достижения в TIMSS дает прирост 1-3% в решаемости трудных заданий PISA. Переход же в 1-ю, лучшую группу обеспечивает разительный прирост результатов — на 10-11%.
5. Обсуждение Целью работы было понять, насколько сформированность предметных знаний позволяет переносить и применять их в другом контексте. Хотя предшествующие исследования предоставили некоторые доказательства того, что глубокое понимание какой-то области знания (на уровне принципов, схем и структур) благоприятствует переносу сформированного знания, до сих пор не было исследований, которые бы связывали степень овладения предметной областью и последующий перенос знаний и умений из одного контекста в другой. В этой работе нам удалось показать, что связь между уровнем сформированности предметного знания и его переносом в новую ситуацию существует. Чем лучше учащийся владеет предметным материалом по математике, тем с большей вероятностью он сможет применить это знание для решения проблемы в другом контексте. Кроме этого, мы обнаружили, что связь эта не является линейной. Только владение материалом на самом высоком, по сравнению с другими, уровне значительно облегчает перенос. Средние и низкие уровни владения предметным материалом принципиально не различаются между собой с точки зрения преимуществ в переносе.
Тот же паттерн прослеживается и для субобластей TIMSS-математики: алгебры, работы с данными, темы «числа» и геометрии. Существенные преимущества в решении самых трудных заданий PISA появляются только в случае, если учащийся демонстрирует самую высокую степень владения этим предметным ма-
18
Вопросы образования. 2014. № 1
Ю. А. Тюменева, А. И. Вальдман, М. Карной Г ■ Что дают предметные знания для умения применять их в новом контексте L.B
териалом. Все средние уровни сформированности предметных знаний фактически не дифференцируют успешность их применения в новом контексте и дают очень слабый прирост успешности в контекстуальных задачах.
Можно было бы предположить, что когнитивный навык, обозначенный в TIMSS как применение (applying), должен лучше дифференцировать учащихся по их способности решать задания PISA, которые как раз и оценивают применение знаний. Можно ожидать прямой линейной связи успешности в заданиях на применение в TIMSS с успешностью в трудных заданиях PISA, которые направлены на оценку того же самого навыка. Действительно, эта связь оказалась положительной, но по-прежнему нелинейной: только максимальная степень сформированности умения «применять» в терминах TIMSS давала видимые преимущества для переноса и применения знаний в новом контексте. Более того, характер связи навыков применения с успешностью в контекстных заданиях был такой же, как и у знания фактов (knowing) или рассуждения (reasoning) в TIMSS c «применением» в терминах PISA. Объяснение возможно только одно: когнитивные области TIMSS (знание, применение, рассуждение) направлены скорее на оценку какого-то одного широкого конструкта, чем на разные4. И этот конструкт равноудален от конструкта, оцениваемого в PISA. Мы бы интерпретировали связь между конструктами, оцениваемыми TIMSS vs PISA, как знания, применение и рассуждение в рамках предметного материала vs применение предметного знания в неакадемическом контексте.
Представляется важным показать ограничения полученных результатов с точки зрения двух используемых нами понятий: «сформированность предметного знания» и «перенос в новый контекст». Оба этих понятия используются нами скорее в интуитивном, чем в строгом, количественном смысле. Мы операцио-нализировали «сформированность предметного знания» через решение некоторого числа математических задач TIMSS: чем больше заданий правильно решил учащийся, тем лучше сформированы его предметные знания и умения в математике. Это не бесспорное допущение, но логически оно оправданно, тем более что пул заданий TIMSS — это не просто набор задач, это тест, т. е. его содержание специально подобрано, чтобы измерять математические умения и навыки и репрезентировать содержание математических курсов основной школы.
В отношении переноса в новый контекст С. Барнет и С. Сеси отмечают, что контекст задается функцией, которой служит навык, и образом мысли, который он (контекст) вызывает. Они приводят пример, когда один и тот же навык может служить для ака-
4 Об этом свидетельствует и довольно большая часть общей дисперсии между этими когнитивными «разделами»: от 58 до 94%.
http://vo.hse.ru
19
ТЕОРЕТИЧЕСКИЕ И ПРИКЛАДНЫЕ ИССЛЕДОВАНИЯ
Литература
демической деятельности и для решения задач реального мира, например для расчета налога. Важно здесь, что «инструмент решения проблемы, освоенный и закодированный для одной цели, может не переноситься в равной мере для достижения другой» [Barnet, Ceci, 2002. P. 623].
Чтобы проиллюстрировать наше допущение, что задания TIMSS и PISA относятся к разным функциональным контекстам, обратимся еще раз к примерам двух официально открытых задач (см. приложение). В первой задаче (TIMSS-2011, математика, тема «числа», когнитивная область «применение») требуется рассчитать минимальное число ящиков известной емкости, необходимых для того, чтобы разложить известное число яиц. Вторая задача, близкая ей по теме «карта памяти» (тема «количество»), взятая из PISA-2012, требует сравнить и произвести несколько математических операций, чтобы получить определенное значение. Хотя эти задания апеллируют к одному и тому же математическому навыку (арифметические операции, сравнение величин, деление с остатком), вторая задача явно принадлежит не академическому, а бытовому контексту, служит не учебной, а личной цели и требует предварительного распознавания математического содержания за описанием бытовой ситуации. Это и задает разность контекстов этих двух задач.
Умение решать контекстные задачи (т. е. задачи, где формальные правила решения «зашиты» в контекст, требуют предварительного узнавания и последующей интерпретации на языке контекста), безусловно, должно быть связано не только со степенью освоенности самих формальных предметных знаний, хотя она и имеет, судя по нашим результатам, значимый «вес». На момент написания этой работы мы еще не имеем индивидуальных PV по результатам PISA, и наши возможности точно оценить «вес» предметных знаний в решении контекстных задач очень ограничены. Мы рассчитываем продолжить эту линию работы, когда все результаты PISA будут опубликованы. Кроме того, понимая относительность эффекта предметных знаний для их переноса в другой контекст, мы планируем на экспериментальном уровне определить когнитивные навыки, требующиеся для применения формального знания в новом контексте.
1. Barnett S., Ceci S. J. (2002) When and Where Do We Apply What We Learn? A Taxonomy for Far Transfer // Psychological Bulletin. Vol. 128. P. 612-637.
2. Brown A. L., Kane M. J., Long C. (1989) Analogical Transfer in Young Children: Analogies as Tools for Communication and Exposition // Applied Cognitive Psychology. Vol. 3. P. 275-293.
3. Dossey J. A., McCrone S., O'Sullivan C. (2006) Problem Solving in the PISA and TIMSS 2003 Assessments. Technical Report. National Center for Education Statistics, Institute of Education Sciences, U. S. Dept. of Education.
20
Вопросы образования. 2014. № 1
Ю. А. Тюменева, А. И. Вальдман, М. Карной Г ■ Что дают предметные знания для умения применять их в новом контексте L.B
4. Engle R. A. (2006) Framing Interactions to Foster Generative Learning: A Si-tuative Explanation of Transfer in a Community of Learners Classroom // Journal of the Learning Sciences. Vol. 15. P. 451-499.
5. Fong G. T., Krantz D. H., Nisbett R. E. (1986) The Effects of Statistical Training on Thinking about Everyday Problems // Cognitive Psychology. Vol. 18. No 3. P. 253-292.
6. Gentner D., Loewenstein J., Thompson L. (2003) Learning and Transfer: A General Role for Analogical Encoding // Journal of Educational Psychology. Vol. 95. No 2. P. 393-405. doi:10.1037/0022-0663.95.2.393
7. Gick M., Reed S. K., Ernst G. W., Banerji R. (1974) The Role of Analogy in Transfer between Similar Problem States // Cognitive Psychology. Vol. 6. P. 436-450.
8. Gravemeijer K., Doorman M. (1999) Context Problems in Realistic Mathematics Education: A Calculus Course as an Example // Educational Studies in Mathematics. Vol. 39. P. 111-128.
9. Halpern D. F., Hansen C., Riefer D. (1990) Analogies as an Aid to Understanding and Memory // Journal of Educational Psychology. Vol. 82. P. 298305.
10. Hutchison D., Schagen I. (2007) Comparisons between PISA and TIMSS — Are we the Man with Two Watches? // T. Loveless (ed.) Lessons Learned — What International Assessments Tell Us about Math Achievement. Washington, D.C.: Brookings Institute Press. P. 227-261.
11. Lehman D. R., Lempert R. O., Nisbett R. E. (1988) The Effects of Graduate Training on Reasoning: Formal Discipline and Thinking about Everyday-Life Events // American Psychologist. Vol. 43. No 6. P. 431-442.
12. Lobato J. (2006) Alternative Perspectives on the Transfer of Learning: History, Issues, and Challenges for Future Research // Journal of the Learning Sciences. Vol. 15. P. 431-449.
13. Masters G. N. (1982) A Rasch model for partial credit scoring. Psychome-trika, 47, 149-174.
14. Mullis I. V.S., Martin M. O., Foy P., Arora A. (2012) TIMSS-2011 International Results in Mathematics. Chestnut Hill, MA: TIMSS & PIRLS International Study Center, Boston College.
15. Needham D. R., Begg I. M. (1991) Problem-Oriented Training Promotes Spontaneous Analogical Transfer: Memory-Oriented Training Promotes Memory for Training // Memory and Cognition. Vol. 19. P. 543-557.
16. OECD (2013) PISA-2012 Assessment and Analytical Framework: Mathematics, Reading, Science, Problem Solving and Financial Literacy. OECD Publishing.
17. Reed S. K. (2012) Learning by Mapping Across Situations // Journal of the Learning Sciences. Vol. 21. No 3. P. 353-398 doi:10.1080/10508406.2011. 607007
18. Thompson D. R., Senk S. L., Yu Y. (2012) An Evaluation of the Third Edition of the University of Chicago School Mathematics Project: Transition Mathematics. Chicago, IL: University of Chicago School Mathematics Project.
19. Thorndike E. L., Woodworth R. S. (1901) The Influence of Improvement in One Mental Function upon the Efficiency of Other Functions // Psychological Review. Vol. 8. P. 384-395.
20. Van der Stoep S. W., Shaughnessy J. J. (1997) Taking a Course in Research Methods Improves Reasoning about Real-Life Events // Teaching of Psychology. Vol. 24. No 2. P. 122-124.
21. Wu M. (2009a) A Comparison of PISA and TIMSS — 2003 Achievement Results in Mathematics // Prospects. Vol. 39. P. 33-46.
http://vo.hse.ru
21
Л ТЕОРЕТИЧЕСКИЕ И ПРИКЛАДНЫЕ ИССЛЕДОВАНИЯ
22. Wu M. (2009b) A Critical Comparison of the Contents of PISA and TIMSS Mathematics Assessments. University of Melbourne.
23. Wu M. (2010) Comparing the Similarities and Differences of PISA-2003 and TIMSS. OECD Education Working Papers. No 32. OECD Publishing.
Приложение
MEMORY STICK
A memory stick is a small, portable computer storage device.
Ivan has a memory stick that stores music and photos. The memory stick has a capacity of 1 GB (1000 MB), The graph below shows the current disk status of his memory stick
Question 1: MEMORY STICK PMOOAQ
Ivan wants to transfer a photo album of 350 MB onto his memory stick, but there is not enough free space on the memory stick. While he does not want to delete any existing photos, he is happy to delete up to two music albums.
Ivan’s memory stick has the following size music albums stored on it.
Al bum Size
Album 1 100 MB
Album 2 75 MB
Album 3 80 MB
Album 4 55 MB
Album 5 60 MB
Album В 80 MB
Album 7 75 MB
Album В 125 MB
By deleting at most two music albums is it possible for Ivan to have enough space on his memory stick to add the photo album? Circle 'Yes" or “No" and show calculations to support your answer.
Answer: Yes / No
SOURCE: PISA 2012 Released Items. Copyright © OECD, 2013
22
Вопросы образования. 2014. № 1
THEORETICAL AND APPLIED RESEARCH
En
What Does Subject Knowledge Give for Its Applying in New Context. The First Results from Studies TIMSS-2011 and PISA-2012
Yulia Tyumeneva Authors
Associate Professor, Department of Educational Programmes; Senior Research Fellow, The International Laboratory for Educational Policy Analysis at the HSE Graduate School of Education. Address: 13 Milyutinsky lane, Moscow, 101000,
Russian Federation. E-mail: jtumeneva@hse.ru
Alena Valdman
Junior Researcher, The International Laboratory for Educational Policy Analysis at the HSE Graduate School of Education Address: 13 Milyutinsky lane, Moscow,
101 000, Russian Federation. E-mail: alena.valdman@gmail.com
Martin Carnoy
PhD, Professor of Education, School of Education, Stanford University. Address:
Stanford University, School of Education, Stanford, California 94305.
E-mail: carnoy@stanford.edu
The purpose of this research is to estimate of relationship between the level of Abstract subject knowledge formation with skills of transferring to non-academic context. To answer this question we use Russian databases of international studies TIMSS and PISA. The sample included 4241 Russian students. They participated in both studies TIMSS-2011 and PISA-2012. Based on the previous literature and content comparison of TIMSS-PISA math items we argue that TIMSS items can represent formal subject knowledge, while PISA items represent real-life context problems. We divided TIMSS participants into 6 groups from the top performers to poor performers (based on class average PVs in math) and picked up 10 (and 20) hardest PISA items using One-Parameter Rasch Model. Then we checked the proportion of correctly done PISA items among the 10 (and 20) hardest ones in each TIMSS group of students. This indicator is measure of the ability to transfer subject knowledge in a new context and apply them to solve real-life problems. Positive relationship between the level of subject knowledge development and the ability to transfer and apply it to a every-day problems was found. The better student knows math, the more likely he will be able to apply this knowledge to solve problems in a non-academic context.
This relationship is not linear. Students from the most successful TIMSS group had substantive benefit in handling PISA hardest items, but all other levels of TIMSS performance differentiated weakly success in contextual PISA problems.
school learning, math, context tasks, PISA, TIMSS. Key words
Barnett S., Ceci S. J. (2002) When and Where Do We Apply What We Learn? References A Taxonomy for Far Transfer. Psychological Bulletin, vol. 128, pp. 612-637.
Brown A. L., Kane M. J., Long C. (1989) Analogical Transfer in Young Children:
Analogies as Tools for Communication and Exposition. Applied Cognitive Psychology, vol. 3, pp. 275-293.
Dossey J. A., McCrone S., O'Sullivan C. (2006) Problem Solving in the PISA and TIMSS 2003 Assessments. Technical Report. NCES 2007-049. Available at: http://nces.ed.gov/pubs2007/2007049.pdf (accessed 26 January 2014).
Engle R. A. (2006) Framing Interactions to Foster Generative Learning: A Situa-tive Explanation of Transfer in a Community of Learners Classroom. Journal of the Learning Sciences, vol. 15, pp. 451-499.
http://vo.hse.ru
23
En
THEORETICAL AND APPLIED RESEARCH
Fong G. T., Krantz D. H., Nisbett R. E. (1986) The Effects of Statistical Training on Thinking about Everyday Problems. Cognitive Psychology, vol. 18, no 3, pp. 253-292.
Gentner D., Loewenstein J., Thompson L. (2003) Learning and Transfer: A General Role for Analogical Encoding. Journal of Educational Psychology, vol. 95, no 2, pp. 393-405. doi:10.1037/0022-0663.95.2.393
Gick M., Reed S. K., Ernst G. W., Banerji R. (1974) The Role of Analogy in Transfer between Similar Problem States. Cognitive Psychology, vol. 6, pp. 436-450.
Gravemeijer K., Doorman M. (1999) Context Problems in Realistic Mathematics Education: A Calculus Course as an Example. Educational Studies in Mathematics, vol. 39, pp. 111-128.
Halpern D. F., Hansen C., Riefer D. (1990) Analogies as an Aid to Understanding and Memory. Journal of Educational Psychology, vol. 82, pp. 298-305.
Hutchison D., Schagen I. (2007) Comparisons between PISA and TIMSS — Are We the Man with Two Watches? Lessons Learned — What International Assessments Tell Us about Math Achievement (ed. T. Loveless). Washington, D.C.: Brookings Institute Press, pp. 227-261.
Lehman D. R., Lempert R. O., Nisbett R. E. (1988) The Effects of Graduate Training on Reasoning: Formal Discipline and Thinking about Everyday-Life Events. American Psychologist, vol. 43, no 6, pp. 431-442.
Lobato J. (2006) Alternative Perspectives on the Transfer of Learning: History, Issues, and Challenges for Future Research. Journal of the Learning Sciences, vol. 15, pp. 431-449.
Masters G. N. (1982) A Rasch model for partial credit scoring. Psychometrika, vol. 47, pp. 149-174.
Mullis I. V.S., Martin M. O., Foy P., Arora A. (2012) TIMSS-2011 International Results in Mathematics. Chestnut Hill, MA: TIMSS & PIRLS International Study Center.
Needham D. R., Begg I. M. (1991) Problem-Oriented Training Promotes Spontaneous Analogical Transfer: Memory-Oriented Training Promotes Memory for Training. Memory and Cognition, vol. 19, pp. 543-557.
OECD (2013) PISA-2012 Assessment and Analytical Framework: Mathematics, Reading, Science, Problem Solving and Financial Literacy. OECD Publishing. Available at: http://dx.doi.org/10.1787/9789264190511-en (accessed 26 January 2014).
Reed S. K. (2012) Learning by Mapping Across Situations. Journal of the Learning Sciences, vol. 21, no 3, pp. 353-398. doi:10.1080/10508406.2011.607007
Thompson D. R., Senk S. L., Yu Y. (2012) An Evaluation of the Third Edition of the University of Chicago School Mathematics Project: Transition Mathematics. Chicago, IL: University of Chicago School Mathematics Project.
Thorndike E. L., Woodworth R. S. (1901) The Influence of Improvement in One Mental Function upon the Efficiency of Other Functions. Psychological Review, vol. 8, pp. 384-395.
Van der Stoep S. W., Shaughnessy J. J. (1997) Taking a Course in Research Methods Improves Reasoning about Real-Life Events. Teaching of Psychology, vol. 24, no 2, pp. 122-124.
Wu M. (2009a) A Comparison of PISA and TIMSS — 2003 Achievement Results in Mathematics. Prospects, vol. 39, pp. 33-46.
Wu M. (2009b) A Critical Comparison of the Contents of PISA and TIMSS Mathematics Assessments. Available at: https://edsurveys.rti.org/PISA/docu-ments/WuA_Critical_Comparison_of_the_Contents_of_PISA_and_TIMSS_ psg_WU_06.1.pdf. (accessed 26 January 2014).
Wu M. (2010) Comparing the Similarities and Differences of PISA-2003 and TIMSS. OECD Education Working Papers. No 32. OECD Publishing.
24
Educational Studies. 2014. No. 1
