CC BY-NC-ND
94
□
ЧТО ЖЕ ПОКАЗЫВАЮТ РЕЗУЛЬТАТЫ ИССЛЕДОВАНИЯ PISA?
Доклад Г.С. Ковалевой на семинаре «Актуальные исследования и разработки в области образования», организованном Институтом развития образования ГУ-ВШЭ
21 февраля 2008 г.
Участники семинара
Абанкина Ирина Всеволодовна — кандидат экономических наук, заместитель директора Института развития образования ГУ-ВШЭ.
Абанкина Татьяна Всеволодовна — кандидат экономических наук, директор Центра прикладных экономических исследований и разработок Института развития образования ГУ-ВШЭ.
Вальдман Игорь Александрович — консультант по образованию Московского представительства Всемирного банка.
Гимпельсон Владимир Ефимович — кандидат экономических наук, директор Центра трудовых исследований ГУ-ВШЭ.
Ковалева Галина Сергеевна — кандидат педагогических наук, заведующая Центром оценки качества образования Российской академии образования, заместитель директора Федерального института педагогических измерений.
Ленская Елена Анатольевна — кандидат педагогических наук, начальник отдела развития Московской высшей школы социальных и экономических наук.
Нежнов Петр Геннадьевич — кандидат педагогических наук, заведующий лабораторией Института педагогических инноваций Российской академии образования.
Пинская Марина Александровна — кандидат педагогических наук, заместитель директора Центра методики и оценки качества обучения факультета довузовской подготовки ГУ-ВШЭ.
Фрумин Исак Давидович — доктор педагогических наук, координатор образовательных проектов Московского представительства Всемирного банка, научный руководитель Института развития образования ГУ-ВШЭ.
190
□
Что же показывают результаты исследования PISA?
Цирульников Анатолий Маркович — доктор педагогических наук, профессор, заведующий лабораторией Института управления образованием Российской академии образования.
Чечель Ирина Дмитриевна — доктор педагогических наук, профессор, первый проректор Академии повышения квалификации и профессиональной переподготовки работников образования.
Шадриков Владимир Дмитриевич — доктор педагогических наук, научный руководитель факультета психологии, директор Института содержания образования ГУ-ВШЭ.
Ведущий — И.Д. Фрумин.
И.Д. Фрумин
У нас сегодня очередная встреча семинара «Актуальные исследования и разработки в области образования», и здесь много гостей из Академии повышения квалификации, чему я особенно рад. Сегодня у нас, с моей точки зрения, гвоздь сезона, и когда мы по итогам сезона будем выбирать самый интересный семинар, этот точно будет среди номинантов — это дискуссия о том, что показывают результаты исследования PISA-2006. Доклад сделает Галина Сергеевна Ковалева, руководитель Центра оценки качества образования РАО и заместитель директора Федерального института педагогических измерений.
Г.С. Ковалева
Уважаемые коллеги! Добрый день. Заявленная тема уже в своем названии содержит проблему, поскольку до сих пор непонятно, что же показывают результаты международного исследования PISA. На прошлом семинаре мы с вами рассматривали результаты международного исследования PIRLS по грамотности чтения четвероклассников. Высокие результаты российских школьников объясняются многими причинами, но какими бы они ни были, факт налицо — российские школьники возглавили международную таблицу с результатами 37 стран в области грамотности чтения. Сегодня же мы будем говорить об исследовании, которое дало другие результаты, и по качеству, и по содержанию. Мое выступление будет одним из первых, рассказывающих о результатах исследования PISA. И я хотела бы не просто познакомить вас с результатами, но и показать проблемные поля или точки самого исследования, которые вызывают в мире широкую дискуссию среди специалистов в области мониторинговых исследований качества образования.
Начнем с того, что же это, собственно, за исследование. PISA (Programme for International Student Assessment) — это исследование международной программы по оценке образовательных достижений, осуществляется оно Организацией экономического сотрудничества и развития ОЭСР; в исследовании PISA-2006 участвовало 57 стран. Современный этап развития образования многие специалисты называют эрой отчетности школы перед об-
191
□
Дискуссия
ществом. Наконец-то общество во многих странах (в наибольшей степени — в западных, но и в таких восточных, как Австралия, Новая Зеландия, Япония) задалось вопросом: чему учит школа и насколько она эффективна. Результаты образования стали одним из основных показателей конкурентоспособности страны. Поэтому страны принимают очень активное участие не только в этом исследовании, но и в других. Например, в исследовании TIMSS 2007 г. участвовали 62 страны.
Что же является основной целью и объектом исследования? Это оценка функциональной грамотности 15-летних учащихся в области математики, чтения и естествознания, т.е. оценка их способности использовать знания, которые получены в школе, в различных ситуациях, как правило, не связанных напрямую с учебными. И в этом заключается инновационный характер исследования PISA. Все другие мониторинговые исследования в мире строятся на оценке того, чему научила школа, и поэтому их более однозначно принимают и учителя, и политики в области образования. Одна из проблем, обсуждаемых в связи с исследованием PISA, — можно ли результаты этого исследования использовать для оценки эффективности системы образования, которая, как правило, связана с тем, насколько эффективно осуществляется обучение в школах в соответствии с целями и стандартами образования. На этот вопрос мы ответим позже.
Процесс отбора содержания тестов в других исследованиях можно образно представить так: специалисты-предметники садятся за стол и решают: вот программа США, вот программа России, вот Японии и т.д.; давайте сравним задачки, которые решают в классе, и отберем: если больше трех стран не изучают данный материал, он не будет включаться в тест. Но в исследовании PISA была другая ситуация: страны номинировали своих экспертов, и на форуме, в котором участвовали специалисты более 50 стран, решался вопрос — что должны знать 15-летние школьники, выходя из системы обязательного образования, для того чтобы эффективно функционировать в современном обществе. И эти эксперты определили, чему надо бы научить и что должны бы знать дети для того, чтобы активно осваивать современные профессии и продолжать обучение. Так сформировались задачи исследования и содержание тестов.
Исследование PISA проводится трехлетними циклами, в каждом цикле приоритет отдан одной из трех областей грамотности: в 2000 г. это было чтение, в 2003 — математика, в 2006 — естествознание. В 2009 г. опять будет чтение, но концепция исследования будет доработана. Приоритет одной из трех областей грамотности означает, что в каждом цикле одновременно оцениваются и две другие области, и в тетрадках у учащихся есть задания и по математике, и по чтению, и по естествознанию, но более половины заданий отведено приоритетной области.
В исследовании PISA-2006 реализовано несколько инновационных идей в измерениях: оценка функциональной грамотности,
192
□
Что же показывают результаты исследования PISA?
изучение отношений, интереса, мотивации и учебных стратегий. Как и в предыдущие циклы, оценивалось качество образования и равенство возможностей в получении образования. Это еще одна проблема, о которой ожесточенно спорят специалисты в области оценки. Но независимо от этого данная цель поставлена, и во всех отчетах исследования PISA дается разделение стран по тому, насколько равные возможности предоставляет школа своим учащимся в получении образования, и какие результаты, т.е. какое качество при этом обеспечивается.
Итак, первая задача исследования — оценить, владеют ли учащиеся 15-летнего возраста, получившие общее обязательное образование, знаниями и умениями, необходимыми им для полноценного функционирования в обществе, вторая задача — оценить динамику результатов, и последняя, очень важная задача — выявить факторы, позволяющие объяснить результаты. То есть важно не просто констатировать, каковы результаты стран, т.е. оценить качество, но и понять, как улучшить это качество и определить рычаги, т.е. те факторы, изменяя которые, можно повлиять на результаты образования.
В исследовании PISA в 2006 г. приняли участие около 400 тыс. учащихся из 57 стран мира, представляющих общую совокупность почти в 20 млн учащихся 15-летнего возраста из этих стран. 30 стран-участниц программы — члены ОЭСР. Российскую выборку представляли 6154 учащихся 15-летнего возраста из 210 образовательных учреждений 46 регионов страны. Выборка исследования PISA — это учащиеся 15-летнего возраста, которые обучались в 7-11-х классах, а также в системе начального и среднего профессионального образования. Выборка формируется по определенному возрасту. Этот подход используется для сравнения стран по разным показателям, напрямую не связанным с содержанием образования и учебным процессом.
Учащиеся, обучавшиеся по программе основного общего образования (7-9-е классы), составили 33,5% выборки (в том числе учащиеся 9-го класса — 27,2%); учащиеся старшей средней школы, обучавшиеся по программам общего среднего образования, — 50,5% (в том числе учащиеся 10-го класса — 49,2%); студенты профессиональных училищ (начального профессионального образования) — 6,1%; студенты техникумов и колледжей (среднего профессионального образования) — 9,9% выборки. Каждый из этих учащихся имел свою образовательную историю, но практически всех объединяло то, что они получили основное общее образование или на момент проведения тестирования оканчивали основную школу. И поэтому полученные результаты позволяют косвенно оценить действенность и мобильность знаний, полученных в основной школе.
В 2006 г. приоритетной областью исследования была естественно-научная грамотность. Под естественно-научной грамотностью в исследовании PISA-2006 понимается:
193
□
Дискуссия
• способность осваивать и использовать естественно-научные знания для распознания и постановки вопросов, для продолжения образования, т.е. освоения новых знаний, для объяснения естественнонаучных явлений;
• знакомство с основными особенностями естествознания как формы познания, способность понимать роль и характер исследования, проводить естественно-научные исследования;
• понимание роли естественных наук и технологий в жизни общества и последствий, которые могут иметь для общества те или иные открытия или продукты;
• проявление активной гражданской позиции при рассмотрении проблем, связанных с естествознанием.
В структуру естественно-научной грамотности, по решению экспертов, были включены четыре составляющие: знания, компетенции, контекст и отношения. Этот инновационный подход к определению структуры результатов образования отличается от используемого в России в настоящее время. Мы, как правило, рассматриваем в основном содержательные аспекты, и даже в Едином государственном экзамене у нас доминируют знания (проверяемое содержание), а не умения. Но даже знания в исследовании PISA представлены нетрадиционно для российских специалистов. Мы, как правило, оцениваем предметные знания, а в исследовании PISA, наряду с предметными знаниями (60%) включены и знания о науке и ее методологии (40%).
В следующей составляющей ключевым является понятие компетенции — группы умений, которые обеспечивают эффективное функционирование или использование знаний. Следует обратить внимание на то, как эти компетенции определены в естественнонаучной грамотности. Начнем с более привычного для нас блока — объяснение научных явлений, т.е. использование знаний для объяснения. В этой компетенции проявляется основная функция естествознания — объяснять окружающий мир, ей отведено 35% среди оцениваемых компетенций. Второй блок (25%) — это умения распознавать или ставить научные вопросы, понимать отличительные черты естествознания, на какие вопросы оно может ответить по сравнению с другими областями науки или человеческого знания. Например, если рассматривается проблема глобального потепления, то только естественно-научных знаний о причинах данного явления недостаточно для ее решения. Необходимо в комплексе учитывать различные социальные аспекты, включая экономические. Этот блок компетенций призван оценить, насколько выпускники основной школы выделяют естествознание среди других областей человеческого знания. И последний блок (40%) — это использование научных фактов в качестве обоснования и аргументации для принятия различных решений.
Составляющая, которая определяется как контекст, связана с тем, что все задания исследования PISA являются контекстно-ориентированными. Это означает, что они основаны не на учебных
194
□
Что же показывают результаты исследования PISA?
ситуациях, а разрабатываются в связи с ситуациями, с которыми могут встретиться выпускники школы в реальной жизни. Контекст подразделяется на личностный, социальный и глобальный.
И последняя составляющая естественно-научной грамотности — это отношение учащихся к естествознанию. Отдельно выделяются интерес к науке, понимание ценности научного познания и ответственное отношение к ресурсам и окружающей среде. В отличие от многих исследований, в которых отношения изучались в ходе анкетирования учащихся, в исследовании PISA впервые задания, оценивающие отношения, включались в канву ситуаций в тесте образовательных достижений. Таким образом, создавалась возможность более адекватно оценить отношение учащихся к рассматриваемым проблемам дополнительно к анкетированию.
Несколько слов о заданиях. В соответствии со структурой естественно-научной грамотности каждое задание, разработанное для ее оценки, характеризуется проверяемыми содержанием и компетенциями. Для каждого задания определены проблема, ситуация и формат.
В качестве примера рассмотрим несколько заданий, связанных с проблемой кислотных дождей. Ученику давался небольшой текст. В отличие от 2001 и 2003 гг. (тогда тексты для оценки естественно-научной грамотности были достаточно длинные и при измерениях обнаружилась большая корреляция между результатами по чтению и естествознанию, т.е. проявилось значительное влияние читательской грамотности на результаты выполнения заданий по естествознанию) в 2006 г. были разработаны дополнительные требования к текстам. Поэтому тексты в 2006 г., как правило, достаточно короткие с явно или неявно выраженной проблемой для рассмотрения. В данном примере исследуется проблема влияния кислотных дождей на архитектурные памятники. Мраморные статуи в Афинах разъедаются кислотными дождями. Задания были направлены на оценку понимания происходящих явлений и их объяснения, на оценку умений планировать и интерпретировать эксперименты, выясняющие причины разрушения мрамора, а также на оценку отношений к рассматриваемому явлению и интереса к получению дополнительной информации о проблеме кислотных дождей.
В первом задании необходимо было дать объяснение причины возникновения кислотных дождей («Обычный дождь слегка кислотный, потому что он поглощает некоторое количество диоксида углерода из воздуха. Кислотный дождь более кислотный по сравнению с обычным дождем, потому что он также поглощает такие газы, как оксид серы и оксид азота. Откуда эти оксид серы и оксид азота попадают в воздух?»). Это задание относится к заданиям среднего уровня трудности по международной шкале. Несмотря на то что российские школьники в отличие от многих их сверстников изучают отдельный курс химии, только 38,8% смогли правильно выполнить это задание (для сравнения, средний результат по
195
□
Дискуссия
странам ОЭСР — 56%). Сравнительно низкий результат российских школьников может быть объяснен тем, что курс химии в российской школе достаточно теоретический и при выполнении контекстных заданий у школьников возникают затруднения.
Во втором задании нужно было определить, как изменится масса мрамора при проведении эксперимента с уксусом: кусочек мрамора положили в уксус, и нужно узнать, какова будет масса высушенного кусочка мрамора на следующий день, когда его вытащат. Проверяемая компетенция — использование научных знаний для принятия решения, т.е. решения задачи. Задание низкого уровня трудности по международной шкале. Российские школьники достаточно успешно его выполняли (74%, в среднем по странам ОЭСР — 67%). Еще одно задание — высокого уровня трудности. В задании нужно было объяснить, с какой целью учащиеся, которые проводили эксперимент, поместили на ночь кусочки мрамора также в чистую (дистиллированную) воду. Число учащихся, полностью правильно выполнивших это задание, во всех странах невелико (в России 7,6%, в среднем по странам ОЭСР — 10,4%). С заданиями такого типа российские школьники встречаются не часто.
Для оценки отношений учащихся к рассматриваемой проблеме их спрашивали, насколько им интересно следующее: узнать, какой из видов деятельности человека более всего влияет на образование кислотных дождей; узнать о технологиях, которые сводят к минимуму выделение газов, являющихся причиной кислотных дождей; понять методы, применяемые для восстановлении зданий, пострадавших от воздействия кислотных дождей и т.д. В следующем вопросе на понимание ценности и значимости научных исследований учащимся нужно было согласиться или не согласиться с такими утверждениями: «сохранение древних развалин должно быть основано на научных данных, касающихся причин повреждения», «любые высказывания о причинах кислотных дождей должны быть основаны на научных исследованиях».
Таким образом, даже приведенные примеры показывают, насколько международный тест был непривычен для российских учащихся. Непривычными были содержание (не по отдельным наукам, например, физике или химии), социальный аспект рассматриваемых явлений, необычный формат заданий. Все это не могло не повлиять на результаты российских учащихся.
При анализе результатов стран важно понимать, что использование современных математических моделей при шкалировании результатов тестирования позволяет на основе полученных результатов выстроить шкалу, на которой можно отобразить и результаты учащихся (способность учащихся выполнить предложенные задания), и результаты выполнения каждого конкретного задания (его трудность). Это дает возможность содержательно интерпретировать результаты учащихся и стран, описывая, например, какие компетенции могут продемонстрировать учащиеся этих стран и на каком уровне.
196
Что же показывают результаты исследования PISA?
□
Опишем кратко полученные результаты.
По результатам оценки естественно-научной грамотности российские учащиеся 15-летнего возраста заняли 33-38-е место из 57 стран-участниц, набрав в среднем 479 баллов, Средний балл российских школьников соответствует верхней границе второго уровня сформированности естественно-научной грамотности по международной шкале. (Всего статистически выделено 6 уровней сформированности естественно-научной грамотности.) Для сравнения: средней балл учащихся Финляндии, занявших 1-е место, составляет 563 балла, что соответствует 4-му уровню.
По математической грамотности результат российских учащихся практически такой же: 476, 32-36-е место. А по грамотности чтения или читательской компетентности — 440 баллов, 37-40-е место. Причем если по математике наши результаты не ухудшились по сравнению с 2003 г., то по чтению наблюдается статистически значимое ухудшение по сравнению с 2000 и 2003 гг.
Проанализируем результаты российских учащихся 15-летнего возраста, учитывая уровень образовательных программ, по которым они обучались на момент тестирования (апрель 2006 г.). По естественно-научной грамотности самые высокие результаты среди всех российских учащихся продемонстрировали школьники 1011-х классов (их средний балл — 506), т.е. они в среднем продемонстрировали результаты, соответствующие третьему уровню сформированности естественно-научной грамотности по международной шкале, немного превысив средний международный результат (табл. 1).
Таблица 1 Результаты стран по естественно-научной грамотности,
математической грамотности и грамотности чтения с указанием
результатов групп российских учащихся, различающихся образовательными программами
Естественно-научная грамотность Математическая грамотность Грамотность чтения
Средний балл Средний балл Средний балл
Страны (стандартная Страны (стандартная Страны (стандартная
ошибка) ошибка) ошибка)
Китайский Тайбэй 549 (4,1) 556 (3,8)
Финляндия 563 (2,0) Финляндия 548 (2,3) Корея 547 (2,1)
Гонконг 542 (2,5) Гонконг 547 (2,7) Финляндия 536 (2,4)
Канада 534 (2,0) Корея 547 (3,8) Гонконг 527 (2,4)
Китайский Тайбэй 532 (3,6) Нидерланды 531 (2,6) Канада 521 (3,0)
Эстония 531 (2,5) Швейцария 530 (3,2) Новая Зеландия 517 (3,5)
Япония 531 (3,4) Канада 527 (2,0) Ирландия 513 (2,1)
Новая Зеландия 530 (2,7) Макао 525 (1,3) Австралия 510 (3,9)
Австралия 527 (2,3) Лихтенштейн 525 (4,2) Лихтенштейн 508 (2,8)
Нидерланды 525 (2,7) Япония 523 (3,3) Польша 507 (3,4)
Лихтенштейн 522 (4,1) Новая Зеландия 522 (2,4) Швеция 507 (2,9)
Корея 522 (3,4) Бельгия 520 (3,0) Нидерланды 501 (3,0)
Словения 519 (1,1) Австралия 520 (2,2) Бельгия 501 (2,9)
Германия 516 (3,8) Эстония 515 (2,7) Эстония 499 (3,1)
Великобритания 515 (2,3) Дания 513 (2,6) Швейцария 498 (3,6)
Чехия 513 (3,5) Чехия 510 (3,6) Япония 496 (3,4)
Швейцария 512 (3,2) 10-11-е классы, Китайский Тайбэй 495 (2,3)
Макао 511 (1,1) Россия 507 Великобритания 495 (4,4)
Австрия 511 (3,9) Исландия 506 (1,8) Германия 494 (3,2)
Бельгия 510 (2,5) Австрия 505 (3,7) Дания 494 (1,0)
Ирландия 508 (3,2) Словения 504 (1,0) Словения
197
□
Дискуссия
Окончание табл. 1
Естественно-научная грамотность Математическая грамотность Грамотность чтения
Средний балл Средний балл Средний балл
Страны (стандартная Страны (стандартная Страны (стандартная
ошибка) ошибка) ошибка)
10-11-е классы, 506
Россия Германия 504 (3,9) Макао 492 (1,1)
Венгрия 504 (2,7) Швеция 502 (2,4) Австрия 490 (4,1)
Швеция 503 (2,4) Ирландия 501 (2,8) Франция 488 (4,1)
Польша 498 (2,3) Франция 496 (3,2) Исландия 484 (1,9)
Дания 496 (3,1) Великобритания 495 (2,1) Норвегия 484 (3,2)
Франция 495 (3,4) Польша 495 (2,4) Чехия 483 (4,2)
Хорватия 493 (2,4) Словакия 492 (2,8) Венгрия 482 (3,3)
Исландия 491 (1,6) Венгрия 491 (2,9) Латвия 479 (3,7)
Латвия 490 (3,0) Люксембург 490 (1,1) Люксембург 479 (1,3)
СПО, Россия 490 Норвегия 490 (2,6) Хорватия 477 (2,8)
США 489 (4,2) Литва 486 (2,9) Португалия 472 (3,6)
Словакия 488 (2,6) Латвия 486 (3,0) Литва 470 (3,0)
Испания 488 (2,6) Испания 480 (2,3) Италия 469 (2,4)
Литва 488 (2,8) СПО, Россия 479 10-11-е классы, Россия 469
Норвегия 487 (3,1) Азербайджан 476 (2,3) Словакия 466 (3,1)
Люксембург 486 (1,1) Россия 476 (3,9) Испания 461 (2,2)
Россия 479 (3,7) США 474 (4,0) Г реция 460 (4,0)
Италия 475 (2,0) Хорватия 467 (2,4) Турция 447 (4,2)
Португалия 474 (3,0) Португалия 466 (3,1) СПО, Россия 446
Г реция 473 (3,2) Италия 462 (2,3) Чили 442 (5,0)
Израиль 454 (3,7) Г реция 459 (3,0) Россия 440 (4,3)
7-9-е классы, Россия 450 Израиль 442 (4,3) Израиль 439 (4,6)
Чили 438 (4,3) 7-9-е классы, Россия 441 Таиланд 417 (2,6)
Сербия 436 (3,0) Сербия 435 (3,5) Уругвай 413 (3,4)
Болгария 434 (6,1) Уругвай 427 (2,6) Мексика 410 (3,1)
Уругвай 428 (2,7) Турция 424 (4,9) 7-9-е классы, Россия 408
Турция 424 (3,8) НПО, Россия 419 Болгария 402 (6,9)
Иордания 422 (2,8) Таиланд 417 (2,3) Сербия 401 (3,5)
Таиланд 421 (2,1) Румыния 415 (4,2) Иордания 401 (3,3)
НПО, Россия 419 Болгария 413 (6,1) Румыния 396 (4,7)
Румыния 418 (4,2) Чили 411 (4,6) Индонезия 393 (5,9)
Черногория 412 (1,1) Мексика 406 (2,9) Бразилия 393 (3,7)
Мексика 410 (2,7) Черногория 399 (1,4) Черногория 392 (1,2)
Индонезия 393 (5,7) Индонезия 391 (5,6) Колумбия 385 (5,1)
Аргентина 391 (6,1) Иордания 384 (3,3) НПО, Россия 382
Бразилия 390 (2,8) Аргентина 381 (6,2) Тунис 380 (4,0)
Колумбия 388 (3,4) Колумбия 370 (3,8) Аргентина 374 (7,2)
Тунис 386 (3,0) Бразилия 370 (2,9) Азербайджан 353 (3,1)
Азербайджан 382 (2,8) Тунис 365 (4,0) Катар 312 (1,2)
Катар 349 (0,9) Катар 318 (1,0) Киргизия 285 (3,5)
Киргизия 322 (2,9) Киргизия 311 (3,4)
Студенты системы среднего профессионального образования показали средний результат в 490 баллов. Затем следуют 15-летние учащиеся 7-9-х классов (их средний результат — 450 баллов, самые низкие результаты (419 баллов) продемонстрировали учащиеся системы начального профессионального образования.
По математике результаты школьников 10-11-х классов тоже выше среднего — 507 баллов. Дальше следуют учащиеся СПО — 479 баллов, учащиеся 7-9-х классов — 441 баллов и учащиеся НПО — 419.
По чтению учащиеся 10-11-х классов показали достаточно низкие результаты — 469 баллов, значительно ниже среднего международного показателя. Ну, а учащиеся системы НПО — 382 балла, опередив только 6 стран из 57, включая Азербайджан и Киргизию.
198
□
Что же показывают результаты исследования PISA?
Приведенные данные показывают, что по всем направлениям, которые эксперты (пока не школа, а эксперты) признали главными для формирования функциональной грамотности, российские учащиеся 15-летнего возраста значительно отстают от своих сверстников из большинства развитых стран мира.
Помимо средних результатов очень важно знать, как распределяются школьники по уровням грамотности, т.е. уровням овладения содержательными аспектами и компетенциями, составляющими естественно-научную грамотность.
Среди выпускников основной школы России процент учащихся, показывающих самый высокий уровень в овладении функциональной грамотностью, сильно отличается от всех лидирующих в исследовании стран. И по чтению, и по естественно-математической грамотности он составляет 0,5-1,7%, в то время как, например, в Финляндии, лидирующей практически по всем направлениям, он составляет 3,9-16,7%. Это означает, что процент наиболее подготовленных учащихся нашей страны, которые могут применить полученные в школе знания в различных сложных ситуациях, дать объяснения и аргументацию на основе критического анализа рассматриваемой проблемы; связать информацию и объяснения из различных источников и использовать их для обоснования различных решений, в сравнении с другими странами очень незначительный, причем с 2000 г. он статистически значимо падает по всем направлениям.
Базовым уровнем грамотности (2-й уровень естественнонаучной, математической грамотности и грамотности чтения), при достижении которого учащиеся начинают демонстрировать наличие умений, обеспечивающих им возможность активно использовать полученные в школе знания, овладело существенно меньшее число российских учащихся (естествознание — 77,8%, математика — 73%, чтение — 64,3%) в сравнении с лидирующими странами (90-97% по всем предметам).
Следует обратить внимание на то, что достаточно большой процент российских учащихся не овладел базовым уровнем функциональной грамотности, например, 22,2% по естествознанию. Это означает, что, окончив основную школу, они имеют только ограниченный запас естественно-научных знаний, которые могут применять только в знакомых ситуациях. Они могут давать в основном очевидные объяснения, которые явно следуют из имеющихся данных. В Финляндии таких учащихся — 4,1%, а в Японии — 12%.
По математике 27% российских учащихся 15-летнего возраста не овладели базовым уровнем, выделенным профессиональным сообществом и отраженным в международных тестах, а по чтению — 35,7%. Это означает, что уровень овладения российскими выпускниками основной школы читательской грамотностью как средством для обучения низок, причем данный уровень падает по сравнению с 2000 г.
199
□
Дискуссия
Анализируя эти данные, ряд специалистов скажет, что результаты исследования P^ не должны нас слишком настораживать, ведь проверяется знание того, чему в школах не учат. Но что скажут эти же специалисты, анализируя результаты Единого государственного экзамена, который ежегодно фиксирует значительные проблемы, выявленные у выпускников средней школы при работе с текстами, а именно низкий уровень понимания содержания текста и инструкций, неумение аргументировать свою точку зрения и др.
Если проанализировать результаты ЕГЭ по уровням усвоения проверяемого содержания среднего образования (% выпускников получивших разные отметки), то по математике в 2007 г. было выставлено 21% двоек, 42% троек, четверок — 29,6%, а пятерок — 7,6% (рис. 1).
Рис. 1 .
%
100
80
Распределение школьных отметок по отдельным предметам
по результатам ЕГЭ 2007 г.
□ "5"
□ "4"
□ "3"
□ "2"
РУ МА АЛГ ФИ ХИ ИНФ БИ ИС ГГ АЯ НЯ ФЯ ОБ ЛИ
Несмотря на различные подходы к оценке образовательных достижений, картина получается схожая.
В исследовании PISA оценивались разные предметные и межпредметные умения, что позволило создать профиль образовательных достижений выпускников основной школы. Чем же отличается профиль российских школьников? В профиле образовательных достижений российских выпускников основной школы выделяются умения воспроизводить и применять предметные знания (лучше всего по биологии), в основном на уровне использования алгоритмов, в сравнении с умениями применять методологические знания, например, связанные с проведением экспериментов. Существенно ниже уровень сформиро-ванности интеллектуальных умений (higher order skills), например, анализировать, обобщать, прогнозировать, работать с данными и др. Подобные факты мы наблюдаем и на ЕГЭ. В чем проблема?
200
□
Что же показывают результаты исследования PISA?
Ответ на этот вопрос нужно искать в особенностях учебного процесса в российской школе (в ориентации на передачу знаний, а не на освоение способа деятельности). Проблема и в образовательных стандартах, в которых приоритет отдается освоению предметного содержания образования. Проблема и в сложившемся у специалистов понимании, что же представляет собой базовый уровень образования. До сих пор специалисты по аттестационным процедурам считают, что базовый уровень освоения предмета (на тройку) достигнут, если школьник может воспроизвести простые знания (факты, определения, формулы и др.), выполнив задания с выбором ответа. От ученика не требуется решить самостоятельно и привести решение даже простых задач или высказаться самостоятельно по какой-либо проблеме.
В международном отчете по результатам исследования PISA 2006 г., представлены данные Массачусетского университета (США) об изменении структуры квалификаций, востребованных на рынке труда за последние 40 лет. Исследование показало, что увеличивается спрос на квалификации, в которых преобладают не рутинные интерактивные умения (разделение квалификаций осуществлялось по характеру труда: ручной — не ручной труд, интеллектуальный — не интеллектуальный), а меньше всего востребованы рутинные когнитивные умения, подразумевающие воспроизведение известных алгоритмов, так как такой труд легче всего заменяется компьютерами и роботами. Международные эксперты делают вывод о том, что страны, которые ориентируют свое образование на воспроизведение знаний и алгоритмов, в основном готовят свое подрастающее поколение не к будущему, а к прошлому, потому что эти умения становятся все менее востребованными.
Проблема содержания образования и образовательных стандартов сложная. Вряд ли целесообразно призывать страну отказаться от ЗУНов и переориентироваться на компетенции. В данном случае могут возникнуть проблемы, известные как «скандинавский эффект», когда в школах Норвегии и Швеции учителя увлеклись различными аспектами образования за счет освоения предметных знаний и умений. Через 5-8 лет результаты международного исследования качества математического и естественнонаучного образования (TIMSS) показали резкое снижение рейтинга этих стран по качеству освоения основ математики и естествознания. Должен быть некоторый баланс между освоением знаний и развитием интеллектуальных и межпредметных умений, которые необходимы для овладения универсальными действиями, более востребованными в будущем.
Для объяснения полученных результатов тестирования в любом мониторинговом исследовании проводится анкетирование учащихся и директоров образовательных учреждений с целью выявления информации о факторах, которые влияют на образовательные результаты. К большому нашему сожалению, для российских учащихся не выделяются доминирующие факторы, опреде-
201
□
Дискуссия
ляющие те или иные достижения. Для большинства стран такие факторы выявляются. Например, для Финляндии выявлены два фактора, объясняющие их успех по чтению. Это — развитие интереса к чтению и вовлеченность учащихся в школе и дома в чтение, т.е. обеспечение возможности для всех учащихся получить доступ к книгам и другим средствам информации. Для России самый сильный по влиянию фактор — социально-экономический статус семьи, но он не считается статистически значимым.
По выводам международного отчета, Россия в связи со сформированностью естественно-научной грамотности относится к странам с низким качеством образования, но с достаточным уровнем равенства возможностей. Международные эксперты разделили все страны на четыре группы по качеству образования и обеспечению равенства возможностей (степени дифференциации учащихся).
На примере, который взят из международной презентации, рассмотрим данные о различии в результатах учащихся стран (рис. 2).
Рис. 2. Различие в результатах учащихся стран-участниц
исследования PISA 2006 г.
Различия в результатах учащихся
100 т 80 60 40 20 0
-20
-40
-60
Внутри образовательного учреждения
пщрдатгтіп-------------------------
■ Между образовательными
■Щ -И Я- Ш- учреждениями
-80 1
*
с
о
CD
Q_
Q)
СО
Q)
LO
£
C
О
Q)
Q_
CO
CL
CO
2
S
CL
О
X
о
о
Q_
СО
СЕ
СО
Q)
CO
CO
=3
CO
3
_a
d
О
X
CL
О
X
Є
Именно на основе анализа этих данных делается вывод об обеспечении страной равенства возможностей в получении образования. На диаграмме над горизонтальной осью представлены различия в результатах стран, которые наблюдаются внутри их образо-
202
□
Что же показывают результаты исследования PISA?
вательных учреждений, а под осью — различия в результатах между образовательными учреждениями. Данный подход иллюстрирует равенство возможностей и показывает разброс результатов по каждой стране. Чем больше отличаются результаты между школами, тем меньше равенство возможностей, создаваемое системой образования для учащихся. Например, одна школа дает очень хороший уровень образования, но отбирает детей, а другая — очень низкий уровень образования и обучает всех, кто пришел в эту школу. Сильная дифференциация в образовании значительно связана с социально-экономическим статусом семей учащихся. К странам, в которых проявляется сильная дифференциация учащихся, относятся Германия, Чехия, Австрия, Венгрия, Нидерланды, Бельгия, Япония. В Японии интенсивная дифференциация происходит в старшей школе, а в основной школе политика направлена на обеспечение равных возможностей, даже директора школ и учителя ротируются по школам для того, чтобы это равенство обеспечить. К странам, которые эффективно проводят политику социального равенства, относятся в первую очередь Финляндия, Исландия, Норвегия и Швеция.
Россия на диаграмме находится в середине; следующая за Россией справа — Великобритания, левее через две страны — США с большим разбросом результатов между самыми слабыми и самыми сильными учащимися внутри школы. Как видно из диаграммы, в России различия проявляются в большей степени внутри школ, т.е. большинство школ принимает почти всех желающих, а потом они уже распределяются по классам (иногда с учетом их подготовки или интересов), но все это происходит внутри одной школы, в одном социуме. Это означает, что у нас относительное равенство образовательных возможностей.
Полученные международными экспертами выводы о качестве образования нельзя переносить на всю российскую систему образования. Например, если для оценки качества образования мы возьмем результаты российских учащихся начальной школы по чтению в международном исследовании PIRLS (1-е место среди 37 стран) или результаты российских школьников, изучавших углубленные курсы математики и физики (2-3-е место, TIMSS-1995), то по этим направлениям качество российского образования достаточно высокое. Все зависит от того, что понимать под качеством образования, чем его измерять и по отношению к чему.
Приведенные примеры показывают, как важно при интерпретации результатов международных исследований использовать дополнительную информацию, позволяющую адекватно использовать полученные результаты. В последнее время во многих странах мира развернулась широкая дискуссия о том, что же оценивается в исследовании PISA, какова его методология, можно ли использовать результаты данного исследования для оценки эффективности образования. Советую познакомиться с книгой, которая называется «PISA according to PISA. Does PISA keep, what it
203
□
Дискуссия
promises?»1, где рассматриваются проблемы содержания исследования, методологии и интерпретации результатов.
Я считаю, что для России результаты исследования PISA дополняют традиционные исследования, которые показывают, что российские школы нормально функционируют, выполняя поставленные перед ними задачи, например, передачу глубоких и прочных знаний. Результаты российских школьников в международном исследовании TIMSS по освоению предметных знаний по математике и естествознанию с 1995 г. превышают средние международные результаты. Результаты инновационного исследования PISA позволяют оценить другие стороны образования, а именно, сфор-мированность функциональной грамотности и компетенций, и показать проблемные области в российском образовании, на которые необходимо обратить внимание для повышения конкурентоспособности нашей страны.
Ну и последнее. Я хотела показать, насколько важен вторичный анализ полученных результатов. Наша команда на протяжении многих лет проводит исследования, и наша задача — дать надежные данные, чтобы специалисты страны могли бы их дальше анализировать. На серьезный вторичный анализ у нас, как правило, не хватает времени, потому что сейчас, едва закончив это исследование, мы готовим тесты к следующему циклу исследования PISA-2009, которое оценивает качество чтения электронных текстов. Но тем не менее, дополнительный анализ мы проводим. Приведу несколько примеров.
Анализ ответов учащихся на вопросы по отношению учащихся к естествознанию и их интересу к изучению отдельных вопросов в связи с естествознанием показывает, что не более 20% учащихся 15-летнего возраста готовы изучать абстрактный материал, не связанный с проблемами, которые интересуют учащихся (например, проблемами их здоровья). Возможно, эти учащиеся просто рождены учеными. Остальные 80% детей, отвечая на вопрос «а тебе интересно это?» или «интересно то?» (например, вопросы о никотине и курении табака, вопросы о глобальном потеплении или кислотных дождях), в итоге говорят, что им будет интересно только то, что касается их лично и их семей. Подобные результаты дают основание задуматься, как же надо отбирать содержание образования и организовывать учебный процесс, чтобы мотивировать 15-летних учащихся к обучению.
Пример из другой области по изучению влияния мотивации на выполнение международных тестов. Учащихся спрашивали: будут ли они больше стараться, если им за выполнение международного теста ставили бы отметки. 40% детей сказали, что нет, как они старались, так и будут стараться. Причем усилия детей практически не зависят от балла, полученного за выполнение теста.
1 PISA согласно PISA. Выполняет ли PISA свои обещания? (Англ.: PISA according to PISA. Does PISA keep, what is promises? / S.T. Hopmann, G. Brinek, M. Retzl (eds.). Wien: LIT, 2007. Нем.: PISA zufolge PISA. Halt PISA, was es verspricht?)
204
□
Что же показывают результаты исследования PISA?
За 20 лет проведения международных исследований в России накоплен большой материал. Все базы данных международных исследований открыты, и анализ может проводить любой желающий. Я уверена, что дополнительный анализ результатов позволит ответить на наболевшие вопросы, а также сформулировать новые гипотезы.
И.Д. Фрумин
Спасибо большое, Галина Сергеевна, за очень интересное выступление. Я в начале семинара нарушил правило, по которому надо специально представлять докладчика. Просто потому, что Галина Сергеевна не нуждается в представлении. Но тем не менее, это важный момент. Я думаю, что когда будет писаться история постсоветского образования, имя Галины Сергеевны Ковалевой будет вписано туда золотыми буквами, как и имя Елены Анатольевны Ленской, потому что эти две женщины открыли российское образование миру. И Галина Сергеевна открыла его содержательно, вовлекая нас в глобальную рефлексию. Обидно, что до сих пор это не очень востребовано, но думаю, что в перспективе это будет востребовано все больше и больше. Большое спасибо. У нас сейчас дискуссия, и мы заранее попросили высказаться Петра Геннадьевича Нежнова, ведущего научного сотрудника Института педагогических инноваций РАО. Он как раз в прошлом году принимал участие в проекте по вторичному анализу результатов PISA, о необходимости которого говорила Галина Сергеевна.
П.Г. Нежнов
Я постараюсь не очень длинно, потому что интереснее дискуссия и идеи людей, которые в этом не принимали близкого участия. А мы с Галиной Сергеевной уже и сегодня достаточно много говорили, и в других компаниях. Мой первый тезис состоит в том, что из всех событий в образовательном пространстве за последние годы PISA мне кажется наиболее выдающимся, и значение этого мониторинга трудно переоценить. Волна влияния этих мониторингов еще будет сказываться. Фактически впервые в истории страны посмотрели друг на друга (в смысле «образованцы» разных стран), пригляделись, получили в руки основание для каких-то сравнений, и задумались, соответственно, про себя.
Я сразу же был сторонником PISA (хотя вообще в России была тенденция неприятия его результатов — как это мы оказались черт-те на каком месте?), я не сомневался, что это серьезное исследование, к которому надо очень внимательно отнестись. Эти исследования затронули патриотические струнки во всех странах, и для нас это, по-моему, тоже очень важный фактор, потому что у нас власть обращает внимание на образование, только когда думает о войне или о престиже, т.е. опять же о войне. И вот этот мотив был вброшен во властные структуры и продолжает жить, и это радует. Надеюсь, то, чем вы, Галина Сергеевна, занимаетесь, будет набирать силу.
205
□
Дискуссия
Еще один, чисто научный момент: фактически PISA впервые рельефно предъявила образовательному сообществу новый педагогический объект — компетенции. Раньше разговоры о компетенциях носили расплывчатый беспредметный характер, теперь же у нас есть твердые основания присматриваться и спорить о том, что это такое, и пытаться давать психологическую интерпретацию.
И последнее. Если смотреть на PISA профессионально в плане психолого-педагогической диагностики, это очень продвинутый и содержательный инструмент, приятно видеть его на фоне предшествующей традиции. При такой положительной ауре к PISA предъявляются очень большие ожидания, т.е. фактически мы уже все наши надежды на PISA возлагаем и хотим этим инструментом решать вообще все управленческие проблемы в сфере образования. Тем не менее PISA, как и все в этом мире, имеет свои границы, и я призываю к тому, чтобы осознать эти границы и подпереть PISA другими исследованиями. Не нужно требовать от этого исследования чего-то, чего оно не может дать. Потому что оно выполнено все-таки в традициях эмпирической стратегии, там важен консенсус, надо было договориться с кучей стран.
Когда начинают договариваться по содержанию, оно всегда начинает плыть. Мы добиваемся высокой объективности фиксации, но мы утрачиваем определенное содержание. Содержание держится теорией. Теоретики никогда не сходятся, потому что надо стоять на какой-то позиции, теории не любят друг друга, они друг друга поглощают. Но здесь сам замысел этой работы состоял в том, чтобы добиться консенсуса и координированных усилий. И то, что, несмотря на эмпирический принцип работы, исследование все-таки очень содержательно, — огромное достижение.
Но в данных, которые дает PISA, получился все-таки достаточно сильный спортивный момент. То есть мы имеем очень объективную регистрацию, и определенный дефицит интерпретации. Мы не всегда знаем, что, собственно, означает эта разница в баллах, или выстроенная шкала, скажем, в том же естествознании. На уровне здравого смысла выглядит она симпатично, но когда пытаешься выстроить достаточно глубокую содержательную картинку, понимаешь, что вопрос стоит ребром, надо искать какую-то интерпретацию. Я считаю, что надо на фоне PISA активизировать исследования, которые реализуют не эмпирическую стратегию, а теоретико-экспериментальную. В каждой стране имеется несколько педагогических и психолого-педагогических школ, и к ним сейчас запрос, чтобы, не потеряв все ценное, что дает сегодня PISA, дать интерпретации с разных позиций.
И.Д. Фрумин
Спасибо. Пожалуйста, коллеги, вопросы.
206
□
Что же показывают результаты исследования PISA?
И.В. Абанкина
Можно я начну с уточняющего вопроса Галине Сергеевне? Данные по средним баллам, по местам мало изменились. Было впечатление, что в PISA-2000 у нас была существенно большая дифференциация между школами, я могу ошибаться. Мы еще тогда делали вывод о достаточно высоком неравенстве. То есть эти данные так и остались?
Г.С. Ковалева
По результатам исследования 2006 г. мы в том же самом квадрате стран с низким качеством образования и достаточно высоким равенством возможностей, хотя зафиксированный уровень дифференциации учащихся 15-летнего возраста в 2000 г. был выше и структура выборки 2000 г. отличалась от выборки 2006 г. Например, в 2000 г. учащиеся системы начального и среднего профессионального образования составили 27%, а в 2006 г. — только 16%. С точки зрения социально-экономического статуса родителей получилось, что для России это самый сильный фактор, который дифференцирует результаты школ, хотя по сравнению со многими странами его влияние незначительно.
Т.В. Абанкина
Галина Сергеевна, а можете ли Вы сказать, есть ли все-таки у нас школы, которые, вопреки общей тенденции либо ухудшения, либо, в лучшем случае, стагнации, участвовали во всех трех PISA и улучшили результаты? У которых именно позитивная динамика за 3 года? Вот Троицкий лицей... Как оценивается динамика по циклам, это бывают те же самые учреждения, или все-таки происходит смена?
Г.С. Ковалева
Таких школ в нашей выборке нет, так как выборка для каждого цикла исследования формируется независимо и школы, как правило, каждый раз выбираются другие. Если выборка учащихся выстроена по определенным правилам (используется принятая международная методика, не менее 85% отобранных учащихся участвуют в тестировании и др.), то выборка считается представительной и результаты исследования, полученные на этой выборке, можно перенести на генеральную совокупность. То есть те результаты, которые мы получаем, можно интерпретировать как результаты всех детей 15-летнего возраста, обучающихся в России. И каждый цикл мы можем соотнести эти результаты со всей генеральной совокупностью 15-летних учащихся.
А.М. Цирульников
У меня вопрос, но перед этим маленькая реплика, чтобы было понятно, почему такой вопрос. Исследование, конечно, замечательное, все очень интересно и важно. Мне кажется, что один из
207
□
Дискуссия
Ваших выводов — когда, кивая на Россию, говорят, что она в прошлое свое образование проецирует и т.д. — закономерен, потому что есть социальная тенденция обращаться к прошлому и этому прошлому нужен соответствующий человек и соответствующий тип образования. Образование здесь просто диагностирует общую ситуацию. Кроме того, те изменения в содержании образования, и вообще в устройстве системы образования, которые шли в последние годы, не принципиальны, они не меняют этой обращенности. И времени еще мало прошло после этих изменений, и сам тип изменений принципиально не выходит за рамки этого феномена. Мне кажется, это естественно.
С другой стороны, остается вот какого рода вопрос. Я занимаюсь регионами и, в частности, теми, где есть какая-то культурнонациональная подкладка, и для меня живое в сегодняшней ситуации почему-то проявляется там, где есть культурно-национальные начала. И в этом смысле есть точки по России — неважно, Якутия, Башкирия, Бурятия или еще какие-то другие точки, — где наряду с общими процессами в рамках модернизации идут некоторые свои, часто не афишируемые изменения, подчас перпендикулярные общим тенденциям и общим изменениям, которые зафиксированы в среднем по России. Я не говорю, что везде, но в некоторых точках наблюдается очевидный культурно-национальный образовательный подъем.
Если говорить о более частных вещах, связанных с содержанием образования, с устройством школы и т.д., то даже построение содержания образования в некоторых из этих точек идет совершенно по-другому, например, не предметным образом, а по типам и способам мышления и деятельности, свойственным разным этносам. В частности, сравнение кочевой школы со стационарной показывает, что в этих, казалось бы, примитивных кочевых школах результаты образования и развития детей намного выше, чем в центральных поселках, где они сидят в интернатной системе и т.д. Поэтому у меня такой вопрос: не проводился ли в рамках вашего исследования выборочный диагностический анализ ситуаций в определенных точках, которые связаны с некоторой социокультурной особенностью? Или ваши результаты показали, что эти тенденции характерны для всех?
Г.С. Ковалева
Исследования, результаты которых мы обсуждаем, проводятся на федеральном уровне, и в них не ставится задача сравнения отдельных регионов и изучение их социокультурных особенностей. Только один раз по инициативе Республики Татарстан параллельно российской выборке учащихся 8-х классов проводилось обследование татарских школьников по материалам, переведенным на татарский язык. Результаты татарских школьников оказались выше, чем в России. Но специального социокультурного анализа не проводилось. Поднятая Вами проблема очень важна
208
□
Что же показывают результаты исследования PISA?
для выстраивания общероссийской системы оценки качества образования.
И.Д. Фрумин
Спасибо. Я хочу представить, у нас Анатолий Маркович первый раз выступает на семинаре, это был известный историк образования Анатолий Маркович Цирульников. Теперь Владимир Ефимович, пожалуйста.
В.Е. Гимпельсон
Я, прежде всего, хотел бы присоединиться к хору голосов, говорящих «большое спасибо», все это страшно интересно и страшно важно. Я не хочу сейчас вдаваться в дискуссию, а ограничусь одним вопросом. Когда мы строим выборку для таких международных исследований, естественно, мы пытаемся находить типических учеников, типические школы для того, чтобы иметь среднюю наиболее представительную картину по стране. Но нас может интересовать и вариация внутри страны. Не пытались ли Вы смотреть на края выборки: при каких условиях школы или ученики оказываются в самом хвосте, а при каких — в самом верху? Что влияет на то, что мы движемся вверх? И может быть, этой выборки недостаточно, и должны быть какие-то свои исследования вне PISA?
Г.С. Ковалева
Во-первых, мы, конечно, это делаем время от времени, когда есть возможность. Мы берем школы с низкими и высокими результатами и сравниваем особенности этих образовательных учреждений. Однако такой подход не очень корректен. Ведь мы сравниваем абсолютные показатели, а если рассматривать эффективность образования, нужно учитывать определенные факторы. Как правило, школы, которые дают наиболее высокие результаты, имеют и родителей с высоким уровнем образования, и более высокий социально-экономический статус. Поэтому чаще всего это школы, на результаты которых в большей степени влияет не учебный процесс или методики, а социальные факторы.
В 2003 г. была сделана первая попытка использовать методику эффективных школ при анализе результатов. Был определен балл, который могла бы показать школа с учетом социально-экономического статуса ее детей, и проведено сравнение с баллом, который эта школа дала в реальном исследовании. По данной методике были выделены эффективные школы, реальные результаты которых превысили те, которые можно было ожидать в соответствии с их социально-экономическим статусом. Например, в список этих школ вошел Троицкий лицей Московской области. Далее изучались факторы, отличающие более эффективные школы от менее эффективных.
В результате анализа все основные факторы, которые были известны в США как факторы эффективных школ еще в 1970-х го-
209
□
Дискуссия
дах, были выявлены и в нашем исследовании. Среди этих факторов: профессиональное лидерство директора школы, мотивированные и уверенные в своих успехах учащиеся, стимулирующая к обучению образовательная среда в школе и др. Для проведения данных аналитических работ необходимы специально подготовленные кадры, не говоря о том, что должен быть создан аналитический центр, способный «перерабатывать» богатейшую информацию, накопленную не только в международных исследованиях, но и в рамках единого государственного экзамена и ряда мониторинговых исследований, которые проводились и проводятся в настоящее время. Специалисты из других стран уже защитили немало диссертаций на основе наших данных, а своих диссертаций на эту тему у нас практически нет.
И.Д. Фрумин
Зато у нас есть всякие другие диссертации. Пожалуйста, Елена Анатольевна Ленская.
Е.А. Ленская
Галина Сергеевна, была ли когда-нибудь попытка связать динамику наших результатов в PISA за прошедшие 6 лет с теми образовательными изменениями, которые у нас происходят? Я выскажу одну гипотезу, можете с ней соглашаться или нет, но так оно и есть: профильность в том понимании, в котором она реально пошла в школе (возврат к знанию и парадигме) могла привести к реальному снижению показателей. Поскольку нынешние профильные стандарты вам хорошо известны: за редким исключением все они построены на знаниях. Как раз тот возраст, когда проверяется PISA, это момент вбрасывания в профильные классы, соответственно дети ориентированы на то, чтобы продемонстрировать максимум знаний в противовес всему остальному. Это гипотеза. Есть и другие магистральные изменения, ЕГЭ и т.д. Есть ли у нас потребность измерить, повлияли они или нет?
Г.С. Ковалева
Несмотря на то что исследование PISA ставит своей целью исследовать различные факторы и даже использует для этого методы многоуровнего иерархического моделирования, ответить на Ваш вопрос нельзя без специально спланированного эксперимента. В исследовании PISA выявлены факторы, которые могут влиять на результаты. Часть из них связана с материально-технической базой школы, с числом часов на изучение предмета, с интересом к предмету. Но это не те факторы, о которых Вы говорите.
И.Д. Чечель
У меня вопрос из той же оперы, что у Елены Анатольевны. Во-первых, Галина Сергеевна, спасибо Вам большое, как всегда, очень интересно. Скажите, вот Вы видите, что у нас в принципе за 9 лет
210
□
Что же показывают результаты исследования PISA?
значительных изменений не было — ну, в 1998 г. были стандарты, перешли на стандарт 2004 г., и то не везде. А динамика отрицательная. Что с нами происходит? Почему? Хотя бы на уровне Вашего большого опыта, не задумывались?
Г.С. Ковалева
По поводу отрицательной динамики могу сказать следующее. Переломный момент настал. Международные исследования PIRLS 2006 г. и TIMSS 2007 г. дают уже более высокие результаты. Они связаны с общим улучшением в стране и в системе образования.
Что касается обсуждаемых результатов, то необходимо отметить, что в целом, по данным наших исследований, российская школа малоэффективна: ориентация на воспроизведение, большая потеря времени на уроке за счет неэффективного опроса или контрольных работ (российские школьники контролируются учителями чаще, чем школьники большинства стран мира), большой груз домашних заданий (российские школьники самые перегруженные домашними заданиями школьники мира), уровень подготовки учителей недостаточен для ведения интенсивного обучения на уроках с учетом интересов и способностей детей, учебно-методические комплекты во многом не соответствуют возрастным познавательным потребностям современных подростков.
И в самих стандартах требования к результатам сформулированы не в форме освоения интеллектуальных и иных способов деятельности, в них доминирует репродуктивная часть: освоить большой объем содержания, и дальше — воспроизвести. В контрольных измерительных материалах КИМ ЕГЭ более 30-40% заданий на воспроизведение знаний. Это, с моей точки зрения, непозволительно много. Мы пытаемся совершенствовать КИМ. Но они соответствуют нашим стандартам.
И.Д. Фрумин
Я позволю себе, как отец девятиклассника, сказать, что я сейчас вынужден читать учебники — в них всех, в том числе в замечательном учебнике биологии, не к чему придраться. Я смотрел ваши данные исследования — откуда у детей появится умение ставить вопросы, если не к чему прицепиться, если изложение идет так, что к нему нельзя поставить вопрос? А по истории я недавно видел очередное чудное обсуждение одного профессора из ВШЭ, которые пишет: ну, да, конечно, мы требуем от учителей развивать критическое мышление, но надо реалистично признать, что это сделать невозможно, потому что важнее знать даты и места. Прошу прощения, Татьяна.
Т.В. Абанкина
Еще раз спасибо большое, Галина Сергеевна, за очень плотное по содержанию, как всегда, интересное выступление. А я в продолжение хочу спросить: как показывает Ваш экспертно-профес-
211
□
Дискуссия
сиональный опыт, что у нас сегодня слабейшее звено в основной школе? Мы видим, по PIRLS, как Галина Анатольевна в прошлый раз докладывала, у нас довольно высокий результат, все чувствуют, что провал происходит именно в основной школе. За что можно потянуть? Попытаться прежде всего подготовить учителей или измерительные материалы, раз Вы говорите, что контроль выполняет такую важную функцию? Или учебно-методические материалы? Что сейчас важнее всего и нуждается в первоочередном изменении? Что сможет вытянуть всю цепочку?
Г.С. Ковалева
Это все, в общем-то, системно, но первое — основная школа перестает работать с текстами. Учителя основной школы считают, что детей уже научили читать, и дальше им дают большой массив знаний, совершенно не развивая навыки чтения для различных целей. Следующее — это, конечно, подготовка учителей, потому что они совершенно не готовы к эффективному обучению, ориентированному на результат, на динамику развития индивидуального прогресса, на развитие интересов и способностей учащихся. Потом, как мы уже говорили, выхолощено само содержание, оно, как правило, не мотивирует детей, оно очень академично. Значит, безусловно, надо переписывать учебники, менять методики. Это не только мое мнение, так считают многие эксперты. В России доминируют методы обучения, ориентированные на память (запомнить, пересказать, решить задачу по образцу и др.). В исследовании PISA были вопросы по стратегии изучения нового материала, и было показано, что у российских школьников доминирует именно стратегия запоминания, а не активная работа с учебным материалом. Здесь, наверно, сказывается наша традиция, мы всегда гордились энциклопедичностью образования. Я не говорю, что это плохо, но можно ли все запомнить...
Т.В. Абанкина
Я знаю, что при подготовке к поступлению в университет были общеобразовательные тесты, в частности, по географии, и там были замечательные педагоги, которые использовали такую форму обучения: они просили детей к каждому занятию самостоятельно составлять тесты. В результате они по 15 раз штудировали материал, чтобы выбрать какой-то факт, который можно было бы представить в тестах. И эти ребята показали очень высокие результаты по запоминанию. Они активно работают с учебным материалом, они должны сами выбрать основные понятия, которые нужно освоить, под них составить специальные задания.
И.Д. Фрумин
Приходится признать, что методика преподавания, которой мы так долго пренебрегали, остается в лучшем случае на уровне 1960-х годов. То, о чем вы сейчас говорите — построение детьми
212
□
Что же показывают результаты исследования PISA?
оценок и оценивание собственного действия в процессе освоения нового знания, — это огромная культура, получившая развитие на Западе в 1980-х годах. Она в отдельных элементах и у нас существовала, но речь-то идет о доминирующих традициях. А у нас, как совершенно верно сказала Галина Сергеевна, до сих пор, это и в новом стандарте так, базовым считается уровень знания, и с этим трудно поспорить. Из стандарта фактически исключаются требования к обработке знаний, критическому анализу.
И.А. Вальдман
Те вопросы, которые задавались, мне кажется, по большей части крутятся вокруг такой темы — как бы не оставить без внимания тот богатый набор данных, который есть у PISA и других международных исследований. И возникает вопрос: какого рода вторичные исследования еще можно было бы проводить на базе материалов таких исследований или поставить рядом, чтобы они помогли нам объяснять эти факторы и причины? У меня есть предложение и короткий вопрос. Думаю, один из семинаров в четверг можно было бы посвятить теме: какого рода исследования в образовании в ближайшее время были бы актуальны и интересны? А вопрос у меня следующий: Галина Сергеевна, скажите, пожалуйста, вот Вы же знаете, в мире гигантский и очень интересный набор исследований на базе вот этих международных, от очень маленьких до самых серьезных. Нет ли какого-то международного обзора, какого рода исследования по поводу вторичного анализа PISA, TIMSS, PIRLS и т.д. вообще страны проводят? Вот мы сидим, у нас кроме группы Каспржака и вот Вашей группы ничего не делается, а в мире происходят интереснейшие вещи. Нет ли обзора, что в мире делают по поводу таких данных?
Г.С. Ковалева
Ну, надо сказать, что лет пять тому назад Международная ассоциация IEA специально организовала международные конференции для обсуждения результатов и проводит их раз в 2 года. И в этом году будет конференция на Тайване, посвященная вторичному анализу международных исследований. Причем рассматриваться будут результаты по направлениям: PISA, PIRLS, TIMSS. В прошлом году я была одним из экспертов, которые отбирали работы на подобную конференцию. Работы очень зависят от того, в какой стране они делаются, т.е. от того, каковы специалисты и запросы в области образования. Специалисты из Литвы просто анализировали, насколько их математическое образование изменилось, насколько оно релевантно по отношению к содержанию исследования TIMSS, и как это влияет на программы. Скандинавы занимались многоуровневым иерархическим моделированием, т.е. вычленяли факторы. Они брали все 200-500 факторов, по которым собирались данные об учебном процессе, учащихся, их родителях, учителях и школе, — вначале устанавливали бинарные связи, по-
213
□
Дискуссия
том рассматривали их в системе, т.е. разными статистическими методами выстраивали иерархию или модель взаимодействия факторов в системе. Организаторы исследования PISA также планирует новый форум по обсуждению результатов научных исследований. Кроме того, в рамках конференций, проводимых всевозможными европейскими и другими ассоциациями, постоянно обсуждаются результаты международных исследований.
В.Е. Гимпельсон
Я не специалист по образованию, я экономист, а экономисты — империалисты, они лезут во все. И тематика, связанная с образованием, давно находится в фокусе внимания экономистов-трудовиков. Есть такой европейский Центр IZA в Бонне, они издают массу всего, www.iza.org. Там если набрать «^MSS» или «PISA», будут десятки и десятки работ, очень интересных и серьезных. Совсем недавно там была опубликована работа, я ее не читал, просто мне запомнилось название «Что показывает PISA?». То есть там много всего.
В.Д. Шадриков
Я буквально несколько слов хочу сказать. Мне, во-первых, конечно, приятно то, что сказала Галина Сергеевна, я очень доволен комментарием, который сделал г-н Нежнов, очень глубокий и содержательный комментарий. Но я хочу сказать, что здесь присутствуют люди, которые заинтересованы в результатах этого исследования, но не обладают властью, чтобы принять решение. Поэтому такое лучезарное настроение, конечно, хорошо, когда мы сидим за этим круглым столом, но, насколько я знаю, Галина Сергеевна с большим трудом пробивала финансирование той части исследования, которая была проведена сейчас. По-моему, были сложности.
Г.С. Ковалева
Да, в 2000 г. у нас вообще не было специального финансирования на проведение международных исследований, кроме бюджетной зарплаты 10 сотрудников РАО, в рамках которой мы вели и другие работы.
В.Д. Шадриков
Так вот, на фоне миллиардных средств, которые имеются у министерства, это исследование финансировалось буквально как капля в море, и это показывает заинтересованность управляющего органа в исследованиях подобного рода. А они просто-напросто бесценны. Лет 15 или 20 назад меня спрашивали: «Владимир Дмитриевич, какого качества образование советской системы?» Я говорил — я не знаю, у нас нет ни одного международного исследования и, смотря только сами в себя, мы не можем сказать, какое у нас качество образования. И вот когда Галина Сергеевна пришла
214
□
Что же показывают результаты исследования PISA?
ко мне и говорит: «Владимир Дмитриевич, помогите поучаствовать», я с удовольствием это сделал. С тех пор она этим и занимается.
Но, к сожалению, нет заинтересованности в использовании результатов. У нас есть такая прекрасная организационная структура, как Российская академия образования, которая должна была бы ухватиться за все эти исследования — и PIRLS, и ^MSS, и PISA и т.д. — и провести системный анализ. Вместо этого никакого системного анализа нет, а пишется очередная толстая бумага на 10 печатных листов об очередном реформировании общеобразовательной школы. Хотя в принципе, конечно, в плане эффективного управления системой образования эти данные бесценны. Потому что, правильно Галина Сергеевна говорила, различные исследования дают разные результаты и по-разному характеризуют систему образования. Мы не знаем, куда движется наша система образования. В высшей школе в свое время мы попробовали использовать систему распознавания образов и посмотреть, куда движется наша система по отношению к европейской и американской. Получилось достаточно интересное исследование: дрейф тогда, в 1990-е годы, шел в сторону американской системы высшего образования. И этот результат был получен с помощью нормального научного метода, а не просто «а мне кажется».
Допустим, сегодня прозвучало, что по биологии у нас неплохие результаты. В советском периоде биология была самым западающим предметом в общеобразовательной средней школе. Значит, сделаны реальные шаги. Когда в 1992 г. мы с Днепровым пробовали поработать над стандартом общего образования, биологи оказались самыми продвинутыми, и, может быть, теперешние успехи — следствие того изменения, которое они внесли в содержание образовательных программ. А вот химиков мы 4 месяца утюжили: скажите, где можно применить ваши знания? За 3 месяца жестокого прессинга они так и не нашлись, что ответить. Потом какие-то страшилки придумали: если вот это сделаешь, то отравишься, а если это сделаешь, то взорвешься и т.д., т.е. достаточно юмористическое применение.
И действительно, здесь уже говорилось, что эти бесценные результаты могут пропасть совершенно зазря, если не будет проведен второй уровень анализа на уровне сопоставления разных исследований с социальными процессами, которые идут в стране, исследованиями, которые идут в образовании, и т.д. И я думаю, что если мы это можем сделать, то нужно внести такое предложение. В противном случае все пойдет прахом, ведь PISA уже не первый раз проходит. После предыдущего раза кто-то волосы на себе порвал, кто-то в грудь постучал, но это было очень кулуарно и не имело никакого воздействия на систему.
И.Д. Фрумин
Владимир Дмитриевич, большое Вам спасибо за то, что Вы когда-то помогли Галине Сергеевне.
215
□
Дискуссия
Г.С. Ковалева
Я хочу поблагодарить Владимира Дмитриевича, он был первым, кто реально помог.
И.Д. Фрумин
По поводу предложения — мы, конечно, можем сделать предложение, но это не тот случай, когда они не смогут от него отказаться, знаете, как в известном фильме. Мне кажется, что выступление Владимира Дмитриевича поставило логическую запятую в нашей дискуссии. Может быть, мы действительно последуем совету Игоря Александровича и на одном из весенних семинаров послушаем более детальный анализ результатов, чтобы понять и лучшие методы, и выводы, и т.д. Большое всем спасибо.
