CC BY
89Смирнова Т.М.
с.н.с. Института системного анализа РАН
РОССИЯ В СВЕТЕ МЕЖДУНАРОДНОГО МОНИТОРИНГА ОБРАЗОВАТЕЛЬНЫХ ДОСТИЖЕНИЙ
Ключевые слова: система образования в России, качество образования, образование в школе, мониторинг образовательных достижений.
В Государственной программе Российской Федерации «Развитие образования» на 2013-2020 годы в качестве одного из ожидаемых результатов реализации этой программы обозначено улучшение результатов российских школьников по итогам международных сопоставительных исследований PIRLS, TIMSS и PISA1. Тем самым зафиксирована ориентация российской школы на следующие программы международного мониторинга образовательных достижений:
- PIRLS (Progress in International Reading Literacy Study) - исследование читательской грамотности выпускников начальной школы. Тестирование проводится раз в 5 лет начиная с 2001 г. Под читательской грамотностью подразумевается способность читать и понимать тесты различного характера (литературные, научно-популярные, рекламные, деловые и т.д.) и использовать содержащуюся в них информацию для решения широкого спектра жизненных задач как личного, так и социального плана. Исследование организовано некоммерческой Международной ассоциацией по оценке образовательных достижений International Association for the Evaluation of Educational Achievements (IEA).
- TIMSS (Trends in International Mathematics and Science Study) - тестирование учащихся 4-го и 8-го классов по математике и естественным наукам (физике, химии, биологии, физической географии). Исследование проводится раз в 4 года, что позволяет отследить, каким образом изменения качества подготовки младших школьников сказываются на показателях примерно той же генеральной совокупности учащихся в следующем цикле TIMSS. Тестирование TIMSS, как и PIRLS, проводит IEA.
- PISA (Programme for International Student Assessment) - исследование функциональной грамотности 15-летних школьников - проводится раз в 3 года начиная с 2000 г. Проект был разработан для стран ОЭСР. Цель исследования, декларированная в документах проекта, - оценить, обладают ли учащиеся, получившие общее обязательное образование, знаниями и умениями, необходимыми для полноценного функционирования в обществе. Поэтому проект PISA направлен не на определение уровня освоения школьных программ, а на оценку способности учащихся применять полученные в школе знания и умения в жизненных ситуациях. Тестирование проводится по трем направлениям: читательская, математическая и естественнонаучная грамотность. Тестовые задания состоят из блоков - групп заданий, каждая из которых содержат описание некоторой ситуации и ряд вопросов, порожденных этой ситуацией. Такая структура заданий аналогична тесту PIRLS, но существенно отличается от структуры теста TIMSS, в котором предъявляются кратко сформулированные вопросы по математике и естественным наукам, похожие на обычные задания из школьных учебников и задачников. Общее руководство проектом PISA осуществляет Секретариат ОЭСР.
Начиная с 2013 г. результаты теста PISA включаются в ежегодные отчеты ООН о развитии человеческого потенциала, т.е. им отведена роль мирового индикатора образовательных достижений.
В 2008-2013 гг. был проведен первый цикл международного исследования компетенций трудоспособного населения PIAAC (Programme for the International Assessment of Adult Competencies). Исследование организовано ОЭСР и по методике аналогично PISA. Оценивались грамотность чтения и математическая грамотность населения в возрасте 16-64 лет.
В настоящей работе была предпринята попытка оценить инструментарий и результаты исследований PIRLS, TIMSS, PISA и PIAAC с точки зрения эффективности их использования в целях управления развитием национальной системы образования. Для анализа были использованы описания методологии исследований и базы данных результатов мониторинга, размещенные на официальных сайтах проектов PISA2, TIMSS и PIRLS3, PIAAC4, а также Центра оценки качества образования РАО5, осуществляющего реализацию проектов PISA, TIMSS и PIRLS в России (исследование PIAAC проводит Институт образования ВШЭ при поддержке Центра фундаментальных исследований ВШЭ и при участии Минобрнауки России).
1 Государственная программа Российской Федерации «Развитие образования» на 2013-2020 годы. Утверждена постановлением Правительства РФ от 15 апреля 2014 г. № 295. С. 7.
2 Сайт проекта PISA http://www.oecd.org/pisa
3 Сайт проектов TIMSS и PIRLS http://timssandpirls.bc.edu
4 Сайт проекта PIAAC www.oecd.org/site/piaac
5 Центр оценки качества образования Российской академии образования http://www.centeroko.ru
Международные исследования качества образования позволяют сравнивать достижения различных стран по единой методике. Общественность часто склонна больше доверять международным организациям, чем собственной национальной системе образования. Между тем в отношении международных тестов, прежде всего теста PISA, высказываются и резко критические оценки. Так, Marc Schneider, бывший уполномоченный Национального центра статистики образования США, выявил многочисленные недостатки этого теста1 и заключил, что выводы консорциума PISA относительно качества образования в странах мира и методов его повышения основаны на ненадежных данных и небезупречном анализе.
В первом цикле исследования PIRLS в 2001 г. российские школьники заняли 16-е место. Средний балл России (528) был значительно выше нормативного среднего уровня (500 баллов для тестов PIRLS, TIMSS и PISA). В следующих циклах Россия заняла 1-е и 2-е место соответственно и вошла в группу стран-лидеров, результаты которых статистически достоверно превышали результаты всех прочих участников, тогда как между странами этой группы достоверных различий не было. Подобный же рывок совершили китайский Гонконг и Сингапур, занявшие в 2001 г. 17-е и 15-е места, но затем оттеснившие лидеров первого цикла (табл. 1). Наиболее вероятной причиной прогресса этих стран представляется изменение программ обучения в младших классах в направлении, соответствующем требованиям тестов PIRLS. Росту результатов России способствовал и окончательный переход к 4-летней программе начального образования (в 2001 г. в тестировании участвовали ученики 3 и 4 классов).
Таблица 1
Исследование PIRLS: результаты стран и регионов, занимавших 1-6 места
Место Страна/регион (средний балл)
2001 г. 2006 г. 2011 г.
1 Швеция (561) Россия (565) Гонконг - Китай (571)
2 Нидерланды (554) Гонконг - Китай (564) Россия (568)
3 Англия - Великобритания (553) Альберта - Канада (560) Финляндия (568)
4 Болгария (550) Сингапур (558) Сингапур (558)
5 Латвия (545) Британская Колумбия - Канада (558) Северная Ирландия - Великобритания (558)
6 Канада (544) Люксембург (557) США (556)
В процессе тестирования каждый школьник получает книгу для чтения с двумя текстами-заданиями и тетрадь с 10-15 вопросами разной степени сложности к каждому заданию, в которую и записываются ответы. На выполнение каждого задания отводится 40 минут с 10-20-минутным перерывом между двумя частями теста. Ниже приведены примеры простого и сложного вопроса к заданию «Невероятная ночь» (фантастическому рассказу)2:
«Как была сломана дверь в спальню?
А Крокодил хвостом пробил дверь.
Б Большая ваза разбилась о дверь.
В Фламинго острым клювом ударил в дверь.
Г Кровать ударилась в дверь».
«Автор рассказа не сказал нам, приснилось Ане её приключение или нет.
Приведи одно свидетельство того, что это мог быть сон.
Приведи одно свидетельство того, что это мог быть не сон».
Наиболее сложными как для российских школьников, так и в целом для участников тестирования оказались вопросы со свободным ответом, для которых надо было не только найти ответ, но и сформулировать его достаточно кратко, чтобы уместить в отведенных строках тетради. Таким образом, баллы РЖЬ8 отражают не только понимание текста, но и умение выразить свое понимание в определенной письменной форме, причем разделить вклад обоих этих факторов в результат тестирования невозможно.
Тестирование Т1МЕ8 также состоит из двух частей (математика и естествознание), продолжительность каждой части - 36 минут для 4-го класса и 45 - для 8-го. Ответы записываются в тетради заданий. Общее число заданий -около 40 для 4-го класса и 50-60 - для 8-го. Уровень сложности заданий невысок и вполне соответствует средним затратам времени менее 2 минут на один вопрос, например: «Запишите какую-нибудь дробь, которая меньше 4/9» или: «Какая часть часа прошла от 1 ч 10 мин до 1 ч 30 мин ночи?» (задания по математике для 8-го класса)3. Самые сложные задания по математике можно решить в уме, хотя разрешается и пользоваться калькулятором. Примеры заданий по естествознанию для 8-го класса из того же источника:
• Что из перечисленного не является смесью: дым, сахар, молоко, краска?
• Кратко объясните, как очки и контактные линзы помогают некоторым людям лучше видеть.
1 Schneider M. The International PISA Test (A risky investment for states). - http://educationnext.org/the-international-pisa-test
2
Основные результаты международного исследования «Изучение качества чтения и понимания текста» PIRLS-2006. - М.: Центр оценки качества образования ИСМО РАО, 2007. - С. 62-71. - http://www.centeroko.ru/download/Instr PIRLS2006 Booklet R.zip
TIMSS. Тетрадь Д1. 8 класс. По материалам исследования TIMSS 2003 года. - М.: Центр оценки качества образования ИСМО РАО. - http://www.centeroko.ru/download/Instr_TIMSS_bookD1_8gr.zip
• На поверхности Земли воды больше, чем суши. Запишите две причины того, что некоторые люди все еще не имеют достаточного количества воды для питья.
• К каким животным ближе всего кошки: к крокодилам, к китам, к лягушкам, к пингвинам?
В исследовании ТГМ88 результаты России были выше среднего нормативного уровня (рис. 1). Однако по обеим шкалам теста средний балл учеников 8-го класса всегда был ниже, чем у учеников 4-го класса в тот же год. Такой результат можно рассматривать как свидетельство снижения качества образования в неполной средней школе по сравнению с начальной.
Международные рейтинги России по результатам этого исследования были ниже, чем для исследования Р1КЬ8. Лидерами ТГМ88 неизменно оказывались азиатские страны (табл. 2), исторически принадлежащие к буддийской культуре и в настоящее время относящиеся к наиболее развитым в технологическом отношении (Китай в этом исследовании представлял единственный регион - Гонконг).
Математика Естествознание
Рисунок 1.
Динамика показателей теста Т1М88 в России. Числа над столбиками -международные рейтинги России
Исследование Т1М88: страны и регионы, занимавшие 1-3 места
Таблица 2
1995 г. 1999 г. 2003 г. 2007 г. 2011 г.
Математика, 4 класс - - Сингапур Гонконг Япония Гонконг Сингапур Тайвань Сингапур Южн. Корея Гонконг
Математика, 8 класс Сингапур Южн. Корея Япония Сингапур Южн. Корея Тайвань Сингапур Южн. Корея Гонконг Тайвань Южн. Корея Сингапур Южн. Корея Сингапур Тайвань
Естествознание, 4 класс - - Сингапур Тайвань Япония Сингапур Тайвань Гонконг Южн. Корея Сингапур Финляндия
Естествознание, 8 класс Сингапур Чехия Япония Тайвань Сингапур Венгрия Сингапур Тайвань Южн. Корея Сингапур Тайвань Япония Сингапур Тайвань Южн. Корея
Рисунок 2.
Динамика результатов теста PISA в постсоветских государствах
В исследовании PISA показатели 15-летних российских школьников по всем шкалам теста были устойчиво ниже среднего уровня для стран ОЭСР, близкого к нормативного уровню в 500 баллов (табл. 3), а также показателей регионов Китая, участвовавших в этом исследовании (табл. 4). По сравнению с бывшими республиками СССР, имевшими на протяжении нескольких десятилетий единую систему образования, Россия уступает прибалтийским странам, принявшим в качестве эталона западную систему образования. Однако и в этой группе стран превзойти средний уровень стран ОЭСР (как и вступить в ОЭСР) удалось только Эстонии.
Таблица 3
Динамика показателей теста PISA в России и некоторых странах ОЭСР
Страна Год Средний балл Чтение Математика Естествознание
2000 500 500 500 500
Среднее по странам ОЭСР 2003 498 494 500 500
2006 497 492 498 500
2009 497 493 496 501
2012 496 493 494 501
2000 467 462 478 460
2003 468 442 468 489
Россия 2006 465 440 476 479
2009 468 459 468 478
2012 481 475 482 486
2000 499 504 493 499
2003 490 494 483 491
США 2006 482 - 474 489
2009 496 500 487 502
2012 492 498 481 497
2000 532 534 533 529
2003 526 528 532 519
Канада 2006 529 527 527 534
2009 527 524 527 529
2012 522 523 518 525
2000 410 422 387 422
2003 397 400 385 405
Мексика 2006 409 410 406 410
2009 420 425 419 416
2012 417 424 413 415
2000 543 522 557 550
2003 527 498 527 525
Япония 2006 517 498 523 531
2009 529 520 539 539
2012 540 538 536 547
2000 541 525 547 552
2003 538 534 542 538
Южная Корея 2006 542 556 547 522
2009 541 539 546 538
2012 543 536 554 538
2000 540 546 536 538
2003 545 543 544 548
Финляндия 2006 553 547 548 563
2009 544 536 541 554
2012 529 524 519 545
2006 445 439 442 454
Израиль 2009 459 474 447 455
2012 474 486 466 470
Таблица 4
Динамика показателей теста PISA в регионах Китая
Страна Год Средний балл Чтение Математика Естествознание
2003 533 510 550 539
2006 542 536 547 542
2009 546 533 555 549
2012 554 542 561 551
2003 517 498 527 525
Макао 2006 508 492 521 511
2012 523 509 538 521
2009 577 556 600 575
2012 588 570 613 580
Средний балл PISA для российских школьников был всегда значительно ниже по сравнению баллами TIMSS и PIRLS (притом, что нормативный средний балл в этих исследованиях одинаков). Из этого факта, учитывая снижение результатов TIMSS с возрастом, нередко делают вывод о том, что качество российского образования непрерывно снижается от 4-го класса к 8-му и далее. Однако вопрос о причине снижения результатов PISA по сравнению с TIMSS и PIRLS представляется не столь простым. Т. Хавенсон и М. Карной1 охарактеризовали разрыв результатов теста по математике между 13-14-летними участниками TIMSS и 15-летними участниками PISA как «загадку результатов России» и связали ее с тем, что TIMSS и PISA измеряют разное. Действительно, подавляющее большинство российских участников PISA обычно составляли ученики 9-го класса. Поэтому генеральные совокупности школьников, охваченных исследованием TIMSS в 2011 г. и PISA в 2012 г., должны были если не полностью совпадать, то не сильно различаться, следовательно, не должны были существенно различаться и результаты. Однако значительно более высокие результаты в тесте TIMSS-2011 по сравнению с PISA-2012 были характерны не только для России, но и для большинства стран, принявших участие в обоих исследованиях, причем по обеим шкалам (рис. 3). Даже для Южной Кореи -одного из постоянных лидеров PISA - результаты PISA-2012 по сравнению с TIMSS-2011 были ниже по математике на 59 баллов, а по естествознанию - на 22 балла. Сравнение одноименных шкал PISA-2012 и TIMSS-2011 по критерию знаков показало, что гипотеза о соответствии этих шкал должна быть отвергнута (p<0,001 для обеих шкал). Неэквивалентность одноименных шкал подтверждает предположение о том, что TIMSS и PISA измеряют разные характеристики.
Естествознание Математика
Гонконг
Н. Зеландия
Австралия
Норвегия
Малайзия
Таиланд
Италия
Финляндия
Япония
Чили
ОАЭ
Литва
Англия
Турция
Южная Корея
Шветш
Индонезия
Румыния
США
Венгрия
Словения
Катар
Сингапур
Иордания
Тунис
Тайвань
Израиль
Россия
Казахстан
Норвегия Н. Зеландия Чили
Финляндия
Таиланд
Австралия
Турция
Словения
Швеция
Индонезия
Англия
Румыния
Италия
Малайзия
Иордания
ОАЭ
Литва
Гонконг
США
Венгрия
Катар
Япония
Тунис
Сингапур
Тайвань
Израиль
Казахстан
Россия
Южная Корея
-70 -60 -50 -40 -30 -20 -1 0 0 10 20 Разность средних баллов PISA-ЦП2 и TIMSS-Z011 (S класс)
-60 -50 -40 -30 -20 -10 0 10 20 Разность средних баллов PISA-Î011 и TIMSS-2011 (S класс)
Рисунок 3.
Разность баллов PISA-2012 и TIMSS-2011 (8-й класс) в странах мира
На рис. 4 приведены результаты сравнения оценок качества чтения в тестах PIRLS-2006 и PISA-2012. В большинстве стран основную часть участников теста PIRLS-2006 составили ученики 4-го класса, а в PISA-2012 - 10-го, поэтому генеральные совокупности потенциальных участников в этих исследованиях были близки.
Если бы тесты PIRLS и PISA измеряли одни и те же характеристики и по эквивалентным шкалам, то из данных рис. 4 пришлось бы сделать вывод о снижении качества чтения старшеклассников по сравнению с учениками начальной школы почти во всех странах, в том числе и в наиболее успешных по всем международным тестам (Гонконг, Сингапур, Тайвань).
Приведенные результаты показывают, что тесты TIMSS, PIRLS и PISA не образуют единой однородной системы измерения достижений в области чтения, математики и естествознания, пригодной для мониторинга качества подготовки школьников на всем протяжении обучения в начальной, неполной средней и средней школе.
К сожалению, определить, что именно измеряют тесты PISA, невозможно. Полный перечень вопросов этого исследования его организаторы не раскрывают. Публикуются лишь примеры задач, использованных в отдельные годы. Поскольку за два часа тестирования предъявляется 50-60 вопросов, т.е. на чтение и решение каждого вопроса приходится около двух минут, можно предположить, что вопросов, требующих длительных размышлений, в таких условиях быть не должно. При таком режиме тестирования измеряются не столько знания и способность ими пользоваться, сколько способность к работе в условиях лимита и дефицита времени, концентрация и переключение внимания. Не случайно неизменными лидерами по результатам тестов оказываются страны буддийской культуры: Япония, Южная Корея, Сингапур, Тайвань, а также отдельные регионы Китая, участвующие в проекте PISA: Шанхай, Гонконг и Ма-
1 Хавенсон Т.Е., Карной М. Могут ли международные тесты дать информацию для образовательной политики: пристальный взгляд на достижения студентов России и ее соседей // Международная конференция «Российское образование в зеркале международных сравнительных исследований». - http://www.hse.ru/data/2013/08/15/1291448546/Хавенсон,%20Карной%20Конференция% 20РА0_20.06.2013^
као, для которых характерна высокая дисциплина. Среди стран Европы и Америки результаты такого уровня устойчиво показывают только Финляндия и Канада.
Катар Норвегия Польша Индонезия Тайвань Сингапур Франция Гонконг Н.Зеландия Испания Израиль Исландия Нидерланды Германия Словения США
Австрия Дания Румыния Латвия Литва Италия Венгрия Швеция Словакия Люксембург Россия Болгария
-120 -100 -80 -60 -40 -20 0 20 40 Разность средних баллов PISA-2012 hPIRLS-2006
Рисунок 4.
Разность оценок читательской грамотности в тестах PISA и PIRLS
Наиболее серьезным недостатком теста PISA является наличие некорректных тестовых заданий и критериев оценки ответов. Академик В. А. Васильев, председатель комиссии Отделения математики РАН по преподаванию математики в школе и член исполкома Международного математического союза, ответственный за связь с Международной комиссией по преподаванию математики, опубликовал анализ нескольких подобных заданий. Среди них - пример задания с выбором ответа, в котором невозможно выбрать среди представленных вариантов не только правильный, но даже и (как это рекомендуется инструкциями PISA, если ни один из ответов не кажется тестируемому правильным) максимально близкий к правильному:
«Вопрос. Какое утверждение объясняет смену дня и ночи на Земле?
A) Земля вращается вокруг своей оси.
B) Солнце вращается вокруг своей оси.
C) ось Земли наклонена.
D) Земля обращается вокруг Солнца.
Верным объяснением объявлено (A) - Земля вращается вокруг своей оси... Правильное же объяснение состоит в том, что скорость вращения Земли вокруг Солнца отлична от скорости ее вращения вокруг своей оси или, что то же самое, период обращения Земли вокруг своей оси не равен одному году. Отсюда же видно, что объяснение (A) равноправно с объяснением (D). . Мне не жалко, если троечник, искренне считающий, что правильный ответ (A) (а следовательно, понимающий хоть что-то), получит положительную оценку. Мне жалко, что эта задача не предусматривает места под солнцем для хорошиста или отличника, понимающего правильный ответ: он оказывается перед гадкой альтернативой - либо получить ноль, либо постараться угадать ответ, который глупые дяди и тети считают правиль-ным»1. К этому можно добавить, что ученик, осознавший некорректность задания, испытает дополнительное стрессовое воздействие, ухудшающее для него условия тестирования.
Примером многочисленных дефектов как в формулировке задания, так и в критериях оценки, может служить группа заданий «Яблони»2:
«Фермер на садовом участке высаживает яблони в форме квадрата, как показано на рисунке. Для защиты яблонь от ветра он сажает по краям участка хвойные деревья.
На рисунке изображены схемы посадки яблонь и хвойных деревьев для нескольких значений n, где n - количество рядов высаженных яблонь. Эту последовательность можно продолжить для любого числа n. Вопрос 1.Заполните таблицу.
Вопрос 2. В рассмотренной выше последовательности количество посаженных яблонь и хвойных деревьев под-считывается следующим образом: количество яблонь = n2, количество хвойных деревьев = 8n, где n - число рядов высаженных яблонь.
Чтение
1 Васильев В.А. Испытание «П» // Независимая газета. - М., 2005. - 8 июня. - С. 14.
2
Международная программа PISA 2000. Примеры заданий по чтению, математике и естествознанию. -
М., 2003. - С. 71-88.
Для какого значения п число яблонь будет равно числу посаженных вокруг них хвойных деревьев? Запишите решение.
Вопрос 3. Предположим, что фермер решил постепенно увеличивать число рядов яблонь на своем участке. Что при этом будет увеличиваться быстрее: количество высаживаемых яблонь или количество хвойных деревьев? Запишите объяснение своего ответа».
п= 1 п= ■2 п= :3 п= 4
! X X X X X X X X X X X X X X X X XXX X X X X
! * X X • ф X X « * ф X X ф ф ф ф X
! X X X X X X X X
X в • X X • « • X X • ф ф ф X
X X X X X X X X X
X * ф * X X ф ф ф ф X
X X X X X X X X X
X * ф ф ф X
X X XXX X X X X
п Количество яблонь Количество хвойных деревьев
1 1 е
2 4
3
4
5
х - хвоиное дерево ф-яолоня
Рисунок 5.
Группа заданий «Яблони»: рисунок к заданию и таблица к вопросу 1.
Очевидно, что эта группа заданий не имеет практического смысла, а представляет собой лишь неуклюжую попытку придать практическую интерпретацию чисто математической задаче. Из-за наличия подобных заданий претензия на возможность теста PISA оценить способности к практическому применению полученных в школе знаний и умений, по меньшей мере, не вполне обоснована.
В формулировке вопроса 2 содержится явная подсказка к ответу на вопрос 1 (за правильное заполнение всех пустых ячеек начисляется 548 баллов, т.е. это задание имеет средний уровень трудности). Таким образом, и тот, кто пропустил вопрос 1 из-за неспособности на него ответить, и тот, кто при чтении задания сразу разглядел подсказку и воспользовался ею, получают преимущество перед учеником, потратившим время на самостоятельный поиск закономерности.
Полный балл за вопрос 2 (655 баллов) начисляется за явно неравноценные ответы:
- правильный ответ (n=8), для которого показано, что он был получен путем решения уравнения n2=8n с последующим исключением корня, не имеющего смысла в условиях данной задачи (n=0);
- решение, в котором приведены оба корня уравнения: n=8 и n=0;
- правильный ответ (n=8), для которого, вопреки условию, не приведен способ, которым он был получен, но путем подстановки показано, что он удовлетворяет уравнению n2=8n.
Одинаковая оценка для ответов, полученных как путем использования математических методов, так и путем подбора или просто угаданных, применяется и в других заданиях PISA. Едва ли можно считать такой подход к оценке математической подготовки корректным.
Максимальная оценка за вопрос 3 (723 балла) присваивается за ответ «Число яблонь», если он сопровождается объяснениями типа: «Число яблонь увеличивается быстрее, так как это число возводится в квадрат, а не умножается на 8» или «Число яблонь квадратично. Число хвойных деревьев - линейно. Таким образом, число яблонь возрастает быстрее». Эти объяснения нельзя считать верными, поскольку они демонстрируют непонимание того, что квадратичная функция растет быстрее линейной не при любых значениях аргумента (а в определенной области значений и убывает).
Ответы: «Число яблонь при n>8» или «После 8 рядов число яблонь будет увеличиваться быстрее, чем число хвойных деревьев» оцениваются в 672 балла как частично правильные, поскольку они не содержат объяснения. В том, что эти ответы сами по себе неверны, можно убедиться, заполняя (самостоятельно или с помощью подсказки из вопроса 2) таблицу к вопросу 1: в 5-м ряду число яблонь увеличивается на 9, а число хвойных деревьев - на 8. Правильный же ответ - число яблонь увеличивается быстрее числа хвойных деревьев при увеличении числа рядов, начиная с 4, вместе с правильным объяснением, основанным на формулах прироста числа яблонь и хвойных деревьев, в описании критериев оценки для этого задания не указан вовсе.
А.В. Краснянский выявил в опубликованных примерах заданий PISA десятки некорректных, содержащих логические и фактические ошибки1. По его мнению, использование некорректных заданий исключает возможность получения объективной информации о знаниях и умениях учащихся. Следовательно, анализировать результаты тестирования учащихся с помощью этой программы не имеет смысла. Сильно смягчая эту формулировку, можно сказать, что любые выводы, полученные на основании анализа результатов тестов PISA, являются не более чем гипотезами, требующими подтверждения на основе более надежных данных.
Наличие заданий с неверным критерием оценки может привести как к искажению средних баллов PISA для участников, которым такие задания достались, так и к снижению точности даже усредненных результатов отдельных
1 Краснянский А.В. Критический анализ международной программы по оценке образовательных достижений.
- http://avkrasn.com/category-47.html.
стран. Таким образом, исследования PIRLS, TIMSS и PISA далеко не равноценны с точки зрения их использования для анализа динамики образовательных достижений и межстрановых сравнений. Данные PISA можно использовать, не опасаясь искажения выводов, только в случае предварительного исключения результатов, относящихся к некорректным заданиям. Однако в настоящее время система доступа к базе данных этого исследования не обеспечивает такой возможности.
Непригодность теста PISA к выявлению наиболее способных и подготовленных школьников подтверждается и расхождением между его результатами и результатами международных школьных олимпиад. Так, для России в 2012 г. доля участников PISA, отнесенных к 6-му - высшему - уровню достижений по математике (с результатом более 630 баллов), составила 1,5% (в предшествующих циклах она была еще ниже), а для Финляндии - 3,5%. Однако по результатам международных математических олимпиад в период с 2000 г. Россия уступала только Китаю, а Финляндия никогда не поднималась выше 38-го места1. Аналогична ситуация и с олимпиадами по физике, химии и биологии.
Отдельная проблема организации мониторинговых исследований и интерпретации их результатов - репрезентативность выборки участников. В исследовании Carnoy and Rothstein2 было показано, что результаты школьников США в исследовании PISA-2009 могли быть существенно смещены в сторону занижения из-за погрешности формирования выборок. В этом исследовании 16% участников представляли школы с высокой концентрацией бедности (в которых не менее 75% учеников получали бесплатное или льготное питание). Однако, согласно данным национальной статистики, среди старшеклассников США в таких школах обучались только 6%. В США отдельные школы и целые учебные округа могли отказаться от участия в PISA, и, вероятно, воспользовались этим правом наиболее обеспеченные и, в силу этого, менее зависимые от центральных органов управления образованием. В то же время Китай во всех циклах исследования PISA представляли только наиболее развитые в экономическом отношении мегаполисы. Большинство участников PISA составляли ученики 10 класса, тогда как обязательное бесплатное образование в этой стране - 9-летнее. Таким образом, в выборке участников была представлена наиболее обеспеченная часть населения. В России в международных мониторинговых исследованиях принимают участие только школы с русским языком обучения, что также приводит к смещению оценок образовательного потенциала страны.
Естественно, что критика теста PISA исходит в первую очередь от представителей стран, недовольных своими результатами, в том числе от России и США. Однако, например, и в благополучной по показателям PISA Эстонии отмечается несоответствие результатов этого теста реальному уровню подготовки школьников. Мнение Майта Клаас-сена, ректора Эстонского университета естественных наук, таково: «Результаты тестов PISA говорят о том, что у детей хорошо развита логика и их обучают на должном уровне. Однако если в университете нам приходится заново учить их элементарной физике и химии, то очевидно, что в этой системе тестирования что-то не так»3.
Результаты исследования PIAAC (рис. 6) показали, что между определяемыми по близким методикам показателями читательской и математической грамотности населения в возрасте 16-64 лет и одноименными показателями 15-летних школьников в тестах PISA нет однозначной связи. Если Япония и Финляндия имели высокие результаты в обоих исследованиях, то для Южной Кореи, также входящей в число лидеров PISA, результаты тестирования взрослых оказались ниже среднего уровня ОЭСР. Такая особенность результатов Кореи была объяснена как следствие недавнего перехода страны к современной системе образования4, обеспечившего высокий уровень достижений молодой части населения, но в меньшей степени затронувшего старшие поколения.
Россия в исследовании PIAAC по обеим дисциплинам показала результаты, соответствующие среднему уровню стран ОЭСР. При этом российская выборка не включала жителей Москвы, что, вероятно, должно было понизить общую оценку. В то же время в данном цикле исследования не участвовали страны ОЭСР, имеющие самые низкие показатели PISA (Мексика, Чили, Турция, Греция, Израиль), что дает основание считать среднюю оценку по странам ОЭСР завышенной. Если принимать на веру оценки PIAAC и PISA, то более низкий международный рейтинг российских школьников по сравнению со старшим населением означает, что результаты реформирования российского образования негативны (в противоположность Южной Корее).
Условием эффективного управления образованием является знание обо всех значимых параметрах образовательного потенциала населения и о возможностях их изменения путем воздействия на факторы образовательной среды. В исследованиях PIRLS, TIMSS, PISA и PIAAC объектом мониторинга является узкий спектр знаний и навыков, сводящийся в основном к умению вычитывать информацию из текста и в высоком темпе решать большое количество несложных задач. За рамками исследований остаются способности к решению сложных задач, развитие устной речи и навыки материальной деятельности. Таким образом, результаты этих исследований не дают полного представления о текущем состоянии образования, не отражают многогранности влияния результатов школьного образования на процессы, протекающие в обществе, и не позволяют оценить степени соответствия образовательного потенциала задачам эффективного развития России.
Мониторинг факторов образовательной среды в исследованиях PIRLS, TIMSS и PISA основан исключительно на субъективных оценках. Все данные по этим показателям собираются путем анкетирования (школьника, его родителей, руководителя учебного заведения, учителей). При этом у участников анкетирования часто отсутствуют стимулы
1 Международные математические олимпиады школьников. - http://www.polyomino.org.uk/mathematics/imo-scores
2 Carnoy M., Rothstein R. What do international tests really show about U.S. student performance? / Economic Policy Institute Report. 2013. - January 28.
3 http://rus.err.ee/v/estonia/61c2f4a6-5596-41de-beca-1868d115ec0d
4 OECD Skills Outlook 2013: First Results from the Survey of Adult Skills. OECD Publishing. - P. 105. - http://dx.doi.org/10.1787/ 9789264204256-en
для искреннего ответа на вопросы анкеты, да и вообще для того, чтобы на них отвечать. На некоторые вопросы анкет значительное число участников не дало никакого ответа.
Рисунок 6.
Средние баллы стран в исследовании PIAAC по математике и чтению
Среди показателей мониторинга отсутствуют объективные характеристики национальных образовательных систем, оказывающих значимое влияние на результаты тестирования, в частности, уровень развития дошкольного образования. Страны, в которых тестирование широко используется в учебном процессе (китайские школьники, например, дважды в год, начиная с первого класса, сдают экзамены в тестовой форме), имеют очевидное преимущество перед странами, где эта форма контроля знаний менее распространена.
Число регистрируемых факторов образовательной среды очень велико (в анкетах PIRLS и TIMSS многие десятки вопросов, а в анкетах PISA - сотни). В целях повышения информативности мониторинга необходимо сократить размерность пространства факторов.
В совокупности исследования PIRLS, TIMSS и PISA не обеспечивают точных и надежных оценок образовательного потенциала страны, достаточных для построения на их основе эффективных стратегий управления образованием.
Эффективное управление невозможно без определения целей управления и индикаторов соответствия этим целям текущего состояния управляемой системы. Ориентация государственной программы развития образования на показатели международных исследований, в планировании которых Россия не играет никакой роли или же ее роль незначительна, свидетельствует об отсутствии целеполагания в области образования как необходимой подсистемы суверенного развития. Национальная система мониторинга и управления образованием может использовать отдельные методы международных исследований, но полезной она может быть только в том случае, если отражает стратегические цели развития страны, требования к системе образования, порождаемые этими целями, комплексную картину состояния образования, специфику национальных ресурсов развития. Такую мониторинговую систему невозможно построить и эффективно использовать без широкого привлечения отечественной учительской, преподавательской и научной общественности.
