CC BY
101...................................................................................................................................................................ЭШШШ;.......шиш,......ШНШШ
СТРАТЕГИЯ МЕЖДУНАРОДНОГО СОТРУДНИЧЕСТВА В ЗЕРКАЛЕ СРАВНИТЕЛЬНЫХ ИССЛЕДОВАНИЙ PIRLS, TIMSS, PISA
Людмила Ивановна Писарева,
кандидат педагогических наук, старший научный сотрудник ФГНБУ «Институт стратегии развития образования Российской академии образования», Центра педагогической компаративистики pisareva-l@list.ru
• качество образования • методология международных исследований • международные проекты • целевая ориентация образования • методология оценивания
• международная методика измерения учебных достижений
Стратегию развития любой страны формирует время, его вызовы, проблемы, ценности. Сегодня мир переживает серьёзные экономические, политические, социокультурные и нравственно-этические коллизии, которые всё решительнее воздействуют на судьбы людей, государств, их внутреннюю и внешнюю политику, определяя вектор национального развития.
Стратегия развития образования - это переход от решения традиционных для государственной национальной образовательной политики задач к задачам более широкого (глобального) масштаба, стоящим перед мировым сообществом, отказ от конфронтации в пользу сотрудничества, соревновательности и здоровой конкуренции.
Существующие между странами различия в стратегических приоритетах отчётливо проявились на рубеже веков в расстановке сил в мире, что опосредованно определило направление развития национальной науки, культуры, просвещения, представленных в единой государственной культурной политике любой страны.
Фактически общие для большинства стран сложнейшие проблемы стратегического характера оказалось возможным решать лишь при содействии различных международных организаций, которые занялись рас-
смотрением важнейших вопросов, выходящих далеко за национальные рамки. Они включили в свою деятельность широкий круг научных и практических задач, связанных с разработкой проектов с чётко выверенной программой стратегического развития, учитывающей все факторы влияния современных инфраструктур, новых технологий, требований рынка труда, социума на жизнь индивида, общества, страны в целом, как составной части общеевропейской образовательной политики.
Основной целью международных организаций становится объединение имеющихся ресурсов для расширения интеграционных процессов по сближению национальных систем для выравнивания темпов их развития и наиболее полного использования социального, политического и культурного потенциала.
«Растущая взаимозависимость стран и народов, расширение контактов между людьми разных национальностей, рас и конфессий, экспорт и импорт экономических и социокультурных моделей за пределы национальных границ создали благоприятные условия для плодотворного использования лучшего международного опыта и его дальнейшего позитивного развития» [3, с. 8].
Совместная международная деятельность способствовала значительным изменениям,
произошедшим в методологии взаимодействия различных стран и их совместного решения актуальных проблем современного образования и прежде всего оценки его качества.
Ведущую роль в развитии и взаимодействии государств в мировом образовательном пространстве стали играть международные сравнительные исследования, инициируемые и продвигаемые в первую очередь международной организацией по оценке качества образования (International Association for the Evaluation of Achievement - 1ЕА). Её основной целью была подготовка рекомендаций по улучшению образования в странах мира, а затем и управление масштабными сравнительными исследованиями с анализом причин различий, существующих как внутри, так и между системами образования.
В результате была создана новая модель сотрудничества в области образования между государствами в рамках международных проектов, которые заявили о себе как о новой тенденции деловых связей между партнёрами. Речь идёт о совместной международной деятельности, качественно отличающейся от традиционно ранее сложившихся форм взаимоотношений, обмена научной информацией на симпозиумах, семинарах, конференциях, круглых столах, совместного издания педагогической литературы.
В 90-е годы в практику, например, российского образования входят так называемые пилотные проекты: «Пилотные школы», «Канал один», «Видеотоварищество», «Школьная электронная почта» и др., большинство из которых осуществлялось американскими проектантами под руководством Министерства образования РФ. В рамках данных проектов проводилась исследовательская работа по поиску и выявлению педагогических, методических, технических и организационных факторов эффективного использования новых технологий, методик и направлений в отечественном образовании. При этом ставилась задача не только адаптации и трансформации зарубежного (в основном американского) опыта в российские школы, но и расширения методологической базы, обновления научно-методического инструментария [1, с. 35, 41].
Международное сотрудничество, начиная с этого времени, положило начало активному участию в интенсивно развивающихся международных исследованиях в области образования в мире, объективно вытесняющих и одновременно обогащающих традиционные национальные и региональные исследования качества образования новыми формами и методами педагогического измерения учебных достижений учащихся.
Разработкой проектов, на основе которых должно было обновляться российское образование, занимались инновационные центры, объединившиеся в один научно-исследовательский коллектив «Школа».
В 1992 г. создаётся совместный Российско-американский международный университет, а также Высшая школа экономики, курировавшая процесс перестройки в образовании. Подписывается серия соглашений с Всемирным банком (МБРР), Фондом Сороса, Фондом Карнеги. В перестройке российского образования значительную роль играли Российский общественный совет по развитию образования (РОСРО), Институт проблем образовательной политики, курирующий сеть экспериментальных площадок, и Федеральный институт развития образования (ФИРО).
Российские школы начали участвовать в международных сравнительных исследованиях по определению учебных достижений учащихся разных возрастов по разным школьным предметам, которые проводятся Центром оценки качества образования при Институте содержания и методов обучения РАО, реорганизованного в 2015 году в ФГБНУ «Институт стратегии развития образования РАО». Последнее международное сравнительное исследование проведено институтом в апреле 2016 года в рамках исследования PIRLS «Исследование качества чтения и понимания текста учащихся 4-го класса» (Progress in International Reading Literacy Study).
Из большого количества международных исследований по изучению уровня подготовки учащихся по ведущим учебным дисциплинам, проводимым ИЕА с 60-х годов ХХ в., (по математике 1959-1967 гг. и 19761987 гг.; по естествознанию 1966-1973 гг. и 1980-1989 гг.; по математике и естество-
знанию 1995-1999 гг.), особого внимания заслуживают исследования PIRLS, TIMSS и PISA, проводимые с 2000 годов.
PIRLS (ПИРЛС) - исследования грамотности чтения, рассчитанные на выпускников начальной ступени обучения и призванные оценить не только полученные в школе знания и умения, но и способность применять знания в незнакомой ситуации, письменно выражать своё мнение и умение ориентироваться в определённой ситуации. PIRLS были организованы «в помощь» TIMSS, т.к. исследования читательских компетенций учащихся, признанные ключевыми и не менее значимыми, чем естественно-математические, нуждались в расширении.
TIMSS (ТИМСС) - исследования уровня подготовки школьников по математике и естествознанию, рассчитанные на учащихся основной ступени обучения.
PISA (ПИЗА) - исследования по программе оценки учебных достижений по чтению, математике, естествознанию, рассчитанной на среднюю школьную ступень, пятнадцатилетних учащихся из экономически развитых стран мира. PISA - наиболее массовое мониторинговое исследование достижений учащихся, основная цель которого оценить способность применять полученные знания и умения в различных жизненных ситуациях, а не освоение школьной программы [7, с. 14, 17, 23].
Эти исследования ставили перед собой следующие задачи:
- выяснение того, чем отличаются системы подготовки учащихся из разных стран;
- изменение целевых ориентаций в обучении и переход от формирования человека обученного, квалифицированного исполнителя, к формированию человека обучаемого, способного в условиях информационного общества самостоятельно учиться, переучиваться, ответственно действовать и быть готовым решать возникающие проблемы;
- определение того, что должен знать и уметь современный выпускник школы для эффективного функционирования в обществе;
- создание системы мониторинга образовательных достижений;
- создание международной методики, единого инструментария измерения учебных
достижений учащихся для всех стран-участниц международных сравнительных исследований;
- создание системы международных стандартов [8].
Указанные выше исследования, проводимые циклично PIRLS (2001, 2006, 2011, 2016); TIMSS (2003, 2007); PISA (2000, 2003, 2006, 2009, 2012, 2015), дают возможность следить за динамикой их развития на основе полученных результатов, их анализа, определения тенденций и внесения корректив в последующие исследования.
В международных исследованиях участвует более сотни стран, которые по показателям уровня развития человеческого потенциала (ИРЧП) и уровня развития образования (ИРО) на различных ступенях обучения (начальной, средней и высшей) разделяются на три группы: с высоким (55 стран), со средним (86 стран) и низким (36 стран) уровнем развития [7, с. 143].
Большинство стран Европы, Австралия, Новая Зеландия, Корея, США, Япония проводят свои национальные исследования в соответствии с международными стандартами оценки качества образования. Лидируют по их применению США, Германия, Япония и Австралия [7].
Наибольший интерес для РФ вызывают результаты таких стран как США, Великобритания, Германия, Италия, Канада, Франция и Япония. Традиционные представления о них, как о самых передовых в образовании при проведении в 2000 г. исследования ПИЗА, неожиданно оказались «завышенными», так как в число стран, получивших высокие оценки, вошли азиатские страны - Южная Корея, Тайвань, Гонконг, а из европейских стран - Финляндия.
Что касается общей характеристики сравнительных исследований 2000-2016 гг., то PISA как наиболее широкомасштабное мониторинговое исследование знаний и умений учащихся по чтению, математике и естествознанию заслуживает наибольшего внимания, и не в последнюю очередь, из-за широкого резонанса, вызванного в обществе его результатами, а также развернувшимися дискуссиями и массой предложений по преобразованиям в школьных системах.
В исследовании PISA участвовали: в 2000 г. -32 государства; в 2003 г. - 43, в 2006 г. - 57, в 2009 г. - 65, в 2012 г. - 63, в 2015 г. - 70 государств.
Исследования проводятся трёхлетними циклами и в каждом приоритет отдан одной из трёх областей грамотности: в 2000 г. - чтению, в 2003 г. - математике, в 2006 г. - естествознанию, в 2009 г. - чтению, в 2012 г. -математике, в 2015 г. - естествознанию. Это значит, что более половины заданий отведено приоритетной области, но одновременно оцениваются и другие.
Целью и задачей исследования PISA является: оценка функциональной грамотности 15-летних учащихся в области математики, естествознания и чтения; оценка качества и доступности образования; выявление динамики результатов (2000-2012 гг.); выявление факторов, позволяющих объяснить различия в результатах.
В рамках исследования PISA было разработано новое направление в изучении общеобразовательной подготовки 15-летних учащихся, получившее название «Решение проблем». Под этим термином понимается способность использовать когнитивные (познавательные) умения для решения реальных комплексных проблем, в которых с первого взгляда способ решения явно не определяется. При этом необходимые умения не формируются в рамках только одного учебного предмета (требуется использование умений и знаний, полученных в рамках изучения различных учебных предметов или из других внешних источников информации). [ 9. с. 33].
Наиболее впечатляющими и даже шокирующими для большинства стран-участниц исследования PISA-2000 были результаты, а затем и реакция на них в различных странах, что для международных экспертов не могло быть неожиданностью, точнее, они были предсказуемы или даже «запланированы» (запрограммированы).
В международных тестах PISA учащимся предлагались задания, априори рассчитанные на «неправильные» ответы. Несмотря на их цель выяснить, насколько успешно учащиеся используют полученные в школе знания и навыки на практике, в содержании
тестов более чётко просматривались «пожелания» на будущее: как и чему надо учить и что должен знать 15-летний школьник на выходе из системы обязательного образования в повседневной жизни, а не столько «проверка пройденного». Не случайно лозунг PISA - «Учёба для жизни!».
Предложенные учащимся задания исходили из определения понятий читательская грамотность, математическая грамотность и естественнонаучная грамотность, которые были сформулированы следующим образом:
«Под читательской грамотностью (грамотностью чтения) имеется в виду: способность к осмыслению письменных текстов и рефлексии на них, к использованию их содержания для достижения собственных целей, развития знаний и возможностей, для активного участия в жизни общества».
«Под математической грамотностью понимается: способность человека определять и понимать роль математики в мире, в котором он живёт, высказывать хорошо обоснованные математические суждения и использовать математику так, чтобы удовлетворять в настоящем и будущем потребности, присущие сознательному, заинтересованному и мыслящему гражданину».
«Под естественнонаучной грамотностью имеется в виду: способность осваивать и использовать естественнонаучные знания, выявлять проблемы и делать обоснованные выводы, необходимые для понимания окружающего мира и тех изменений, которые вносит в него деятельность человека, и для принятия соответствующих решений» [9, с. 27-29].
Все задания исследования PISA контекстно-ориентированы, т.е. они основаны не на учебных ситуациях, а разрабатываются в связи с проблемными ситуациями, с которыми могут встретиться выпускники школы в реальной жизни.
Как констатирует Г.С. Ковалева, руководитель Центра оценки качества образования, национальный координатор исследования PISA в РФ: «Даже краткое описание подходов к формированию заданий показывает, насколько международный тест был непри-
вычен для российских учащихся. Непривычными были содержание, социальный аспект рассматриваемых явлений, необычный формат заданий. Всё это не могло не повлиять на результаты российских учащихся» [4. с. 175].
В большинстве случаев подростки из разных стран этого в школе «не проходили», это им «не задавали», то есть они были ориентированы на другие задачи и потому «обречены» на получение более низких баллов, чем ожидалось.
Проводившиеся ранее пилотные региональные исследования успеваемости учащихся общеобразовательных школ в среднем давали незначительные расхождения результатов, которые широко не рекламировались и не обсуждались. Они не вызывали тревоги и не свидетельствовали о «неблагополучии» с успеваемостью школьников по ведущим учебным предметам, в том числе при сопоставлении с данными успеваемости их ровесников из других стран.
Ниже приведён список стран, достижения которых по читательской (ЧГ), математической (МГ) и естественнонаучной грамотности (ЕНГ) отражены в соответствующих баллах в табл. 1 по результатам исследования РЮА-2000 [10].
Использовалась 1000-балльная шкала со средним значением 500 баллов и стандартным отклонением - 100 (средний показатель за все годы остался 496 баллов) [10].
Заметные различия, существующие между системами национального образования и их ресурсами (потенциалами), в исследова-
нии PISA 2000 г. обернулись для большинства стран-участниц неизвестной стороной.
В число стран-лидеров вошли Финляндия, Южная Корея, Канада, Тайвань, Гонконг, естественно, вызвав к себе повышенное внимание со стороны экономически развитых стран, показавших более низкие результаты: РФ заняла 25-е место (27-29-е по чтению, 21-25-е по математике, 26-29-е по естествознанию), Германия - 22-е, США - 15-е, Франция - 14-е место из 32 возможных.
Результаты PISA оказались «громом среди ясного неба» для большинства стран из-за «вдруг» обнаруженных и преданных широкой гласности «недостатков» в «благополучных» национальных системах школьного образования.
Более остро по сравнению с другими экономически развитыми странами были восприняты результаты PISA-2000 Германией, которая по математике и естествознанию заняла 20-е место (490 и 487 баллов), по чтению 21-е место (484 баллов) из 32 возможных. «Плохо читающие» немецкие учащиеся составили 42%, наиболее успешные («сильные») - 9% (в большинстве стран 15% и выше). Между 5% самых «сильных» и 5% самых «слабых» учащихся - наибольшая дистанция [10].
Исследование выявило также наибольшую в Германии зависимость уровня успеваемости от социального происхождения учащихся. Международные сравнительные исследования в Германии, в других странах Европы изменили отношение как к системе образования и методам измерения учебных достиже-
Таблица 1
Страны Оценка качества образования учащихся 15 лет PISA-2000
Общий балл ЧГ МГ ЕНГ
Япония 543 522 557 550
Корея 541 525 547 552
Финляндия 540 546 536 538
Франция 507 505 517 500
Англия 528 523 529 532
Австрия 514 507 515 519
Швейцария 506 494 529 496
США 499 503 493 499
Германия 487 484 490 487
Россия 467 462 478 460
ний, так и к проведению международных и региональных сравнительных исследований успеваемости школьников. Однако как конкретные результаты, так и реакция на них в разных странах были различны, несмотря на очевидное сходство проблем в области общего среднего образования, которые каждая страна решала по-своему.
Низкие результаты ассоциировались в Германии чуть ли не с национальной катастрофой. Они изменили её представления о реальном состоянии немецкой системы образования и стали одновременно мощным детонатором для преобразований в действующей системе школьного образования, а также импульсом для решительных мер по повышению качества подготовки учащихся.
Обращает на себя внимание тот факт, что и в последующих после 2000 г. исследованиях PISA учащиеся многих стран очень не просто справлялись с заданиями, предложенными международными экспертами, и не демонстрировали заметных успехов, что было обусловлено значительными различиями между системами образования, или, точнее сказать, концепциями по таким педагогическим категориям, как:
- дидактические основы учебного процесса, направленного или на передачу знаний или на освоение способов деятельности;
- национальные образовательные стандарты, где приоритет отдаётся или освоению предметного содержания образования и практике запоминания, или активной проблемно-постановочной работе с личностно, социально или глобально ориентированным учебным материалом.
Речь идёт о «столкновении» энциклопедистов с прагматистами, о разных моделях образования:
- модели, ориентирующей на формирование всесторонне развитой личности или «грамотного» потребителя;
- ответственного отношения педагога к выполнению поставленных целей образования или оказания им образовательных услуг;
- замене цели усвоения знаний, умений и навыков системой подготовки для сдачи Единого государственного экзамена (ЕГЭ) и сопутствующих его «преобразований»: сокращение часов на ведущие
учебные предметы из-за «перегруженности» учащихся, отказ от единого образовательного пространства (вариативность, альтернативность, дифференциация, элитарность), ограничение равенства образовательных возможностей, увеличивающаяся разобщённость в образовательной среде и в обществе.
Как пишет эксперт российского проекта «Разработка и апробация основных направлений перехода на новые образовательные стандарты на основе компетентного подхода» Е.Н. Поливанова: «Ориентация на передачу большого массива знаний не формирует самостоятельного мышления. Но именно на запоминание, а потом проверку этого массива и направлена большая часть заданий ЕГЭ» [5, с. 125].
«У нас существует жёстко предметное образование, нацеленность на передачу большого массива знаний, на подготовку энциклопедически образованного выпускника. Школы демонстрируют высокие результаты и воспроизведение тех знаний, фактов и явлений, которые изучаются в школе и уступают учащимся в других странах, применяющих эти знания в ситуациях, близким к учебным», - констатирует Г.С. Ковалёва, заведующая Центром оценки качества образования, национальный координатор исследования PISA в РФ [5, с. 120].
Фактически прогнозируемые международными экспертами невысокие оценочные баллы у большинства учащихся в разных странах в исследовании PISA-2000 повышались с большими трудностями.
Ниже (табл. 2) даны показатели достижений в баллах и занятых странами мест по ЧГ, МГ и ЕНГ, представленные в динамике за период 2009-2012 гг. [11].
Важен сопоставительный анализ результатов PISA-2000 Германии и РФ (соответственно 20-е и 25-е место) и их анализ в последующие годы в целях объективной оценки их динамики.
В 2012 г. Германия заняла 13-22-е место по чтению, 13-17-е - по математике, 18-17-е -по естествознанию. Математическая компетентность у немецких учащихся поднялась
Таблица 2
Страны МГ ЕНГ ЧГ МГ ЕНГ ЧГ
Республика Корея 546 546 539 545 538 536
3-6 3-6 2-4 3-5 5-8 2-4
Финляндия 541 541 536 519 545 524
4-7 4-7 2-4 10-15 4-6 6-10
Япония 529 529 420 536 547 538
8-12 8-12 5-9 6-9 3-6 2-5
Швейцария 534 534 501 531 515 509
6-9 6-9 11-21 7-9 17-22 13-22
США 487 502 500 481 497 498
11-25 19-29 11-25 31-39 24-35 22-28
Германия 513 520 497 514 524 508
14-26 10-15 14- 26 13-17 8-17 13-22
Франция 497 448 496 495 499 505
19-28 22-33 14-27 23-29 24-31 16-23
Великобритания 492 514 494 494 514 499
23-31 14-19 19-27 23-31 16-22 20-26
Австрия 496 494 470 506 506 490
20-28 25-36 36-41 17-22 22-26 25-34
Россия 468 478 459 482 486 475
38-39 33-40 41-43 31-39 34-38 38-42
на 13 пунктов с 2000 г. [11]. Россия заняла 41-43-е место по чтению, 41-43-е - по математике, 33-40-е - по естествознанию из 63 возможных по числу стран-участниц. Динамика по результатам компетентности в 2012 г. у российских школьников выражена в повышении на 14 баллов по МГ, на 16 баллов по ЧГ и на 8 баллов по ЕНГ [13].
Каковы результаты Германии и России в аналогичном исследовании PISA в 2015 году?
Германия заняла 8-15-е место по чтению, 12-19-е - по математике, 12-19-е - по естествознанию, то есть продолжила подниматься на несколько пунктов в единой шкале результатов по всем видам грамотности в сравнении с результатами 2012 года [14, с. 2]. У российских учащихся в 2015 г. сохранились положительные тенденции: повысились средние результаты по математике на 12 баллов, по чтению на 20 баллов, но по естествознанию практически не изменились с 2012 года [14, с. 2].
Международные эксперты констатируют: «Германия вошла в число немногих стран, чьи результаты тестирования PISA последовательно улучшаются» [12].
В пятёрку стран с самыми высокими результатами у учащихся в 2015 году вошли Япония, Эстония, Тайвань и Финляндия [14, с. 2].
Стабильно высокими остаются результаты Кореи, Финляндии, Японии, Австрии; различные колебания в результатах у США, Франции, Англии, каждая из этих стран имеет свои на то основания, требующие анализа и поиска основных причин для ответов на вопросы:
- чем объясняются высокие результаты отдельных стран?
- что предпринимается там, где получены низкие результаты?
- что сделано за время, прошедшее после получения первых результатов PISA-2000 для изменения положения дел и повышения качества среднего образования.
Лидирующее положение азиатских стран и европейской Финляндии в списке «результативных» заслуживает особого внимания.
Как одна из преуспевающих скандинавских стран, Финляндия целенаправленно проводит политику обеспечения не только равенства шансов в образовании созданием единой программы для всех детей с дополнительным обеспечением индивидуальной траектории развития, но и равенства результатов, являющихся факторами успеха страны в исследованиях PISA-2000 и 2003 г. [5, с. 134].
Во многом при подготовке тестов PISA (читательская грамотность) за основу была
взята финская модель (понимание общенаучных текстов, развитие аналитического мышления).
Система образования Финляндии отличается сильной внутренней связью сегментов образования: детские сады интегрированы в школу, школы тесно связаны с вузами, вузы ориентированы на работу со школами и на посильное участие в повышении качества школьного образования [2, с. 14].
Характерно и то, что в перечне указанных выше преобразований как реакции на неудовлетворительные результаты PISA в экономически развитых странах чаще всего упоминается Германия, что обусловлено не только её желанием не «числиться» далее в списке «отстающих», но и стремлением «наверстать» упущенное в годы, предшествующие первым международным сравнительным исследованиям качества образования PIRLS, TIMSS и PISA.
Результатом теоретической и практико-ори-ентированной работы по проектированию, подготовке, организации международных исследований по измерению качества образования как стратегической и методологической проблемы стало создание международной методики, контрольно-измерительного материала как единого инструмента измерения учебных достижений для всех стран-участниц международных сравнительных исследований. Этот инструмент существенно изменил отношение к исследованию качества образования, традиционные представления о системе оценивания знаний школьников, о качестве их подготовки к жизни, а также готовности учителей к обучению детей на уровне сегодняшних требований. Речь идёт об умении профессионально ставить и отвечать на главные вопросы образования: чему надо учить и что должны знать выпускники школы в XXI в., чтобы самостоятельно продолжать обучение дальше, активно осваивать современные профессии и полноценно функционировать в современном мире.
Современные системы оценки уровня развития образования в разных странах, используя национальные методы педагогического измерения качества обучения, учитывают методологию оценивания, применяемую в международных исследованиях качества образования, и заимствуют опыт тех, кто уже получил («заслужил») оценку качества международного уровня [6, с. 96].
Итак, международные сравнительные исследования достижений учащихся PIRLS, TIMSS и PISA совершили «переворот» в сознании не только представителей педагогического сообщества, вызвали много дискуссий и инициатив по реформированию образования у нас и за рубежом. Готовившие их специалисты и эксперты взяли на себя ответственность и «смелость» сменить целевую ориентацию с формирования человека обученного, квалифицированного исполнителя, на человека обучаемого, способного в условиях информационного общества самостоятельно учиться и многократно переучиваться, готового к ответственным действиям и принятию решений. Это кардинально меняло представления о качестве образования учителя, от которого требуется научить учащихся учиться.
При разработке и внедрении в практическую жизнь новых методов исследования качества образования были тщательно продуманы подходы к решению не только важнейших педагогических и методологических проблем, но и стратегических задач дальнейшего развития образования в современных условиях. □
ЛИТЕРАТУРА
1. Батюкова З.И., Фрейман Э.В. Формы и методы организации и проведения международных проектов в образовании. Международные исследовательские проекты в образовании. - М.: Институт теоретической педагогики и международных исследований в образовании, 1993. - С. 108.
2. Борисенков А.В., Вахштейн В.С., Горбунов Е.М., Железов Б.В., Ларионов М.В., Мешков Т.А., Перфилльева О.В. Актуальные вопросы развития образования в странах ОЭСР / отв. ред. М.В. Ларионов. - М.: ГУ ВШЭ, 2005. - С. 152.
3. Вульфсон Б.Л. Актуальные проблемы воспитания в условиях глобализации и встречи культур. - М.: НОУ ВПО «Московский психолого-социальный институт», 2009. - С. 73.
4. Ковалёва Г.С. Международное исследование PISA-2006 // Народное образование. - 2008. - № 7.
5. Международная программа оценки знаний и умений учащихся. Неочевидные уроки международного исследования «PISA-2000». ecsocman.hse.ru data2011/01/02 Uroki PISA pdt
6. Найдёнова Н.Н. Особенности сравнительных педагогических исследований / Н.Н. Найдёнова, И.А. Тагунова. Особенности методологии сравнительных исследований: монография. - М.: МПСУ, МПГУ, 2013. -С. 101.
7. Найдёнова Н.Н. Социально-педагогические факторы международных исследований в оценке качества образования: монография. ФГНУ «ИТИП РАО». - М.: Издательский центр ИЭТ, 2012. - С. 260.
8. Образование, наука, новая экономика знаний. Новости ОЭСР. «От человека знающего к человеку умеющему». № 1 (2). - 2014. Высшая школа экономики, Институт статистических исследований и экономики, Информационный центр по взаимодействию с организациями экономического сотрудничества и развития.
9. Российская школа от PISA-2000 к PISA-2003 / под общ. ред. А.Г. Каспржака, К.Н. Поливановой. - М.: Лотос, 2006. -С. 1969.
10. PISA-2000 overview of the Study (OECD); PISA-2000 ecsocman.hse/ru
11. PISA-2012 www.centeroko.ru/pisa-2012... res.htm
12. htt:www.eocd.org/pisa; www.oecd.org/edu/ pisa
13. www.pdps.lv/. ..private/Prezentacij/pisa,2011. pdt
14. Ковалёва Г.С. Основные результаты международного исследования PISA-2015. Министерство образования и науки РФ, Федеральная служба по надзору в сфере образования и науки, Федеральный институт оценки качества образования (Центр национальных и международных исследования), Институт стратегии развития образования (Центр оценки качества образования.
