CC BY
113основные уроки программы национальной оценки siMCE в чили*
ВАЛЬДМАН ИГОРЬ АЛЕКСАНДРОВИЧ
Ведущий научный сотрудник Института образования НИУ ВШЭ,
канд. пед. наук
E-mail: iavaldman@gmail.com
Москва, Российская Федерация
АННОТАЦИЯ. В статье обсуждаются особенности чилийской программы национальной оценки SIMCE и рассматриваются такие вопросы, как цели национального мониторинга SIMCE, группы пользователей результатов мониторинга, стратегия распространения информации, формы информирования, информационные продукты и их характеристики.
КЛЮЧЕВЫЕ СЛОВА: мониторинг учебных достижений, национальная оценка, использование результатов оценки, информационные продукты, стратегия распространения информации.
* Комментарии к статье Марии-Хосе Рамирес «Распространение и использование информации о результатах оценки достижений учащихся в Чили».
MAIN LESSONS OF THE NATIONAL ASSESSMENT PROGRAM SIMCE IN CHILI
IGOR VALDMAN
Senior research fellow, Institute of Education, Higher School of Economics Е-mail: iavaldman@gmail.com Moscow, Russian Federation
ABSTRACT. The article examines main elements of the national assessment program SIMCE in Chile. Among these elements are goals of the SIMCE, users of assessment results, information dissemination strategy, forms of information, information products and their characteristics.
KEYWORDS: monitoring of learning achievements, national assessment, use of assessment results, information products, dissemination strategy.
введение
Во многих странах мира наряду с государственными экзаменами существует практика организации и проведения другой оценочной процедуры — национального мониторинга качества школьного образования, в ряде англоязычных стран она носит название национальная оценка (national assessment). Национальный мониторинг качества образования является стандартизированной оценочной процедурой, предназначенной для определения, насколько эффективно работает система образования страны. Главная задача мониторинга — получение данных, позволяющих судить о том, в какой мере достигаются цели, предусмотренные государственным образовательным стандартом или учебным планом [1, 7].
В качестве примеров следует привести национальную оценку NAEP (http://nationsreportcard.gov) в США, NAPLAN (http://www.nap.edu.au) в Австралии, и, конечно, заслуживает внимания опыт программы SIMCE в Чили (http://www.simce.cl). Также позитивный опыт по проведению национального мониторинга накоплен и в ряде стран СНГ. Например, независимая оценка образовательных достижений учащихся (НООДУ, http:// www.testing.kg/ru/projects/nsba) в Кыргызстане, внешняя оценка учебных достижений в Казахстане (ВОУД, http://www.testcenter.kz/?hd=pgkco), национальные исследования HAAS, BAAS, OLAS в Армении (http://atc.am).
Вопрос использования результатов различных оценочных процедур, включая и национальный мониторинг, является очень важным. Фактически от него зависит, будут ли «работать» результаты оценки на систему образования, будут ли применять полученные данные о результатах обучения управленцы и педагоги в своей практической работе.
Использование результатов программ оценки зависит от ряда факторов [3]. Один из таких факторов связан с полезностью ряда информационных продуктов (таких как национальный отчет, специализированные отчеты по предметам, информационный буклет для родителей, пресс-релиз для СМИ и др.), которые разрабатываются командой организаторов программы оценки для удовлетворения информационных потребностей широкого спектра пользователей (учителей, администраторов школ, родителей, управленцев, СМИ и т.п.). Следует помнить, что результаты оценочной процедуры нуждаются в преобразовании из их начальной, технической формы (понятной только группе узких специалистов) в формат, доступный для широкого круга технически не подготовленных пользователей.
В работе Марии-Хосе Рамирес «Распространение и использование информации о результатах оценки достижений учащихся в Чили» представлен заслуживающий внимания опыт хорошо продуманной
и успешно реализованной стратегии распространения информации о результатах обучения чилийских школьников при проведении национальной оценки. Как отмечает автор, SIMCE использует различные способы и форматы информирования представителей заинтересованных групп, каждая из которых «направлена на то, чтобы донести до конкретной аудитории именно ей предназначенную информацию» [9].
В рамках настоящей статьи обратим внимание читателя на наиболее важные и поучительные особенности программы SIMCE, отраженные в указанной статье и связанные преимущественно с подходом к распространению результатов оценки.
некоторые особенности программы simce
Чили известна как страна, которая с начала 90-х годов прошлого века проводила масштабную реформу своей образовательной системы и добилась значимых успехов в ее реализации. Национальный мониторинг SIMCE стал одним из ключевых элементов этой образовательной реформы и позволил сформировать доказательную базу для выработки стратегических решений по развитию образования.
Национальный мониторинг SIMCE (Sistema de Medición de Calidad de la Educación — Система измерения качества образования, www.simce. cl) является первой национальной программой оценки в странах Латинской Америки. С 1990 года данная программа является обязательной по Закону об образовании и координировалась Министерством образования Чили. Начиная с 2012 года SIMCE осуществляется независимым правительственным агентством по обеспечению качества образования (Agencia de Calidad de la Educación, www.agenciaeducacion.cl).
Таким образом, следует подчеркнуть важнейший фактор устойчивости данной программы — ее сильную институциональную основу. Обязательность проведения мониторинга закреплена законом, национальное министерство образования является генеральным заказчиком этой работы. То есть необходимые факторы успешности национального мониторинга — политическая поддержка, стабильное финансирование и высоко квалифицированная организация, ответственная за проведение оценки, — соединены вместе.
Следует признать, что не во всех странах удается обеспечить такую ситуацию. Например, в России, имеющей долгий опыт проведения международных сравнительных исследований и ряда национальных исследований, пока так и не определена организация, в функции которой включена деятельность по проведению мониторингов качества образования. В Российской Федерации действует практика проведения подобных работ на конкурсной основе в рамках реализации Федеральной целевой программы развития образования, что не гарантирует стабиль-
ности и устойчивости проведения мониторинговых исследований (см. подробнее работу [5]).
Мониторинг SIMCE позволяет оценивать результаты обучения по основным предметам школьной программы — математика, испанский язык, история, география, обществознание, естественные науки. В последние годы были добавлены новые предметы — письмо, английский язык, компьютерные навыки (ИКТ), физкультура. В оценке принимают участие все учащиеся 2-х, 4-х, 8-х, 6-х, 10-х и 11-х классов. Это позволяет получать данные о качестве обучения на уровне каждой школы, что является одной из целей мониторинга — обеспечение подотчетности1 и ответственности школ перед обществом за счет информирования родителей о результатах обучения. Таким образом, SIMCE служит индикатором качества работы школ, предоставляя данные по среднему баллу теста по школе и мотивируя родителей выбирать лучшую школу для своих детей.
При этом в ряде случаев в SIMCE проводится оценка и на основе репрезентативной выборки — для учащихся 8-го класса по физкультуре, для учащихся 10-го класса по ИКТ и для учащихся 4-х и 6-х классов с ограниченными возможностями здоровья.
Вообще выбор формата проведения национального мониторинга — на основе выборки или на всей генеральной совокупности учащихся — всегда серьезная дилемма. Первый вариант значительно дешевле и проще в организации. Во втором случае есть возможность создания условий для поддержки каждого конкретного ребенка, сравнения результатов работы школ и образовательных систем.
Разные страны используют разные стратегии по охвату участия в оценке. В Чили используется генеральная совокупность учащихся определенного возраста (за исключением ряда указанных выше случаев). Похожий подход реализуется и в мониторинге NAPLAN в Австралии [6]. Австралия выбрала разумный компромисс — оценивать всех школьников в области родного языка и математики (области национальных образовательных приоритетов), и проводится выборочная оценка по другим областям знаний. Пример другого подхода — только на основе репрезентативной выборки — это программа NAEP в США. В Америке по итогам мониторинга выявляют тенденции в обучении только на уровне страны и штатов (не спускаясь до уровня муниципалитетов и школ), а для этого нет необходимости оценивать генеральную совокупность.
Важно отметить, что SIMCE не дает возможности представления данных оценки по ученику (мониторинг для этого не предназначен). Каждый тест, выполняемый конкретным учеником, покрывает очень незначительный объем содержания учебной программы, и, как следствие, на ос-
1 Подотчетность означает требование обязательной ответственности школ/органов управления образованием перед общественностью по результатам своей деятельности.
новании его результатов невозможно выяснить, освоил ученик учебную программу по предмету или нет. Но совокупность вариантов тестов, выполненных всеми учениками школы определенного возраста, покрывает содержание учебной программы и позволяет сделать вывод об успешности ее освоения на уровне образовательного учреждения. Именно получение объективной картины о качестве работы школы и является главной задачей данной оценочной процедуры.
С целью обеспечения всем школьникам равных условий при сдаче теста в мониторинге используется стандартизированная процедура администрирования теста, контролируемая на всех этапах ее проведения. При ее проведении учителя исключены из проведения мониторинга. В качестве организаторов привлекаются студенты педагогических вузов, преподаватели университетов, школьные управленцы и методисты.
С одной стороны, исключение учителей — это не очень хорошо, так как они не вовлекаются в процесс оценки и не используют полученные знания в своей работе, что не влияет на повышение качества обучения. С другой стороны, исключение учителей позволяет повысить надежность процедуры оценки и ее результатов. Исключение учителей — это цена за решение использовать SIMCE в целях подотчетности.
В других странах также используются свои подходы для решения вопроса администрирования теста. В США оценку проводят члены команды NAEP, нанимаемые для проведения тестирования. Они проходят специальную подготовку. В школе — участнике мониторинга им оказывает организационную помощь назначенный школьный координатор. В Австралии другая ситуация. Там тестирование проводят тест-администраторы из числа учителей или других сотрудников школы, которая участвует в NAPLAN. Директор школы отвечает за подбор кандидатуры администратора, а также за надлежащую организацию и проведение теста в школе. Администраторы проводят свою работу в соответствием с национальным руководством по администрированию теста NAPLAN.
распространение информации
Как отмечалось выше, в SIMCE уделяется особое внимание распространению информации о содержании и результатах оценки среди различных заинтересованных групп. Для обеспечения целевого информирования управленцев, школ, родителей и общественности в рамках национального мониторинга используются 11 различных информационных продуктов (см. подробнее статью М. Рамирес [9]). Отметим, что все эти продукты разрабатывались и вводились в практику постепенно (в разные годы), по мере возникновения потребностей на новые способы информирования.
В соответствии со стратегией распространения информации все эти
продукты имеют единое описание, включающее в себя следующие содержательные элементы: цель (для чего предназначен конкретный информационный продукт), целевые группы (на какую аудиторию он ориентирован), содержание (какую информацию он включает) и механизмы распространения (каким образом информационный продукт будет распространяться) .
Формирование доказательной базы для принятия управленческих решений является основной целью национального мониторинга. Для этой цели используются такие информационные продукты, как национальный доклад, материалы для прессы, файлы данных и интернет-сайт программы оценки.
Наиболее широко используемым показателем качества образования является динамика национального среднего балла теста по годам. Но другим, не менее значимым показателем является распределение результатов теста по уровням достижений. В SIMCE их три: начальный, средний и продвинутый.
28%
36%
36%
30%
39%
31%
■ Продвинутый
■ Средний
■ Начальный
2010
2011
Рисунок 1. Распределение национальных результатов по математике (4-й класс) в 2011 году по уровням достижений и в сравнении с 2010 годом.
Другими важными показателями, отражающими достижение принципов равенства и справедливости в получении образования, являются динамика среднего балла по типам школ (государственные и частные), а также по кластерам образовательных учреждений, формируемым на основании социально-экономического статуса (СЭС) учащихся.
Многочисленные исследования показывают, что результаты обучения зависят не только (а во многих случаях и не столько) от организации образовательного процесса в школе, но и от социально-экономического статуса семьи. СЭС характеризуется набором разнообразных параметров, среди которых значимое место занимают профессия и уровень образования родителей. Все это означает, что школы, в которых учится разное число детей с высоким или, наоборот, низким СЭС, будут иметь разные результаты теста.
В SIMCE используется деление образовательных учреждений на пять групп по уровню СЭС (рис. 2). СЭС рассчитывается на основе трех переменных: уровень образования родителей (число лет обучения), размер ежемесячного дохода семьи, Индекс уязвимости школьников (Índice de Vulnerabilidad del Establecimiento), рассчитываемый на основе анкет для родителей. Учреждения с одинаковым СЭС являются «учреждениями с аналогичными социально-экономическими характеристиками». Сравнение на основе СЭС позволяет школе сопоставлять собственные достижения с другими аналогичными учреждениями, которые работают с подобным контингентом школьников.
Одна и та же школа может иметь разный СЭС в пределах одного года (в зависимости от контингента школьников конкретного класса) или в разные годы проведения SIMCE.
Группа по 030 Осознанное чтение Математика
средний балл 2012 вариация 20102012 средний балл 2012 вариация 2010-2012
низкий 2B0 • 0 225 t 6
Ниже среднего 248 • -1 249 t 6
Средний 278 • 0 288 t 10
Выше среднего 292 • -2 B1B t 9
Высокий B04 ф-7 BB6 t 9
Рисунок 2. Результаты по группам учащихся в зависимости от сЭс (SIMCE 2012,10-й класс).
Обозначения: • — результаты 2012 года не отличаются значимо от 2010 года; ^ — результаты 2012 года значимо выше результатов 2010 года; ф — результаты 2012 года значимо ниже результатов 2010 года.
Успехи в обучении зависят от внутренних и внешних факторов. Такие факторы, как квалификация педагогов, качество управления и др., являются внутренними — они зависят от школы и могут быть ею изменены. На внешние факторы (образование родителей, социально-экономиче-
ский статус семьи и т.п.) школа не может повлиять. Данные SIMCE показывают, что СЭС семей оказывает самое высокое влияние на уровень результатов учащихся, он объясняет более 70% всех результатов. Поэтому целесообразно производить сравнение результатов работы школ с учетом СЭС учащихся в группе «подобных» образовательных учреждений.
Подобный подход с учетом социально-экономического статуса учащихся используется при проведении мониторингов в ряде стран мира. Очень поучителен в этом отношении опыт Австралии [6]. В целях представления на сайте «Моя школа» результатов национального мониторинга NAPLAN по группам (кластерам) школ со статистически сходным контингентом учащихся специально разработан Индекс местных социально-образовательных условий (Index of Community Socio-Educational Advantage — ICSEA).
Цель использования данного индекса — обеспечить честное и прозрачное сравнение результатов обучения школьников в конкретных школах с учетом факторов, оказывающих влияние на эти результаты. Индекс учитывает: количество учащихся в школе; данные по занятости и образованию родителей; социально-экономические характеристики места проживания учеников; местонахождение школы (столица, регион либо удаленная территория); доля учеников из семей, где английский язык не является родным; доля учеников — представителей коренного населения страны.
Обеспечение подотчетности школ перед обществом является еще одной целью SIMCE. Она предполагает информирование общественности о результатах работы школ и создает систему стимулов2, направленных на повышение качества работы образовательных учреждений. Стратегия коммуникации в данном случае строится на публикации результатов школ и представлении информации родителям. Она реализуется несколькими способами.
Во-первых, на сайте Агентства по обеспечению качества образования у каждого желающего имеется возможность сформировать в режиме онлайн таблицы с результатами школ по ряду параметров (место расположения, тип школы, год и класс).
Во-вторых, результаты публикуются в специальных приложениях к газетам и включают средние баллы школ и их сравнение с предыдущим измерением, со средним по стране и с результатами образовательных учреждений из своей социально-экономической группы. В дополнение к этому сами газеты формируют рейтинги лучших школ и публикуют их на своих страницах.
Например, система подушевого финансирования школ (школа заинтересована в привлечении учеников), денежное поощрение учителей школ с высокими результатами, дополнительное финансирование школам с низкими результатами, желание иметь позитивный имидж школы в местном сообществе.
10 лучших муниципальных учебных заведений
Рисунок 3. Публикация в газете списка 10 лучших школ (SIMCE 2012, 4-й класс). Источник: газета La Tercera (www.latercera.com).
Отметим, что рейтинги в СМИ составляются самими газетами, без участия министерства образования. По закону результаты SIMCE должны открыто публиковаться, и они размещаются на сайте Агентства по обеспечению качества образования. Газеты берут эту информацию и на ее основе составляют и публикуют списки школ с баллами по предметам. Рейтинги в СМИ — это своеобразная плата за информационную открытость.
Широкая публикация результатов оценки в газетах имеет не только положительные, но и отрицательные последствия. Они состоят в том, что школа с низкими результатами получает ярлык «слабой» и в обществе считается неэффективной. Это несправедливо, так как в таких школах учатся дети из наиболее неблагополучных слоев населения. Именно поэтому в SIMCE введено и кластерное представление результатов школ по группам СЭС.
В-третьих, имеется визуальная форма представления результатов — геоинформационная система, реализованная в виде интерактивной карты Google (www.simce.cl/mapas), на которой обозначены учебные заведе-
ния определенного населенного пункта и их средние баллы по предметам и классам.
Представление информации для родителей (и лиц, их замещающих) направлено на решение двух задач — повышение ответственности школ и вовлечение родителей в процесс обучения своих детей. С этой целью готовится и распространяется отчет для родителей. Он включает все основные результаты по школе — средние баллы по предметам и классам, прогресс с учетом предыдущей оценки, сравнение со средним баллом по стране и со школами своей группы СЭС, долю учащихся по каждому уровню достижений. Кроме того, данный документ содержит рекомендации для родителей, как они могут помочь своему ребенку в обучении.
Для информирования в целях обеспечения подотчетности в SIMCE используются такие информационные продукты, как приложение к газете, отчет для родителей, географическая информационная система и интернет-сайт программы оценки.
Наиболее сильное влияние на повышение качества обучения программы оценки способны оказать, если они помогают учителям улучшать их педагогическую практику и совершенствовать образовательный процесс [3]. В Чили информация с результатами мониторинга используется для обеспечения педагогической поддержки школ. С этой целью готовятся несколько информационных продуктов.
До проведения оценки публикуется и направляется в школы руководство по проведению оценки. Этот документ играет ориентирующую роль. Он представляет содержание оценочной процедуры, разъясняет содержание измерительных материалов, их связь с учебным планом, описывает критерии оценивания. Руководство содержит примеры тестов и дает анализ оцениваемых в них знаний и навыков. Наличие подобного информационного продукта необходимо для того, чтобы педагоги приняли и поддержали программу оценки.
Другим важным продуктом является отчет по школе, который направляется в каждую школу после проведения SIMCE. Он включает все основные результаты по школе — средние баллы, результаты в динамике и их распределение по уровням достижений. Эта информация дает возможность образовательному учреждению провести внутренний разбор и анализ результатов оценки, спланировать необходимую методическую работу и подготовить школьный план повышения качества обучения.
Чтобы повысить качество использования результатов оценки, министерство образования организует методические семинары для школ, на которых учителям объясняют, как анализировать результаты учащихся и на что обращать внимание в процессе преподавания. Инструкции по проведению таких семинаров также входят в содержание школьного отчета. Опыт Чили показывает, что адресное распространение информации о результатах оценки является необходимым, но не достаточным ус-
ловием для ее эффективного использования в целях совершенствования образовательного процесса. Подобные семинары способствуют более глубокому пониманию результатов оценки и позволяют учителям вносить коррективы в свою работу.
Кроме руководства по проведению оценки и школьных отчетов для педагогической поддержки также используются онлайн-банк тестовых заданий, файлы данных, инструментарий анализа данных и интернет-сайт SIMCE.
вместо заключения:
важные уроки программы simce
В заключение отметим те особенности мониторинга SIMCE, которые оказывают непосредственное влияние на распространение и использование информации по оценке. Эти особенности, с нашей точки зрения, следует принимать во внимание при разработке федеральной системы мониторин-гов учебных достижений в России.
1. Наличие ясной и целостной стратегии распространения информации.
В Чили пришли к пониманию, что для повышения эффективности использования результатов оценки необходимо обеспечить целевое информирование представителей различных заинтересованных групп о содержании и результатах программы оценки. Стратегия распространения базируется на использовании 11 адресных информационных продуктов. Она четко определяет цели использования каждого продукта, его аудиторию, содержание и механизмы распространения. Стратегия распространения играет ведущую роль при планировании оценочных мероприятий — сначала необходимо ответить на вопрос «Какую информацию мы хотим получить и как ее использовать?», а потом уже планировать, что, как и кого оценивать.
2. Постепенное наращивание потенциала по распространению информации.
Формирование целостной стратегии распространения результатов необходимо осуществлять постепенно. Появление каждого нового информационного продукта должно базироваться на возможности команды (организации) по оценке подготовить такой продукт и на способности общества его принять — увидеть его необходимость, понять содержание информации и оценить ее полезность. На начальном этапе стратегия распространения SIMCE включала только школьные отчеты и руководства по оценке для учителей, а затем стали вводиться другие информационные продукты. Причинами их появления стали новые политические приоритеты (например, обеспечение подотчетности перед обществом, вовлечение родителей в образовательный процесс), технологические перемены (развитие информационных технологий, Интернет) и другие факторы.
3. Учет социально-экономического статуса школ при анализе результатов.
Справедливое представление и сравнение результатов школ невозможно обеспечить без кластеризации и выделения групп «аналогичных» школ. Прежде всего необходимо учитывать особенности социально-экономических характеристик контингента школьников, так как СЭС оказывает очень значимое влияние на результаты обучения учащихся. В SIMCE используется кластерное сравнение результатов мониторинга по пяти группам СЭС. Разница результатов школ в группах с высоким и низким СЭС является предметом внимания управленцев, ее минимизация является важнейшим приоритетом национальной образовательной политики.
4. от низких ставок к высоким.
При запуске программы оценки крайне важно сформировать ситуацию доверия к ее результатам у учителей и школ. Поэтому на начальном этапе введения оценочной процедуры не следует использовать ее результаты для создания жестких стимулов по отношению к школам (наложение санкций, финансовые поощрения лидерам, предание результатов гласности без учета контекстных условий и т.п.). Если школы и учителя воспримут результаты как угрозу, то тогда оценка будет бесполезной для улучшения качества обучения. Сначала нужно, чтобы педагоги приняли программу оценки, увидели ее важность. И только затем, когда программа оценки станет устойчивым элементом системы образования, можно начинать вводить внешние стимулы. Движение от низких ставок к высоким позволило обеспечить жизнеспособность и полезность программы SIMCE. В 1980-х результаты сообщались только школам без последствий для них. В середине 1990-х годов результаты школ начали широко публиковаться, а в конце 1990-х — начале 2000-х годов стали вводиться программы подотчетности с более ощутимыми последствиями для учителей и школ [9].
5. информирование в целях подотчетности.
Результаты SIMCE являются важнейшим (но не единственным) индикатором качества образования в стране. Данные оценки широко распространяются для обеспечения подотчетности школ перед обществом. Для этого используются разнообразные способы информирования, включая рейтинги школ в средствах массовой информации. Такая ситуация повышает ответственность школ, мотивирует их повышать качество своей работы.
список литературы
1) Болотов, В. А. Виды и назначение программ оценки результатов обучения школьников / В. А. Болотов, И. А. Вальдман // Педагогика. — 2013. — № 8.— С. 15-26.
2) Болотов, В. А. Информирование различных целевых групп как условие эффективного использования результатов оценки учебных достижений школьников / В. А. Болотов, И. А. Вальдман // Проблемы современного образования [Электронный ресурс]: электрон. журнал.— 2012.— № 6.— С. 187-202. — Режим доступа к журн.: www.pmedu.ru.
3) Болотов, В. А. Условия эффективного использования результатов оценки образовательных достижений школьников / В. А. Болотов, И. А. Вальдман // Педагогика. — 2012. — № 6.— С. 39-45.
4) Болотов, В. А. Инструменты оценки качества образования: экзамены, мониторингу внутриклассное оценивание / В.А. Болотов, И.А. Вальдман // Управление школой. — 2013. — № 8.
5) Российская система оценки качества образования: главные уроки / В. А. Болотов, И. А. Вальдман, Г. С. Ковалева, М. А. Пинская // Качество образования в Евразии. — 2013. — № 1.— С. 85-121.
6) Вальдман, И.А. Особенности организации мониторингов учебных достижений в странах мира: национальная программа оценки NAPLAN в Австралии. / И.А. Вальдман // Проблемы современного образования [Электронный ресурс]: электрон. журнал. — 2013. — № 2.— С. 5-18. — Режим доступа к журн.: www.pmedu.ru.
7) Кларк, М. Что является наиболее важным в системах оценки достижений учащихся: основные ориентиры. Публикация № 1 по теме SABER-оценка достижений учащихся / Маргарит Кларк. — Вашингтон: Всемирный банк, 2012.
8) Рамирес, М.-Х. 2012. Развитие стимулирующей среды для оценки достижений учащихся в Чили. Публикация № 2 по теме SABER-оценка достижений учащихся / Мария Хосе Рамирес. — Вашингтон: Всемирный банк, 2012.
9) Рамирес, М.-Х. Распространение и использование информации о результатах оценки достижений учащихся в Чили. Публикация № 3 по теме SABER-о-ценка достижений учащихся / Мария Хосе Рамирес. — Вашингтон: Всемирный банк, 2012.
10) Сайт программы SIMCE [Электронный ресурс] / Agencia de Calidad de la Educación. — Режим доступа: http://www.simce.cl.
11) Agencia de Calidad de la Educación = Агентство по обеспечению качества образования [Электронный ресурс]. — Режим доступа: http://www. agenciaeducacion.cl/.
