CC BY
165
► МОДЕРНИЗАЦИЯ ОБРАЗОВАНИЯ
СРАВНИТЕЛЬНЫМ АНАЛИЗ ОПЫТА ИСПОЛЬЗОВАНИЯ РЕЗУЛЬТАТОВ НАЦИОНАЛЬНЫХ МОНИТОРИНГОВ УЧЕБНЫХ ДОСТИЖЕНИЙ В АВСТРАЛИИ, США И ЧИЛИ
COMPARATIVE ANALYSIS OF THE EXPERIENCE USING NATIONAL EDUCATIONAL ACHIEVEMENT MONITORING RESULTS IN AUSTRALIA, USA AND CHILE
Вальдман И.А.
Доцент Института образования НИУ ВШЭ, руководитель Российского тренингового центра Института образования НИУ ВШЭ, кандидат педагогических наук. E-mail: iavaldman@gmail.com
Аннотация. В статье на примере программ национальной оценки Австралии, США и Чили рассматриваются ключевые вопросы, связанные с использованием результатов оценки учебных достижений школьников при проведении национальных мониторингов качества образования. Обсуждаются особенности использования результатов в каждой из стран, включая интерпретацию и представление данных оценки для различных групп пользователей
Valdman I.A.
Associate Professor and head of the Russian Training Center at the Institute of Education of the Higher School of Economics, Candidate of science (Education). E-mail: iavaldman@gmail.com
Annotation. The article examines key questions relating to the use of national students' educational achievement monitoring results using the examples of such programs in Australia, USA and Chile. The author discusses the specifics of using the assessment results in each country, including interpretation and assessment data presentation for different user groups.
Ключевые слова: мониторинг учебных достижений, национальная оценка, оценка качества образования, тестирование, использование результатов оценки.
Keywords: monitoring of educational achievements, national assessment, assessment of education quality, testing, using assessment results.
Введение
В последние годы в России всё более активно обсуждается необходимость введения стандартизированных мониторингов учебных достижений школьников [1, 2, 3, 4], которые смогли бы дополнить российскую систему оценки качества школьного образования процедурами оценки с низкими ставками и уйти от сложившейся практики зачастую неправомерного использования результатов ЕГЭ для управления качеством образования.
В национальном мониторинге качества образования используются стандартизированные измерительные материалы (тесты) и в ряде случаев - анкеты для сбора дополнительной контекстной информации. Главная задача мониторинга - получение данных, позволяющих судить о степени достижения целей, предусмотренных государственным образовательным стандартом, учебным планом или другими нормативными документами, описывающими результаты обучения.
Среди базовых вопросов, на которые позволяют получить ответ национальные мониторинга, следует отметить следующие. Насколько эффективно учащиеся овладевают знаниями и навыками в системе образования? Какие достижения демонстрируют представители различных групп учащихся? Изменяются ли достижения учащихся с течением времени? Какие факторы оказывают влияние на результаты обучения? [9]
Во многих странах мира достаточно давно существует практика организации и проведения национальных мониторингов качества школьного образования. Думается, что передовой опыт и успехи зарубежных коллег будут полезны российским специалистам при проектировании и проведении мониторингов обучения, помогут избежать ненужных ошибок и позволят применить на практике наиболее перспективные подходы и решения.
В данной статье представлен сравнительный анализ опыта использования результатов национальных мониторингов учебных достижений школьников в Австралии, США и Чили для выработки образовательной политики в отношении разных уровней системы образования. В тексте обсуждаются перспективные подходы к интерпретации и представлению данных мониторингов для различных групп пользователей, рассматриваются вопросы выбора охвата оценки (выборка или генеральная совокупность учащихся), учёта контекстной информации, выделяются особенности использования результатов теста в каждой из стран.
Краткая характеристика национальных мониторингов в Австралии, США и Чили
Дадим краткую характеристику каждого из национальных мониторингов, чтобы ввести читателя в контекст рассматриваемого вопроса. С более подробной информацией можно познакомиться в предыдущих наших статьях на данную тему [5, 6, 7, 8].
Австралия. Национальные мониторинги учебных достижений NAPLAN
С 2008 года в Австралии существует национальная программа оценки грамотности по английскому языку и математических навыков школьников NAPLAN (National Assessment Program - Literacy and Numeracy), которая проводится ежегодно для всех учащихся 3, 5, 7 и 9-го годов обучения.
Программа NAPLAN ориентирована на достижение следующих целей:
• определение прогресса и оказание поддержки в обучении каждому конкретному ребёнку;
• разработка и оценка мер образовательной политики на уровне страны и регионов;
• обеспечение подотчётности перед обществом: информирование о том, насколько хорошо работают школы.
NAPLAN проверяет знание и навыки учащихся в 4 областях: чтение, письмо, правила языка (грамматика, пунктуация, орфография) и математические навыки в соответствии с национальными целями обучения и общими элементами учебного плана по математике и английскому языку штатов и территорий Австралии. В дополнение тестируются знания и по другим предметным областям (естественные науки, компьютерные навыки, гражда-новедение), но уже выборочно. Таким образом, в стране реализован сбалансированный подход: оценка всех детей определённого возраста по языку и математике и оценка на выборочной основе некоторых других областей знаний.
Используемые в программе тесты проверяют не узко предметные знания, а навыки, которые формируются в школе на протяжении длительного времени и служат основой для обучения и жизни в обществе. Формат тестов подобного типа и сами задания используются в регулярном процессе обучения и оценки учащихся в школе, поэтому они знакомы и учителям, и ученикам.
США. Национальный мониторинги учебных достижений NAEP
Национальная оценка прогресса в образовании NAEP (The National Assessment of Educational Progress) - это программа оценки образовательных достижений, систематически проводимая на национальном уровне в США. NAEP показывает, что знают и умеют делать американские школьники в рамках конкретных предметных областей. Необходимость проведения такой крупномасштабной оценки закреплена в федеральном законодательстве. За её проведение отвечает Национальный центр статистики в области образования, который является подразделением Департамента образования.
Целью NAEP является получение надёжной и ясной информации для оценки прогресса в обучении школьников и разработки мер по улучшению образования в стране. Национальный мониторинг является инструментом для сравнения образовательных достижений школьников на уровне страны и штатов и даёт ответы на следующие ключевые вопросы:
• Как изменяются с течением времени результаты обучения американских школьников по конкретным учебным предметам?
• Сокращается ли разрыв в результатах обучения у разных групп американских школьников (по уровню дохода, этнической принадлежности, ограниченными возможностями здоровья и др.)?
• Как результаты обучения школьников конкретного штата выглядят на фоне результатов страны?
NEAP проверяет знание и навыки учащихся 4, 8 и 12-х классов по следующим предметным областям: математика, английский язык, обществоведение, письмо, искусство, экономика, география, история США, с 2014 года - технологическая и инженерная грамотность.
Мониторинг различных предметов проводится с разной периодичностью: 1 раз в 2 года оценивается математика и чтение, 1 раз в 4 года - естественные науки и письмо, остальные предметы - еще реже.
Оценка проводится на репрезентативной национальной выборке школ, а также на репрезентативной выборке на уровне штата.
В дополнение к тестам в мониторинге NAEP используются анкеты для сбора контекстной информации. Они позволяют получить информацию о факторах, влияющих на результаты обучения, а также дают возможность представить результаты теста по различным группам учащихся, что является требованием федерального законодательства.
Чили. Национальный мониторинги учебных достижений SIMCE
Национальный мониторинг SIMCE (Sistemade Mediciónde Calidad de la Educación -Система измерения качества образования) проводится в Чили на систематической основе с 1998 года и является первой национальной программой оценки в странах Латинской Америки. Она является обязательной по Закону об образовании и координируется Министерством образования Чили.
Программа нацелена на повышение качества образования и обеспечение равного доступа к образованию посредством получения информации об успеваемости учащихся и среде, в которой происходит обучение. SIMCE ориентирована на достижение трёх целей:
1) создание информационной основы для выработки образовательной политики;
2) обеспечение подотчётности и ответственности школ перед обществом путём информирования родителей о результатах обучения;
3) оказание педагогической поддержки школам и учителям.
Мониторинг SIMCE позволяет оценивать результаты обучения по основным предметам школьной программы: математика, испанский язык, история, география, общест-вознание, естественные науки. В последние годы были добавлены новые предметы: письмо, английский язык, компьютерные навыки (ИКТ), физкультура. В оценке принимают участие все учащиеся 2, 4, 8, 6, 10 и 11-х классов. При этом имеет место и оценка на основе репрезентативной выборки: для учащихся 8-го класса по физкультуре; для учащихся 10-го класса по ИКТ; для учащихся 4 и 6-го классов с ограниченными возможностями здоровья.
В качестве измерителей используются стандартизированные тесты, содержание которых базируется на национальном учебном плане. В тестах используются преимущественно вопросы с множественным выбором ответов, но также постепенно вводятся вопросы с открытым ответом и задания в форме эссе. Также инструментарий SIMCE включает анкеты для сбора информации о школьной образовательной среде и семейных характеристиках учащихся.
Практика использования результатов национальных мониторингов
При анализе практики работы с данными национальных мониторинговых исследований обратим внимание на три важных аспекта, связанных с использованием результатов оценки.
Первый аспект связан с решением, в каком масштабе будет проводиться оценка -на выборке или генеральной совокупности школьников. Выборка всегда задаёт определённые ограничения на использование результатов теста.
Другой аспект заключается в учёте контекстных данных при интерпретации результатов теста. Например, данные об образовательной среде, культурных и социально-экономических характеристиках семьи ученика или территории, в которой расположена школа, позволяют определить факторы, оказывающие существенное влияние на результаты обучения. Это, в свою очередь, даёт возможность принимать эффективные управленческие решения и разрабатывать адресные меры поддержки учащихся.
Третий аспект имеет отношение к вопросу представления результатов для различных целевых групп мониторинга. Ключевой вопрос здесь, насколько ясную, полную и своевременную информацию получают для своей деятельности разные группы пользователей - учителя, методисты, управленцы, политики1.
Выборка или генеральная совокупность
Выбор формата проведения национального мониторинга - на основе выборки или на всей генеральной совокупности учащихся - всегда серьёзная дилемма. Первый вариант значительно дешевле и проще в организации. Кроме того, он ограничивает возможности неправомерного использования результатов оценки, например наказание учителей и школ. Подход, основанный на выборке, снижает «ставки» оценочной процедуры и лишает её участников и организаторов негативных стимулов для завышения результатов теста разными способами, иногда незаконными: обучение под тест, списывание, фальсификация результатов и т.п. Во втором случае, при оценке всех учащихся, появляется возможность создать условия для поддержки конкретного ребёнка, сравнить результаты работы школ и образовательных систем. В любом случае определение масштаба проведения теста всегда является производной от целей проводимой оценочной процедуры.
В США оценка проводится на репрезентативной национальной выборке школ, а также на репрезентативной выборке школ на уровне штата. Такой подход полностью согласуется с главной задачей NAEP - определение тенденции в обучении американских школьников на уровне страны и штатов. NAEP не даёт информации относительно результатов отдельных учащихся и школ, что превращает её в измерение с низкими «ставками», без негативных последствий для школ, учителей и учеников. По итогам мониторинга ученики не получают индивидуальные баллы, не готовятся отчёты по школам. В результате невозможно оценивать качество работы школ и устанавливать их рейтинги.
1 Конкретный набор групп пользователей зависит от целей национального мониторинга.
Австралийский мониторинг NAPLAN, наряду с задачами выработки образовательной политики и обеспечением подотчётности школ перед обществом, выполняет и другую очень важную задачу - определение прогресса в обучение каждого конкретного школьника. Она реализуется путём ежегодного тестирования всех учеников 3, 5, 7 и 9-х классов, то есть оценка проводится на генеральной совокупности учащихся. Следует отметить, что в дополнение к NAPLAN раз в 3 года для учащихся 6 и 10-х классов проводится выборочный мониторинг NAP Sample Assessments по оценке естественнонаучной грамотности, владения ИКТ и гражданского образования. Можно сказать, что Австралия выбрала разумный компромисс в сочетании подходов выборочного и тотального тестирования: оценивать в рамках NAPLAN всех школьников определённого возраста в области английского языка и математики, являющихся областями национального образовательного приоритета, и проводить дополнительную выборочную оценку по другим областям знаний.
Мониторинг SIMCE в Чили проводится на основе генеральной совокупности школьников определённых классов. При этом SIMCE, в отличие от австралийского NAPLAN, не позволяет получить данные оценки успеваемости отдельного ученика. Каждый тест, выполняемый конкретным учеником, покрывает очень незначительный объём содержания учебной программы и, как следствие, на основании его результатов невозможно выяснить, освоил ученик учебную программу по предмету или нет. Но совокупность вариантов тестов, выполненных всеми учениками школы конкретного года обучения, покрывает содержание учебной программы и позволяет сделать вывод об успешности её освоения на уровне образовательного учреждения.
Таким образом, мы видим три разные модели работы с выборкой при проведении национального мониторинга в зависимости от его целей:
• для определении тенденций в обучении на национальном и субнациональном уровнях достаточно использовать репрезентативную выборку (случай США);
• для оценки и обеспечения подотчётности работы школ в тестировании должны участвовать все учащиеся, при этом каждый ученик может выполнять задания, лишь частично покрывающие содержание учебного плана (случай Чили);
• для выявления прогресса в обучении каждого конкретного ученика необходимо проводить оценку на генеральной совокупности учащихся (случай Австралии).
Учёт контекстной информации
Ещё раз подчеркнём, что учёт дополнительной информации, помимо результатов теста, позволяет лучше понимать и интерпретировать данные оценки, определять факторы, оказывающие существенное влияние на образовательные результаты, а также разрабатывать адресные меры по преодолению проблем в обучении на разных уровнях системы образования - от учителя и школы до страны. Имеют место две группы таких дополнительных факторов: образовательные, находящиеся в сфере влияния системы образования, и необразовательные, которые не могут быть изменены за счёт действий образовательных ведомств и организаций.
К первой группе можно отнести уровень квалификации педагогов, содержание учебных программ, качество учебной литературы, применяемые методы обучения,
материально-техническое оснащение школ и т.п. Ко второй относятся такие характеристики, как пол школьников, их принадлежность к конкретным этническим или религиозным группам, родной язык, социально-экономический статус (СЭС) семьи и территория расположения школы.
Многочисленные исследования показывают, что результаты обучения зависят не только от организации образовательного процесса в школе, но и от социально-экономического статуса семьи. СЭС характеризуется набором разнообразных параметров, среди которых значимое место занимают доход, трудовая занятость и уровень образования родителей. Очевидно, что школа с большим количеством детей из семей с низким СЭС не сможет демонстрировать результаты, сопоставимые с теми, которые показывают образовательные учреждения, обучающие детей из благополучных семей. Учёт социально-экономического статуса семьи при анализе результатов школ, показанных в национальном тесте, позволяет обеспечить справедливое сравнение результатов школ за счёт построения кластеров «статистически подобных» образовательных учреждений. В рассматриваемых примерах будут представлены подходы учёта СЭС семьи при анализе данных национального мониторинга.
Сбор необходимой контекстной информации может проводиться как непосредственно в рамках национального мониторинга (с помощью анкет, предлагаемых учащимся, учителям, администрации школ), так и с использованием уже имеющихся в стране статистических данных, результатов исследований и т.п.
В австралийском мониторинге NAPLAN анкеты для учащихся и учителей не используются. Необходимая контекстная информация собирается на основании статистических и других данных. Для более глубокой интерпретации результатов теста учитываются следующие характеристики: гендерная группа, к которой относится ученик; принадлежность к коренным народам страны; родной язык в семье (отличный от английского); образование и трудовая занятость родителей; географическое расположение школы (столичный город, провинция, сельская местность, отдалённая местность).
В целях формирования кластеров школ со статистически сходным контингентом учащихся в NAPLAN используется Индекс местных социально-образовательных условий (Index of Community Socio-Educational Advantage - ICSEA). Цель использования данного индекса - обеспечить честное прозрачное сравнение результатов обучения школьников в конкретных школах с учётом факторов, оказывающих влияние на эти результаты.
Индекс рассчитывается на основании следующих параметров:
• количество учащихся в школе;
• занятость и образование родителей учеников;
• социально-экономические характеристики места проживания учеников;
• местонахождение школы (столица, регион либо удалённая территория);
• доля учеников из семей, где английский язык не является родным;
• доля учеников-представителей коренного населения страны.
В отличие от Австралии в национальном мониторинге NAEP (США) используются анкеты для сбора контекстной информации. Они позволяют получить информацию о факторах, влияющих на результаты обучения, а также дают возможность представить
результаты теста по различным группам учащихся, что является требованием федерального законодательства. Применяется четыре вида анкет:
• анкета для школьников - позволяет получить информацию о демографических характеристиках, опыте обучения в школе;
• анкета для учителей - позволяет получить информацию о подготовке и повышении квалификации, методах и практики преподавания (заполняется учителями 4 и 8-х классов);
• анкета для школ - позволяет получить информацию о характеристиках образовательного процесса и школы в целом (заполняется администрацией школы);
• анкета для школьников с ограниченными возможностями здоровья и неродным английским языком (заполняется педагогами и сотрудниками школы, которые непосредственно работают с данными учащимися).
Заполненные анкеты содержат информацию о гендерном составе учащихся, расовом и этническом составе, уровне дохода семьи (ученики, получающие бесплатное или более дешёвое питание в школе), доле учеников с неродным английским языком, типе школы (государственная, частная, религиозная и т.п.), расположении школы (большой город, пригород, малый город, сельский населённый пункт), уровне образования родителей.
Так же как и американский, инструментарий чилийского мониторинга SIMCE включает анкеты для учащихся, учителей, родителей и руководителей школ, предоставляющие информацию о школьной образовательной среде и семейных характеристиках. Примером такой информации являются интересы и мотивация к обучению у школьников, используемые методы обучения, профессиональная квалификация педагога, формы и содержание программ повышения квалификации учителей, уровень образования родителей, доход семьи, удовлетворённость обучением в школе и др. Кроме того, в SIMCE используется деление образовательных учреждений на пять групп по уровню их социально-экономического статуса (на основании уровня СЭС семьи ученика).
Данные SIMCE за многие годы показывают, что СЭС семей больше всего влияет на результаты учащихся, он объясняет более 70% всех результатов, поэтому в Чили сравнение результатов школ проводят в группе «подобных» образовательных учреждений. В SIMCE СЭС формируется на основе трёх переменных: уровень образования родителей (число лет обучения), размер ежемесячного дохода семьи, индекс уязвимости школьников (Índice de Vulnerabilidad del Establecimiento), рассчитываемый на основе анкет для родителей. Учреждения с одинаковым СЭС являются «учреждениями с аналогичными социально-экономическими характеристиками». При этом следует отметить, что одна и та же школа может иметь разный СЭС как в пределах одного года (в зависимости от контингента школьников в каждом конкретном классе), так и в разные года проведения SIMCE.
Таким образом, мы видим, что во всех странах сбор контекстных данных для целей интерпретации результатов оценки является общим правилом.
Представление результатов оценки
Любая оценочная процедура, включая национальный мониторинг учебных достижений, действительно обеспечивает повышение качества образования, но только если её
данные используются для принятия своевременных и адресных управленческих решений, помогают учителям совершенствовать образовательный процесс и дают родителям представление о том, насколько хорошо учатся их дети. В связи с этим возникает вопрос -как обеспечить максимально эффективное использование результатов оценки учебных достижений всеми заинтересованными сторонами?
Оставляя в стороне ряд важных аспектов этой проблематики (политическая воля управленцев, мотивация к принятию решений, техническая квалификация в работе с результатами оценки и т.п.), обратим внимание на два важных фактора.
Во-первых, значимую роль играет способность организаторов мониторинга представить результаты оценки в виде, понятном для широкого круга технически не подготовленных пользователей, к которым можно отнести учителей, родителей, политиков, представителей средств массовой информации. Каждая целевая группа пользователей имеет свои специфические информационные запросы. Поэтому другой значимый фактор связан с работой по созданию и распространению адресных информационных продуктов2, которые разрабатываются командой организаторов программы оценки для удовлетворения информационных потребностей конкретной группы пользователей.
Обеспечение максимального влияния результатов оценки на образовательную политику на всех уровнях системы образования зависит от того, насколько ясно организаторам оценочной процедуры удаётся интерпретировать результаты оценки качества и доводить их до представителей заинтересованных целевых групп.
Рассмотрим, как организована практика представления результатов национального мониторинга в Австралии, США и Чили.
Мониторинг NAPLAN (Австралия)
Возможности представления результатов теста заложены в шкале, которая используется в NAPLAN для оценки результатов учащихся (см. рис. 1). Фактически шкала по каждой области оценки представляет систему уровней, расположенную на оси времени, содержащую четыре отсечки - 3, 5, 7 и 9-й года обучения. Таким образом, сконструированная шкала позволяет представлять результаты обучения в данном конкретном году и также фиксировать динамику изменений результатов между циклами оценки.
Всего шкала включает 10 уровней (bands) достижений, каждый из которых соответствует набору умений и навыков, которые может демонстрировать школьник определённого возраста. Уровень 1 - самый низкий, уровень 10 - самый высокий. Для каждого года обучения определяется один уровень, который соответствует так называемому национальному минимальному стандарту (НМС). Эти стандарты представляют собой краткое описание типичных учебных достижений, которые могут демонстрировать школьники конкретного года обучения.
2 Под информационными продуктами понимаются информационные материалы, которые готовятся исходя из целей оценивания и на основании результатов оценки, и ориентированы на конкретные группы пользова-телей. К ним можно отнести национальный отчёт, специализированные отчёты (по предметам, по группе учащихся и т.п.), примеры заданий или демонстрационные варианты теста, аналитическую записку для ми-нистра образования, информационный буклет для родителей и т.п.
Обозначения. Band - уровень; НМС - национальный минимальный стандарт.
Рис. 1. Оценочная шкала, используемая в NAPLAN
Результаты NAPLAN представляются несколькими способами, включая:
- индивидуальный отчёт ученика, который получает каждый школьник и его родители;
- отчёт по школе, который размещается на сайте «Моя школа» [19];
- национальный отчёт в двух версиях: краткая (выходит в сентябре) и полная (выходит в конце года).
Национальный отчёт публикуется на сайте программы NAPLAN и позволяет сравнивать результаты каждого штата или территории с другими регионами страны и в целом с результатами по Австралии.
Результаты теста представляются с учётом различных характеристик учащихся: ген-дерная группа, принадлежность к коренным народам, родной язык (отличный от английского), образование и место работы родителей, территория проживания (столичный город, провинция, сельская местность, отдалённая местность). Провести сортировку результатов по любому набору характеристик позволяет онлайн база данных NAPLAN. При этом информация может быть представлена в табличном или графическом виде.
Основными показателями результатов теста, используемых в отчётах, являются: средний балл теста; доля школьников, достигших национального минимального стандарта (НМС); доля не достигших НМС и доля школьников, показавших результаты выше НМС. Кроме того, используется показатель - разница в результатах теста за 2 года по конкретной возрастной группе и области тестирования.
Все школьники, участвующие в тесте NAPLAN, получают индивидуальный отчёт с итоговыми оценками в сравнении с результатами по школе и по стране. Его рассылает
на дом школа, в которой учится ребёнок. На основании данного отчёта родители имеют возможность обсудить его результаты с учителями школы и понять, какая помощь в обучении нужна их ребёнку. Данные индивидуального отчёта строго конфиденциальны.
Сам отчёт представляет брошюру из четырёх страниц формата А4. На титульной странице дано краткое описание программы NAPLAN и графическая схема с результатами оценки и пояснениями, как правильно её читать. На второй и третьей страницах размещены результаты тестирования ученика по каждой области знаний и описание содержательных элементов, используемых в тесте заданий. Последняя страница содержит таблицу с описанием типичных результатов по областям оценки, которые школьники должны демонстрировать на каждом уровне. В помощь родителям выпускается специальный информационный буклет, разъясняющий цели программы оценки и значение содержащихся в индивидуальном отчёте данных.
Интересно и нетрадиционно публикуются результаты NAPLAN по школе. Они размещены на специальном веб-сайте «Моя школа» (My School) [19], который содержит характеристики (веб-страницы) примерно 10000 австралийских школ и позволяет проводить поиск школы по местоположению, типу или названию. Сайт позволяет школам, учителям, родителям и общественности получить информацию о конкретной школе, представленную в виде единых для всей страны показателей, а также сравнить достижения учащихся этой школы со среднестатистическими показателями школ со сходным контингентом учащихся либо со всеми школами Австралии.
Результаты теста NAPLAN представляются в контексте других результатов работы школы. Они являются важной, но не единственной частью информационного портрета образовательного учреждения. Интернет-портрет каждой австралийской школы содержит следующую информацию: профиль школы (общая характеристика образовательного учреждения), финансы школы, результаты теста NAPLAN, профессиональное образование, местные школы (ссылки на ближайшие по территории образовательные учреждения).
В национальном мониторинге реализован подход представления результатов на основании сравнения результатов школ в рамках кластера статистически «подобных» образовательных учреждений на основе индекса местных социально-образовательных условий (представлен выше). Это позволяет справедливо оценивать работу школы с учётом особенностей контингента учащихся. Для представления результатов школы в группе «подобных» образовательных учреждений на сайте «Моя школа» имеется специальная форма (рис. 2). Здесь вся группа школ разбита на пять подгрупп (они выделяются цветом) в зависимости от результатов по отношению к результатам выбранной школы: «выше», «ниже», «значительно ниже», «значительно выше» и «не отличаются». Кружки обозначают результаты конкретных учебных заведений. При таком подходе у школы появляется возможность сравнивать свои результаты со схожими учебными заведениями и, более того, учиться у других учебных заведений своего кластера, перенимая их успешный опыт.
Мониторинг NAEP (США)
Результаты американской национальной оценки прогресса в образовании представляются двумя основными способами, позволяющими наиболее доступно доносить эту
щщщ ■BI ишжм
Год _____ ш Область сиенк! 1
о&учения шлла ir- ■с
1 П
1 и Ч
И
с Л J
О
ш К 4
О
Л
С) О О (3 о о
1 0 л: •
iS 465 Л1Ъ ш 495 505 515 5?5 535 545
Рис. 2. Представление результатов NAPLAN по группе статистически «подобных» школ
информацию до различных групп пользователей - через средний балл теста и уровни достижений.
Средний балл показывает, что ученик знает и умеет. Уровни достижений показывают, в какой степени результаты ученика соответствуют ожиданиям относительно того, что ученик должен знать и уметь делать (например, применять свои знания). В NAEP определены три уровня достижений:
• Базовый (Basic) - частичное владение знаниями и навыками, необходимыми для успешного обучения;
• Хороший (Proficient) - свидетельствует о прочных знаниях и навыках, способности их применять в реальных ситуациях;
• Продвинутый (Advanced) - уровень очень высоких достижений.
В итоговых отчётах результаты представляются на диаграммах. На них указывается доля от общего количества оцениваемых учащихся на каждом из четырёх уровней (вводится дополнительный уровень ниже Базового). Результаты могут быть даны по нескольким годам или по целевым группам учащихся. В NAEP результаты представляются по следующим группам учащихся: гендерный состав; расовый и этнический состав; ученики, получающие бесплатное питание; английский язык как неродной; уровень образования родителей. Также данные агрегируются по типу (государственная, частная, религиозная и т.п.) и территориальному расположению школы (в зависимости от размера населённого пункта).
Следует обратить внимание, что шкалы тестов для оценки достижений по различным предметам являются независимыми. Поэтому средние баллы и результаты теста по уровням достижений не могут сравниваться между предметами. При этом сравнение происходит по годам для каждого конкретного предмета, а также для различных групп учащихся одного класса.
NAEP публикует информацию для широкого круга представителей заинтересованных групп, каждая из которых имеет свои собственные интересы, разную подготовку и способность понимать и интерпретировать имеющиеся данные о достижениях учащихся. В национальном мониторинге информация ориентирована на следующие целевые группы: чиновники и государственные служащие федерального уровня и уровня штатов; управленцы системы образования на местном уровне; работники школ (директора и учителя); исследователи и научные работники в сфере образования; общественность; средства массовой информации.
После проведения оценки результаты NAEP представляются общественности в различных формах. Главным источником информации о результатах национального мониторинга является сайт национальных докладов (The Nation's Report Card, http://nationsreportcard.gov), на котором представляются все результаты NAEP в самых разных формах: графики, диаграммы, различные доклады, базы данных и онлайн сервисы для конструирования различных отчётов под запросы конкретного пользователя. Кроме того, каждая целевая группа получает дополнительную информацию, ориентированную именно на неё. Для этого на сайте NAEP создан специальный раздел «Информация для...», включающий подразделы, ориентированные именно на родителей, школьников, представителей системы образования, политиков, управленцев, педагогов, исследователей и СМИ. Наличие такого богатого набора онлайн сервисов и инструментов позволяет получать данные под специфические запросы самых разных пользователей. Одновременно с этим отпадает необходимость в публикации большого количества печатных материалов (отчётов, докладов, справок и т.д.), необходимая информация становится доступной через интернет.
Важнейшим информационным продуктом, который ориентирован на самые разные целевые аудитории, является краткий отчёт по штату (территории). Данный отчёт отражает основные результаты NAEP по конкретному предмету и классу за конкретный год, в который проходила оценка. Отчёт представляет собой одну страницу формата А4, содержащую шесть смысловых блоков информации: общие результаты теста (средний балл штата, процент школьников на определённом уровне); диаграмма с результатами теста по уровням достижений по годам; географическая карта страны, представляющая через цветовую индикацию результаты штата в сравнении с другими штатами страны; график результатов NAEP штата и в целом по стране и по годам; таблица с результатами (средний балл и уровни достижений) по различным группам учащихся; разница баллов для групп учащихся между данным годом оценки и более ранним периодом.
Важную роль для проведения политических дебатов и профессионально-общественного обсуждения играют специальные доклады, которые готовятся по итогам теста NAEP и фокусируются на различных контекстных характеристиках системы образования, оказывающих непосредственное влияние на результаты обучения американских школьников. Вот примеры некоторых тем, которым посвящены такие доклады:
• Результаты 2013 года по математике и чтению у школьников США;
• Тенденции в академических достижениях школьников страны с начала 1970-х по 2012 год;
• Анализ образовательных достижений школьников в пяти самых крупных штатах страны;
• Разрывы в достижениях белокожих и испаноязычных школьников государственных школ.
Особо отметим, что в США стратегия распространения результатов мониторинга основывается на широком информировании общества и работников системы образования о результатах обучения американских школьников. За счёт этого и происходит влияние мониторинга на образовательную политику.
Мониторинг SIMCE (Чили)
В национальном мониторинге SIMCE особое внимание уделяется распространению информации о содержании и результатах оценки среди различных заинтересованных групп. Для обеспечения целевого информирования управленцев, школ, родителей и общественности в рамках национального мониторинга используются одиннадцать различных информационных продуктов.
Информационные продукты мониторинга SIMCE.
1. Руководство по проведению оценки (с 1988 г.)
2. Школьный отчёт (с 1988 г.)
3. Национальный отчёт (с 2006 г.)
4. Приложение к газете (с 1995 г.)
5. Отчёт для родителей (с 2005 г.)
6. Онлайн банк тестовых заданий (с 2007 г.)
7. Комплект материалов для СМИ (с 2006 г.)
8. Файлы данных (с 2005 г.)
9. Инструментарий анализа данных (с 2007 г.)
10. Геоинформационная система (с 2010 г.)
11. Интернет-сайт www.simce.cl [17] (с 2001 г.)
В соответствии со стратегией распространения информации все эти продукты имеют единое описание, включающее в себя следующие содержательные элементы: Цель (для чего предназначен конкретный информационный продукт), Целевые группы (на какую аудиторию он ориентирован), Содержание (какую информацию он включает) и Механизмы распространения (как образом информационный продукт будет распространяться). Ниже представлен пример описания одного из ключевых информационных продуктов -национального отчёта.
Национальный отчёт
Цель. Информирование лиц, ответственных за политику в области образования.
Целевая группа. Специалисты и структуры, ответственные за принятие решений, а также широкая общественность.
Содержание:
(a) национальные и региональные средние баллы по оцениваемым предметам и годам обучения.
(b) Процентное соотношение учащихся по уровням достижений: продвинутый, средний, начальный.
(c) Средний балл успеваемости по социально-экономическим группам, гендерной принадлежности, по частным и государственным школам.
(d) Изменения средних баллов на протяжении ряда лет.
Механизмы распространения. Направляется в центральные, региональные и местные отделы министерства образования, а также лицам, которые могут принимать участие в обсуждении результатов в средствах массовой информации (например, преподаватели университетов). Наиболее широко используемым показателем качества образования является динамика национального среднего балла теста по годам. Также значимым показателем является распределение результатов теста по уровням достижений. В SIMCE их три: начальный, средний и продвинутый.
Другим важным показателем, отражающим достижение принципов равенства и справедливости в получении образования, является динамика среднего балла по типам школ (государственные и частные), а также по кластерам образовательных учреждений, формируемым на основании СЭС учащихся.
Обеспечение подотчётности школ перед обществом является ещё одной целью SIMCE. Стратегия коммуникации в данном случае строится на публикации результатов школ и предоставлении информации родителям.
Публикация результатов национального мониторинга является обязательной по Закону об образовании и реализуется несколькими способами. Во-первых, на сайте Агентства по обеспечению качества образования у каждого желающего имеется возможность сформировать в режиме онлайн таблицы с результатами школ по ряду параметров (место расположения, тип школы, год и класс). Во-вторых, результаты публикуются в специальных приложениях к газетам и включают средние баллы школ и их сравнение с предыдущим измерением, со средним по стране и с результатами образовательных учреждений из своей социально-экономической группы. В дополнение к этому сами газеты формируют рейтинги лучших школ и публикуют их
36%
36%
2%
t 3%
I -5%
2010
2011
Начальный Средний I Продвинутый
Рис. 3. Распределение национальных результатов по математике (4-й класс) в 2011 г. по уровням достижений и в сравнении с 2010 г.
на своих страницах. В-третьих, имеется визуальная форма представления результатов -геоинформационная система, реализованная в виде интерактивной карты Google (www. simce.cl/mapas), на которой обозначены учебные заведения определённого населённого пункта и их средние баллы по предметам и классам.
Представление информации для родителей направлено на решение двух задач: повышение ответственности школ и вовлечение родителей в процесс обучения своих детей. С этой целью готовится и распространяется отчёт для родителей. Он включает все основные результаты по школе: средние баллы по предметам и классам, прогресс с учётом предыдущей оценки, сравнение со средним баллом по стране и со школами своей группы СЭС, долю учащихся по каждому уровню достижений. Кроме того, данный документ содержит рекомендации для родителей, как они могут помочь своему ребёнку в обучении.
В Чили информация о результатах мониторинга используется для обеспечения педагогической поддержки школ. С этой целью готовятся несколько информационных продуктов. До проведения оценки публикуется и направляется в школы руководство по проведению оценки. Этот документ играет ориентирующую роль: представляет содержание оценочной процедуры, разъясняет содержание измерительных материалов, их связь с учебным планом, описывает критерии оценивания. Руководство содержит примеры тестов и даёт анализ оцениваемых в них знаний и навыков. Наличие подобного информационного продукта необходимо для того, чтобы педагоги приняли и поддержали программу оценки. Другим важным продуктом является отчёт по школе, который направляется в каждую школу после проведения SIMCE. Он включает все основные результаты по школе: средние баллы, результаты в динамике и их распределение по уровням достижений.
Национальный мониторинг SIMCE является примером хорошо продуманной и реализованной стратегии распространения информации о результатах тестах. Она строится на использовании одиннадцати адресных информационных продуктов.
Вместо заключения: особенности использования результатов национальных мониторингов качества образования
Каждая страна, чей опыт рассматривается в данной статье, имеет сложившуюся практику использования результатов мониторинга. В заключении отметим особенности и общие подходы использования результатов национального мониторинга в каждой из стран.
Главной особенностью австралийского мониторинга NAPLAN в использовании результатов теста является отслеживание прогресса каждого ребёнка. Оценка всех учащихся определённого возраста на нескольких годах обучения позволяет определять индивидуальную динамику обучения по конкретному ученику и проектировать на уровне школы меры по его педагогической поддержке. Ученики вместе с родителями получают возможность обсуждать индивидуальные результаты с учителями и составлять на этой основе
план своего дальнейшего обучения. Учителям же результаты теста помогают определять учеников, которым нужна дополнительная педагогическая поддержка или с кем следует работать «на вырост».
Школы используют результаты NAPLAN для определения слабых и сильных сторон своих программ обучения, а также для выработки целей обучения по английскому языку и математике. Кроме того, благодаря кластеризации результатов и возможности сравнения статистически подобных образовательных учреждений, у школ появляется возможность соотносить свои результаты со схожими учебными заведениями и, более того, учиться у других учебных заведений из своего кластера, перенимая их успешный опыт.
На национальном и региональном уровнях на основе полученных данных органы управления образованием осуществляют меры по разработке и корректировке программ поддержки школ. В частности, школы, показывающие улучшение результатов теста, получают финансовые поощрения. Школы, результаты которых в тесте значительно ниже среднего балла по стране или по кластеру подобных образовательных учреждений, также получают финансовую поддержку для проведения мероприятий по повышению качества обучения.
Национальный сайт «Моя школа», на котором результаты теста являются открытыми для любого жителя страны, служит инструментом обеспечения подотчётности школ и образовательных системе перед обществом.
В США особенность национального мониторинга заключается в том, что NAEP не обладает потенциалом прямого влияния на практику работы школы и учителя. NAEP изначально была задумана как оценочная процедура с низкими ставками, не отягощённая возможными негативными последствиями по отношению к школам, учителям и ученикам. Это обеспечивается за счёт проведения тестирования на репрезентативных выборках школ (национальной и по штатам). Кроме того, по итогам мониторинга ученики не получают индивидуальные баллы и не готовятся отчёты по школам. В результате в США на основании данных NAEP не строятся рейтинги школ и не оценивается качество работы учителей.
Влияние NAEP на образовательную политику происходит за счёт открытости информации, что создаёт условия для её максимально широкого обсуждения. Как только информация становится открытой, она начинает использоваться как потребителями, так и производителями образовательных услуг. Опубликованные данные начинают широко обсуждаться в обществе и требуют принятия конкретных мер, направленных на преодоление существующих проблем. Открыв информацию о результатах обучения, нельзя не открыть информацию о принятых решениях и результатах их реализации. Как и в Австралии, национальный мониторинг является инструментом обеспечения подотчётности системы образования перед обществом.
Ещё одной важной особенностью мониторинга в США является представление результатов теста по различным группам учащихся. Цель такого представления - показать, сокращается ли разрыв в образовательных достижениях учеников из различных социальных и этно-культурных групп, например белокожих школьников и учащихся других этнических групп. На основании этих данных можно судить, насколько результативными
на уровне страны и штата были предпринятые ранее меры, направленные на преодоление образовательного неравенства. Данные мониторинга используются при разработке программ поддержки слабых школ и уязвлённых групп учащихся.
В Чили формирование доказательной базы для принятия управленческих решений является основной целью национального мониторинга. Результаты SIMCE используются для отслеживания показателей качества образования, разработки и анализа успешности реализации программ поддержки школ, включая выделение ресурсов школам с низкими результатами.
Данные национальной оценки широко используются для обеспечения подотчётности школ перед обществом. Она предполагает информирование общественности о результатах работы школ и создаёт систему стимулов3, направленных на повышение качества работы образовательных учреждений. Для этого используются разнообразные целевые информационные продукты и способы информирования, включая рейтинги школ в средствах массовой информации. Такая ситуация повышает ответственность школ, мотивирует их повышать качество своей работы.
B SIMCE используется кластерное сравнение результатов мониторинга по пяти группам СЭС. Разница результатов школ в группах с высоким и низким СЭС является предметом внимания управленцев, её минимизация является важнейшим приоритетом национальной образовательной политики.
В Чили информация о результатах мониторинга используется для обеспечения педагогической поддержки школ. В частности, каждое образовательное учреждение получает отчёт с результатами SIMCE. Он включает все основные результаты по школе: средние баллы, результаты в динамике и их распределение по уровням достижений. Эта информация даёт возможность образовательному учреждению провести внутренний разбор и анализ результатов оценки, спланировать необходимую методическую работу и подготовить школьный план повышения качества обучения.
Представление результатов теста по конкретному ученику (каждый участник мониторинга получает индивидуальный отчёт) направлено на вовлечение в процесс обучения их родителей, у которых таким образом появляется возможность обсуждать результаты своих детей и планировать дальнейший процесс обучения с учителями.
Подводя итоги, сформулируем следующие выводы по итогам анализа практики использования результатов национальных мониторингов обучения в Австралии, США и Чили.
• В каждой из стран главной целью национального мониторинга является получение достоверных данных о результатах обучения школьников и создание доказательной основы для выработки национальной образовательной политики. При этом в США имеется возможность обобщения результатов только на субнациональном уровне - по штатам (из-за проведения оценки на основе выборке).
3 Например, система подушевого финансирования школ (школа заинтересована в привлечении учеников), денежное поощрение учителей школ с высокими результатами, дополнительное финансирование школ с низкими результатами, желание иметь позитивный имидж школы в местном сообществе.
За счёт оценки на генеральной совокупности учащихся в Чили данные представляются по каждой школе (тест имеет ограничения по объёму проверяемого содержания), а в Австралии - и по школе, и каждому участвующему в оценке ученику.
• Мониторинги во всех странах используют контекстные данные для более точного объяснения полученных результатов теста. В Австралии и Чили происходит сравнение результатов школ по кластерам подобных образовательных учреждений на основании социально-экономического статуса семьи ученика и школы. В США результаты школ не сравниваются, но анализируются данные по различным группам учащихся, в том числе с учётом дохода семьи и образования родителей.
• Все страны уделяют очень серьёзное внимание стратегии распространения информации по итогам оценки. В мониторингах выделяются различные целевые группы пользователей, определяются показатели результатов оценки, осуществляется подготовка адресных информационных продуктов, создаются онлайн сервисы и информационные ресурсы, ведётся работа со СМИ.
• Национальные мониторинги Австралии, США и Чили являются измерениями с низкими ставками, по их результатам школы, муниципалитеты, регионы не получают негативных санкций и/или незаслуженных поощрений. Здесь следует отдельно отметить пример Чили, где по итогам SIMCE в СМИ публикуются рейтинги школ, что оказывает некоторое «негативное давление» на наименее успешные образовательные учреждения. Но к этим рейтингам министерство образования не имеет отношения, они публикуются по инициативе самих средств массовой информации на основе открытых данных.
• В Чили и Австралии, где в мониторинге участвуют все школы, осуществляется финансовая поддержка образовательных учреждений, продемонстрировавших низкие результаты, с целью преодоления существующих проблем и исправления ситуации.
Приложение
Основные характеристики национальных мониторингов учебных достижений
в Австралии, США и Чили
Австралия США Чили
NAPLAN National Assessment Program -Literacy and Numeracy (Национальная программа оценки грамотности по английскому языку и математических навыков) www.nap.edu.au NAEP National assessment of Educational Progress (Национальная оценка прогресса в образовании) www.nces.ed.gov/ nationsreportcard SIMCE Sistema de Medición de Calidad de la Educación (Система измерения качества образования) www.simce.cl
Австралия США Чили
Цели
1. Определение прогресса и оказание поддержки в обучении каждому конкретному ребёнку. 2. Разработка и оценка мер образовательной политики на уровне страны и регионов. 3. Обеспечение подотчётности перед обществом: информирование о том, насколько хорошо работают школы. Проведение единого измерения, которое позволяет обеспечивать сравнение образовательных достижений школьников на уровне страны, штатов и участвующих городских округов. Предоставление результатов учителям, директорам, родителям, политикам и исследователям для оценки прогресса в обучении и выработки мер для улучшения образования стране. 1. Создание информационной основы для выработки образовательной политики. 2. Обеспечение подотчётности и ответственности школ перед обществом. 3. Оказание педагогической поддержки.
Периодичность
ежегодно 1 раз в 2 года (математика и чтение) 1 раз в 4 года (естественные науки и письмо) остальные предметы - периодически ежегодно
Выборка или ген. совокупность
все учащиеся выборка все учащиеся, выборка для некоторых групп
Участники
Учащиеся 3, 5, 7 и 9 классов Учащиеся 4, 8 и 12 классов Учащиеся 2, 4, 8, 6, 10 и 11 классов
Что оценивается
Знание и навыки по 4 областям: чтение, письмо, правила языка (грамматика, пунктуация, орфография) и математические навыки в соответствии с национальными целями обучения (национальный учебный план разрабатывается и вводится в настоящее время). Проверяются навыки, которые формируются в школе на протяжении длительного времени и служат основой для обучения и жизни в обществе. Учебные достижение в ключевых предметных областях (математика, английский язык, социальные науки, искусство, экономика, география, технология, история США) - знания и навыки, а также их применение в реальных жизненных ситуациях. Результаты обучения по основным предметам школьной программы - математика, испанский язык, история, география, общест-вознание, естественные науки, а также письмо, английский язык, компьютерные навыки (ИКТ), физкультура.
Австралия США Чили
Характеристика инструментария оценки
Стандартизированные тесты Стандартизированный тест достижений, продолжительность от 90 до 120 мин. Используются вопросы с множественным выбором и конструированием ответа. Стандартизированный тест. Используются преимущественно вопросы с множественным выбором ответов, но также постепенно вводятся вопросы с открытым ответом и задания в форме эссе. Каждый тест содержит от 35 до 45 вопросов
Сбор контекстной информации
Присутствует. Анкеты не используются, собирается на основании статистики и других внешних данных; собирается информация о СЭС школы Присутствует. Анкеты для школьников, учителей и директоров школ Присутствует. Анкеты для учащихся, учителей, родителей и руководителей школ
Ответственная структура
Национальное независимое государственное Управление по учебному плану, оценке и информированию - Australian Curriculum, Assessment and Reporting Authority (ACARA) Национальный центр статистики в области образования (National Center for Education Statistics - NCES) - подразделение Министерства образования США. Управление NAEP осуществляет координационный орган - Управляющий совет по национальной оценке. Независимое правительственное агентство по обеспечению качества образования (Agencia de Calidad del a Educación)
Кто непосредственно проводит
Тест-администраторы (ТА) из числа учителей или других сотрудников школы, которая участвует в NAPLAN. Директор школы отвечает за подбор кандидатуры ТА, а также за надлежащую организацию и проведение теста в школе. ТА проводят свою работу в соответствии с национальным руководством по администрированию теста NAPLAN. Официальные члены команды NAEP, нанимаемые для проведения (администрирования) теста в школах. Они проходят специальную подготовку. В школе им оказывает организационную помощь назначенный школьный координатор. Студенты педагогических вузов, преподаватели университетов, школьные управленцы и методисты (учителя исключены).
Австралия США Чили
Использование и представление результатов
Результаты NAPLAN представляются несколькими способами, включая: • индивидуальный отчёт ученика, который получает каждый школьник и его родители; • отчёт по школе, который размещается на сайте «Моя школа»; • национальный отчёт в двух версиях: краткая (выходит в сентябре) и полная (выходит в конце года). Основные показатели: средний балл теста; доля школьников, достигших национального минимального стандарта (НМС); доля не достигших НМС и доля школьников, показавших результаты выше НМС; разница в результатах теста за 2 года по конкретной возрастной группе и области тестирования. • Средний балл теста по стране, штатам и его динамика по времени. • Результаты по уровням достижений (Basic, Proficient, Advanced). • Результаты по группам учащихся (гендер, этнический состав, СЭС). Не даёт возможности сравнения между предметами по уровням (шкалы разные). NAEP не предоставляет информации относительно отдельных учащихся и школ. Результаты, материалы и сервисы публикуются на специальном сайте. Результаты NAEP публикуются в национальном докладе (The Nation's Report Card), представляющем широкой общественности информацию об академических достижениях американских школьников. • Национальные и региональные средние баллы по оцениваемым предметам и годам обучения. • Процентное соотношение учащихся по уровням достижений. • Средний балл по со-циально-экономи-ческим группам, гендерной принадлежности, по частным и государственным школам. • Изменения средних баллов на протяжении ряда лет. Не даёт возможности представления данных оценки по ученику.
Особенности
• Единая шкала уровней достижений • Отслеживает прогресс каждого ученика в динамике • Представление результатов на специальном сайте как часть информации о школе • Представление результатов школ по группам СЭС • Эффективная стратегия распространения результатов: большое число информационных продуктов и онлайн сервисов, ориентированных на разные целевые группы • Фиксация долговременных тенденций в результатах (с начала 70-х гг.) • Специальные дополнительные исследования в рамках NAEP (High School Transcript Study, National Indian Education Study, NAEP-TIMSS Study) • Постепенный переход к компьютерной сдаче теста • Зафиксирована в Законе об образовании • Даёт информацию по каждой школе • Учёт социально-эконмического статуса школ при анализе результатов • Продуманная стратегия распространения информации
Список литературы:
1. Болотов, В. А. Виды и назначение программ оценки результатов обучения школьников / В. А. Болотов, И. А. Вальдман // Педагогика. - 2013. - № 8. -С. 15-26.
2. Болотов, В. А. Информирование различных целевых групп как условие эффективного использования результатов оценки учебных достижения школьников /
B. А. Болотов, И. А. Вальдман // Проблемы современного образования [Электронный ресурс] : науч.-информ. журнал. - 2012. - № 6. - С. 187-202. - Режим доступа к журн. : www.pmedu.ru, свободный.
3. Болотов, В. А. Условия эффективного использования результатов оценки образовательных достижений школьников / В. А. Болотов, И. А. Вальдман // Педагогика. - 2012. - № 6. - С. 39-45.
4. Вальдман, И. А. Мониторинговые исследования качества образования: опыт Австралии / И. А. Вальдман // Журнал руководителя управления образованием. -2013. - № 4. - С. 43-51.
5. Вальдман, И. А. Особенности организации мониторингов учебных достижений в странах мира: национальная оценка прогресса в образовании в США / И. А. Вальдман // Проблемы современного образования [Электронный ресурс] : науч.-информ. журнал. - 2014. - № 5. - С. 13-34. - Режим доступа к журн. : www. pmedu.ru, свободный.
6. Вальдман, И. А. Особенности организации мониторингов учебных достижений в странах мира: национальная программа оценки NAPLAN в Австралии / И. А. Вальдман // Проблемы современного образования [Электронный ресурс] : науч.-информ. журнал. - 2013. - № 2. - С. 5-18. - Режим доступа к журн. : www. pmedu.ru, свободный.
7. Вальдман, И. А. Особенности организации мониторингов учебных достижений в странах мира: национальная программа оценки SIMCE в Чили / И. А. Вальдман // Проблемы современного образования [Электронный ресурс] : науч.-ин-форм. журнал. - 2013. - № 5. - С. 133-149. - Режим доступа к журн. : www.pmedu. ru, свободный.
8. Вальдман, И. А. Основные уроки национальной программы оценки SIMCE в Чили / И. А. Вальдман // Качество образования в Евразии. - 2014. - № 2. -
C. 31-44.
9. Кэллаган, Т. Использование результатов национальной оценки учебных достижений / Томас Кэллаган, Винсент Грини, Т. Скотт Мюррей ; пер. с анг. С. В. Фир-совой ; под ред. И. В. Звонникова. - М. : Логос, 2014. - 248 с. - (Национальная оценка учебных достижений).
10. Поливанова, К. Н. Национальные и международные программы оценки качества образования : учеб. пособие / К. Н. Поливанова. - М. : Логос, 2010.
11. Рамирес, М. Х. Распространение и использование информации о результатах оценки достижений учащихся в Чили / Мария-Хосе Рамирес ; пер. О. Гринькова. - Вашингтон : Всемирный банк, 2012.
12. Bandeira de Mello, V. Mapping State Proficiency Standards Onto the NAEP Scales: Variation and Change in State Standards for Reading and Mathematics, 20052009 / V. Bandeira de Mello ; National Center for Education Statistics ; Institute of Education Sciences ; U.S. Department of Education. - Washington: Government Printing Office, 2011.
13. Bandeira de Mello, V. Mapping State Proficiency Standards Onto NAEP Scales: 20052007 / V. Bandeira de Mello, C. Blankenship, D. H. McLaughlin ; National Center for Education Statistics ; Institute of Education Sciences ; U.S. Department of Education. -Washington: Government Printing Office, 2009.
14. Jaeger, R. M. Reporting the Results of the National Assessment of Educational Progress (1998) / Richard M. Jaeger ; National Center for Education Statistics ; American Institutes for Research // AIR [Электронный ресурс]. - Режим доступа : http:// www.air.org.
15. The Nation's Report Card: A First Look: 2013 Mathematics and Reading / National Center for Education Statistics ; Institute of Education Sciences ; U.S. Department of Education // NCES [Электронный ресурс]. - Режим доступа : http://nces.ed.gov.
16. National Center for Education Statistics = Национальный центр статистики в области образования [Электронный ресурс] : офиц. сайт. - Режим доступа : http:// nces.ed.gov.
17. Agencia de Calidad de la Educación = Агентство по обеспечению качества образования [Электронный ресурс] : офиц. сайт. - Режим доступа : http://www. simce.cl/.
18. The National Assessment Program = Национальная программа оценки [Электронный ресурс] : офиц. сайт. - Режим доступа : http://www.nap.edu.au/.
19. My School = Моя школа [Электронный ресурс] : офиц. сайт. - Режим доступа : http://www.myschool.edu.au/.
Интернет-журнал «Проблемы современного образования» 2015, № 1
