Международный опыт использования результатов национальных мониторингов учебных достижений: ключевые аспекты Текст научной статьи по специальности «Науки об образовании»

международный опыт

ИСПОЛЬЗОВАНИЯ РЕЗУЛЬТАТОВ НАЦИОНАЛЬНЫХ МОНИТОРИНГОВ УЧЕБНЫХ ДОСТИЖЕНИЙ: КЛЮЧЕВЫЕ АСПЕКТЫ

ВАЛЬДМАН ИГОРЬ АЛЕКСАНДРОВИЧ

директор Российского тренингового центра Института образования НИУ ВШЭ, доцент, канд. пед. наук E-mail: iavaldman@gmail.com Москва, Российская Федерация

АННОТАЦИЯ. В статье на примере программ национальной оценки Австралии, США и Чили рассматриваются ключевые вопросы, связанные с использованием результатов оценки учебных достижений школьников при проведении национальных мониторингов качества образования. Обсуждаются особенности использования результатов в каждой из стран, включая интерпретацию и представление данных оценки для различных групп пользователей.

КЛЮЧЕВЫЕ СЛОВА: мониторинг учебных достижений, национальная оценка, оценка качества образования, тестирование, использование результатов оценки.

Качество образования в Евразии

3

INTERNATIONAL EXPERIENCE OF UTILIZATION RESULTS OF NATIONAL MONITORING OF LEARNING OUTCOMES: KEY ASPECTS

IGOR VALDMAN

Head of Russian Training Center, associate professor, Institute of Education, Higher School of Economics, Ph.D. in Education E-mail: iavaldman@gmail.com Moscow, Russian Federation

ABSTRACT. The article examines key questions of utilization results of national assessment of learning outcomes in Australia, USA and Chile. In the article discusses specific issues of utilization assessment results in each country, including interpretation and presentation assessment data for different users.

KEYWORDS: Monitoring of learning achievements, national assessment, assessment of quality of education, testing, utilization of assessment results.

4

Качество образования в Евразии

Вальдман И.А. ^

ВВЕДЕНИЕ

В последние годы в России все более активно обсуждается необходимость введения стандартизированных мониторингов учебных достижений школьников [1, 2, 3, 4], которые смогли бы дополнить российскую систему оценки качества школьного образования процедурами оценки с низкими ставками и уйти от сложившейся практики зачастую неправомерного использования результатов ЕГЭ для управления качеством образования.

В национальном мониторинге качества образования используются стандартизированные измерительные материалы (тесты) и в ряде случаев - анкеты для сбора дополнительной контекстной информации. Главная задача мониторинга - получение данных, позволяющих судить о степени достижения целей, предусмотренных государственным образовательным стандартом, учебным планом или другими нормативными документами, описывающими результаты обучения.

Среди базовых вопросов, на которые позволяют получить ответ национальные мониторинги, следует отметить следующие. Насколько эффективно учащиеся овладевают знаниями и навыками в системе образования? Какие достижения демонстрируют представители различных групп учащихся? Изменяются ли достижения учащихся с течением времени? Какие факторы оказывают влияние на результаты обучения? [9]

Во многих странах мира достаточно давно существует практика организации и проведения национальных мониторингов качества школьного образования. Думается, что передовой опыт и успехи зарубежных коллег будут полезны российским специалистам при проектировании и проведении мониторингов обучения, помогут избежать ненужных ошибок и позволят применить на практике наиболее перспективные подходы и решения.

В данной статье представлен сравнительный анализ опыта использования результатов национальных мониторингов учебных достижений школьников в Австралии, США и Чили для выработки образовательной политики в отношении разных уровней системы образования. В тексте обсуждаются перспективные подходы к интерпретации и представлению данных мониторингов для различных групп пользователей, рассматриваются вопросы выбора охвата оценки (выборка или генеральная совокупность учащихся), учета контекстной информации, выделяются особенности использования результатов теста в каждой из стран.

Качество образования в Евразии

5

Международный опыт использования результатов национальных, мониторингов учебных достижений: ключевые аспекты

КРАТКАЯ ХАРАКТЕРИСТИКА НАЦИОНАЛЬНЫХ МОНИТОРИНГОВ В АВСТРАЛИИ, США И ЧИЛИ

Дадим краткую характеристику каждого из национальных мониторингов, чтобы ввести читателя в контекст рассматриваемого вопроса. С более подробной информацией можно познакомиться в предыдущих наших статьях на данную тему [5, 6, 7, 8].

АВСТРАЛИЯ.

НАЦИОНАЛЬНЫЕ МОНИТОРИНГИ УЧЕБНЫХ ДОСТИЖЕНИЙ NAPLAN

С 2008 года в Австралии существует национальная программа оценки грамотности по английскому языку и математических навыков школьников NAPLAN (National Assessment Program - Literacy and Numeracy), которая проводится ежегодно для всех учащихся 3-го, 5-го, 7-го и 9-го годов обучения.

Программа NAPLAN ориентирована на достижение следующих целей:

• определение прогресса и оказание поддержки в обучении каждому конкретному ребенку;

• разработка и оценка мер образовательной политики на уровне страны и регионов;

• обеспечение подотчетности перед обществом: информирование о том, насколько хорошо работают школы.

NAPLAN проверяет знание и навыки учащихся в четырех областях: чтение, письмо, правила языка (грамматика, пунктуация, орфография) и математические навыки в соответствии с национальными целями обучения и общими элементами учебного плана по математике и английскому языку штатов и территорий Австралии. В дополнение тестируются знания и по другим предметным областям (естественные науки, компьютерные навыки, граждановедение), но уже выборочно. Таким образом, в стране реализован сбалансированный подход: оценка всех детей определенного возраста по языку и математике и оценка на выборочной основе некоторых других областей знаний.

Используемые в программе тесты проверяют не узко предметные знания, а навыки, которые формируются в школе на протяжении длительного времени и служат основой для обучения и жизни в обществе. Формат тестов подобного типа и сами задания используются в регулярном процессе обучения и оценки учащихся в школе, поэтому они знакомы и учителям, и ученикам.

6

Качество образования в Евразии

Вальдман И.А. ^

США.

НАЦИОНАЛЬНЫЙ МОНИТОРИНГ УЧЕБНЫХ ДОСТИЖЕНИЙ NAEP

Национальная оценка прогресса в образовании NAEP (The National Assessment of Educational Progress) - это программа оценки образовательных достижений, систематически проводимая на национальном уровне в США. NAEP показывает, что знают и умеют делать американские школьники в рамках конкретных предметных областей. Необходимость проведения такой крупномасштабной оценки закреплена в федеральном законодательстве. За ее проведение отвечает Национальный центр статистики в области образования, который является подразделением Департамента образования.

Целью NAEP является получение надежной и ясной информации для оценки прогресса в обучении школьников и разработки мер по улучшению образования в стране. Национальный мониторинг является инструментом для сравнения образовательных достижений школьников на уровне страны и штатов и дает ответы на следующие ключевые вопросы:

• как изменяются с течением времени результаты обучения американских школьников по конкретным учебным предметам?

• сокращается ли разрыв в результатах обучения у разных групп американских школьников (по уровню дохода, этнической принадлежности, ограниченными возможностями здоровья и др.)?

• как результаты обучения школьников конкретного штата выглядят на фоне результатов страны?

NEAP проверяет знание и навыки учащихся 4-х, 8-х и 12-х классов по следующим предметным областям: математика, английский язык, обществоведение, письмо, искусство, экономика, география, история США, с 2014 года - технологическая и инженерная грамотность.

Мониторинг различных предметов проводится с разной периодичностью: 1 раз в 2 года оценивается математика и чтение, 1 раз в 4 года - естественные науки и письмо, остальные предметы - еще реже.

Оценка проводится на репрезентативной национальной выборке школ, а также на репрезентативной выборке на уровне штата.

В дополнение к тестам в мониторинге NAEP используются анкеты для сбора контекстной информации. Они позволяют получить информацию о факторах, влияющих на результаты обучения, а также дают возможность представить результаты теста по различным группам учащихся, что является требованием федерального законодательства.

Качество образования в Евразии

7

Международный опыт использования результатов национальных, мониторингов учебных достижений: ключевые аспекты

ЧИЛИ.

НАЦИОНАЛЬНЫЙ МОНИТОРИНГ УЧЕБНЫХ ДОСТИЖЕНИЙ SIMCE

Национальный мониторинг SIMCE (Sistemade Medicionde Calidad de la Educacion - Система измерения качества образования) проводится в Чили на систематической основе с 1998 года и является первой национальной программой оценки в странах Латинской Америки. Она является обязательной по Закону об образовании и координируется Министерством образования Чили.

Программа нацелена на повышение качества образования и обеспечение равного доступа к образованию посредством получения информации об успеваемости учащихся и среде, в которой происходит обучение. SIMCE ориентирована на достижение трех целей:

1) создание информационной основы для выработки образовательной политики;

2) обеспечение подотчетности и ответственности школ перед обществом путем информирования родителей о результатах обучения;

3) оказание педагогической поддержки школам и учителям.

Мониторинг SIMCE позволяет оценивать результаты обучения

по основным предметам школьной программы: математика, испанский язык, история, география, обществознание, естественные науки. В последние годы были добавлены новые предметы: письмо, английский язык, компьютерные навыки (ИКТ), физкультура. В оценке принимают участие все учащиеся 2-х, 4-х, 8-х, 6-х, 10-х и 11-х классов. При этом имеет место и оценка на основе репрезентативной выборки: для учащихся 8-го класса по физкультуре; для учащихся 10-го класса по ИКТ; для учащихся 4-го и 6-го классов с ограниченными возможностями здоровья.

В качестве измерителей используются стандартизированные тесты, содержание которых базируется на национальном учебном плане. В тестах используются преимущественно вопросы с множественным выбором ответов, но также постепенно вводятся вопросы с открытым ответом и задания в форме эссе. Также инструментарий SIMCE включает анкеты для сбора информации о школьной образовательной среде и семейных характеристиках учащихся.

8

Качество образования в Евразии

Вальдман И.А. ^

ПРАКТИКА ИСПОЛЬЗОВАНИЯ РЕЗУЛЬТАТОВ НАЦИОНАЛЬНЫХ МОНИТОРИНГОВ

При анализе практики работы с данными национальных мониторинговых исследований обратим внимание на три важных аспекта, связанных с использованием результатов оценки.

Первый аспект связан с решением, в каком масштабе будет проводиться оценка - на выборке или генеральной совокупности школьников. Выборка всегда задает определенные ограничения на использование результатов теста.

Другой аспект заключается в учете контекстных данных при интерпретации результатов теста. Например, данные об образовательной среде, культурных и социально-экономических характеристиках семьи ученика или территории, в которой расположена школа, позволяют определить факторы, оказывающие существенное влияние на результаты обучения. Это, в свою очередь, дает возможность принимать эффективные управленческие решения и разрабатывать адресные меры поддержки учащихся.

Третий аспект имеет отношение к вопросу представления результатов для различных целевых групп мониторинга. Ключевой вопрос здесь, насколько ясную, полную и своевременную информацию получают для своей деятельности разные группы пользователей - учителя, методисты, управленцы, политики1.

ВЫБОРКА ИЛИ ГЕНЕРАЛЬНАЯ СОВОКУПНОСТЬ

Выбор формата проведения национального мониторинга - на основе выборки или на всей генеральной совокупности учащихся - всегда серьезная дилемма. Первый вариант значительно дешевле и проще в организации. Кроме того, он ограничивает возможности неправомерного использования результатов оценки, например наказание учителей и школ. Подход, основанный на выборке, снижает «ставки» оценочной процедуры и лишает ее участников и организаторов негативных стимулов для завышения результатов теста разными способами, иногда незаконными: обучение под тест, списывание, фальсификация результатов и т.п. Во втором случае, при оценке всех учащихся, появляется возможность создать условия для поддержки конкретного ребенка, сравнить результаты работы школ и образовательных систем. В любом случае определение

1 Конкретный набор групп пользователей зависит от целей национального мониторинга.

Качество образования в Евразии

9

Международный опыт использования результатов национальных, мониторингов учебных достижений: ключевые аспекты

масштаба проведения теста всегда является производной от целей проводимой оценочной процедуры.

В США оценка проводится на репрезентативной национальной выборке школ, а также на репрезентативной выборке школ на уровне штата. Такой подход полностью согласуется с главной задачей NAEP - определение тенденции в обучении американских школьников на уровне страны и штатов. NAEP не дает информации относительно результатов отдельных учащихся и школ, что превращает ее в измерение с низкими «ставками», без негативных последствий для школ, учителей и учеников. По итогам мониторинга ученики не получают индивидуальные баллы, не готовятся отчеты по школам. В результате невозможно оценивать качество работы школ и устанавливать их рейтинги.

Австралийский мониторинг NAPLAN, наряду с задачами выработки образовательной политики и обеспечением подотчетности школ перед обществом, выполняет и другую очень важную задачу - определение прогресса в обучении каждого конкретного школьника. Она реализуется путем ежегодного тестирования всех учеников 3-х, 5-х, 7-х и 9-х классов, то есть оценка проводится на генеральной совокупности учащихся. Следует отметить, что в дополнение к NAPLAN раз в 3 года для учащихся 6-х и 10-х классов проводится выборочный мониторинг NAP Sample Assessments по оценке естественнонаучной грамотности, владения ИКТ и гражданского образования. Можно сказать, что Австралия выбрала разумный компромисс в сочетании подходов выборочного и тотального тестирования: оценивать в рамках NAPLAN всех школьников определенного возраста в области английского языка и математики, являющихся областями национального образовательного приоритета, и проводить дополнительную выборочную оценку по другим областям знаний.

Мониторинг SIMCE в Чили проводится на основе генеральной совокупности школьников определенных классов. При этом SIMCE, в отличие от австралийского NAPLAN, не позволяет получить данные оценки успеваемости отдельного ученика. Каждый тест, выполняемый конкретным учеником, покрывает очень незначительный объем содержания учебной программы и, как следствие, на основании его результатов невозможно выяснить, освоил ученик учебную программу по предмету или нет. Но совокупность вариантов тестов, выполненных всеми учениками школы конкретного года обучения, покрывает содержание учебной программы и позволяет сделать вывод об успешности ее освоения на уровне образовательного учреждения.

Таким образом, мы видим три разные модели работы с выборкой при проведении национального мониторинга в зависимости от его целей:

10

Качество образования в Евразии

Вальдман И.А. ^

• для определения тенденций в обучении на национальном и субнациональном уровнях достаточно использовать репрезентативную выборку (случай США);

• для оценки и обеспечения подотчетности работы школ в тестировании должны участвовать все учащиеся, при этом каждый ученик может выполнять задания, лишь частично покрывающие содержание учебного плана (случай Чили);

• для выявления прогресса в обучении каждого конкретного ученика необходимо проводить оценку на генеральной совокупности учащихся (случай Австралии).

УЧЕТ КОНТЕКСТНОЙ ИНФОРМАЦИИ

Еще раз подчеркнем, что учет дополнительной информации, помимо результатов теста, позволяет лучше понимать и интерпретировать данные оценки, определять факторы, оказывающие существенное влияние на образовательные результаты, а также разрабатывать адресные меры по преодолению проблем в обучении на разных уровнях системы образования - от учителя и школы до страны. Имеют место две группы таких дополнительных факторов: образовательные, находящиеся в сфере влияния системы образования, и необразовательные, которые не могут быть изменены за счет действий образовательных ведомств и организаций.

К первой группе можно отнести уровень квалификации педагогов, содержание учебных программ, качество учебной литературы, применяемые методы обучения, материально-техническое оснащение школ и т. п. Ко второй относятся такие характеристики, как пол школьников, их принадлежность к конкретным этническим или религиозным группам, родной язык, социально-экономический статус (СЭС) семьи и территория расположения школы.

Многочисленные исследования показывают, что результаты обучения зависят не только от организации образовательного процесса в школе, но и от социально-экономического статуса семьи. СЭС характеризуется набором разнообразных параметров, среди которых значимое место занимают доход, трудовая занятость и уровень образования родителей. Очевидно, что школа с большим количеством детей из семей с низким СЭС не сможет демонстрировать результаты, сопоставимые с теми, которые показывают образовательные учреждения, обучающие детей из благополучных семей. Учет социально-экономического статуса семьи при анализе результатов школ, показанных в национальном тесте, позволяет обеспечить справедливое сравнение результатов школ за счет построе-

11

Качество образования в Евразии

Международный опыт использования результатов национальных, мониторингов учебных достижений: ключевые аспекты

ния кластеров «статистически подобных» образовательных учреждений. В рассматриваемых примерах будут представлены подходы учета СЭС семьи при анализе данных национального мониторинга.

Сбор необходимой контекстной информации может проводиться как непосредственно в рамках национального мониторинга (с помощью анкет, предлагаемых учащимся, учителям, администрации школ), так и с использованием уже имеющихся в стране статистических данных, результатов исследований и т. п.

В австралийском мониторинге NAPLAN анкеты для учащихся и учителей не используются. Необходимая контекстная информация собирается на основании статистических и других данных. Для более глубокой интерпретации результатов теста учитываются следующие характеристики: гендерная группа, к которой относится ученик; принадлежность к коренным народам страны; родной язык в семье (отличный от английского); образование и трудовая занятость родителей; географическое расположение школы (столичный город, провинция, сельская местность, отдаленная местность).

В целях формирования кластеров школ со статистически сходным контингентом учащихся в NAPLAN используется Индекс местных социально-образовательных условий (Index of Community Socio-Educational Advanx tage - ICSEA). Цель использования данного индекса - обеспечить честное прозрачное сравнение результатов обучения школьников в конкретных школах с учетом факторов, оказывающих влияние на эти результаты.

Индекс рассчитывается на основании следующих параметров:

• количество учащихся в школе;

• занятость и образование родителей учеников;

• социально-экономические характеристики места проживания учеников;

• местонахождение школы (столица, регион либо удаленная территория);

• доля учеников из семей, где английский язык не является родным;

• доля учеников - представителей коренного населения страны.

В отличие от Австралии в национальном мониторинге NAEP (США) используются анкеты для сбора контекстной информации. Они позволяют получить информацию о факторах, влияющих на результаты обучения, а также дают возможность представить результаты теста по различным группам учащихся, что является требованием федерального законодательства. Применяется четыре вида анкет:

• анкета для школьников - позволяет получить информацию о демографических характеристиках, опыте обучения в школе;

12

Качество образования в Евразии

Вальдман И.А. ^

• анкета для учителей - позволяет получить информацию о подготовке и повышении квалификации, методах и практике преподавания (заполняется учителями 4-х и 8-х классов);

• анкета для школ - позволяет получить информацию о характеристиках образовательного процесса и школы в целом (заполняется администрацией школы);

• анкета для школьников с ограниченными возможностями здоровья и неродным английским языком (заполняется педагогами и сотрудниками школы, которые непосредственно работают с данными учащимися).

Заполненные анкеты содержат информацию о гендерном составе учащихся, расовом и этническом составе, уровне дохода семьи (ученики, получающие бесплатное или более дешевое питание в школе), доле учеников с неродным английским языком, типе школы (государственная, частная, религиозная и т. п.), расположении школы (большой город, пригород, малый город, сельский населенный пункт), уровне образования родителей.

Так же как и американский, инструментарий чилийского мониторинга SIMCE включает анкеты для учащихся, учителей, родителей и руководителей школ, предоставляющие информацию о школьной образовательной среде и семейных характеристиках. Примером такой информации являются интересы и мотивация к обучению у школьников, используемые методы обучения, профессиональная квалификация педагога, формы и содержание программ повышения квалификации учителей, уровень образования родителей, доход семьи, удовлетворенность обучением в школе и др. Кроме того, в SIMCE используется деление образовательных учреждений на пять групп по уровню их социально-экономического статуса (на основании уровня СЭС семьи ученика).

Данные SIMCE за многие годы показывают, что СЭС семей больше всего влияет на результаты учащихся, он объясняет более 70% всех результатов, поэтому в Чили сравнение результатов школ проводят в группе «подобных» образовательных учреждений. В SIMCE СЭС формируется на основе трех переменных: уровень образования родителей (число лет обучения), размер ежемесячного дохода семьи, индекс уязвимости школьников (fndice de Vulnerabilidad del Establecimiento), рассчитываемый на основе анкет для родителей. Учреждения с одинаковым СЭС являются «учреждениями с аналогичными социально-экономическими характеристиками». При этом следует отметить, что одна и та же школа может иметь разный СЭС как в пределах одного года (в зависимости от контингента школьников в каждом конкретном классе), так и в разные года проведения SIMCE.

13

Качество образования в Евразии

Международный опыт использования результатов национальных, мониторингов учебных достижений: ключевые аспекты

Таким образом, мы видим, что во всех странах сбор контекстных данных для целей интерпретации результатов оценки является общим правилом.

ПРЕДСТАВЛЕНИЕ РЕЗУЛЬТАТОВ ОЦЕНКИ

Любая оценочная процедура, включая национальный мониторинг учебных достижений, действительно обеспечивает повышение качества образования, но только если ее данные используются для принятия своевременных и адресных управленческих решений, помогают учителям совершенствовать образовательный процесс и дают родителям представление о том, насколько хорошо учатся их дети. В связи с этим возникает вопрос - как обеспечить максимально эффективное использование результатов оценки учебных достижений всеми заинтересованными сторонами?

Оставляя в стороне ряд важных аспектов этой проблематики (политическая воля управленцев, мотивация к принятию решений, техническая квалификация в работе с результатами оценки и т. п.), обратим внимание на два важных фактора.

Во-первых, значимую роль играет способность организаторов мониторинга представить результаты оценки в виде, понятном для широкого круга технически не подготовленных пользователей, к которым можно отнести учителей, родителей, политиков, представителей средств массовой информации. Каждая целевая группа пользователей имеет свои специфические информационные запросы. Поэтому другой значимый фактор связан с работой по созданию и распространению адресных информационных продуктов2, которые разрабатываются командой организаторов программы оценки для удовлетворения информационных потребностей конкретной группы пользователей.

Обеспечение максимального влияния результатов оценки на образовательную политику на всех уровнях системы образования зависит от того, насколько ясно организаторам оценочной процедуры удается интерпретировать результаты оценки качества и доводить их до представителей заинтересованных целевых групп.

Рассмотрим, как организована практика представления результатов национального мониторинга в Австралии, США и Чили.

2 Под информационными продуктами понимаются информационные материалы, которые готовятся исходя из целей оценивания и на основании результатов оценки и ориентированы на конкретные группы пользователей. К ним можно отнести национальный отчет, специализированные отчеты (по предметам, по группе учащихся и т.п.), примеры заданий или демонстрационные варианты теста, аналитическую записку для министра образования, информационный буклет для родителей и т.п.

14

Качество образования в Евразии

Вальдман И.А. ^

МОНИТОРИНГ NAPLAN (АВСТРАЛИЯ)

Возможности представления результатов теста заложены в шкале, которая используется в NAPLAN для оценки результатов учащихся (см. рис. 1). Фактически шкала по каждой области оценки представляет систему уровней, расположенную на оси времени, содержащую четыре отсечки - 3-й, 5-й, 7-й и 9-й года обучения. Таким образом, сконструированная шкала позволяет представлять результаты обучения в данном конкретном году и также фиксировать динамику изменений результатов между циклами оценки.

Всего шкала включает 10 уровней (bands) достижений, каждый из которых соответствует набору умений и навыков, которые может демонстрировать школьник определенного возраста. Уровень 1 - самый низкий, уровень 10 - самый высокий. Для каждого года обучения определяется один уровень, который соответствует так называемому национальному минимальному стандарту (НМС). Эти стандарты представляют собой краткое описание типичных учебных достижений, которые могут демонстрировать школьники конкретного года обучения.

Результаты NAPLAN представляются несколькими способами, включая:

• индивидуальный отчет ученика, который получает каждый школьник и его родители;

• отчет по школе, который размещается на сайте «Моя школа» [19];

• национальный отчет в двух версиях: краткая (выходит в сентябре) и полная (выходит в конце года).

Национальный отчет публикуется на сайте программы NAPLAN и позволяет сравнивать результаты каждого штата или территории с другими регионами страны и в целом с результатами по Австралии.

Результаты теста представляются с учетом различных характеристик учащихся: гендерная группа, принадлежность к коренным народам, родной язык (отличный от английского), образование и место работы родителей, территория проживания (столичный город, провинция, сельская местность, отдаленная местность). Провести сортировку результатов по любому набору характеристик позволяет онлайн-база данных NAPLAN. При этом информация может быть представлена в табличном или графическом виде.

Основными показателями результатов теста, используемых в отчетах, являются: средний балл теста; доля школьников, достигших национального минимального стандарта (НМС); доля не достигших НМС и доля школьников, показавших результаты выше НМС. Кроме того, используется показатель - разница в результатах теста за 2 года по конкретной возрастной группе и области тестирования.

Качество образования в Евразии

15

Качество образования в Евразии

а\

Рисунок 1. Оценочная шкала, используемая в NAPLAN

Международный опыт использования результатов национальных, мониторингов учебных достижений: ключевые аспекты

Вальдман И.А. ^

Все школьники, участвующие в тесте NAPLAN, получают индивидуальный отчет с итоговыми оценками в сравнении с результатами по школе и по стране. Его рассылает на дом школа, в которой учится ребенок. На основании данного отчета родители имеют возможность обсудить его результаты с учителями школы и понять, какая помощь в обучении нужна их ребенку. Данные индивидуального отчета строго конфиденциальны.

Сам отчет представляет брошюру из четырех страниц формата А4. На титульной странице дано краткое описание программы NAPLAN и графическая схема с результатами оценки и пояснениями, как правильно ее читать. На второй и третьей страницах размещены результаты тестирования ученика по каждой области знаний и описание содержательных элементов, используемых в тесте заданий. Последняя страница содержит таблицу с описанием типичных результатов по областям оценки, которые школьники должны демонстрировать на каждом уровне. В помощь родителям выпускается специальный информационный буклет, разъясняющий цели программы оценки и значение содержащихся в индивидуальном отчете данных.

Интересно и нетрадиционно публикуются результаты NAPLAN по школе. Они размещены на специальном веб-сайте «Моя школа» (My School) [19], который содержит характеристики (веб-страницы) примерно 10000 австралийских школ и позволяет проводить поиск школы по местоположению, типу или названию. Сайт позволяет школам, учителям, родителям и общественности получить информацию о конкретной школе, представленную в виде единых для всей страны показателей, а также сравнить достижения учащихся этой школы со среднестатистическими показателями школ со сходным контингентом учащихся либо со всеми школами Австралии.

Результаты теста NAPLAN представляются в контексте других результатов работы школы. Они являются важной, но не единственной частью информационного портрета образовательного учреждения. Интернет-портрет каждой австралийской школы содержит следующую информацию: профиль школы (общая характеристика образовательного учреждения), финансы школы, результаты теста NAPLAN, профессиональное образование, местные школы (ссылки на ближайшие по территории образовательные учреждения).

В национальном мониторинге реализован подход представления результатов на основании сравнения результатов школ в рамках кластера статистически «подобных» образовательных учреждений на основе индекса местных социально-образовательных условий (представлен выше). Это позволяет справедливо оценивать работу школы с учетом особенностей контингента учащихся. Для представления результатов школы

Качество образования в Евразии

17

Международный опыт использования результатов национальных, мониторингов учебных достижений: ключевые аспекты

в группе «подобных» образовательных учреждений на сайте «Моя школа» имеется специальная форма (рис. 2). Здесь вся группа школ разбита на пять подгрупп (они выделяются цветом) в зависимости от результатов по отношению к результатам выбранной школы: «выше», «ниже», «значительно ниже», «значительно выше» и «не отличаются». Кружки обозначают результаты конкретных учебных заведений. При таком подходе у школы появляется возможность сравнивать свои результаты со схожими учебными заведениями и, более того, учиться у других учебных заведений своего кластера, перенимая их успешный опыт.

МОНИТОРИНГ NAEP (США)

Результаты американской национальной оценки прогресса в образовании представляются двумя основными способами, позволяющими наиболее доступно доносить эту информацию до различных групп пользователей - через средний балл теста и уровни достижений.

Средний балл показывает, что ученик знает и умеет. Уровни достижений показывают, в какой степени результаты ученика соответствуют ожиданиям относительно того, что ученик должен знать и уметь делать (например, применять свои знания). В NAEP определены три уровня достижений:

• Базовый (Basic) - частичное владение знаниями и навыками, необходимыми для успешного обучения;

• Хороший (Proficient) - свидетельствует о прочных знаниях и навыках, способности их применять в реальных ситуациях;

• Продвинутый (Advanced) - уровень очень высоких достижений.

В итоговых отчетах результаты представляются на диаграммах. На них указывается доля от общего количества оцениваемых учащихся на каждом из четырех уровней (вводится дополнительный уровень ниже Базового). Результаты могут быть даны по нескольким годам или по целевым группам учащихся. В NAEP результаты представляются по следующим группам учащихся: гендерный состав; расовый и этнический состав; ученики, получающие бесплатное питание; английский язык как неродной; уровень образования родителей. Также данные агрегируются по типу (государственная, частная, религиозная и т. п.) и территориальному расположению школы (в зависимости от размера населенного пункта).

Следует обратить внимание, что шкалы тестов для оценки достижений по различным предметам являются независимыми. Поэтому средние баллы и результаты теста по уровням достижений не могут сравниваться между предметами. При этом сравнение происходит по годам для каждого конкретного предмета, а также для различных групп учащихся одного класса.

18

Качество образования в Евразии

Качество образования в Евразии

Год

обучения

и

ю

9

3 7 6 5

4 3 2 1

0

- 1 00 0

\ 0000

ооооо

О О О О О О

# о i || О О О О о о р

# о • ё < О 6 р О О О р 5

455

465

475

485 495

505

515 525

535

545

Рисунок 2. Представление результатов NAPLAN по группе статистически «подобных» школ

10

Вальдман И. А.

Международный опыт использования результатов национальных, мониторингов учебных достижений: ключевые аспекты

NAEP публикует информацию для широкого круга представителей заинтересованных групп, каждая из которых имеет свои собственные интересы, разную подготовку и способность понимать и интерпретировать имеющиеся данные о достижениях учащихся. В национальном мониторинге информация ориентирована на следующие целевые группы: чиновники и государственные служащие федерального уровня и уровня штатов; управленцы системы образования на местном уровне; работники школ (директора и учителя); исследователи и научные работники в сфере образования; общественность; средства массовой информации.

После проведения оценки результаты NAEP представляются общественности в различных формах. Главным источником информации о результатах национального мониторинга является сайт национальных докладов (The Nation's Report Card, http://nationsreportcard.gov), на котором представляются все результаты NAEP в самых разных формах: графики, диаграммы, различные доклады, базы данных и онлайн-сервисы для конструирования различных отчетов под запросы конкретного пользователя. Кроме того, каждая целевая группа получает дополнительную информацию, ориентированную именно на нее. Для этого на сайте NAEP создан специальный раздел «Информация для...», включающий подразделы, ориентированные именно на родителей, школьников, представителей системы образования, политиков, управленцев, педагогов, исследователей и СМИ. Наличие такого богатого набора онлайн-сервисов и инструментов позволяет получать данные под специфические запросы самых разных пользователей. Одновременно с этим отпадает необходимость в публикации большого количества печатных материалов (отчетов, докладов, справок и т.д.), необходимая информация становится доступной через Интернет.

Важнейшим информационным продуктом, который ориентирован на самые разные целевые аудитории, является краткий отчет по штату (территории). Данный отчет отражает основные результаты NAEP по конкретному предмету и классу за конкретный год, в который проходила оценка. Отчет представляет собой одну страницу формата А4, содержащую шесть смысловых блоков информации: общие результаты теста (средний балл штата, процент школьников на определенном уровне); диаграмма с результатами теста по уровням достижений по годам; географическая карта страны, представляющая через цветовую индикацию результаты штата в сравнении с другими штатами страны; график результатов NAEP штата и в целом по стране и по годам; таблица с результатами (средний балл и уровни достижений) по различным группам учащихся; разница баллов для групп учащихся между данным годом оценки и более ранним периодом.

20

Качество образования в Евразии

Вальдман И.А. ^

Важную роль для проведения политических дебатов и профессионально-общественного обсуждения играют специальные доклады, которые готовятся по итогам теста NAEP и фокусируются на различных контекстных характеристиках системы образования, оказывающих непосредственное влияние на результаты обучения американских школьников. Вот примеры некоторых тем, которым посвящены такие доклады:

• результаты 2013 года по математике и чтению у школьников США;

• тенденции в академических достижениях школьников страны с начала 1970-х по 2012 год;

• анализ образовательных достижений школьников в пяти самых крупных штатах страны;

• разрывы в достижениях белокожих и испаноязычных школьников государственных школ.

Особо отметим, что в США стратегия распространения результатов мониторинга основывается на широком информировании общества и работников системы образования о результатах обучения американских школьников. За счет этого и происходит влияние мониторинга на образовательную политику.

МОНИТОРИНГ SIMCE (ЧИЛИ)

В национальном мониторинге SIMCE особое внимание уделяется распространению информации о содержании и результатах оценки среди различных заинтересованных групп. Для обеспечения целевого информирования управленцев, школ, родителей и общественности в рамках национального мониторинга используются одиннадцать различных информационных продуктов.

Информационные продукты мониторинга SIMCE.

1. Руководство по проведению оценки (с 1988 г.)

2. Школьный отчет (с 1988 г.)

3. Национальный отчет (с 2006 г.)

4. Приложение к газете (с 1995 г.)

5. Отчет для родителей (с 2005 г.)

6. Онлайн-банк тестовых заданий (с 2007 г.)

7. Комплект материалов для СМИ (с 2006 г.)

8. Файлы данных (с 2005 г.)

9. Инструментарий анализа данных (с 2007 г.)

10. Геоинформационная система (с 2010 г.)

11. Интернет-сайт www.simce.cl [17] (с 2001 г.)

Качество образования в Евразии

21

Международный опыт использования результатов национальных, мониторингов учебных достижений: ключевые аспекты

В соответствии со стратегией распространения информации все эти продукты имеют единое описание, включающее в себя следующие содержательные элементы: Цель (для чего предназначен конкретный информационный продукт), Целевые группы (на какую аудиторию он ориентирован), Содержание (какую информацию он включает) и Механизмы распространения (каким образом информационный продукт будет распространяться). Ниже представлен пример описания одного из ключевых информационных продуктов - национального отчета.

Национальный отчет

Цель. Информирование лиц, ответственных за политику в области образования.

Целевая группа. Специалисты и структуры, ответственные за принятие решений, а также широкая общественность.

Содержание:

(a) национальные и региональные средние баллы по оцениваемым предметам и годам обучения;

(b) процентное соотношение учащихся по уровням достижений: продвинутый, средний, начальный;

(c) средний балл успеваемости по социально-экономическим группам, гендерной принадлежности, по частным и государственным школам;

(d) изменения средних баллов на протяжении ряда лет.

28%

• 2%

>

30%

36%

Н 3%

>

39%

1 -5%

36%

31%

2010 2011

■ Начальный ■ Средний ■ Продвинутый

Рисунок 3. Распределение национальных результатов по математике (4-й класс) в 2011 г. по уровням достижений и в сравнении с 2010 г.

22

Качество образования в Евразии

Вальдман И.А. ^

Механизмы распространения. Направляется в центральные, региональные и местные отделы министерства образования, а также лицам, которые могут принимать участие в обсуждении результатов в средствах массовой информации (например, преподаватели университетов). Наиболее широко используемым показателем качества образования является динамика национального среднего балла теста по годам. Также значимым показателем является распределение результатов теста по уровням достижений. В SIMCE их три: начальный, средний и продвинутый.

Другим важным показателем, отражающим достижение принципов равенства и справедливости в получении образования, является динамика среднего балла по типам школ (государственные и частные), а также по кластерам образовательных учреждений, формируемым на основании СЭС учащихся.

Обеспечение подотчетности школ перед обществом является еще одной целью SIMCE. Стратегия коммуникации в данном случае строится на публикации результатов школ и предоставлении информации родителям.

Публикация результатов национального мониторинга является обязательной по Закону об образовании и реализуется несколькими способами. Во-первых, на сайте Агентства по обеспечению качества образования у каждого желающего имеется возможность сформировать в режиме онлайн таблицы с результатами школ по ряду параметров (место расположения, тип школы, год и класс). Во-вторых, результаты публикуются в специальных приложениях к газетам и включают средние баллы школ и их сравнение с предыдущим измерением, со средним по стране и с результатами образовательных учреждений из своей социально-экономической группы. В дополнение к этому сами газеты формируют рейтинги лучших школ и публикуют их на своих страницах. В-третьих, имеется визуальная форма представления результатов - геоинформационная система, реализованная в виде интерактивной карты Google (www.simce.cl/mapas), на которой обозначены учебные заведения определенного населенного пункта и их средние баллы по предметам и классам.

Представление информации для родителей направлено на решение двух задач: повышение ответственности школ и вовлечение родителей в процесс обучения своих детей. С этой целью готовится и распространяется отчет для родителей. Он включает все основные результаты по школе: средние баллы по предметам и классам, прогресс с учетом предыдущей оценки, сравнение со средним баллом по стране и со школами своей группы СЭС, долю учащихся по каждому уровню достижений. Кроме того,

Качество образования в Евразии

23

Международный опыт использования результатов национальных, мониторингов учебных достижений: ключевые аспекты

данный документ содержит рекомендации для родителей, как они могут помочь своему ребенку в обучении.

В Чили информация о результатах мониторинга используется для обеспечения педагогической поддержки школ. С этой целью готовятся несколько информационных продуктов. До проведения оценки публикуется и направляется в школы руководство по проведению оценки. Этот документ играет ориентирующую роль: представляет содержание оценочной процедуры, разъясняет содержание измерительных материалов, их связь с учебным планом, описывает критерии оценивания. Руководство содержит примеры тестов и дает анализ оцениваемых в них знаний и навыков. Наличие подобного информационного продукта необходимо для того, чтобы педагоги приняли и поддержали программу оценки. Другим важным продуктом является отчет по школе, который направляется в каждую школу после проведения SIMCE. Он включает все основные результаты по школе: средние баллы, результаты в динамике и их распределение по уровням достижений.

Национальный мониторинг SIMCE является примером хорошо продуманной и реализованной стратегии распространения информации о результатах тестах. Она строится на использовании одиннадцати адресных информационных продуктов.

ВМЕСТО ЗАКЛЮЧЕНИЯ: ОСОБЕННОСТИ ИСПОЛЬЗОВАНИЯ РЕЗУЛЬТАТОВ НАЦИОНАЛЬНЫХ МОНИТОРИНГОВ КАЧЕСТВА ОБРАЗОВАНИЯ

Каждая страна, чей опыт рассматривается в данной статье, имеет сложившуюся практику использования результатов мониторинга. В заключение отметим особенности и общие подходы использования результатов национального мониторинга в каждой из стран.

Главной особенностью австралийского мониторинга NAPLAN в использовании результатов теста является отслеживание прогресса каждого ребенка. Оценка всех учащихся определенного возраста на нескольких годах обучения позволяет определять индивидуальную динамику обучения по конкретному ученику и проектировать на уровне школы меры по его педагогической поддержке. Ученики вместе с родителями получают возможность обсуждать индивидуальные результаты с учителями и составлять

24

Качество образования в Евразии

Вальдман И.А. ^

на этой основе план своего дальнейшего обучения. Учителям же результаты теста помогают определять учеников, которым нужна дополнительная педагогическая поддержка или с кем следует работать «на вырост».

Школы используют результаты NAPLAN для определения слабых и сильных сторон своих программ обучения, а также для выработки целей обучения по английскому языку и математике. Кроме того, благодаря кластеризации результатов и возможности сравнения статистически подобных образовательных учреждений, у школ появляется возможность соотносить свои результаты со схожими учебными заведениями и, более того, учиться у других учебных заведений из своего кластера, перенимая их успешный опыт.

На национальном и региональном уровнях на основе полученных данных органы управления образованием осуществляют меры по разработке и корректировке программ поддержки школ. В частности, школы, показывающие улучшение результатов теста, получают финансовые поощрения. Школы, результаты которых в тесте значительно ниже среднего балла по стране или по кластеру подобных образовательных учреждений, также получают финансовую поддержку для проведения мероприятий по повышению качества обучения.

Национальный сайт «Моя школа», на котором результаты теста являются открытыми для любого жителя страны, служит инструментом обеспечения подотчетности школ и образовательных систем перед обществом.

В США особенность национального мониторинга заключается в том, что NAEP не обладает потенциалом прямого влияния на практику работы школы и учителя. NAEP изначально была задумана как оценочная процедура с низкими ставками, не отягощенная возможными негативными последствиями по отношению к школам, учителям и ученикам. Это обеспечивается за счет проведения тестирования на репрезентативных выборках школ (национальной и по штатам). Кроме того, по итогам мониторинга ученики не получают индивидуальные баллы и не готовятся отчеты по школам. В результате в США на основании данных NAEP не строятся рейтинги школ и не оценивается качество работы учителей.

Влияние NAEP на образовательную политику происходит за счет открытости информации, что создает условия для ее максимально широкого обсуждения. Как только информация становится открытой, она начинает использоваться как потребителями, так и производителями образовательных услуг. Опубликованные данные начинают широко обсуждаться в обществе и требуют принятия конкретных мер, направленных на преодоление существующих проблем. Открыв информацию

Качество образования в Евразии

25

Международный опыт использования результатов национальных, мониторингов учебных достижений: ключевые аспекты

о результатах обучения, нельзя не открыть информацию о принятых решениях и результатах их реализации. Как и в Австралии, национальный мониторинг является инструментом обеспечения подотчетности системы образования перед обществом.

Еще одной важной особенностью мониторинга в США является представление результатов теста по различным группам учащихся. Цель такого представления - показать, сокращается ли разрыв в образовательных достижениях учеников из различных социальных и этнокультурных групп, например белокожих школьников и учащихся других этнических групп. На основании этих данных можно судить, насколько результативными на уровне страны и штата были принятые ранее меры, направленные на преодоление образовательного неравенства. Данные мониторинга используются при разработке программ поддержки слабых школ и уязвленных групп учащихся.

В Чили формирование доказательной базы для принятия управленческих решений является основной целью национального мониторинга. Результаты SIMCE используются для отслеживания показателей качества образования, разработки и анализа успешности реализации программ поддержки школ, включая выделение ресурсов школам с низкими результатами.

Данные национальной оценки широко используются для обеспечения подотчетности школ перед обществом. Она предполагает информирование общественности о результатах работы школ и создает систему стимулов3, направленных на повышение качества работы образовательных учреждений. Для этого используются разнообразные целевые информационные продукты и способы информирования, включая рейтинги школ в средствах массовой информации. Такая ситуация повышает ответственность школ, мотивирует их повышать качество своей работы.

B SIMCE используется кластерное сравнение результатов мониторинга по пяти группам СЭС. Разница результатов школ в группах с высоким и низким СЭС является предметом внимания управленцев, ее минимизация является важнейшим приоритетом национальной образовательной политики.

В Чили информация о результатах мониторинга используется для обеспечения педагогической поддержки школ. В частности, каждое образовательное учреждение получает отчет с результатами SIMCE. Он включает

3 Например, система подушевого финансирования школ (школа заинтересована в привлечении учеников), денежное поощрение учителей школ с высокими результатами, дополнительное финансирование школ с низкими результатами, желание иметь позитивный имидж школы в местном сообществе.

26

Качество образования в Евразии

Вальдман И.А. ^

все основные результаты по школе: средние баллы, результаты в динамике и их распределение по уровням достижений. Эта информация дает возможность образовательному учреждению провести внутренний разбор и анализ результатов оценки, спланировать необходимую методическую работу и подготовить школьный план повышения качества обучения.

Представление результатов теста по конкретному ученику (каждый участник мониторинга получает индивидуальный отчет) направлено на вовлечение в процесс обучения их родителей, у которых таким образом появляется возможность обсуждать результаты своих детей и планировать дальнейший процесс обучения с учителями.

Подводя итоги, сформулируем следующие выводы по итогам анализа практики использования результатов национальных мониторингов обучения в Австралии, США и Чили.

• В каждой из стран главной целью национального мониторинга является получение достоверных данных о результатах обучения школьников и создание доказательной основы для выработки национальной образовательной политики. При этом в США имеется возможность обобщения результатов только на субнациональном уровне - по штатам (из-за проведения оценки на основе выборки). За счет оценки на генеральной совокупности учащихся в Чили данные представляются по каждой школе (тест имеет ограничения по объему проверяемого содержания), а в Австралии - и по школе, и каждому участвующему в оценке ученику.

• Мониторинги во всех странах используют контекстные данные для более точного объяснения полученных результатов теста. В Австралии и Чили происходит сравнение результатов школ по кластерам подобных образовательных учреждений на основании социально-экономического статуса семьи ученика и школы. В США результаты школ не сравниваются, но анализируются данные по различным группам учащихся, в том числе с учетом дохода семьи и образования родителей.

• Все страны уделяют очень серьезное внимание стратегии распространения информации по итогам оценки. В мониторингах выделяются различные целевые группы пользователей, определяются показатели результатов оценки, осуществляется подготовка адресных информационных продуктов, создаются онлайн-сервисы и информационные ресурсы, ведется работа со СМИ.

• Национальные мониторинги Австралии, США и Чили являются измерениями с низкими ставками, по их результатам школы, муниципа-

27

Качество образования в Евразии

Международный опыт использования результатов национальных, мониторингов учебных достижений: ключевые аспекты

литеты, регионы не получают негативных санкций и/или незаслуженных поощрений. Здесь следует отдельно отметить пример Чили, где по итогам SIMCE в СМИ публикуются рейтинги школ, что оказывает некоторое «негативное давление» на наименее успешные образовательные учреждения. Но к этим рейтингам министерство образования не имеет отношения, они публикуются по инициативе самих средств массовой информации на основе открытых данных.

• В Чили и Австралии, где в мониторинге участвуют все школы, осуществляется финансовая поддержка образовательных учреждений, продемонстрировавших низкие результаты, с целью преодоления существующих проблем и исправления ситуации.

ПРИЛОЖЕНИЕ

Основные характеристики национальных мониторингов учебных достижений в Австралии, США и Чили

Австралия США Чили

NAPLAN National Assessment Program - Literacy and Numeracy (Национальная программа оценки грамотности по английскому языку и математических навыков) www.nap.edu.au NAEP National assessment of Educational Progress (Национальная оценка прогресса в образовании) www.nces.ed.gov/ nationsreportcard SIMCE Sistema de Medicion de Calidad de la Educacion (Система измерения качества образования) www.simce.cl

Цели

1. Определение прогресса и оказание поддержки в обучении каждому конкретному ребенку. 2. Разработка и оценка мер образовательной политики на уровне страны и регионов. 3. Обеспечение подотчетности перед обществом: информирование о том, насколько хорошо работают школы. Проведение единого измерения, которое позволяет обеспечивать сравнение образовательных достижений школьников на уровне страны, штатов и участвующих городских округов. Предоставление результатов учителям, директорам, родителям, политикам и исследователям для оценки прогресса в обучении и выработки мер для улучшения образования стране. 1. Создание информационной основы для выработки образовательной политики. 2. Обеспечение подотчетности и ответственности школ перед обществом. 3. Оказание педагогической поддержки.

28

Качество образования в Евразии

Вальдман И.А. ^

Австралия США Чили

Периодичность

Ежегодно 1 раз в 2 года (математика и чтение) 1 раз в 4 года (естественные науки и письмо) остальные предметы - периодически Ежегодно

Выборка или ген. совокупность

Все учащиеся Выборка Все учащиеся, выборка для некоторых групп

Участники

Учащиеся 3-х, 5-х, 7-х и 9-х классов Учащиеся 4-х, 8-х и 12-х классов Учащиеся 2-х, 4-х, 8-х, 6-х, 10-х и 11-х классов

Что оценивается

Знание и навыки по четырем областям: чтение, письмо, правила языка (грамматика, пунктуация, орфография) и математические навыки в соответствии с национальными целями обучения(национальный учебный план разрабатывается и вводится в настоящее время). Проверяются навыки, которые формируются в школе на протяжении длительного времени и служат основой для обучения и жизни в обществе. Учебные достижение в ключевых предметных областях (математика, английский язык, социальные науки, искусство, экономика, география, технология, история США) -знания и навыки, а также их применение в реальных жизненных ситуациях. Результаты обучения по основным предметам школьной программы -математика, испанский язык, история, география, обществознание, естественные науки, а также письмо, английский язык, компьютерные навыки (ИКТ), физкультура.

Характеристика инструментария оценки

Стандартизированные тесты Стандартизированный тест достижений, продолжительность от 90 до 120 мин. Используются вопросы с множественным выбором и конструированием ответа. Стандартизированный тест. Используются преимущественно вопросы с множественным выбором ответов, но также постепенно вводятся вопросы с открытым ответом и задания в форме эссе. Каждый тест содержит от 35 до 45 вопросов

Качество образования в Евразии

29

Международный опыт использования результатов национальных, мониторингов учебных достижений: ключевые аспекты

Австралия США Чили

Сбор контекстной информации

Присутствует. Анкеты не используются, собирается на основании статистики и других внешних данных; собирается информация о СЭС школы Присутствует. Анкеты для школьников, учителей и директоров школ Присутствует. Анкеты для учащихся, учителей, родителей и руководителей школ

Ответственная структура

Национальное независимое государственное Управление по учебному плану, оценке и информированию - Australian Curriculum, Assessment and Reporting Authority (ACARA) Национальный центр с та -тистики в области образования (National Center for Education Statistics - NCES) -подразделение Министерства образования США. Управление NAEP осуще-с твляет координационный орган - Управляющий совет по национальной оценке. Независимое правительственное агентство по обеспечению качества образования (Agenda de Calidad del a Educacion)

Кто непосредственно проводит

Тест-администраторы (ТА) из числа учителей или других сотрудников школы, которая участвует в NAPLAN. Директор школы отвечает за подбор кандидатуры ТА, а также за надлежащую организацию и проведение теста в школе. ТА проводят свою работу в соответствии с национальным руководством по администрированию теста NAPLAN. Официальные члены команды NAEP, нанимаемые для проведения (администрирования) теста в школах. Они проходят специальную подготовку. В школе им оказывает организационную помощь назначенный школьный координатор. Студенты педагогических вузов, преподаватели университетов, школьные управленцы и методисты (учителя исключены).

Использование и представление результатов

Результаты NAPLAN представляются несколькими способами, включая: • индивидуальный отчет ученика, который получает каждый школьник и его родители; • отчет по школе, который размещается на сайте «Моя школа»; • Средний балл теста по с тране, штатам и его динамика по времени. • Результаты по уровням достижений (Basic, Proficient, Advanced). • Результаты по группам учащихся (гендер, этнический состав, СЭС). Не дает возможности сравнения между предметами по уровням (шкалы разные). • Национальные и региональные средние баллы по оцениваемым предметам и годам обучения. • Процентное соотношение учащихся по уровням достижений.

30

Качество образования в Евразии

Вальдман И.А. ^

Австралия США Чили

• национальный отчет NAEP не предоставляет • Средний балл

в двух версиях: краткая информации относитель- по социально-эконо-

(выходит в сентябре) но отдельных учащихся мическим группам,

и полная (выходит в кон- и школ. гендерной принад-

це года). Результаты, материалы лежности, по част-

Основные показатели: и сервисы публикуются ным и государствен-

средний балл теста; доля на специальном сайте. ным школам.

школьников, достигших Результаты NAEP публи- • Изменения средних

национального минималь- куются в национальном баллов на протяже-

ного стандарта (НМС); доля докладе (The Nation's нии ряда лет.

не достигших НМС и доля Report Card), представляю- Не дает возможности

школьников, показавших щем широкой обществен- представления данных

результаты выше НМС; разница в результатах теста за 2 года по конкретной возрастной группе и области тестирования. ности информацию об академических достижениях американских школьников. оценки по ученику.

Особенности

• Единая шкала уровней • Эффективная страте- • Зафиксирована в За-

достижений гия распространения коне об образовании

• Отслеживает прогресс результатов: большое • Дает информацию

каждого ученика в ди- число информационных по каждой школе

намике продуктов и онлайн-сер- • Учет социально-эко-

• Представление результа- висов, ориентированных номического статуса

тов на специальном на разные целевые школ при анализе

сайте как часть инфор- группы результатов

мации о школе • Фиксация долговре- • Продуманная страте-

• Представление результа- менных тенденций гия распространения

тов школ по группам СЭС в результатах (с начала 70-х гг.) • Специальные дополнительные исследования в рамках NAEP (High School Transcript Study, National Indian Education Study, NAEP-TIMSS Study) • Постепенный переход к компьютерной сдаче теста информации

Качество образования в Евразии

31

Международный опыт использования результатов национальных, мониторингов учебных достижений: ключевые аспекты

СПИСОК ЛИТЕРАТУРЫ:

1) Болотов, В. А. Виды и назначение программ оценки результатов обучения школьников / В. А. Болотов, И. А. Вальдман // Педагогика. - 2013. - № 8. -С. 15-26.

2) Болотов, В. А. Информирование различных целевых групп как условие эффективного использования результатов оценки учебных достижений школьников / В. А. Болотов, И. А. Вальдман // Проблемы современного образования [Электронный ресурс] : науч.-информ. журнал. - 2012. -№ 6. - С. 187-202. - Режим доступа к журн. : www.pmedu.ru, свободный.

3) Болотов, В. А. Условия эффективного использования результатов оценки образовательных достижений школьников / В. А. Болотов, И. А. Вальдман // Педагогика. - 2012. - № 6. - С. 39-45.

4) Вальдман, И. А. Мониторинговые исследования качества образования: опыт Австралии / И. А. Вальдман // Журнал руководителя управления образованием. - 2013. - № 4. - С. 43-51.

5) Вальдман, И. А. Особенности организации мониторингов учебных достижений в странах мира: национальная оценка прогресса в образовании в США / И. А. Вальдман // Проблемы современного образования [Электронный ресурс] : науч.-информ. журнал. - 2014. - № 5. - С. 13-34. - Режим доступа к журн. : www.pmedu.ru, свободный.

6) Вальдман, И. А. Особенности организации мониторингов учебных достижений в странах мира: национальная программа оценки NAPLAN в Австралии / И. А. Вальдман // Проблемы современного образования [Электронный ресурс] : науч.-информ. журнал. - 2013. - № 2. - С. 5-18. -Режим доступа к журн. : www.pmedu.ru, свободный.

7) Вальдман, И. А. Особенности организации мониторингов учебных достижений в странах мира: национальная программа оценки SIMCE в Чили / И. А. Вальдман // Проблемы современного образования [Электронный ресурс] : науч.-информ. журнал. - 2013. - № 5. - С. 133-149. -Режим доступа к журн. : www.pmedu.ru, свободный.

8) Вальдман, И. А. Основные уроки национальной программы оценки SIMCE в Чили / И. А. Вальдман // Качество образования в Евразии. -2014. - № 2. - С. 31-44.

9) Кэллаган, Т. Использование результатов национальной оценки учебных достижений / Томас Кэллаган, Винсент Грини, Т. Скотт Мюррей ; пер. с анг. С. В. Фирсовой ; под ред. И. В. Звонникова. - М. : Логос, 2014. -248 с. - (Национальная оценка учебных достижений).

32

Качество образования в Евразии

Вальдман И.А. ^

10) Поливанова, К. Н. Национальные и международные программы оценки качества образования : учеб. пособие / К. Н. Поливанова. - М. : Логос, 2010.

11) Рамирес, М. Х. Распространение и использование информации о результатах оценки достижений учащихся в Чили / Мария-Хосе Рамирес ; пер. О. Гринькова. - Вашингтон : Всемирный банк, 2012.

12) Bandeira de Mello, V. Mapping State Proficiency Standards Onto the NAEP Scales: Variation and Change in State Standards for Reading and Mathematics, 2005-2009 / V. Bandeira de Mello ; National Center for Education Statistics ; Institute of Education Sciences ; U.S. Department of Education. - Washington: Government Printing Office, 2011.

13) Bandeira de Mello, V. Mapping State Proficiency Standards Onto NAEP Scales: 2005-2007 / V. Bandeira de Mello, C. Blankenship, D. H. McLaughlin ; National Center for Education Statistics ; Institute of Education Sciences ; U.S. Department of Education. - Washington: Government Printing Office, 2009.

14) Jaeger, R. M. Reporting the Results of the National Assessment of Educational Progress (1998) / Richard M. Jaeger ; National Center for Education Statistics ; American Institutes for Research // AIR [Электронный ресурс]. -Режим доступа : http://www.air.org.

15) The Nation's Report Card: A First Look: 2013 Mathematics and Reading / National Center for Education Statistics ; Institute of Education Sciences ; U.S. Department of Education // NCES [Электронный ресурс]. - Режим доступа : http://nces.ed.gov.

16) National Center for Education Statistics = Национальный центр статистики в области образования [Электронный ресурс] : офиц. сайт. - Режим доступа : http://nces.ed.gov.

17) Agencia de Calidad de la Educacion = Агентство по обеспечению качества образования [Электронный ресурс] : офиц. сайт. - Режим доступа : http://www.simce.cl/.

18) The National Assessment Program = Национальная программа оценки [Электронный ресурс] : офиц. сайт. - Режим доступа : http://www.nap.edu. au/.

19) My School = Моя школа [Электронный ресурс] : офиц. сайт. - Режим доступа : http://www.myschool.edu.au/.

Качество образования в Евразии

33