CC BY
78
► НОВЫЕ ИССЛЕДОВАНИЯ В ОБРАЗОВАНИИ
ОСОБЕННОСТИ ОРГАНИЗАЦИИ МОНИТОРИНГОВ УЧЕБНЫХ ДОСТИЖЕНИЙ В СТРАНАХ МИРА: НАЦИОНАЛЬНАЯ ПРОГРАММА ОЦЕНКИ SIMCE В ЧИЛИ1
ORGANIZING MONITORING OF ACADEMIC ACHIEVEMENT THROUGHOUT THE WORLD: SIMCE - THE NATIONAL ASSESSMENT PROGRAM IN CHILE
Вальдман И.А.
Заведующий лабораторией мониторинга в образовании Института управления образованием РАО, кандидат педагогических наук E-mail: [email protected]
Valdman I.A.
Head of the Laboratory of Education Monitoring of the Institute of Education Management (RAE), Candidate of science (Education).
E-mail: [email protected]
Аннотация. В статье на примере чилийской программы национальной оценки учебных достижений SIMCE рассматриваются такие вопросы, как цели национального мониторинга, группы пользователей результатов мониторинга, стратегия распространения информации о результатах оценки, формы информирования, информационные продукты и их характеристики.
Annotation. The article examines the main elements of the SIMCE national assessment program in Chile. Among these elements are the goals of the SIMCE, the users of the assessment results, the information dissemination strategy, the forms of informing and the information products and their characteristics.
Ключевые слова: мониторинг учебных достижений, национальная оценка, оценка качества образования, тестирование, уровни достижений, шкала оценки, учебные достижения, индивидуальный прогресс, представление результатов оценки, стратегия распространения информации.
Keywords: monitoring of learning achievements, national assessment, assessment of the quality of education, testing, achievement levels, assessment scale, individual progress, presentation of assessment results, information dissemination strategy.
1 Данная статья подготовлена на основе материалов, разработанных автором при проведении учебных мероприятий Российского тренингового центра ИУО РАО, включая курс «Национальные экзамены и мониторинги учебных достижений: интерпретация и представление результатов для различных групп пользователей» (14-17 мая 2013 г.), http://www.rtc-edu.ru.
Введение
Настоящая статья на примере опыта Чили продолжает освещение актуальной для России темы - организации мониторинговых исследований учебных достижений школьников и использования их результатов для управления качеством образования. Как и в предыдущей статье, посвящённой опыту Австралии [4], здесь в центре внимания будут вопросы интерпретации и представления данных мониторингов для различных групп пользователей.
Чили известна как страна, которая с начала 90-х годов проводила масштабную реформу своей образовательной системы и добилась значимых успехов в её реализации. За это время среднее образование в стране стало массовым и к 2011 году его получили 94% школьников [12]. Ощутимо повысились результаты обучения школьников. Об этом говорят как данные национального мониторинга SIMCE, так и результаты международных исследований. В частности, в исследовании PISA стране удалось на 40 баллов повысить свои результаты по грамотности чтения за период с 2000 по 2009 годы [13]. Также ощутимый прирост был достигнут в области математической и естественнонаучной грамотности.
Национальный мониторинг SIMCE стал одним из ключевых элементов образовательной реформы и позволил сформировать доказательную базу для выработки стратегических решений по развитию образования. Его важнейшая особенность, которая может быть поучительным примером для других стран, заключается в продуманной и хорошо разработанной стратегии распространения информации о результатах оценки. SIMCE использует различные формы информирования заинтересованных групп (политиков и управленцев, педагогов, родителей и широкой общественности), каждая из которых «направлена на то, чтобы донести до конкретной аудитории именно ей предназначенную информацию» [8].
В статье будут рассмотрены такие вопросы, как цели национального мониторинга SIMCE, группы пользователей результатов мониторинга, формы информирования в зависимости от вариантов использования результатов, информационные продукты и их характеристика.
Программа национальной оценки SIMCE: цели и основные характеристики
Национальный мониторинг SIMCE (Sistema de Medición de Calidad de la Educación - Система измерения качества образования, www.simce.cl) проводится в Чили на систематической основе с 1998 года и является первой национальной программой оценки в странах Латинской Америки. С 1990 года данная программа является обязательной, согласно закону об образовании, и координируется Министерством
образования Чили. Начиная с 2012 года SIMCE осуществляется независимым правительственным агентством по обеспечению качества образования (Agencia de Calidad de la Educación, www.agenciaeducacion.cl).
SIMCE
Sistema de Medición de Calidad de la Educación
Программа характеризуется всеобъемлющей стратегией распространения информации о результатах оценки и ориентирована на достижение трёх следующих целей [7].
1. Создание информационной основы для разработки образовательной политики. Управленцы и политики получают сведения об уровне образования в стране, тенденциях его изменения и могут оценивать степень влияния предпринятых ранее действий.
2. Обеспечение подотчётности2 и ответственности школ перед обществом за счёт информирования родителей о результатах обучения. Мониторинг вводился в условиях реализации национальной программы ваучерного финансирования школ, когда каждая школа (неважно, государственная или частная3) получала средства в зависимости от количества учеников в ней. Таким образом, SIMCE служит индикатором качества работы школ, предоставляя данные по среднему баллу учащихся и мотивируя родителей выбирать лучшую школу для своих детей.
3. Оказание педагогической поддержки. Школы и учителя получают примеры заданий и подробные отчёты с результатами теста по школе для использования в своей работе.
Мониторинг SIMCE позволяет оценивать результаты обучения по основным предметам школьной программы - математика, испанский язык, история, география, общест-вознание, естественные науки. В последние годы были добавлены новые предметы - пись-
Класс Предмет 2012 2013 2014 2015
2 класс Чтение ✓ ✓ ✓ ✓
Чтение ✓ ✓ ✓ ✓
Математика ✓ ✓ ✓ ✓
4 класс Естественные науки ✓ ✓
История, география и социальные науки ✓ ✓
Ученики со специальными образов-ми потребностями ✓
Рис. 1. Пример календаря SIMCE для 2-х и 4-х классов
2 Подотчетность означает обязательную ответственность школ / органов управления образованием перед общественностью по результатам своей деятельности [3].
3 В Чили 57% учащихся учатся в частных школах. Всего в стране около 3,5 млн школьников и около 9000 школ.
мо, английский язык, компьютерные навыки (ИКТ), физкультура. В оценке принимают участие все учащиеся 2-х, 4-х, 8-х, 6-х, 10-х и 11-х классов4. Оценивание проводится в соответствии с утверждённым календарём, где отражено, в каком году и в каком классе проверяется конкретный учебный предмет.
В качестве измерителей применяются стандартизированные тесты, содержание которых базируется на национальном учебном плане. В тестах используются преимущественно вопросы с выбором ответов, но также постепенно вводятся вопросы с открытым ответом и задания в форме эссе. Каждый тест содержит от 35 до 45 вопросов.
Также инструментарий SIMCE включает анкеты для учащихся, учителей, родителей и руководителей школ, предоставляющие информацию о школьной образовательной среде и семейных характеристиках5. Полученные с помощью анкет данные (контекстная информация) позволяют определять факторы, влияющие на результаты обучения, а также классифицировать школы по пяти социально-экономическим группам.
С целью предоставления всем школьникам равных условий при сдаче теста в мониторинге используется стандартизированная процедура администрирования теста, контролируемая на всех этапах её проведения. В частности, учителя исключены из проведения мониторинга. В качестве организаторов привлекаются студенты педагогических вузов, преподаватели университетов, школьные управленцы и методисты.
Комментарий. С одной стороны, исключение учителей не очень хорошо, так как они не вовлекаются в процесс оценки и не используют полученные знания в своей работе, что не влияет на повышение качества обучения. С другой стороны, данная мера позволяет повысить надёжность процедуры оценки и её результатов. Исключение учителей - это цена за решение использовать SIMCE в целях подотчётности.
Важно отметить, что SIMCE не даёт возможности представлять данные оценки по ученику (мониторинг для этого не предназначен). Каждый тест, выполняемый конкретным учеником, покрывает очень незначительный объём содержания учебной программы,
и, как следствие, на основании его результатов невозможно выяснить, освоил ученик учебную программу по предмету или нет. Но совокупность вариантов тестов, выполненных всеми учениками школы определённого возраста, покрывает содержание учебной программы и позволяет сделать вывод об успешности её освоения на уровне образовательного учреждения. Именно получение объективной картины о качестве работы школы и является главной задачей данной оценочной процедуры
4 При этом имеет место и оценка на основе репрезентативной выборки - для учащихся 8-го класса
по физкультуре, для учащихся 10-го класса по ИКТ и для учащихся 4-х и 6-х классов с ограниченными возможностями здоровья.
5 Примером такой информации являются интересы и мотивация к обучению у школьников, используемые методы обучения, профессиональная квалификация педагога, формы и содержание программ повышения квалификации учителей, уровень образования родителей, доход семьи, удовлетворённость обучением в школе и др.
Как отмечалось выше, в SIMCE уделяется особое внимание распространению информации о содержании и результатах оценки среди различных заинтересованных групп. Для обеспечения целевого информирования управленцев, школ, родителей и общественности в рамках национального мониторинга используются одиннадцать различных информационных продуктов.
Информационные продукты мониторинга SIMCE
1. Руководство по проведению оценки (с 1988 г.)
2. Школьный отчёт (с 1988 г.)
3. Национальный отчёт (с 2006 г.)
4. Приложение к газете (с 1995 г.)
5. Отчёт для родителей (с 2005 г.)
6. Онлайн-банк тестовых заданий (с 2007 г.)
7. Комплект материалов для СМИ (с 2006 г.)
8. Файлы данных (с 2005 г.)
9. Инструментарий анализа данных (с 2007 г.)
10. Геоинформационная система (с 2010 г.)
11. Интернет-сайт www.simce.cl (с 2001 г.)
В соответствии со стратегией распространения информации все эти продукты имеют единое описание, включающее в себя следующие содержательные элементы: цель (для чего предназначен конкретный информационный продукт), целевые группы (на какую аудиторию он ориентирован), содержание (какую информацию он включает) и механизмы распространения (как образом информационный продукт будет распространяться). Приведём примеры описания информационных продуктов, которые направлены на достижение ещё одной цели - проведение научных исследований.
Рассмотрим далее, каким образом в Чили распространяется информация о результатах оценки в соответствии с каждой из целей SIMCE: создание информационной основы для разработки образовательной политики, обеспечение подотчётности и оказание педагогической поддержки.
Создание информационной основы для разработки образовательной политики
Формирование доказательной базы для принятия управленческих решений является основной целью национального мониторинга. Результаты SIMCE используются для «отслеживания показателей качества и равенства в образовании, создания и анализа корректирующих программ и выделения ресурсов школам с худшей успеваемостью» [8].
Наиболее широко используемым показателем качества образования является динамика национального среднего балла теста по годам (рис. 2).
Также значимым показателем является распределение результатов теста по уровням достижений. В SIMCE их три: начальный, средний и продвинутый.
Таблица 1
Пример описания информационных продуктов -файлы данных и инструментарий анализа данных.
Файлы данных
Цель: Проведение научных исследований. В зависимости от направления исследования его результаты могут использоваться для достижения одной из трёх основных целей мониторинга.
Целевая группа: Научные работники.
Содержание: Файлы данных с результатами на уровне школы.
Механизмы распространения: Файлы данных с результатами учащихся предоставляются по запросу после подтверждения информации о научном проекте и отказа от использования результатов для установления личности конкретного ученика или учителя.
Инструментарий анализа данных (специальное программное обеспечение)
Цель: Проведение научных исследований. В зависимости от направления исследования его результаты могут использоваться для достижения одной из трёх основных целей мониторинга.
Целевая группа: Научные работники и лица, ответственные за принятие решений. Содержание: Рассчитываются средние баллы, разница между средними баллами, процентное соотношение учащихся, достигших разных уровней обучения. Также вычисляются средние баллы за разные периоды, по каждому году обучения, для частных и государственных школ, по предметам обучения, по гендерному признаку, по социально-экономическому положению и другим признакам.
Механизмы распространения: Файлы данных с результатами учащихся предоставляются по запросу после подтверждения информации о научном проекте и отказа от использования результатов для установления личности конкретного ученика или учителя.
260
240 1-----------1------------1-----------1------------1-----------1------------1-------
2005 2006 2007 2008 2009 2010 2011
Рис. 2. Динамика изменения национального среднего балла по математике, 4-й класс
Другими важными показателями, отражающими достижение принципов равенства и справедливости в получении образования, являются динамика среднего балла по типам школ (государственные и частные), а также по кластерам образовательных учреждений, формируемым на основании социально-экономического статуса (СЭС) учащихся. На последнем показателе остановимся подробнее, так как он даёт возможность увидеть разницу в достижениях учащихся с высоким и низким уровнем дохода семьи.
В SIMCE используется деление образовательных учреждений на пять групп по уровню СЭС (рис. 4). СЭС рассчитывается на основе трёх переменных: уровень образования родителей (число лет обучения), размер ежемесячного дохода семьи, индекс уязвимости школьников (Índice de Vulnerabilidad del Establecimiento), исчисляемый на основе анкет для родителей. Учреждения с одинаковым СЭС являются «учреждениями с аналогичными социально-экономическими характеристиками». Сравнение на основе СЭС позволяет школе сопоставлять собственные достижения с другими аналогичными учреждениями, которые работают с подобным контингентом школьников.
Группа по СЭС Осознанное чтение Математика
Средний балл 2012 Вариация 2010-2012 Средний балл 2012 Вариация 2010-2012
Низкий 230 • 0 225 t 6
Ниже среднего 248 • -1 249 t 6
Средний 278 • 0 288 t 10
Выше среднего 292 • -2 313 t 9
Высокий 304 1 -7 336 t 9
Обозначения: • - результаты 2012 г. не отличаются значимо от 2010 г.; і - результаты 2012 г. значимо выше результатов 2010 г.; I - результаты 2012 г. значимо ниже результатов 2010 г.
Рис. 4. Результаты по группам учащихся в зависимости от СЭС
^1МСЕ 2012, 10-й класс)
28% • 2% t 3% > 30%
36% 39%
36% 1 -5% 31%
Начальный Средний Продвинутый
Рис. 3. Распределение национальных результатов по математике (4-й класс) в 2011 г. по уровням достижений и в сравнении с 2010 г.
Одна и та же школа может иметь разный СЭС в пределах одного года (в зависимости от контингента школьников конкретного класса) или в разные годы проведения SIMCE.
Комментарий. Успехи в обучении зависят от внутренних и внешних факторов. Такие факторы, как квалификация педагогов, качество управления и др., являются внутренними - они зависят от школы и могут быть ею изменены. На внешние факторы (образование родителей, социально-экономический статус семьи и т.п.) школа не может повлиять. Данные SIMCE показывают, что СЭС семей оказывает самое большое влияние на уровень результатов учащихся, он объясняет более 70% всех результатов. Поэтому целесообразно производить сравнение результатов работы школ с учётом СЭС учащихся в группе «подобных» образовательных учреждений.
Для информирования ответственных за разработку образовательной политики в SIMCE используются такие информационные продукты, как национальный доклад, материалы для прессы, файлы данных и интернет-сайт программы оценки.
Таблица 2
Содержание информационных продуктов, используемых для мониторинга образовательной политики
Национальный отчёт
Цель: Информирование лиц, ответственных за политику в области образования.
Целевая группа: Специалисты и структуры, ответственные за принятие решений, а также широкая общественность.
Содержание: (a) Национальные и региональные средние баллы по оцениваемым предметам и годам обучения.
(b) Процентное соотношение учащихся по уровням достижений - продвинутый, средний, начальный.
(c) Средний балл успеваемости по социально-экономическим группам, гендерной принадлежности, по частным и государственным школам.
(d) Изменения средних баллов на протяжении ряда лет.
Механизмы распространения: Направляется в центральные, региональные и местные отделы министерства образования, а также лицам, которые могут принимать участие в обсуждении результатов в средствах массовой информации (например, преподаватели университетов).
Комплект материалов для СМИ
Цель: Информирование лиц, ответственных за политику в области образования.
Целевая группа: Журналисты и региональные отделы образования.
Содержание: Основные результаты в виде презентации PowerPoint и пресс-релиза. Механизмы распространения: Сообщается журналистам после объявления результатов во время пресс-конференции или до объявления результатов, но с обязательством о неразглашении.
Обеспечение подотчётности и ответственности школ перед обществом
Обеспечение подотчётности школ перед обществом является ещё одной целью SIMCE. Оно предполагает информирование общественности о результатах работы школ и создаёт систему стимулов6, направленных на повышение качества работы образовательных учреждений. Стратегия коммуникации в данном случае строится на публикации результатов школ и представлении информации родителям.
Публикация результатов национального мониторинга является обязательной по закону об образовании и реализуется несколькими способами.
Во-первых, на сайте Агентства по обеспечению качества образования у каждого желающего есть возможность сформировать в режиме онлайн таблицы с результатами школ по ряду параметров (место расположения, тип школы, год и класс).
Рис. 5. Публикация в газете списка 10 лучших школ ^!МСЕ 2012, 4-й класс)
10 лучших муниципальных учебных заведений
► Название учебного заведения Коммуна Балл no чтению Балл по математике
1 ESCUELA RURAL AUCAR QUEMCHI 334 336
2 ESCUELA GABRIELA MISTRAL TOMÉ 323 338
3 ESCUELA IGNACIO URRUTIA DE LA SOTTA PARRAL 326 328
4 ESCUELA BASICA RAFAEL TOMÉ 330 322
5 ESCUELA RICARDO SILVA ARRIAGADA ARICA 325 326
6 COLEGIO ANTARTICA CHILENA VITACURA 313 330
7 ESCUELA BASICA MAITENCO TREGUACO 328 310
8 ESCUELA MEXICO OSORNO 320 317
9 ESCUELA SAN JOSE DE COLICO CURANILAHUE 310 321
10 ESCUELA ADOLFO QUIROZ HERNANDEZ CAUQUENES 297 333
Источник: газета La Tercera (www.latercera.com)
6 Например, система подушевого финансирования школ (школа заинтересована в привлечении учеников), денежное поощрение учителей школ с высокими результатами, дополнительное финансирование школам с низкими результатами, желание иметь позитивный имидж школы в местном сообществе.
Во-вторых, результаты публикуются в специальных приложениях к газетам и включают средние баллы школ и их сравнение с предыдущим измерением, со средним по стране и с результатами образовательных учреждений из своей социально-экономической группы. В дополнение к этому сами газеты формируют рейтинги лучших школ и публикуют их на своих страницах.
Комментарий. Отметим, что рейтинги в СМИ составляются самими газетами, без участия министерства образования. По закону результаты SIMCE должны открыто публиковаться, и они размещаются на сайте Агентства по обеспечению качества образования. Газеты берут эту информацию и на её основе составляют и публикуют списки школ с баллами по предметам. Рейтинги в СМИ - это своеобразная плата за информационную открытость.
Следует отметить, что широкая публикация результатов оценки в газетах имеет не только положительные, но и отрицательные последствия. Они состоят в том, что школа с низкими результатами получает ярлык «слабой» и в обществе считается неэффективной. Это несправедливо, так как в таких школах учатся дети из наиболее неблагополучных слоёв населения. Именно поэтому в SIMCE введено и кластерное представление результатов школ по группам СЭС.
В-третьих, имеется визуальная форма представления результатов - геоинформаци-онная система, реализованная в виде интерактивной карты Google (www.simce.cl/mapas), на которой обозначены учебные заведения определённого населённого пункта и их средние баллы по предметам и классам (рис. 6).
мв Л* вДа Лл g ------ ~ ж
Рис. 6. Карта Google с результатами SIMCE
Рис. 7. Отчёт для родителей ^!МСЕ 2012, 4-й класс)
Представление информации для родителей (и лиц, их замещающих) направлено на решение двух задач - повышение ответственности школ и вовлечение родителей в процесс обучения своих детей. С этой целью готовится и распространяется отчёт для родителей (рис. 7). Он включает все основные результаты по школе - средние баллы по предметам и классам, прогресс с учётом предыдущей оценки, сравнение со средним баллом по стране и со школами своей группы СЭС, долю учащихся по каждому уровню достижений. Кроме того, данный документ содержит рекомендации для родителей, как они могут помочь своему ребёнку в обучении.
Для информирования в целях обеспечения подотчётности в SIMCE исполь-
зуются такие информационные продукты, как приложение к газете, отчёт для родителей, географическая информационная система и интернет-сайт программы оценки.
Таблица 3
Содержание информационных продуктов, используемых для обеспечения подотчётности
Приложение к газете
Цель: Обеспечение подотчётности школ.
Целевая группа: Родители, широкая общественность.
Содержание: (а) Средние баллы школ и средние баллы по предметам и классам.
(b) Разница между средним баллом школ и 1) средними баллами предыдущей оценки,
2) средним баллом по стране, 3) средними баллами школ из той же социально-экономической группы.
Механизмы распространения: Публикуется в национальных и региональных газетах. Обычно эта информация распространяется вместе с рейтингами школ.
Отчёт для родителей
Цель: Укрепить подотчетность школ и вовлечь родителей в образовательный процесс. Целевая группа: Родители.
Содержание: (а) Средние баллы школы, средние баллы по оцениваемым предметам и классам.
(b) Разница средних баллов школы и учебных заведений по предметам/классам из той же социально-экономической группы.
(c) Процентное соотношение учащихся по уровням достижений.
(d) Рекомендации по оказанию помощи в обучении.
Механизмы распространения: Раздается родителям через школы после публикации результатов оценки (обычно в начале года). Данные материалы также доступны в Интернете.
Геоинформационная система
Цель: Укрепление подотчётности школ.
Целевая группа: Родители.
Содержание: Карты Google с географическим положением школ и их средними баллами. Механизмы распространения: Доступ через Интернет. Родители могут сравнивать результаты оценки школ из одного географического района.
Интернет-сайт www.simce.cl
Цель: Информировать ответственных за образовательную политику лиц, обеспечивать педагогическую поддержку, укреплять подотчётность школ.
Целевая группа: Общественность.
Содержание: Цели оценки, организационная структура программы SIMCE, техническая документация и перечень публикаций с данными оценки.
Механизмы распространения: Доступ через Интернет.
Оказание педагогической поддержки
Наиболее сильное влияние на повышение качества обучения программы оценки способны оказать, если они помогают учителям улучшать их педагогическую практику и совершенствовать образовательный процесс [1]. В Чили информация с результатами мониторинга используется для обеспечения педагогической поддержки школ. С этой целью готовятся несколько информационных продуктов.
До проведения оценки публикуется и направляется в школы руководство по проведению оценки. Этот документ играет ориентирующую роль. Он представляет содержание оценочной процедуры, разъясняет содержание измерительных материалов, их связь с учебным планом, описывает критерии оценивания. Руководство содержит примеры тестов и даёт анализ оцениваемых в них знаний и навыков. Наличие подобного информационного продукта необходимо для того, чтобы педагоги приняли и поддержали программу оценки.
Другим важным продуктом является отчёт по школе, который направляется в каждую школу после проведения SIMCE. Он включает все основные результаты по школе -средние баллы, результаты в динамике и их распределение по уровням достижений (подробнее см. таблицу 4). Эта информация даёт возможность образовательному учреждению провести внутренний разбор и анализ результатов оценки, спланировать необходимую методическую работу и подготовить школьный план повышения качества обучения.
Чтобы повысить качество использования результатов оценки министерство образования организует методические семинары для школ, на которых учителям объясняют, как анализировать результаты учащихся и на что обращать внимание в процессе преподавания. Инструкции по проведению таких семинаров также входят в содержание школьного отчёта.
Комментарий. Опыт Чили показывает, что адресное распространение информации о результатах оценки является необходимым, но не достаточным условием для её эффективного использования в целях совершенствования образовательного процесса. Подобные семинары способствуют более глубокому пониманию результатов оценки и позволяют учителям вносить коррективы в свою работу.
Кроме руководства по проведению оценки и школьных отчётов для педагогической поддержки также используются онлайн-банк тестовых заданий, файлы данных, инструментарий анализа данных и интернет-сайт SIMCE.
Вместо заключения: важные уроки программы SIMCE
Завершая краткий обзор некоторых аспектов организации национального мониторинга SIMCE, отметим те его особенности, которые оказывают непосредственное влияние
Таблица 4
Содержание информационных продуктов, используемых для педагогической поддержки
Руководство по проведению оценки
Цель: Обеспечение педагогической поддержки.
Целевая группа: Директор школы, педагогические координаторы и учителя.
Содержание: (а) Спецификация теста, связь с национальным учебным планом.
(Ь) Примеры тестовых заданий с анализом содержания и умений, необходимых для правильного ответа на них.
Механизмы распространения: Распространяется по всем школам до проведения оценки (обычно в середине учебного года). Также доступен на интернет-сайте SIMCE.
Школьный отчёт
Цель: Обеспечение педагогической поддержки.
Целевая группа: Директор школы, педагогические координаторы и учителя.
Содержание: (а) Средние баллы по оцениваемым предметам и классам на уровне страны, школы и класса.
(b) Разница между средним баллом школы и средним баллом предыдущей оценки, результатами по стране и по школам из той же социально-экономической группы.
(c) Доля учащихся по уровням достижений - углубленный, средний, начальный.
@) Примеры тестовых заданий с анализом содержания и умений, необходимых для правильного ответа на них.
(е) Практическое руководство по проведению семинаров в школах для анализа результатов оценки и составления плана по повышению качества обучения.
Механизмы распространения: Раздается всем принимавшим участие в оценке школам после публикации результатов оценки (обычно в начале следующего учебного года).
Онлайн-банк тестовых заданий
Цель: Обеспечение педагогической поддержки.
Целевая группа: Учителя.
Содержание: Предлагаются опубликованные тестовые задания по всем предметам и классам, включая задания из национальных и международных программ оценок. Механизмы распространения: Доступен в Интернете. Учителя могут осуществлять поиск тестовых заданий по предмету, по периоду обучения и по типу задания (выбор из вариантов ответа или с ответами в свободной форме).
на распространение и использование информации по оценке. Эти особенности, с нашей точки зрения, следует принимать во внимание при разработке федеральной системы мониторингов учебных достижений в России.
1. Наличие ясной и целостной стратегии распространения информации.
В Чили пришли к пониманию, что для повышения эффективности использования результатов оценки необходимо обеспечить целевое информирование представите-
лей различных заинтересованных групп о содержании и результатах программы оценки. Стратегия распространения базируется на применении одиннадцати адресных информационных продуктов. Она чётко определяет цели использования каждого продукта, его аудиторию, содержание и механизмы распространения. Стратегия распространения играет ведущую роль при планировании оценочных мероприятий: сначала необходимо ответить на вопрос, какую информацию мы хотим получить и как её использовать, а потом уже планировать, что, как и кого оценивать.
2. Постепенное наращивание потенциала по распространению информации.
Формирование целостной стратегии распространения результатов необходимо осуществлять постепенно. Появление каждого нового информационного продукта должно базироваться на возможности команды (организации) по оценке подготовить такой продукт и на способности общества его принять - увидеть его необходимость, понять содержание информации и оценить её полезность. На начальном этапе стратегия распространения SIMCE включала только школьные отчёты и руководства по оценке для учителей, а затем стали вводиться другие информационные продукты. Причинами их появления были новые политические приоритеты (например, обеспечение подотчётности перед обществом, вовлечение родителей в образовательный процесс), технологические перемены (развитие информационных технологий, Интернет) и другие факторы.
3. Учёт социально-экономического статуса школ при анализе результатов.
Справедливое представление и сравнение результатов школ невозможно обеспечить
без кластеризации и выделения групп «аналогичных» школ. Прежде всего, необходимо учитывать особенности социально-экономических характеристик контингента школьников, так как СЭС оказывает очень большое влияние на результаты обучения учащихся. В SIMCE используется кластерное сравнение результатов мониторинга по 5 группам СЭС. Разница результатов школ в группах с высоким и низким СЭС является предметом внимания управленцев, её минимизация стала важнейшим приоритетом национальной образовательной политики.
4. От низких ставок к высоким.
При запуске программы оценки крайне важно сформировать ситуацию доверия к её результатам у учителей и школ. Поэтому на начальном этапе введения оценочной процедуры не следует использовать её результаты для создания жёстких стимулов по отношению к школам (наложение санкций, финансовые поощрения лидерам, предание результатов гласности без учёта контекстных условий и т.п.). Если школы и учителя воспримут результаты как угрозу, то оценка будет бесполезной для улучшения качества обучения. Сначала нужно, чтобы педагоги приняли программу оценки, увидели её важность. И только затем, когда программа оценки станет устойчивым элементом системы образования, можно начинать вводить внешние стимулы.
Движение от низких ставок к высоким позволило обеспечить жизнеспособность и полезность программы SIMCE. В 1980-х результаты сообщались только школам без последствий для них. В середине 1990-х годов результаты школ начали широко публиковаться, а в конце 1990-х - начале 2000-х годов стали вводиться программы подотчётности с более ощутимыми последствиями для учителей и школ [8].
5. Информирование в целях подотчётности.
Результаты SIMCE являются важнейшим (но не единственным) индикатором качества образования в стране. Данные оценки широко распространяются для обеспечения подотчётности школ перед обществом. Для этого используются разнообразные способы информирования, включая рейтинги школ в средствах массовой информации. Такая ситуация повышает ответственность школ, мотивирует их улучшать качество своей работы.
Список литературы
1. Болотов, В. А. Условия эффективного использования результатов оценки образовательных достижений школьников / В. А. Болотов, И. А. Вальдман // Педагогика. - 2012. - № 6.
2. Болотов, В. А. Инструменты оценки качества образования: экзамены, мониторинги, внутриклассное оценивание / В. А. Болотов, И. А. Вальдман // Управление школой. - 2013. - № 8 (подготовлено к печати).
3. Вальдман, И. А. Информирование в целях подотчётности / И. А. Вальдман // Муниципальное образование: инновации и эксперимент. - 2010. - № 1. - С. 7-24.
4. Вальдман, И. А Мониторинговые исследования качества образования: опыт Австралии / И. А. Вальдман // Журнал руководителя управления образованием. -2013. - № 4. - С. 43-51.
5. Использование результатов национальной оценки учебных достижений / В. Грини, Т. Кэллаган, С. Мюррей // Серия «Национальная оценка учебных достижений», кн. 5. - Вашингтон: Всемирный банк, 2011.
6. Кларк, М. Что является наиболее важным в системах оценки достижений учащихся: основные ориентиры : публикация № 1 по теме SABER - оценка достижений учащихся / Маргарет Кларк. - Вашингтон: Всемирный банк, 2012.
7. Рамирес, М.-Х. Развитие стимулирующей среды для оценки достижений учащихся в Чили : публикация № 2 по теме SABER - оценка достижений учащихся / Мария-Хосе Рамирес. - Вашингтон: Всемирный банк, 2012.
8. Рамирес, М.-Х. Распространение и использование информации о результатах оценки достижений учащихся в Чили : публикация № 3 по теме SABER - оценка достижений учащихся / Мария-Хосе Рамирес. - Вашингтон: Всемирный банк,
2012.
9. [Сайт программы SIMCE] [Электронный ресурс] / Agencia de Calidad de la Educación. - Режим доступа: http://www.simce.cl.
10. Agencia de Calidad de la Educación = Агентство по обеспечению качества образования : офиц. сайт [Электронный ресурс]. - Режим доступа: http://www. agenciaeducacion.cl/.
11. CHILE - Country Note - Education at a Glance 2013: OECD Indicators. http://www. oecd.org/edu/educationataglance2013-countrynotesandkeyfacttables.htm.
12. OECD (2013), Education at a Glance 2013: OECD Indicators, OECD Publishing.
13. OECD (2010), PISA 2009 Results: Learning Trends: Changes in Student Performance Since 2000 (Volume V).
Spisok literatury
1. Bolotov, V. A. Usloviia éffektivnogo ispol'zovaniia rezul'tatov otsenki obrazovatel'nykh dostizhenii shkol'nikov / V. A. Bolotov, I. A. Val'dman // Pedagogika. - 2012. - № 6.
2. Bolotov, V. A. Instrumenty otsenki kachestva obrazovaniia: ékzameny, monitoringi, vnutriklassnoe otsenivanie / V. A. Bolotov, I. A. Val'dman // Upravlenie shkoloi. -
2013. - № 8 (podgotovleno k pechati).
3. Val'dman, I. A. Informirovanie v tseliakh podotchetnosti / I. A. Val'dman // Munitsi-pal'noe obrazovanie: innovatsii i éksperiment. - 2010. - № 1. - S. 7-24.
4. Val'dman, I. A. Monitoringovye issledovaniia kachestva obrazovaniia: opyt Avstralii / I. A. Val'dman // Zhurnal rukovoditelia upravleniia obrazovaniem. - 2013. - № 4. -
S. 43-51.
5. Ispol'zovanie rezul'tatov natsional'noi otsenki uchebnykh dostizhenii / V. Grini, T. Kéllagan, S. Miurrei // Seriia «Natsional'naia otsenka uchebnykh dostizhenii», kn. 5. - Vashington: Vsemirnyi bank, 2011.
6. Klark, M. Chto iavliaetsia naibolee vazhnym v sistemakh otsenki dostizhenii uchash-chikhsia: osnovnye orientiry : publikatsiia № 1 po teme SABER - otsenka dostizhenii uchashchikhsia / Margaret Klark. - Vashington: Vsemirnyi bank, 2012.
7. Ramires, M.-Kh. Razvitie stimuliruiushchei sredy dlia otsenki dostizhenii uchash-chikhsia v Chili : publikatsiia № 2 po teme SABER - otsenka dostizhenii uchash-chikhsia / Mariia-Khose Ramires. - Vashington: Vsemirnyi bank, 2012.
8. Ramires, M.-Kh. Rasprostranenie i ispol'zovanie informatsii o rezul'tatakh otsenki dostizhenii uchashchikhsia v Chili : publikatsiia № 3 po teme SABER - otsenka dostizhenii uchashchikhsia / Mariia-Khose Ramires. - Vashington: Vsemirnyi bank, 2012.
9. [Sait programmy SIMCE] [Élektronnyi resurs] / Agencia de Calidad de la Educación. - Rezhim dostupa: http://www.simce.cl.
10. Agencia de Calidad de la Educación = Agentstvo po obespecheniiu kachestva obrazovaniia : ofits. sait [Élektronnyi resurs]. - Rezhim dostupa: http://www.agenciaedu-cacion.cl/.
11. CHILE - Country Note - Education at a Glance 2013: OECD Indicators. http://www. oecd.org/edu/educationataglance2013-countrynotesandkeyfacttables.htm.
12. OECD (2013), Education at a Glance 2013: OECD Indicators, OECD Publishing.
13. OECD (2010), PISA 2009 Results: Learning Trends: Changes in Student Performance Since 2000 (Volume V).
Интернет-журнал «Проблемы современного образования» 2013, № 5
