CC BY
26
ИСПОЛЬЗОВАНИЕ РЕЗУЛЬТАТОВ ОЦЕНКИ УЧЕБНЫХ ДОСТИЖЕНИЙ ШКОЛЬНИКОВ Дайджестучебных материалов Российского тренингового центра
UTILIZATION OF ASSESSMENT RESULTS OF LEARNING ACHIEVEMENTS OF SCHOOL STUDENTS Digest of learning materials ofthe Russian training center
Аннотация. Дайджест подготовлен на основе учебных материалов курсов Российского тренингового центра «Использование результатов оценки учебных достижений школьников и результатов мониторинговых исследований для выработки управленческих решений на разных уровнях системы образования» (22-25 ноября 2011 года) и «Ключевые аспекты построения эффективной системы оценки качества образования и использования результатов оценки учебных достижений школьников» (27-30 марта 2012 года). В основу содержания курсов легли материалы 3-й Международной конференции программы READ, серия книг Всемирного банка по национальной оценке учебных достижений, а также практический опыт специалистов систем образования стран СНГ и регионов Российской Федерации.
Annotation. The digest is prepared on the basis of training materials of the Russian Training Center courses called «Utilization of assessment results of learning achievements of school students and results of monitoring research studies for working out administrative decisions at various levels of an education system» (November 22-25, 2011) and another one called «Key aspects of creating effective system of quality assessment and utilization of assessment results of learning achievements of school students» (March 27-30, 2012). Materials of theThird International conference ofthe READ Program, a series of books of the World Bank on national assessment of learning achievements as well as the practical experience of specialists of education systems of the countries of Confederation of IndependentStates and regions ofthe Russian Federationformed the basis of the course content.
© Российский тренинговый центр
Института управления образованием РАО, 2012
Проблемы современного образования | №2 | 2012 | http://www.pmedu.ru
170
Достоверная информация о результатах обучения
Управление системой образования - это сложный и дорогостоящий процесс. В случае, когда принятие решений базируется на реальных фактах, а не только на соображениях политического и идеологического характера, важно иметь достоверную информацию о результатах обучения.
Создание системы оценки качества образования призвано обеспечить обучающихся и их родителей, педагогические коллективы школ и преподавателей учреждений профессионального образования, органы управления образованием всех уровней, институты гражданского общества, работодателей надёжной информацией о состоянии и развитии системы образования на разных уровнях.
Правильно собранные и проанализированные данные об учебных достижениях школьников нужны на всех уровнях принятия педагогических решений: система образования в целом, отдельно взятая школа, конкретный класс.
Г
Л
Процедуры оценки действительно обеспечивают повышение
качества образования, но только если используются для принятия адекватных и адресных решений, помогают учителям улучшить их педагогическую практику и вооружают родителей знанием о том, насколько хорошо учатся их дети.
\_J
Данные о достижениях учащихся могут быть использованы для подготовки широкого круга образовательных стратегий - от разработки и внедрения программ повышения эффективности преподавания и обучения в школах, выявления отстающих учащихся в целях предоставления им необходимой помощи до оказания соответствующей организационно-методической поддержки неэффективно работающим учителям и школам для обеспечения равных возможностей обучения всем учащимся.
Направления использования результатов
Один из ключевых вопросов при проведении оценки учебных достижений учащихся - это вопрос о том, каким образом могут быть использованы результаты различных программ оценки для повышения качества деятельности образовательной системы и улучшения результатов обучения школьников.
Способы использования данных программ оценки многочисленны и разнообразны. Они могут быть разделены на две категории: использование для принятий решений о поддержке конкретных учащихся и использование для принятий решений на разных уровнях систем образования.
В первом случае речь идёт о способах использования, которые употребляют данные для принятия решений, имеющих прямое влияние на человека - будь он школьник, учитель или администратор школы. Эти способы могут быть разделены на две группы:
Ключевой вопрос
Каким образом могут быть использованы результаты
различных программ оценки для
повышения
качества
деятельности образовательной
системы и улучшения
результатов обучения школьников?
■ использование для корректировки образовательного процесса - данные используются для определения проблем в обучении и мер по их преодолению для отдельных школьников;
■ использование для выявления уровня достигнутой квалификации (освоил образовательную программу или нет).
Во втором случае речь идёт о способах, которые не имеют непосредственного отношения к решениям относительно конкретного человека, но скорее имеют влияние на решения относительно групп людей и на результаты работы системы образования в долгосрочной перспективе из-за их воздействия на политику, систему финансирования образования или
педагогическую практику.
Такие способы использования данных могут быть классифицированы следующим образом:
■ для разработки политики и программ действий, т.е. для установления существа и масштаба обнаруженных проблем, соответствующих приоритетов и действий и определения направлений воздействий, способных улучшить ситуацию;
■ для наблюдения за динамикой индикаторов ключевых результатов и определения каких-либо непредвиденных отклонений от установленных тенденций или взаимосвязей;
■ для оценки влияний определённой политики и/или программ предпринятых действий.
Условия эффективного использования результатов
Эффективное использование результатов оценки зависит от ряда условий, которые следует учитывать команде, координирующей организацию и проведение процедуры оценки, с целью достижения максимального влияния полученных результатов на повышение качества обучения и выработку образовательной политики.
Отметим следующие наиболее важные условия.
1) Политический контекст: контроль или поддержка.
Политический контекст оказывает важнейшее влияние на то, как и для чего используются результаты оценки. Следует различать две принципиально разные политические стратегии, реализуемые органами управления образованием - контроль или поддержка.
В первом случае во главу угла ставится не столько вопрос повышения качества образования, сколько вопрос контроля работы образовательных учреждений и снабжения вышестоящих органов необходимой информацией. При таком подходе оценка качества сводится преимущественно к проверкам со стороны надзирающих органов и выявлению недостатков.
В ситуации поддержки потребителями информации о результатах различных оценочных процедур становятся сами субъекты образовательной деятельности - администрация школы, учителя, учащиеся и родители. И основная задача органов управления образованием при таком подходе - обеспечение школ и педагогов разнообразными методиками и действенными инструментами оценки результатов образовательной деятельности, позволяющими принимать адресные решения относительно поддержки в обучении конкретного ребёнка.
Контроль Поддержка
• Для наложения санкций и раздачи • Оказание содействия ОУ и
поощрении. муниципалитетам в преодолении существующих проблем.
• Нет права на ошибку. • Есть право на ошибку. Неудача - сигнал для оказания помощи.
• ОУ не заинтересовано в обнаружении проблем. • ОУ заинтересовано в обнаружении проблем.
2) Поддержка заинтересованных сторон.
Крайне важно, чтобы все заинтересованные стороны пришли к согласию относительно необходимости проведения оценки и оказывали поддержку при её проведении.
С этой целью на протяжении всего периода разработки инструментария, сбора и анализа данных и подготовки отчётов необходимо поддерживать постоянную связь со всеми заинтересованными группами, прежде всего с представителями учительского сообщества, администрацией общеобразовательных учреждений, а также со специалистами системы подготовки и повышения квалификации педагогических кадров. Необходимо постоянно информировать эти целевые группы и привлекать их к обсуждению наиболее важных вопросов организации и проведения оценки.
3) Наличие надёжного инструментария.
Наличие надёжного инструментария, соответствующего необходимым профессиональным стандартам, является главным фактором получения достоверных результатов и обеспечения доверия к ним со стороны общественности и профессионального сообщества. Следует подчеркнуть важность предварительного испытания (апробации) всего инструментария оценки, включая и инструкции по проведению оценки. Апробация также помогает рассчитать время, которое займёт тестирование, и выявить неверно составленные инструкции по применению тестов. Особое внимание следует уделить формированию представительной выборки, исправлению любых опечаток и неправильных формулировок.
Основные этапы разработки теста
1. Определение цели тестирования и разработка спецификации теста.
2. Разработка заданий для теста.
3. Экспертиза и доработка заданий.
4. Апробация и доработка заданий.
5. Состав лениетеста.
6. Проведение апробации теста и обработка полученных результатов.
7. Доработка теста и подготовка окончательного варианта.
Р
Признанные публикации.
Крокер Л., Алгина Дж. Введение в классическую и современную теорию тестов: учебник. - М.: Логос, 2010.
Серия Всемирного банка «Национальная оценка учебных достижений».
Книга 1. Оценка образовательных достижений на национальном уровне.
Книга 2. Разработка тестов и анкет для национальной оценки учебных достижений.
Книга 3. Проведение национальной оценки учебных достижений.
Книга 4. Анализ данных национальной оценки учебных достижений.
Книга 5. Сообщение и использование результатов национальной оценки учебных
достижений.
4) Наличие надёжной стандартизированной процедуры проведения оценки.
Процедура проведения должна:
быть прозрачна для внешних субъектов и понятна исполнителям; быть хорошо регламентирована; ^ обеспечивать информационную безопасность; ^ предотвращать возможные нарушения и фальсификацию данных;
^ обеспечивать сопоставимость результатов для всех общеобразовательных учреждений, чьи
учащиеся принималиучастие в оценке; ^ осуществляться подготовленными специалистами.
5) Ориентация на информационные потребности основных групп пользователей результатов оценки.
Основными пользователями результатов данной процедуры оценки качества образования являются: обучающиеся и их родители (законные представители); педагоги и администрация общеобразовательных учреждений; органы законодательной и исполнительной власти; ведомства (национального и регионального уровней), осуществляющие контрольные функции; муниципальные органы управления образованием; учредители образовательных учреждений;
Проблемы современно го образования | №2 | 2012 | .pmedu.ru
образовательные и научные учреждения; работодатели и их объединения; общественные организации, заинтересованные в оценке качества образования; средства массовой информации; иные лица, заинтересованные в оценке качества образования.
Стратегия распространения результатов исследования требует, чтобы соответствующая информация достигала представителей всех заинтересованных сторон. Информацию следует представлять в форме, понятной потенциальным пользователям. Для этого следует использовать не только стандартные отчёты, но и другие информационные продукты - краткие записки, пресс-релизы, сообщения на радио и телевидении, отдельные доклады, ориентированные на разные группы: учителя, школы, преподаватели системы подготовки и повышения квалификации работников образования, разработчики учебных планов и стандартов.
Информационные продукты Распространение информации
1. Региональныйотчётпоитогамоценки. 1. Печатные отчёты.
2. Специализированный отчёт (по предмету, 2. Материалы в Интернет, группе учащихся).
3. Аналитическая записка для министра.
4. Информационный буклет для родителей.
5. Пресс-релиз.
■
3. Статьи в СМИ.
4. Интервью.
5. Пресс-конференции, брифинги, конференции и семинары.
Специалисты и организации, отвечающие за проведение оценки, должны помочь работникам образования и управленцам корректно проинтерпретировать данные о полученных результатах оценки качества образования, таких как результаты индивидуальных достижений школьников и их взаимосвязь с различными факторами, оказывающими влияние на результаты обучения (например, родной язык, уровень подготовки учителей, социально-экономический статус семьи учащегося, количество учеников в классе, материальная обеспеченность школы и т.п.).
6) Подготовка отчёта по результатам оценки.
Итоговый отчёт (на уровне федерации, региона, муниципалитета, общеобразовательного учреждения) является наиболее важным и наиболее полезным из всех информационных материалов, которые могут быть подготовлены на основе данных процедуры оценки. Хорошо подготовленный итоговый отчёт должен включать определённый набор разделов. Их количество и содержание будет зависеть от вида процедуры оценки (оценка индивидуальных достижений обучающихся или оценка состояния системы начального образования). Тем не менее, итоговый отчёт должен содержать следующую информацию:
описание целей, которые были достигнуты за счёт оценки;
описание содержания оценки (что измерялось) и обоснование, почему важно то, что было измерено;
краткая характеристика инструментария оценки; пояснение, как и когда были собраны данные;
объяснение, как результаты достижений учащихся были сгруппированы и обобщены; представление полного распределения результатов достижений учащихся и того, как достижения варьируются среди различных групп учащихся;
рассмотрение факторов, которые оказывают влияние на результаты достижений учащихся; определение, где это возможно, тенденций и закономерностей в результатах достижений учащихся;
формулирование сбалансированных выводов о возможных последствиях для образовательной политики и рекомендаций по повышению результатов обучения; предоставление подробных статистических таблиц для проведения вторичного анализа.
7) Учёт дополнительных данных при принятии управленческих решений по итогам оценки.
Крайне важно, чтобы при принятии решений «с высокими ставками», такими как итоговая аттестация учащихся, аккредитация школ, аттестация педагогов и др., выводы о качестве образования делались не только на основе результатов процедур оценки качества образования. Эта
информация должна использоваться наряду с данными из других источников (статистическая информация, результаты исследований, самооценка общеобразовательного учреждения, портфолио педагога и др.) для составления целостной картины о качестве образования с учётом различных факторов и условий.
Невозможно принимать «сложные» решения на основании данных одного вида. «Простые»решения
• Итоговая государственная аттестация по предмету.
• Как учителю и школе организовать работу «над ошибками».
Такие решения могут приниматься на основании результатов одной оценочный процедуры, например, ЕГЭ.
Более «сложные»решения
• Выбор профиля обучения в старшей школе.
В этом случае уже неправомерно принимать решение только на основании экзамена за основную школу (ГИА-9). Нужно также учитывать мотивацию учащегося, результаты его обучения за предыдущие годы, портфолио (результаты участия в профильных конкурсах, олимпиадах и т.п.), результаты дополнительных школьных испытаний по профильным предметам.
«Сложные»решения
• Оценка качества работы учителя.
• Оценка эффективности работы школы.
Решения такого рода требуют использования данных самых разных оценочных и иных процедур.
Пример 1. Анализ ланных с учётом факторов: Канала.
На диаграмме представлены результаты провинций Канады в национальном тесте, оценивающем навыки чтения школьников. Видно, как разительно меняется картина результатов при переходе от распределения провинций по баллу теста без учёта контекстных факторов (слева) к распределению с учётом факторов семейного окружения, школьного контекста и процесса обучения (справа).
Пример 2. Сравнение результатов работы школ с учётом факторов: Шотланлия.
В Шотландии при оценке и сравнении результатов деятельности школ учитывается ряд важных показателей, характеризующих особенности контингента школьников и расположения школы. К ним, например, относятся такие показатели: число детей из семей с низким уровнем дохода (данный показатель определяется по числу школьников, имеющих бесплатные завтраки); число детей из семей, где английский не является родным (дети из семей мигрантов). Чем больше таких
Проблемы современно го образования | №2 | 2012 | .pmedu.ru
детей в школе, тем больший повышающий коэффициент получает образовательное учреждение в сравнении со школой, где число таких учеников минимально.
На рисунке приведён пример карты города Эдинбурга, которую использует в своей деятельности муниципальный орган управления образованием. На ней разными цветами указаны районы города с разной степенью депривированности (бедности) и школы, которые расположены в этих районах (белый кружок - начальные школы, красный - средние школы).
Таким образом, школы, расположенные в разных по уровню социально-экономического развития районах города, сравниваются с учётом этого фактора.
Е4исэ|*оп Аи|Ьогиу ЕсПпЬигдИ
гик* «р»
|п 1НЮТ0
1КМШМ10П _> сл>*и1
'Ро11оЬ«11о.
8) Корректное сравнение результатов.
Продолжая тему, обозначенную в предыдущем пункте, отметим, что при оценке деятельности школ по итогам проведения той или иной оценочной процедуры необходимо обеспечить корректное сравнение результатов, избегая упрощённых выводов и решений. Только в этом случае можно обеспечить адресные меры поддержки наиболее нуждающихся в этом школам и учащимся.
Традиционно мы ориентированы на принятие «простых» решений, когда выстраивается линейный рейтинг результатов, показанных школами (например, по результатам ЕГЭ), а затем принимается решение поощрить «сильных» (находящихся вверху рейтинга) и наказать «слабых» (находящихся внизу рейтинга). Такая модель совершенно не учитывает условия, в которых находятся школы, и происходит сравнение «пингвинов с помидорами».
Модель использования данных: линейный рейтинг
Наивно полагать, что школа с большим количеством детей из семей с низким социально-экономическим статусом должна демонстрировать результаты, сопоставимые с теми, которые показывают образовательные учреждения, обучающие детей из благополучных семей.
Справедливое сравнение должно основываться на кластерном анализе данных, когда школы группируются по ряду схожих характеристик (место расположения, число детей из семей с низким
Дн1ЛК|ф|К1 С' р I ■
■ Оросо» погреть*;' л*?*
Г Пьр ||ПНА . .¿уг-
социально-экономическим статусом, число учащихся с неродным русским языком и т.п.). При оценке деятельности школ необходимо отказаться от линейного рейтинга и перейти к кластерному сравнению результатов и анализу факторов, лежащих в основе низких результатов.
Оценка
Кластерный "Слабые" Анализ Меры
анализ школы факторов поддержки
* 1
Использование результатов оценки должно приводить к решениям, ориентированным на выработку и реализацию адресных мер поддержки образовательных учреждений и наиболее уязвимых групп детей.
Матрица использования результатов
С целью систематизации возможных вариантов использования результатов программ оценки Российский тренинговый центр предлагает применять Матрицу использования результатов программ оценки качества образования.
А. Программы оценки В. Виды решений С. Кто принимает решения? D. Кто использует результаты? На ком сказываются последствия принятых решений? Е. Комментарии (риски, показательные случаи и т.п.)
Экзамены
Выпускные экзамены
Вступительные экзамены
Крупно-масштабные исследования
Международные исследования
Национальные/региональные мониторинга
Оценка на уровне школы
Внутриклассное оценивание
Внутришкольные мониторинга
Другие программы
Самооценка школы
Международный опыт: примеры стран
Чили
С 1988 года в Чили проводится национальная программа оценки качества образования SIMCE. В рамках этой программы используются стандартизированные тесты для оценки знаний учащихся 4, 8и10 классов по математике, испанскому языку и естественным наукам.
Цели и варианты использования результатов SIMCE
ЦЕЛИ
Поддержка обучения
Мониторинг
образовательной политики
|качество с справедливости
Обеспечение подотчётности
ИСПОЛЬЗОВАНИЕ
Рекомендации и учебные семинары для педагогов
Информирование политиков
уровне О&раВОБаНИЯ 2) и влиянии
ПРЕДПРИНЯТЫХ ДЕИСТБИИ
Создание стимулов для школ и учителей
Национальный отчёт является наиболее явным и наиболее полезным из всех продуктов, которые могут быть подготовлены на основе данных программы национальной оценки. И всякая подобная программа нуждается в наличии такого продукта.
ПОДДЕРЖКА ОБУЧЕНИЯ
До проведения оценки готовятся и распространяются руководства по проведению оценки для специалистов системы образования:
• Спецификация теста,
• Примеры вопросов и заданий.
После проведения оценки готовят отчёты по школам для специалистов системы образования, которые включают:
• Результаты школ,
• Примеры вопросов,
• Примеры ответов,
• Руководства для школьных семинаров.
МОНИТОРИНГ ОБРАЗОВАТЕЛЬНОЙ ПОЛИТИКИ
• Увеличение информированности о качестве и справедливости в предоставлении образования.
• Нацеленность на поддержку школ с низкими достижениями.
• Оценка влияния реализуемых программ и действий.
• Готовится и публикается Национальный доклад с 2006 года.
ОБЕСПЕЧЕНИЕ ПОДОТЧЁТНОСТИ
• Публикация в газетах рейтингов и результатов тестирования в государственных школах.
• Отчёты для родителей (с 2005 г.).
• Введение экономических стимулов - для учителей школ, демонстрирующих самые высокие результаты (с 1995 г.); для школ, предоставляющихуслуги слабо успевающим школьникам (с 2008 г.).
Какие условия обеспечивают возможность использования результатов?
• Лидерство (сильное руководство).
• Достижение консенсуса между заинтересованными группами.
• Наличие законодательства.
• Наличие финансирования и человеческих ресурсов.
• Доступ к базам данных (важно обучать людей пользоваться этими базами).
• Потенциал для проведения статистического анализа.
• Приоритеты в стратегии распространения результатов (например, информация для проведения инспекции).
• Выявление слабых школ (важно публиковать информацию по условиям, в которых работает школа).
• Участие в международных программах оценки.
Сингапур
Оценка учебных достижений
Международные исследования
TIMSS: 1995, 1999, 2003, 2007, 2011 PIRLS: 2001, 2006, 2011 PISA: 2009
Результаты международных исследований не привлекают особого внимания общественности и имеют незначительное влияние на систему оценки в школе.
Национальные экзамены
Экзамен повышенного уровня на получение сертификата о среднем образовании
(12-й класс)
Оценка на уровне школы
Экзамен обычного уровня на получение сертификата о среднем образовании
(10-й класс)
Оценка на уровне школы
Экзамен по окончании начальной школы (6-й класс)
Оценка на уровне школы
Система образования Сингапура стремится быть меритократической, отсюда такое доверие к результатам национального теста.
Заинтересованные группы Цель оценки
Родители и ученики Распределение учащихся для продолжения образования
Школы Сравнение себя с другими школами
Правительство Мониторинг достижений школ, представителей этнических групп и учащихся из семей с различным социально-экономическим статусом
Работодатели Показывать, какими способностями обладают
претенденты на рабочие места
Изменение подходов к использованию оценки
От... К ...
Ограниченное результатов экзаменов. использование национальных Многовариантные способы оценки школьников. Несмотря на то, что результаты национальных экзаменов остаются важными, всё больше используются и другие инструменты. Пример: Direct School Admission - Secondary (DSA-Sec) - испытание для поступления в среднюю школу (учитывает разные достижения и таланты учащихся).
Использование результатов Результаты экзаменов используются для поддержки
экзаменов для распределения обучения. Пример: Специализированные школы, учащихся.
Оценка на уровне школы имеет Оценка на уровне школы более целостная и
тенденцию «подражать» всесторонняя. Пример: Целостная оценка (Holistic
национальным экзаменам. Assessment Prototype - HAPpe).
Школы оцениваются в основном по Школы оцениваются на основании широкого списка
результатам экзаменов. критериев.
Пример: Модель совершенной школы.
Роль национальных экзаменов
Распределение учащихся по наиболее подходящим им образовательным маршрутам
Использование других программ оценки для поддержки обучения
1. Программы поддержки обучения английскому языку и математике в начальной школе (LSM and LSP at Primary 1 & 2).
Оценка в начале обучения в начальной школе позволяет определить, нуждается ли школьник в дополнительной поддержке (обучение в классах с малым числом учеников, помощь специалиста) по основным предметам - английский язык и математика. В 1 и 2 классах начальной школы существуют специальные программы поддержки обучения по этим предметам.
2. Базовые предметы в начальной и основной школе (Foundation Subjects at Primary 5 & 6 and Normal Courses).
Школьные экзамены помогают определить, будут ли школьники лучше учиться за счёт дифференциации содержания. Наименее академически успешные школьники могут изучать базовые предметы в более удобном режиме (изучается меньшее число учебных тем и выделяется больше времени).
3. Неформальные дополнительные занятия по коррекции обучения в начальной и основной школе.
Традиционно дважды в год проводятся школьные экзамены для определения школьников, которые нуждаются в дополнительных занятиях.
4. Отбор детей для обучения по программе для одарённых (Gifted Education Programme).
Проводится тест в 3 классе начальной школы. Он состоит из двух раундов. Первый - для всех школьников, а второй - для специально приглашённых учеников с целью отбора на программу обучения одарённых в 4-6 классах начальной школы.
Движущие силы и уроки
• Учебный план устанавливает направление развития системы образования (Думающие школы, Обучающаяся нация).
• Национальные экзамены являются сильным стимулом для движения в выбранном направлении.
• Система профессионального развития педагогов обеспечивает поддержку движения в выбранном направлении (Обучающиеся профессиональные сообщества).
• Постоянное наблюдение за состоянием системы образования с целью её совершенствования.
• Если в стране нет экспертного опыта в проведении оценки, участие в международных исследованиях позволит накапливать этот важный опыт.
• Не тестируй, если в этом нет необходимости. Тестировать следует по завершению цикла/ступени обучения.
• Высокая важность учительской оценки, оценки на уровне класса.
Польша
Национальная система экзаменов
Национальная система экзаменов включает экзамены по завершению начальной и основной школы (с 2002 года) и выпускной экзамен MATURA даёт право поступления в Вуз (с 2005 года).
Использование экзаменов для поддержки обучения
• Национальные экзамены обеспечивают объективную оценку знаний и навыков учащихся.
- Экзамен между начальной и основной школой имеет исключительно информационную ценность.
- Экзамен после основной школы даёт возможность понять учащимся, какую школу они могут выбрать.
- Внешняя оценка обычно поддерживается слабо успевающими школьниками, которые не уверены в своих знаниях и часто несут печать неудачника и недооцениваются учителями.
- Экзамены создают стимулы и дают учащимся и школам ценную обратную связь.
• Внешние экзамены обычно слишком ограничены, чтобы использоваться для всесторонней оценки сильных и слабых сторон работы учителей.
• Кроме того, практически невозможно оценивать эффективность работы конкретного учителя, так как
- Экзамены мультидисциплинарны.
- Ученики обучаются разными учителями по разным предметам и в разные года.
• Система развивается с течением времени за счёт введения большего числа экзаменационных предметов, предоставления баллов добавленной стоимости и дополнительных инструментов понимания результатов.
• Последующие задачи:
- Предоставление больше полезной информации учителям.
- Предоставление более подробных и более надёжных результатов.
Международные исследования
Международные исследования
PISA: все циклы PIRLS: 2006 CIVED
• Международные исследования позволяют рассматривать национальные результаты в международной перспективе.
• PISA продемонстрировала позитивное влияние образовательной реформы 1999 года, также как и возможности для дальнейших улучшений, особенно в математике.
• Последующие задачи:
- Дальнейшее использование доступных данных.
- Увеличение инвестиций не только в сбор данных, но и в их анализ (инвестиции в развитие аналитического потенциала).
- Комбинирование данных из нескольких исследований для ответа на ключевые вопросы образовательной политики.
Уроки и рекомендации для других стран
• Введение национальных экзаменов и получение данных - это первый шаг для сбора объективной и надёжной информации о достижениях школьников.
• Неправомерно сравнивать школы и учителей на основе линейного рейтинга (по баллам экзамена).
• Система добавленной стоимости даёт гораздо лучшие свидетельства эффективности работы школы. Она учитывает не только начальные баллы ученика, но и другие его характеристики.
• Необходимо делать инвестиции для использования собранной информации в целях политики и улучшения работы учителей.
• Польша, как и многие другие страны, имеет недостаточный исследовательский потенциал для всестороннего изучения полученных данных.
(->»
Две школы/два учителя, равноценные по качеству работы, могут демонстрировать разные
результаты в рамках экзаменов. И это только потому, что их ученики из семей с очень разным социально-экономическим статусом.
V_)
Германия
Германия после PISA 2000
Finland Canada Australia United Kingdom Japai Sweden Belgium Ajslrirj Noway I ranee United States OECD average Denmark Switzeriand Italy Germany
Greece
Необходимо улучшать академические достижения во всех областях грамотности
^ Необходимо понизить различия для этнических и социальных групп
Необходим более подотчётность
сильный фокус на результаты и
200
300
400
500
600
700
800
Определение стратегических целей и программы действий в 16 федеральных землях Германии.
Введение различных инициатив по обеспечению подотчётности и оценки школ в федеральных землях:
- Стандарты.
- Оценка деятельности системы образования (мониторинги).
- Централизованные экзамены.
- Введение стандартизированной системы оценки (Vergleichsarbeiten) на уровне земель в начальной и основной школе (3 и8 классы).
- Увеличение школьной автономии.
- Школьная инспекция.
Создание национального института прогресса в образовании (IQB).
Уроки
Для изменения ситуации нужна комплексная реформа, а не единичные действия. Система оценки должна быть частью этой реформы.
Наличие автономии школы и централизованных измерений результатов обучения значительно повышает результаты обучения (PISA, TIMSS). Вовлечение всех заинтересованных лиц в оценку качества крайне важно. Важно! Оценка на уровне класса и диагностика индивидуального прогресса ученика.
Кыргызская Республика
В Кыргызстане осуществляются различные виды оцениваний. Среди них - Национальное оценивание образовательных достижений учащихся, Общереспубликанское тестирование для поступления в Вузы, Исследование критического мышления учащихся 9 классов, Международное сравнительное исследование функциональной грамотности 15-летнихучащихся PISA и др.
Общереспубликанское тестирование (ОРТ)
Имеет только одну цель - отбор способных к дальнейшему обучению абитуриентов в Вузы страны.
Основной тест является тестом способностей. Предметные тесты -тесты достижений.
Проводится на трёх языках (кыргызском, русском, узбекском). Тест проводится независимой тестовой службой (Центр оценивания в образовании и методов обучения) в тесном сотрудничестве с Министерством образования и науки КР.
Что даёт ОРТ?
• Выпускники, сдающие ОРТ, более серьёзно относятся к учёбе.
• Учителя более ответственно относятся к подготовке учащихся.
• Увеличение числа студентов из отдалённых районов.
• Чёткое и прозрачное зачисление абитуриентов в Вузы.
• Акцентирование важности чтения, как основного инструмента обучения, так как в тесте имеется раздел, направленный на проверку понимания учащимся прочитанного текста.
• Акцентирование важности применения знаний, полученных на уроках математики, родного языка, химии, биологии, физики, истории и
иностранных языков, так как в тесте акцент делается не на припоминание фактов, а на применение знаний.
Исполъзованиерезулътатов ОРТ
• Результаты ОРТ не используются для поощрения или наказания директоров или учителей.
• ОРТ не может быть использован как специальный инструмент для выводов о состоянии образования в стране, в регионе или в отдельной школе.
• Сами образовательные учреждения отслеживают результаты ОРТ и используют их в качестве стимула к повышению качества образования.
• Учителя используют результаты ОРТ в качестве обратной связи. Материалы ОРТ часто служат ориентиром для определения задач обучения (развитие умений работы с письменными текстами, применение знаний в новых ситуациях...).
• Данные ежегодных отчётов ОРТ служат ориентиром при принятии решения о поступлении в Вуз абитуриентом.
• Успехи ОРТ в борьбе с коррупцией, доверие к результатам ОРТ педагогов и широкой общественности сделали возможным постепенное расширение сферы применения ОРТ.
• Ежегодные отчёты по ОРТ являются ценным материалом для оценки Вузов КР. (Выстраивание рейтинга Вузов по результатам зачисления, рейтинга специальностей в Вузе).
• 50 лучших абитуриентов без конкурса выбирают любой Вуз страны.
• Многие Вузы Турции признают результаты ОРТ.
Национальное оценивание образовательных достижений учащихся (НООДУ)
Национальное оценивание образовательных достижений учащихся было проведено в 2007 и 2009 годах в рамках проекта «Сельское образование» при Министерстве образования и науки на средства гранта Всемирного банка.
Цель данного исследования - получить объективное и научно-обоснованное представление о том, что знают и умеют делать учащиеся 4 и 8 классов по действующим в стране стандартам образования, и чем обусловлены показанные ими результаты.
Инструментарий - стандартизированные тесты и анкетирование.
Исполъзованиерезулътатов НООДУ
Использование результатов НООДУ - дело не одного дня. Трудно себе представить, что накопившиеся за долгий период глубокие проблемы могут быть исправлены за год или два. Сегодня можно сказать, что в Кыргызстане происходит поворот от малоконтролируемых, разрозненных, разнонаправленных и кратковременных воздействий на образование к системе мер, основанных на результатах страновых и международных мониторингов. Примеры мер:
• Повышена зарплата учителям, изменена структура оплаты труда.
• Разработан и в 2009 году принят новый рамочный курикулум, где акцент обучения переносится с процесса на результат.
• Разработаны предметные курикулумы для начальной школы. Новые курикулумы, обеспеченные учебниками и методическими пособиями для учителей, ввели с первого класса.
• Дорабатываются курикулумы для средней (5-9 классы) школы.
• Разрабатываются курикулумы для старшей школы и для профильных классов.
• Определены компетенции, которыми должны обладать учащиеся не только на выходе, но и на промежуточных этапах (4 класс, 9 класс).
• Меняются подходы к оцениванию индивидуальных успехов учащихся (внедряется формирующее оценивание, проводятся курсы для учителей по оцениванию успехов учащихся в классе).
• Ведётся работа по изменению формы итогового оценивания в 9и11 классах и др.
Опыт регионов России: Чувашская Республика
Группы управленческих решений на основе результатов оценочных процедур
Ф Оценка и управление развитием территориальных образовательных систем.
- Распределение ресурсов и изменение условий организации образовательного процесса. Оптимизация и развитие сети, организация сетевого взаимодействия.
- Проектирование и реализация комплекса мер по повышению качества образования через отбор позитивного опыта и организацию эффективной работы.
- Информирование населения о состоянии системы образования. Ф Оценка и управление развитием образовательного учреждения.
- Аккредитация образовательного учреждения, изменение статуса.
- Распределение ресурсов и изменение условий организации образовательного процесса в школе.
- Распределение грантов.
- Информирование населения об образовательном учреждении.
Ф Оценка, стимулирование деятельности и профессионального развития педагогических работников.
- Аттестация педагогических работников.
- Установление стимулирующих надбавок, грантов.
- Разработка программ повышения квалификации педагогических кадров. Ф Совершенствование содержания и методов работы с учащимися.
- Программы работы с отдельными категориями учащихся (одарённые дети, дети-инвалиды, дети, испытывающие трудности в обучении).
- Выстраивание индивидуальных образовательных траекторий.
Примеры управленческих решений по результатам ЕГЭ, принимаемых на уровне региона
• Обоснование оптимизации сети образовательных учреждений
Распределение песипсов и изменение ' 0ценка эффективности деятельности муниципальных органов 1 ш-л^сис^сдис ^с^иио и. илиспспис управления образованием в сфере ИХ компетенции
условий организации образовательного . Обоснование принятия финансово-экономических мер (в
рамках нормативно-подутттевого финансирования) и распределение дополнительных финансово-материальных ресурсов
процесса
Проектирование и реализация комплекса мер по повышению качества образования через отбор позитивного опыта и организацию эффективной работы
• Выявление и распространение позитивного опыта учителей и школ, достигающих высоких результатов в обучении учащихся
• Выявление и распространение эффективного опыта организации сетевого взаимодействия
• Определение и разработка актуальных методических проблем. Формирование запроса на содержание курсов повышения квалификации учителей
Публикация информации по ЕГЭ в СМИ и профессиональной литературе, как средство
управления качеством образования
• Статистические данные по абсолютной и качественной успеваемости выпускников по каждой школе, территории и в целом по региону
• Результаты выпускников по разным типам и видам образов ательных учреждений
• Данные по учителям, подготовившим наибольшее количество выпускников, получивших высокие баллы за ЕГЭ по учебному предмету
Примеры управленческих решений по результатам ЕГЭ, принимаемых на уровне школы
Ф Показатели ЕГЭ используются при распределении стимулирующей части оплаты труда учителя.
Ф Показатели ЕГЭ учитываются при распределении учебной нагрузки учителей, распределении и закреплении классов, где будет преподавать учитель (сильный или слабый класс, базовый или профильный уровень изучения предмета).
Ф Показатели ЕГЭ учитываются при определении профиля школы. Принимается решение о достаточности кадрового обеспечения заявленного профиля или необходимости его компенсации приглашёнными специалистами, другими формами организации образовательного процесса.
Ф Сравнивая уровень требований ЕГЭ, корректируются требования учителя, его представления об образовательном стандарте по предмету.
Ф Сравнивая школьные отметки (текущая отметка) и результаты ЕГЭ (внешняя оценка) делается вывод об адекватности оценочной деятельности на уровне учителя и образовательного учреждения.
Ф По результатам ЕГЭ определяются зоны затруднений учащихся по каждому разделу содержания предмета. Принимаются меры рекомендательного или компенсаторного характера.
Как оценивать результаты школ?
"Информация внутри системы образования для стимулирования лучшими поддержки находящихся в СЛОЖЦЫХ. условия^
А_1 ■
Школа на фоне в_к.
аналогичных ш пол Школа на фоне всех школ региона^^
^ 1
1 Г
'Информация для
внешни^, пользователей, для выбора шкдлы
Оценка уровня образовательных достижений учащихся
Оценка уровня образовательных достижений проводится в Чувашской Республике в форме бланкового тестирования по отдельным классам и предметам с последующим анализом результатов. Школы принимают участие на добровольной основе. Цель - входной,
промежуточный или репетиционный контроль, оценка уровня индивидуальных образовательных достижений и уровня обученности группы учащихся.
Результаты могут быть использованы для разных задач в зависимости от заказчика и масштаба (охвата) исследования, перечня предметов и возрастов:
- оценка уровня готовности учащихся класса, школы, муниципалитета к государственной итоговой аттестации в форме ЕГЭ (или ГИА 9 класс) по определённому предмету (репетиционный экзамен);
- оценка уровня индивидуальных учебных достижений;
- выявление проблемных зон в усвоении отдельных дидактических единиц;
- соответствие системы внешней и внутренней оценки, применяемой учителем;
- соответствие требований учителя и образовательного стандарта при возникновении конфликтной ситуации;
- как отдельные формы внешней оценки уровня обученности учащихся в системе внутришкольного контроля.
Регламент возможных последействий - работа по результатам тренировочного тестирования:
- разбор демоверсии и всех вариантов;
- разбор решаемости с распределением пройденных и не пройденных тем;
- выделение успешности решения заданий намеченного минимума;
- мониторинг индивидуальной динамики учащихся;
- разбор критериев проверки части С и подготовка рекомендаций для учащихся на их основе.
Риски использования показателей качества образования
Ф Некорректность сравнения по годам (по ряду показателей).
# Невозможность оценить динамику индивидуальных достижений по ряду показателей.
# Использование в комплексном анализе без учёта социально-экономического, культурного, информационного контекста (экзаменационное тестирование проводится без параллельного обследования этих факторов). Принятие управленческих решений только по результатам ЕГЭ, без серьёзного контекстного анализа (НСОТ, аттестация педагогов, финансирование).
Применение линейных рейтингов образовательных учреждений, муниципалитетов, регионов, выстроенных на одном из показателей ЕГЭ.
# Организация образовательного процесса, ориентированного на результаты ЕГЭ («натаскивание» на ЕГЭ).
Использование результатов оценочных процедур для подготовки и принятия управленческих решений: основные уроки
# Для того, чтобы управленческие решения принимались на основе результатов оценочных процедур, нужна своевременная, доступная и качественная аналитика.
Ф Комплекс показателей результатов должен охватывать результаты комплекса оценочных процедур, позволяющих измерить разные характеристики качества образования на разных этапах обучения. Необходимо использование единой для системы образования системы информативных индикаторов, отражающих разные характеристики измеряемых результатов.
# Управленческие решения должны основываться на показателях, адекватно и всесторонне отражающих ситуацию в системе образования и динамику условий и результатов. Использование ложных индикаторов приводит к неверным управленческим решениям.
# Среди управленческих решений больший эффект имеют решения, принимаемые в школе. Они должны быть направлены на оптимизацию образовательного процесса и приняты из рефлексивной позиции его организаторов и участников.
Основные источники:
1. Оценка качества образования: обзор международных подходов и тенденций. -Всемирный банк, 2005.
2. Грини,В. Использование результатов национальной оценки учебных достижений : кн. 5 / В. Грини, Т. Кэллаган, С. Мюррей. - (Национальная оценка учебных достижений). - Всемирный банк, 2011.
3. Материалы 3-й Международной конференции программы READ «Использование результатов оценки учебных достижений для повышения качества образования» (23-26 октября 2011 года, Германия).
Интернет-журнал «Проблемы современного образования» 2012, № 2
