CC BY
32
^K 37.014.5; 371.263
УСЛОВИЯ ЭФФЕКТИВНОГО ИСПОЛЬЗОВАНИЯ РЕЗУЛЬТАТОВ ОЦЕНКИ
УЧЕБНЫХ ДОСТИЖЕНИЙ
Вальдман И.А., к.пед.н., Институт управления образованием РАО, Москва. Россия E-mail: iavaldman@gmal.com
Аннотация. В рамках данной статьи анализируются направления и условия использования результатов оценки качества образования, которые необходимо учитывать при планировании и проведении программы оценки учебных достижений школьников.
Ключевые слова: управление образованием, образовательная политика, оценка качества образования, тестирование, информационные потребности, процедура оценки качества, интерпретация результатов оценки, рейтинг образовательных учреждений.
CONDITIONS OF EFFECTIVE UTILIZATION OF LEARNING OUTCOMES
ASSESSMENT RESULTS
Valdman I.A., PhD, Institute of Management in Education of RAE, Moscow. Russia E-mail: iavaldman@gmal.com
Abstract The article examines main directions and conditions of utilization of quality assessment results which should be taking into account within planning and implementation student achievement assessment programs.
Keywords Educational management, educational policy, assessment in education, testing, information needs, quality assessment procedures, interpretation of assessment results, school ranking.
Формирование системы оценки качества образования является одним из ключевых приоритетов развития образования в Российской Федерации. Все более широкое признание получает тот факт, что измерение учебных достижений учащихся необходимо не только для целей мониторинга, но и для повышения качества образования. Данные о достижениях учащихся могут быть использованы для принятия решений, обеспечивающих выработку разнообразных образовательных стратегий, направленных на обеспечение равных возможностей обучения всем учащимся. К таким стратегиям могут быть отнесены: разработка и внедрение программ повышения эффективности преподавания и обучения в общеобразовательных учреждениях, выявление наименее подготовленных учащихся в целях предоставления им необходимой помощи, оказание соответствующей ресурсной, организационной и методической поддержки неэффективно работающим учителям и школам, и др.
Процедуры оценки действительно способствуют повышению качества образования, только если используются для принятия информированных решений, помогают учителям улучшить их педагогическую практику и вооружают родителей знанием о том, насколько хорошо учатся их дети.
Направления использования результатов
1. Принятий решений о поддержке конкретных учащихся.
• для корректировки образовательного процесса (определение проблем в обучении и мер по их преодолению для отдельных школьников);
• для выявления уровня достигнутой квалификации (освоил образовательную программу или нет).
2. Принятий решений на разных уровнях системы образования.
• для информирования политики и разработки программ, (установления существа и масштаба проблем, определение направлений воздействий, способных улучшить ситуацию);
• для наблюдения за индикаторами ключевых результатов и определением каких-либо непредвиденных отклонений от установленных тенденций или взаимосвязей;
• для оценки влияний определённой политики и/или программ предпринятых действий.
Условия использования результатов
Данные о достижениях учащихся могут быть использованы для принятия решений, обеспечивающих выработку разнообразных образовательных стратегий, направленных на обеспечение равных возможностей обучения всем учащимся. К таким стратегиям могут быть, например, отнесены:
• разработка программ повышения эффективности обучения;
• выявление наименее подготовленных учащихся в целях предоставления им необходимой помощи;
• оказание соответствующей ресурсной, организационной и методической поддержки «неэффективно» работающим учителям и школам, и др.
Эффективное использование результатов оценки зависит от ряда условий, которые следует учитывать команде, координирующей организацию и проведение процедуры оценки, с целью достижения максимального влияния полученных результатов на повышение качества обучения и выработку образовательной политики. Отметим следующие наиболее важные условия. 1) Политический контекст: Контроль или Поддержка. Контроль
• Для наложения санкций и раздачи поощрений
• Нет права на ошибку
• ОУ не заинтересовано в обнаружении проблем Поддержка
• Оказание содействия ОУ и муниципалитетам в преодолении существующих проблем
• Есть право на ошибку. Неудача - сигнал для оказания помощи.
• ОУ заинтересовано в обнаружении проблем 2) Поддержка заинтересованных сторон.
Крайне важно, чтобы все заинтересованные стороны пришли к согласию относительно необходимости проведения оценки и оказывали поддержку при её проведении.
С этой целью на протяжении всего периода разработки инструментария, сбора и анализа данных и подготовки отчетов необходимо поддерживать постоянную связь со всеми заинтересованными группами, прежде всего с представителями учительского сообщества, администрацией общеобразовательных учреждений, а также со специалистами системы подготовки и повышения квалификации педагогических кадров. Необходимо постоянно информировать эти целевые группы и привлекать их к обсуждению наиболее важных вопросов организации и проведения оценки. 3) Наличие надёжного инструментария.
Наличие надёжного инструментария, соответствующего необходимым профессиональным стандартам, является главным фактором получения достоверных результатов и обеспечения доверия к ним со стороны общественности и профессионального сообщества. Следует подчеркнуть важность предварительного испытания (апробации) всего инструментария оценки, включая и инструкции по проведению оценки. Апробация также помогает рассчитать время, которое займет тестирование, и выявить неверно составленные инструкции по применению тестов. Особое внимание следует уделить формированию представительной выборки (в случае оценки состояния системы начального образования) исправлению любых опечаток и неправильных формулировок. Пример: основные этапы разработки теста:
1. Определение цели тестирования и разработка спецификации теста.
2. Разработка заданий для теста.
3. Экспертиза и доработка заданий.
4. Апробация и доработка заданий.
5. Составление теста.
6. Проведение апробации теста и обработка полученных результатов.
7. Доработка теста и подготовка окончательного варианта.
4) Наличие надёжной стандартизированной процедуры проведения экзамена.
Все этапы проведения оценки должны быть чётко регламентированы, функционал различных специалистов, участвующих в оценке, должен быть определён. Стандартизированная процедура должна обеспечивать информационную безопасность проведения оценки, предотвращать возможные нарушения и фальсификацию данных, обеспечивать сопоставимость результатов для всех общеобразовательных учреждений, чьи учащиеся принимали участие в оценке.
5) Ориентация на информационные потребности основных групп пользователей результатов оценки.
Основными пользователями результатов данной процедуры оценки качества образования являются: обучающиеся и их родители (законные представители); педагоги и администрация общеобразовательных учреждений; органы законодательной и исполнительной власти; ведомства (федерального и регионального подчинения), осуществляющие контрольные функции; муниципальные органы управления образованием; учредители образовательных учреждений; образовательные и научные учреждения; работодатели и их объединения; общественные организации, заинтересованные в оценке качества образования; средства массовой информации; иные лица, заинтересованные в оценке качества образования.
Стратегия распространения результатов исследования требует, чтобы соответствующая информация достигала представителей всех заинтересованных сторон. Информацию следует представлять в форме, понятной потенциальным пользователям. Для этого следует использовать не только стандартные отчёты, но и другие информационные продукты - краткие записки, пресс-релизы, сообщения на радио и телевидении, отдельные доклады ориентированные на разные группы -учителя, школы, преподаватели системы подготовки и повышения квалификации работников образования, разработчики учебных планов и стандартов.
Специалисты организации, отвечающие за организацию и проведение оценки, должны помочь специалистам в области образования и управленцам корректно проинтерпретировать данные о полученных результатах оценки качества начального образования, таких как результаты индивидуальных достижений школьников и их взаимосвязь с различными факторами (особенно это важно при проведении процедуры оценки состояния системы начального образования), оказывающих влияние на результаты обучения (например, родной язык, уровень подготовки учителей,
социально-экономический семьи учащегося, количество учеников в классе, материальная обеспеченность школы и т.п.).
6) Подготовка ясного отчёта по результатам.
Итоговый отчёт (на уровне федерации, региона, муниципалитета, общеобразовательного учреждения) является наиболее важным и наиболее полезным из всех информационных материалов, которые могут быть подготовлены на основе данных процедуры оценки. Хорошо разработанный итоговый отчёт должна включать определённый набор разделов. Их количество и содержание будет зависеть от вида процедуры оценки (оценка индивидуальных достижений обучающихся или оценка состояния системы начального образования). Тем не менее, итоговый отчёт должен содержать следующую информацию:
■ описание целей, которые были достигнуты за счёт оценки;
■ описание содержания оценки (что измерялось) и обоснование, почему важно то, что было измерено
■ краткая характеристика инструментария оценки;
■ пояснение, как и когда были собраны данные;
■ объяснение, как результаты достижений учащихся были сгруппированы и обобщены;
■ представление полного распределения результатов достижений учащихся и того, как достижения варьируются среди различных групп учащихся;
■ рассмотрение факторов, которые оказывают влияние на результаты достижений учащихся;
■ определение, где это возможно, тенденций и закономерностей в результатах достижений учащихся;
■ формулирование сбалансированных выводов о возможных последствий для образовательной политики;
■ предоставление подробных статистических таблиц для проведения вторичного анализа.
7) Учёт дополнительных данных при принятии управленческих решений по итогам оценки.
Крайне важно, чтобы при принятии решений «с высокими ставками», такими как аккредитация школ, аттестация педагогов и др., выводы о качестве образования делались не только на основе результатов процедур оценки качества начального образования. Эта информация должны использоваться наряду с данными из других источников (статистическая информация, результаты исследований, самооценка
общеобразовательного учреждения, портфолио педагога, и др.) для составления целостной картины о качестве образования с учётом различных факторов и условий.
Невозможно принимать «сложные» решения на основании данных одного вида «Простые» решения
• Итоговая государственная аттестация по предмету.
• Как учителю и школе организовать работу «над ошибками». Более «сложные» решения
• Выбор профиля обучения в старшей школе. «Сложные» решения
• Оценка качества работы учителя.
• Оценка эффективности работы школы. Использование результатов. Важные сюжеты. Модель использования данных: линейный рейтинг
Линейный рейтинг «Сильные»
ШКОЛЫ
Ш1 Ш1
Ш2 шг
шз шз
шм шм
Ш N
«Слабые»
Ш[\1+1
1Ш+2 ШКОЛЫ
""""— ЦШ+1
ИШ+к "шм+г
М+к
«Простые» решения
• Поощрения
Санкции
Модель использования данных: кластерный анализ
От линейного рейтинга к кластерному сравнению и анализу факторов
Кластер, анализ
Меры Анализ
поддержки факторов
Анализ данных с учётом факторов: Канада
Диаграмма показывает, что учёт дополнительных факторов даёт приницпиально иную картину в рейтинге штатов Канады по качеству образования. Учёт внешних факторов: Шотландия
Оценка деятельности школ в зависимости от уровня депривации местности, в которой расположена школа.
PISA-2003: Учёт внешних факторов
Вариативность успеваемости внутри школ
I I й
Вариативность объясняв тел . РЯНИЯЛЬНО- SIWHOWM4S СЯИМ . уровнем учащихся и шкал
IHM
1 Ä I
Вариативность
успеваемости
мензду-ижол
I I | 1 I I Я 5 S
Низкий разброс результатов между школами (например, Финляндия) говорит об обеспечения равенства - в любой школе можно получить примерно одинаковое образование. Большой разрыв - причина селекции детей и создание «продвинутых» школ и школ отстающих.
PISA-2009: Сравнение России и Финляндии
Descriptive Statistics FINLAND
N
mean read mean math mean science
5810 5810 5810
Miri Max Mean SD
184 744 531 83
210 783 537 76
218 799 549 84
Descriptive Statistics RUSSIA
mean read mean math mean science
N Min Max Mean SD
5308 124 750 462 86
5308 191 797 469 80
5308 133 796 480 85
Результаты лучших российских детей превосходят результаты лучших финских сверстников. Но наши самые слабые результаты гораздо ниже самых низких финских результатов.
Мы отстаём из-за неумения работать со слабыми группами детей.
В Финляндии 30% детей охвачены различными программами поддержки детей со специальными потребностями.
«Нам дешевле оплачивать финансирование образовательных программ, нежели преодолевать возможные социальные последствия - борьба с преступностью, наркоманией и т.п.»
Смена стратегии
От Поддержка сильных в условиях забвения "слабых"
к Поддержке "слабых" в условиях предоставления автономии сильным
Майкл Барбер Чем выше успехи, тем слабее контроль.
Стратегии, которые используются сильными школами для собственного развития, не подходят для слабых школ в силу ряда причин (культурных, социальных, ресурсных, человеческих и т.п.)
Опыт Великобритании
Основание для определения слабой школы: низкий результат теста и неадекватный прогресс.
Как определить, что школа проблемная: результаты тестов (но это слишком однобоко), добавленная стоимость (более адекватный показатель, так как работает с динамикой), результаты инспекции, упоминания в СМИ, другие свидетельства.
Характеристики слабых школ: расположены в бедных районах, высокая текучесть учителей, концентрация детей с низким социально - экономическим статусом, предпринятые ранее вмешательства не были успешными.
