CC BY
227
^K 37.014.5; 371.263
ПОДХОДЫ К УПРАВЛЕНИЮ КАЧЕСТВОМ ОБРАЗОВАНИЯ НА ОСНОВЕ ИСПОЛЬЗОВАНИЯ ПРОЦЕДУР ОЦЕНКИ ОБРАЗОВАТЕЛЬНЫХ ДОСТИЖЕНИЙ УЧАЩИХСЯ
Вальдман И.А., к.п.н., Институт управления образованием РАО, Москва, Россия, E-mail: iavaldman@gmal.com
Аннотация. В рамках данной статьи анализируются особенности развития систем оценивания, направления использования результатов оценки образовательных достижений, а также подходы и актуальные задачи в области оценки качества образования.
Ключевые слова: управление качеством образования, оценка качества образования, программы оценки, мониторинговые исследования, государственные экзамены, внутриклассное оценивание.
APPROACHES TO THE QUALITY MANAGEMENT IN EDUCATION IN TERMS OF UTILISATION LEARNING OUTCOMES ASSESSMENT PROGRAMS
Valdman I.A., PhD, Institute of Management in Education of RAE, Moscow. Russia E-mail: iavaldman@gmal.com
Abstract. The article examines key features of assessment systems development, main directions of utilization of quality assessment results, and approaches and topical problems in area of quality assessment in education.
Keywords: quality management in education, quality assessment in education, assessment programs, monitoring studies, public exams, classroom assessment.
Введение. Особенности развития систем оценивания качества образования.
Одним из ведущих приоритетов национальной образовательной политики является создание общероссийской системы оценки качества образования (ОСОКО), включающей независимые объективные формы оценки и контроля. Общероссийская система оценки качества образования создается с целью совершенствования системы управления качеством образования в России, а также обеспечения всех участников образовательного процесса и общества в целом объективной информацией о состоянии системы образования на различных уровнях и тенденциях ее развития [2, 3].
При определении подходов к управлению качеством образования на основе оценки образовательных достижений необходимо ориентироваться на возможные варианты использования результатов оценки.
Прежде чем остановиться на обсуждении вариантов использования отметим принципиальные особенности развития системы оценивания в России и мире, произошедшие в конце прошлого и начале этого веков. Они также являются определяющими при формировании рассматриваемых в статье подходов.
В качестве первой особенности необходимо ответить расширение объектов и форм оценивания. Понятие образовательные результаты или образовательные достижения уже не сводится к сумме предметных знаний, полученных школьником на уроках. Акцент делается на развитие ключевых компетенций, позволяющих ученику применять полученные знания в самых разных учебных и внеучебных ситуациях. В качестве одного из основных образовательных результатов исследователи выделяют умение учиться. Г.А. Цукерман определяет его как способность ребёнка определить границу своих возможностей и переходить эту границу, самостоятельно добывая знания и умения, недостающие ему для того, чтобы эффективно действовать в новой ситуации ([13]). Как следствие, более разнообразными и разноплановыми становятся формы и методы оценивания. Наряду с традиционными заданиями по проверке знаний и стандартизированными письменными или устными работами на практике применяются таких методов оценки, как проекты, практические работы, творческие работы, самоанализ и самооценка, наблюдения и др.
Другой важной особенностью, определившей дизайн большинства существующих программ оценки, является переход к использованию стандартизированных заданий (тестов), построенных на основе теории педагогических измерений. Использование стандартизированных измерений позволило повысить объективность оценки результатов обучения, обеспечить сопоставимость результатов различных групп учащихся между собой и во временной динамике, применить математические методы для анализа результатов.
Третья особенность состоит в использовании результатов оценки для управления качеством образования. Она выражается, прежде всего, в использовании мониторинговых исследований качества образования для оценки эффективности деятельности образовательных учреждений и систем. Национальные мониторинги (в международной практике используется термин national assessment) являются инструментами обратной связи для системы образования, даёт возможность изучить тенденции в результатах обучения школьников и установить факторы, влияющие на эти результаты. Определим мониторинг учебных достижений школьников как стандартизированную процедуру оценки результатов обучения, которая проводится на регулярной основе и имеет своей целью предоставление актуальной для управленцев и
педагогов информации относительно уровня знаний и навыков различных групп учащихся, тенденций их изменений и факторов, оказывающих влияние на результаты обучения. Он может проводиться как на всех учащихся определённого возраста (генеральной совокупности), так и на репрезентативных выборках [4].
И, наконец, четвёртая особенность, напрямую взаимосвязанная с предыдущей, но имеющая самостоятельную ценность, заключается в проведении крупномасштабных международных сравнительных исследований качества образования. Международные исследования, такие как PISA, PITLS, TIMSS, позволяют сравнивать результаты обучения школьников (студентов, взрослых) конкретной страны и с достижениями различных образовательных систем мира. Начиная с 1988 года, Россия принимает активное участие практически во всех международных исследованиях качества общего образования, проводимых Международной Ассоциацией по оценке образовательных достижений IEA (International Association for the Evaluation of Educational Achievements) и Организацией экономического сотрудничества и развития OECD (Organization for Economic Cooperation and Development) ([3]).
С более подробным обзором особенностей оценки качества образования на примере начального общего образования можно познакомиться в исследовании М.И. Кузнецовой ([10]).
Направления использования результатов и программы оценки
Важнейший вопросов при проведении оценки учебных достижений учащихся -это вопрос о том, каким образом могут быть использованы результаты различных программ оценки для повышения качества деятельности образовательной системы и улучшения результатов обучения школьников.
При всём своём многообразии способы использования данных программ оценки могут быть разделены на две категории: 1) использование для принятий решений относительно конкретных учащихся и 2) использование для принятий управленческих решений на разных уровнях систем образования - от конкретной школы до министерства образования страны ([5]).
В первом случае речь идёт о способах использования, которые ориентированы на принятие решений, оказывающих непосредственное влияние на ученика. Эти способы могут быть разделены на две группы:
1) планирование и корректировка образовательного процесса - данные используются для диагностики проблем в обучении конкретных школьников и
определения мер по их преодолению, а также для планирования индивидуальных образовательных траекторий;
2) выявление уровня освоения образовательной программы.
Во втором случае речь идёт о способах, которые не имеют непосредственного отношения к решениям относительно конкретного учащегося, но имеют влияние на решения относительно образовательных учреждений и их систем. Такие способы использования данных могут быть классифицированы в зависимости от объекта оценки следующим образом.
1. Оценка деятельности образовательного учреждения. Здесь данные используются по двум основным направлениям: 1) аккредитация образовательного учреждения и проведение различных контрольных и надзорных мероприятий; 2) проектирование шага развития школы (совершенствование работы) - каковы ближайшие задачи работы школы и каким образом их реализовать.
2. Оценка образовательных систем. Данные также могут использоваться в двух аспектах - для осуществления процедур контроля за работой системы образования (муниципальной или региональной) и для разработки образовательной политики и программ действий на разных уровнях образования.
В соответствии с направлениями использования целесообразно проводить классификацию программ оценки. Приведём типологию программ оценки, которая базируется на целях оценки и используется в совместной программе Правительства Российской Федерации и Всемирного банка READ1. В большинстве образовательных систем мира системы оценивания преимущественно состоят из трёх основных видов оценочных мероприятий. К ним относятся (см. [9]):
• оценивание в классе (или формирующее оценивание), которое встроено в образовательный процесс и позволяет определять достижения и трудности в обучении каждого ученика и проектировать индивидуальные траектории образования;
• государственные экзамены, которые используются для принятия решений по каждому учащемуся относительно завершения им ступени обучения и/или возможности продолжения образования;
• крупномасштабные исследования (мониторинга), которые направлены на оценку эффективности работы образовательных систем разного уровня и являются инструментом мониторинга результатов обучения школьников.
1 READ (Russia Education Aid for Development) - Российская программа содействия образованию в целях развития. Реализуется в партнёрстве с Всемирным банком и ориентирована на усилении потенциала развивающихся странах в сфере оценки учебных достижений школьников.
Дадим краткую характеристику этим программам. Подробнее с данным вопросом можно познакомиться в работе ([4]).
Оценивание на уровне класса.
Наиболее эффективной для организации обучения детей является система оценки, которая приближена к ученику, обеспечивает его постоянное взаимодействие с учителем, служит обратной связью и позволяет модифицировать процесс преподавания и учения. В международной практике такой подход носит название оценивание в классе (classroom assessment) или формирующее оценивание ([7]). В российской практике этот подход также хорошо известен (как текущее или внутриклассное/внутришкольное оценивание) и используется учителями в своей повседневной работе.
Главная цель оценивания в классе - помочь учителям и учащимся в совершенствовании процесса преподавания и учения, поддержать прогресс ученика.
Базовые вопросы, на которые даёт ответ данная программа оценки, следующие: Как учится ученик и как лучше его обучать? Каковы сильные стороны конкретного ученика и как их можно развить? В чём ученик испытывает трудности, и как они могут быть преодолены?
Используются разнообразные методы оценки - учебные задания, тесты, вопросы, наблюдения, собеседования с учителем, самооценка учащегося, оценка учащихся друг другом и т.п.
Государственные экзамены
Государственные экзамены являются оценочной процедурой, которая позволяет определить, освоил ли ученик образовательную программу отдельного курса или всей ступени и/или может ли он продолжать обучение (например, в следующем классе или вузе). В международной практике существуют различные виды экзаменов (на разных ступенях обучения в школе, для поступления в различные учебные заведения, для поступления на работу, получения квалификации и т.п.), но преимущественно это два вида экзаменов - выпускные (из школы) и вступительные (в вуз).
Целью выпускного экзамена является сертификация учащихся по итогам завершения обучения в школе. Он даёт ответ на вопрос Как освоил государственный образовательный стандарт /образовательную программу конкретный учащийся?
Вступительный экзамен обеспечивает отбор претендентов для продолжения обучения в высших учебных заведениях. Это оценочная процедура должна позволить построить рейтинг среди абитуриентов с точки зрения наибольшей готовности продолжить обучение в институтах, университетах, колледжах.
Крупномасштабные исследования
Ещё одна важная группа оценочных процедур связана с получением информации о результатах работы образовательных систем. Это так называемые крупномасштабные исследования качества образования или мониторинги учебных достижений школьников. Они могут быть подразделены на международные и национальные мониторинги (этой тематике посвящена работа [12]).
Международные мониторинги.
Международные мониторинги имеют целью сравнение достижений учащихся конкретной страны с достижениями учащихся других стран. Они позволяют дать ответы на следующие вопросы:
• Какой уровень учебных достижений в конкретных областях знаний показывают учащиеся страны в сравнении с учащимися других стран?
• Что школьные системы других стран «делают лучше»?
• Как изменяются результаты с течением времени?
Международные исследования качества образования становятся причиной пересмотра национального учебного плана, введения новых стандартов, изменения программ подготовки учителей. Также они часто стимулируют национальные министерства образования проводить анализ эффективности расходования ресурсов и принимать решения об их увеличении, сокращении или перераспределении для достижения различных целей по развитию образования.
Участие Российской Федерации в международных мониторингах качества образования способствовало формированию культуры педагогических измерений, реформированию содержания образования и созданию федеральных государственных образовательных стандартов нового поколения (ФГОС), разработке новых учебников, а также обновлению программ повышения квалификации учителей ([2]).
Национальные мониторинги.
Национальный мониторинг качества образования или так называемая национальная оценка является стандартизированной оценочной процедурой, предназначенной для определения, насколько эффективно работает система образования страны. Главная задача мониторинга - получение данных, позволяющих судить о том, в какой мере достигаются цели, предусмотренные государственным
образовательным стандартом, учебным планом или национальной рамочной структурой образовательных результатов2.
Среди базовых вопросов, на которые позволяет получить ответ национальные мониторинги, следует отметить следующие ([11]):
• Насколько эффективно учащиеся овладевают знаниями и навыками в системе образования?
• Какие достижения демонстрируют представители различных групп учащихся?
• Изменяются ли достижения учащихся с течением времени?
• Какие факторы оказывают влияние на результаты обучения?
Данная процедура проводится на периодической основе (1 раз в 2-5 лет), по нескольким предметам (практически всегда по математике и родному языку), на основе выборки учащихся или генеральной совокупности школьников определённого возраста. В качестве инструментария используются стандартизированные тесты и анкеты для сбора контекстной информации. Это даёт возможность изучения факторов, негативно или позитивно влияющих на учебные достижения. Такая информация необходима для разработки политики на различных уровнях образования.
Подходы и актуальные задачи в области оценки качества образования
Отметим подходы и ряд актуальных задач, которые, необходимо решать на национальном и региональном уровнях для построения сбалансированной и эффективной системы оценки качества образования.
1. Учёт разнообразных образовательных достижений учащихся.
При оценке деятельности образовательных организаций и систем необходимо опираться на различные данные, использование которых в совокупности позволяет получать целостную и полную информацию результатах обучения школьников. Это важнейшая задача, она требует использования на практике самых разных «измерительных» процедур. Процедуры оценки должны быть ориентированы на более широкие образовательные результаты, нежели знания в рамках учебных дисциплин (компетентности, здоровье, гражданская позиция, умение позитивно взаимодействовать с другими, самоуважение, забота об окружающей среде и др.) Стандартизированное тестирование - всего лишь один из используемых подходов для определения качества
2 Такая рамочная структура существует в ряде стран (например, США, Австралия, Канада), в которых нет единого государственного стандарта или учебного плана. Национальная рамка является результатом договорённости и консенсуса различных профессиональных групп в системе образования.
обучения. Также необходимо использовать и другие методы - портфолио, самооценка, экспертные оценки, социологические опросы и т.п.
Федеральный государственный образовательный стандарт (Россия) ориентирован на развитие трёх видов образовательных результатов: предметных, метапредметных, личностных.
Министерство образования Сингапура приняло в 2010 году документ «Компетенции для 21 века» (www.moe.gov.sg). Он фиксирует следующие важнейшие компоненты результатов образования для жизни в современном обществе: базовые ценности; социальные и эмоциональные компетенции; компетенции для 21 века, которые включают:
• критическое мышление и изобритательность,
• гражданскую грамотность, глобальную информированность и кросс-культурную компетентность,
• информационно-коммуникационную компетентность.
2. Сбалансированность оценочных процедур в национальной системе оценки качества образования.
Эта задача реализуется через минимизацию использования измерений с высокими ставками (государственные экзамены) для оценки качества образования.
Государственные экзамены должны занимать важное, но не главное место в национальной/региональной системе оценки качества образования. Если необходимо оценить результаты обучения и при этом понять, чему научила детей школа (увидеть вклад школы), то для такой оценки неправомерно использовать измерения «с высокими ставками». За высокими баллами могут стоять внешкольные факторы - например, репетиторство, а также могут включаться «криминальные» механизмы повышения результатов теста - нарушения и фальсификации при проведении тестирования. Для получения целостной и неискажённой картины качества образования необходимо вводить инструменты оценки с низкими ставками, прежде всего мониторинги учебных достижений.
Рис. 1. Система оценки качества образования Нидерландов.
Школьные выпускные экзамены
Система образования
Формирующее оценивание Самооценка школы Итоговое оценивание
Национальные мониторинги
Международные исследования
3. Оценка достижений в динамике.
Международный опыт показывает, что для справедливой оценки результатов обучения необходимо не только ориентироваться на результаты, показанные учениками в определённый момент времени, но и учитывать динамику их изменений на протяжении нескольких циклов оценки. Здесь главный вопрос - обеспечивает ли учитель и школа прирост в образовательных достижениях ученика, его индивидуальный прогресс? Использование модели «индивидуального прогресса» при оценке результатов обучения школьников и деятельности образовательных учреждений требует введения в практику инструментов, позволяющих проводить регулярную оценку и фиксировать складывающихся тенденций. Для этих целей этих целей предназначены внутриклассное оценивание и мониторинги учебных достижений.
В качестве иллюстрации выше сказанного обратимся к опыту Австралии. В этой стране с 2008 года проводится национальный мониторинг NAPLAN (National Assessment Program - Literacy and Numeracy) грамотности по английскому языку и математических навыков школьников, который проводится ежегодно для всех учащихся 3, 5, 7 и 9-го годов обучения ([8]).
В мониторинге NAPLAN используется шкала, которая по каждой области оценки представляет систему уровней. Данная шкала, содержащая единую систему уровней и объединяющая четыре временных среза, позволяет зафиксировать индивидуальный прогресс и обеспечить его измерение на практике. В модели NAPLAN индивидуальный прогресс - это переход с одного уровня достижений на другой, более высокий при каждом последующем измерении.
Рис. 2. Оценочная шкала, используемая в NAPLAN.
Обозначения. Band - уровень; НМС - национальный минимальный стандарт.
4. Корректное сопоставление результатов оценки.
При анализе деятельности школ по итогам проведения той или иной оценочной процедуры необходимо обеспечивать корректное сопоставление результатов, избегая упрощённых выводов и решений. Очевидно, что школа с большим количеством детей из семей с низким социально-экономическим статусом не сможет демонстрировать результаты, сопоставимые с теми, которые показывают образовательные учреждения, обучающие детей из благополучных семей. Справедливое сравнение должно основываться на кластерном анализе данных, когда школы группируются по ряду схожих характеристик (тип школы, её расположение, социально-экономический статус семьи, доля учеников с неродным языком обучения, доступность учреждений доп. образования и культуры и др.). При оценке деятельности школ необходимо отказаться от линейного рейтинга и перейти к кластерному сравнению результатов и анализу факторов, лежащих в основе низких результатов ([5]).
Рис. 3. Сравнение результатов деятельности школ на основании кластерного подхода.
Здесь важно изучать опыт зарубежных стран, многие из которых имеют многолетний опыт проведения кластерного анализа и выделения групп статистически подобных образовательных учреждений (например, Англия, Шотландия, Австралия).
Опять обратимся к опыту Австралии. В целях представления результатов национального мониторинга NAPLAN по группам школ со статистически сходным контингентом учащихся специально разработан Индекс местных социально-образовательных условий (Index of Community Socio-Educational Advantage - ICSEA).
Цель использования данного индекса - обеспечить честное и прозрачное сравнение результатов обучения школьников в конкретных школах с учётом факторов, оказывающих влияние на эти результаты ([8]).
Индекс учитывает следующие параметры: количество учащихся в школе;
данные по занятости и образованию родителей учеников; социально-экономические характеристики места проживания учеников; местонахождение школы (столица, регион либо удалённая территория); доля учеников из семей, где английский язык не является родным; доля учеников - представителей коренного населения страны.
5. Учёт дополнительных данных при принятии управленческих решений по итогам оценки.
Крайне важно, чтобы при проведении процедур «с высокими ставками», такими как государственные экзамены, оценка эффективности работы школы, оценка качества работы учителя, управленческие выводы о качестве образования делались не только на основе результатов педагогических измерений. Невозможно принимать «сложные» решения на основании данных одного вида. Необходимо учитывать и другие источники данных - статистика, самооценка, портфолио, мнения потребителей образовательных услуг, результаты различных внешних оценок и т.п. Такой подход позволит принимать сбалансированные решения и избегать однобокого взгляда на работу образовательного учреждения. Результаты тестирования являются важной, но далеко не единственной частью информационного портрета школы.
Для иллюстрации сказанного рассмотрим ситуацию с выбором школьником профиля обучения в старшей школе. При принятии решения по этому поводу школе и семье необходимо ориентироваться на разные данные. Среди них:
• мотивация и желание школьника обучатся по выбираемому профилю;
• результаты обучения по «профильным» предметам за предыдущие год;
• результаты участия в олимпиадах и конкурсах;
• результаты ГИА-9.
В ряде зарубежных стран имеется заслуживающий внимания и изучения опыт сравнения результатов работы школ с учётом факторов ([5]).
На рисунке 4 представлены результаты провинций Канады в национальном тесте, оценивающем навыки чтения школьников. Видно, как разительно меняется картина результатов при переходе от распределения провинций по баллу теста без учёта контекстных факторов (слева) к распределению с учётом факторов семейного окружения, школьного контекста и процесса обучения (справа).
Рис. 4. Анализ данных с учётом факторов (Канада).
к к* ;■: кШ: н С вампа роваю Скорректировано Скорректировано лш
ь дш ОшнОнн Измерения Д1Я 0КВ н Сгч*ен«ОГй дшОИВ.СОн О И В, СО, ШК,
м Бьюоркн |ОИБ> Окру нгення (СО) Школьного Кон м т (IIIк) и Процесса Обучения
(ПО»
В Шотландии при оценке и сравнении результатов деятельности школ учитывается ряд важных показателей, характеризующих особенности контингента школьников и расположения школы. К ним, например, относятся такие показатели: число детей из семей с низким уровнем дохода (данный показатель определяется по числу школьников, имеющих бесплатные завтраки); число детей из семей, где английский не является родным (дети из семей мигрантов). Чем больше таких детей в школе, тем больший повышающий коэффициент получает образовательное учреждение в сравнении со школой, где число таких учеников минимально.
6. Ориентация на информационные потребности групп пользователей результатов оценки.
Эффективные системы оценки качества образования предоставляют информацию надлежащего качества и в необходимом количестве для того, чтобы
удовлетворить информационные потребности всех заинтересованных групп и тех, кто принимает решения с целью повышения качества обучения учащихся.
Обеспечение максимального влияния результатов оценки на образовательную политику зависит от трёх ключевых условий, которые необходимо учитывать при проведении программы учебных достижений школьников ([1]):
1) знание пользователей результатов программ оценки и их информационных потребностей;
2) наличие информационных продуктов, способных удовлетворить существующие информационные потребности различных групп пользователей;
3) понимание, какие способы распространения информационных продуктов следует использовать.
Передовой международный и российский опыт говорит о том, что умение интерпретировать результаты оценки качества образования и доводить их до представителей заинтересованных сторон является неотъемлемой частью любой программы оценки учебных достижений.
В ряде регионов России имеется положительный опыт по подготовке целевых информационных продуктов. Например, в Ямало-Ненецком автономном округе по итогам проведения диагностики готовности первоклассников к обучению в школе разработаны информационные материалы для родителей, учителей и управленцев. В Новосибирской области используется для этих целей используется инфографика.
Рис. 5. Примеры информационных продуктов.
ЯН АО
Информация для родителей.
Новосибирская область
Информация для родителей и школы.
'Что изменилось ¿а первый год обучения?
ягр6<ж.юеп<аке6.
Список литературы
1. Болотов В.А., Вальдман И.А. Информирование различных целевых групп как условие эффективного использования результатов оценки учебных достижения школьников. [Электронный ресурс] / В.А. Болотов, И.А. Вальдман // Проблемы современного образования. - 2012. - № 6. - С. 187-202.
2. Болотов В.А., Вальдман И.А., Ковалёва Г.С., Пинская М.А.. Анализ опыта создания российской системы оценки качества образования. //Управление образованием: теория и практика. Вып. 1-2, 2011.
3. Болотов В.А., Вальдман И.А., Ковалева Г.С., Пинская М.А. Российская система оценки качества образования: главные уроки. // Качество образования в Евразии. №1, 2013, стр. 85-121.
4. Болотов В.А., Вальдман И.А. Виды и назначение программ оценки результатов обучения школьников. //Педагогика. №8, 2013, стр. 15- 26.
5. Болотов В.А., Вальдман И.А. Условия эффективного использования результатов оценки образовательных достижений школьников. //Педагогика. №6, 2012.
6. Боченков С.А., Вальдман И.А. Вопросы интерпретации и представление результатов ЕГЭ: проблемы и возможные решения. // Вопросы образования. №3, 2013, стр. 5-24.
7. Вальдман И.А. Ключевые аспекты качества образования: уроки международного опыта. - М.: Московский центр качества образования, 2009.
8. Вальдман И.А. Особенности организации мониторингов учебных достижений в странах мира: национальная программа оценки КЛРЬЛК в Австралии. [Электронный ресурс] / И.А. Вальдман // Проблемы современного образования. - 2013. - № 2. - С. 518.
9. Кларк М. Что является наиболее важным в системах оценки достижений учащихся: основные ориентиры. - Всемирный банк, 2012.
10. Кузнецова М.И. Система контроля и оценки образовательных достижений младших школьников в современной начальной школе: монография. М.: Вентана-Граф, 2013.
11. Оценка образовательных достижений на национальном уровне / Грини В., Кэллаган Т. // Серия «Национальная оценка учебных достижений», Книга 1. -Всемирный банк, 2011.
12. Поливанова К.Н. Национальные и международные программы оценки качества образования: учеб. пособие. - М.: Логос, 2010.
13. Цукерман Г.А. Совместная ученая деятельность как основа формирования умения учиться. Автореферат диссертации на соискание учёной степени доктора психологических наук. М., 1992.
