CC BY
165
► ТЕОРИЯ СОВРЕМЕННОГО ОБРАЗОВАНИЯ
УСЛОВИЯ ИСПОЛЬЗОВАНИЯ РЕЗУЛЬТАТОВ ОЦЕНКИ УЧЕБНЫХ ДОСТИЖЕНИЙ ШКОЛЬНИКОВ1
THE CONDITIONS OF USING STUDENT ACHIEVEMENT ASSESSMENT RESULTS
Болотов В.А.
Вице-президент Российской академии образования, доктор педагогических наук, профессор, академик РАО E-mail: vikbolotov@yandex.ru
Bolotov V.A.
Vice-president of the Russian Academy of Education, Doctor of Sciences (Education), Professor
E-mail: vikbolotov@yandex.ru
Вальдман И.А.
Заведующий лабораторией мониторинга в образовании ИУО РАО, кандидат педагогических наук E-mail: iavaldman@gmail.com
Valdman I.A.
Head of the Laboratory of Monitoring of Education of the Institute of Education Management of the Russian Academy of Education, Candidate of Sciences (Education). E-mail: iavaldman@gmail.com
Аннотация. В рамках данной статьи анализируются направления и условия использования результатов оценки качества образования, которые необходимо учитывать при планировании и проведении программы оценки учебных достижений школьников.
Annotation. The article examines the main directions and conditions of using education quality assessment results, which should be taken into account during planning and implementation of student achievement assessment programs.
Ключевые слова: управление образованием, образовательная политика, оценка качества образования, тестирование, информационные
Keywords: education management, educational policy, education quality assessment, testing, informational needs, quality assessment
1 Данная статья подготовлена на основе учебных материалов Российского тренингового центра ИУО РАО, разработанных авторами при проведении курсов «Ключевые аспекты построения эффективной системы оценки качества образования и использования результатов оценки учебных достижений школьников» (22-25 ноября 2011 г.) и «Ключевые аспекты построения эффективной системы оценки качества образования и использования результатов оценки учебных достижений школьников» (27-30 марта 2012 г.).
потребности, процедура оценки качества, интерпретация результатов оценки, рейтинг образовательных учреждений.
procedures, interpretation of assessment results, school ranking.
Введение
Управление системой образования - это сложный и дорогостоящий процесс. В случае, когда принятие решений базируется на реальных фактах, а не только на соображениях политического и идеологического характера, важно иметь достоверную информацию о результатах обучения.
Создание системы оценки качества образования призвано обеспечить обучающихся и их родителей, педагогические коллективы школ и преподавателей учреждений профессионального образования, органы управления образованием всех уровней, институты гражданского общества, работодателей надёжной информацией о состоянии и развитии системы образования на разных уровнях.
Правильно собранные и проанализированные данные об учебных достижениях школьников нужны на всех уровнях принятия педагогических решений: система образования в целом, отдельно взятая школа, конкретный класс. Данные о достижениях учащихся могут быть использованы для подготовки широкого круга образовательных стратегий - от разработки и внедрения программ повышения эффективности преподавания и обучения в школах, выявления отстающих учащихся в целях предоставления им необходимой помощи до оказания соответствующей организационно-методической поддержки неэффективно работающим учителям и школам для обеспечения равных возможностей обучения всем учащимся.
Процедуры оценки действительно обеспечивают повышение качества образования, но только если используются для принятия адекватных и адресных решений, помогают учителям улучшить их педагогическую практику и вооружают родителей знаниями о том, насколько хорошо учатся их дети.
В рамках данной статьи обсуждаются возможные условия использования результатов оценки, которые необходимо учитывать при планировании и проведении программы оценки учебных достижений школьников.
Один из ключевых вопросов при проведении оценки учебных достижений учащихся - это вопрос о том, каким образом могут быть использованы результаты различных программ оценки для повышения качества деятельности образовательной системы и улучшения результатов обучения школьников.
Способы использования данных программ оценки многочисленны и разнообразны. Они могут быть разделены на две категории:
Направления использования результатов
1) использование для принятия решений о поддержке конкретных учащихся;
2) использование для принятия управленческих решений на разных уровнях систем образования - от конкретной школы до федерального министерства образования.
В первом случае речь идёт о способах использования, которые ориентированы на принятие решений, имеющих прямое влияние на человека. Эти способы могут быть разделены на две группы:
1) корректировка образовательного процесса - данные используются для диагностики проблем в обучении конкретных школьников и определения мер по их преодолению, а также для планирования индивидуальных образовательных траекторий;
2) выявление уровня освоения образовательной программы.
Во втором случае речь идёт о способах, которые не имеют непосредственного отношения к решениям относительно конкретного человека, но имеют влияние на решения относительно образовательных учреждений и их систем. Такие способы использования данных могут быть классифицированы в зависимости от объекта оценки следующим образом.
1. Оценка деятельности образовательного учреждения. Здесь данные используются по двум основным направлениям: 1) аккредитация образовательного учреждения и проведение различных контрольных и надзорных мероприятий; 2) проектирование шага развития школы - каковы ближайшие задачи работы школы и каким образом надо двигаться дальше.
2. Оценка образовательных систем. Данные также могут использоваться в двух аспектах - для осуществления процедур контроля за работой системы образования (муниципальной или региональной) и для разработки образовательной политики и программ действий на разных уровнях образования.
Условия эффективного использования результатов
Эффективное использование результатов оценки зависит от ряда условий, которые следует учитывать команде, координирующей организацию и проведение процедуры оценки, с целью достижения максимального влияния полученных результатов на повышение качества обучения и выработку образовательной политики.
Отметим следующие наиболее важные условия.
1. Политический контекст: контроль или поддержка
Политический контекст оказывает важнейшее влияние на то, как и для чего используются результаты оценки. Следует различать две принципиально разные политические стратегии, реализуемые органами управления образованием, - контроль или поддержка2.
2 Под поддержкой авторы понимают конкретные меры и программы действий, реализуемые органами управления образованием и направленные на повышение качества образования, преодоление неравенства в доступе к образовательным услугам и т. п. Это могут быть такие меры помощи образовательным учреждениям, как повышение квалификации педагогов, приобретение учебного оборудования и учебных материалов, выделение целевых грантов на поддержку программы развития ОУ, организация сетевого взаимодействия образовательных учреждений.
В первом случае во главу угла ставится не столько вопрос повышения качества образования, сколько вопрос контроля работы образовательных учреждений и снабжения вышестоящих органов необходимой информацией. При таком подходе оценка качества сводится преимущественно к проверкам со стороны надзирающих органов и выявлению недостатков.
В ситуации поддержки потребителями информации о результатах различных оценочных процедур становятся сами субъекты образовательной деятельности - администрация школы, учителя, учащиеся и родители. И основная задача органов управления образованием при таком подходе - обеспечение школ и педагогов разнообразными методиками и действенными инструментами оценки результатов образовательной деятельности, позволяющими принимать адресные решения относительно поддержки в обучении конкретного ребёнка и проектировать шаг развития образовательного учреждения.
Иначе говоря, в этом случае важными являются не сами результаты деятельности, которые демонстрируют школы и отдельные учащиеся, а наличие у образовательных учреждений культурных инструментов и процедур, позволяющих проектировать свой шаг развития. К таким процедурам могут быть отнесены формирующее оценивание учащихся, мониторинги, самооценка, самоанализ, самоконтроль и самопроверка.
Таблица 1
Основные различия между стратегиями контроля и поддержки (со стороны учредителя и органа управления образованием)
Контроль Поддержка
• Для наложения санкций и раздачи поощрений. • Оказание содействия ОУ и муниципалитетам в преодолении существующих проблем.
• Недостижение результатов и обнаруженные проблемы становятся основанием для санкций. • Недостижение результатов не приводит к санкциям. Неудача - сигнал для корректировки планов.
• ОУ скрывает проблемы и недостатки. • ОУ заинтересовано в объективной оценке со стороны органов управления. Обнаруженные проблемы становятся основанием для перепроектирования планов работы.
2. Поддержка заинтересованных сторон
Крайне важно, чтобы все заинтересованные стороны пришли к согласию относительно необходимости проведения оценки и оказывали поддержку при её проведении.
С этой целью на протяжении всего периода разработки инструментария, сбора и анализа данных и подготовки отчётов необходимо поддерживать постоянную связь
со всеми заинтересованными группами - органами управления образованием, руководством школ, представителями учительского сообщества, специалистами системы подготовки и повышения квалификации педагогических кадров, родителями и учащимися, политиками и общественными деятелями, средствами массовой информации. Необходимо постоянно информировать эти целевые группы и привлекать их к обсуждению наиболее важных вопросов организации и проведения программы оценки, включая вопрос интерпретации полученных результатов.
3. Наличие надежного инструментария
Наличие надёжного инструментария, соответствующего необходимым профессиональным стандартам, является главным фактором получения достоверных результатов и обеспечения доверия к ним со стороны общественности и профессионального сообщества. Следует подчеркнуть важность предварительного испытания (апробации) всего инструментария оценки, включая и инструкции по проведению оценки. Апробация также помогает рассчитать время, которое займёт тестирование, и выявить неверно составленные инструкции по применению тестов. Особое внимание следует уделить формированию представительной выборки, исправлению любых опечаток и неправильных формулировок.
В большинстве стран мира инструментарий оценки разрабатывается специализированными организациями (тестовыми компаниями, центрами тестирования и т. п.). В случае, если регион хочет самостоятельно вести разработку измерительных материалов, необходимо использовать подготовленных и квалифицированных специалистов, которые способны осуществлять следующие этапы разработки тестов:
1. Определение цели тестирования и разработка спецификации теста.
2. Разработка заданий для теста.
3. Экспертиза и доработка заданий.
4. Апробация и доработка заданий.
5. Составление теста.
6. Проведение апробации теста и обработка полученных результатов.
7. Доработка теста и подготовка окончательного варианта.
При разработке тестов и проведении оценочной процедуры необходимо ориентироваться на авторитетные научные источники и публикации [5, с. 10].
4. Наличие надежной стандартизированной процедуры проведения оценки
Процедура проведения программы оценки должна:
• быть прозрачной для внешних субъектов и понятна исполнителям;
• быть хорошо регламентированной;
• обеспечивать информационную безопасность;
• предотвращать возможные нарушения и фальсификацию данных;
• обеспечивать сопоставимость результатов для всех общеобразовательных учреждений, чьи учащиеся принимали участие в оценке;
• осуществляться подготовленными специалистами [6, с. 10].
5. Ориентация на информационные потребности основных групп пользователей
результатов оценки
При проведении программы оценки важно ориентироваться на существующие информационные потребности и запросы различных заинтересованных групп.
Основными пользователями результатов процедуры оценки качества образования являются: обучающиеся и их родители (законные представители); педагоги и администрация общеобразовательных учреждений; органы законодательной и исполнительной власти; ведомства (национального и регионального уровней), осуществляющие контрольные функции; муниципальные органы управления образованием; учредители образовательных учреждений; образовательные и научные учреждения; работодатели и их объединения; общественные организации, заинтересованные в оценке качества образования; средства массовой информации; иные лица, заинтересованные в оценке качества образования.
Стратегия распространения результатов исследования требует, чтобы соответствующая информация достигала представителей всех заинтересованных сторон. Информацию следует представлять в форме, понятной потенциальным пользователям.
Для этого следует использовать не только стандартные отчёты, но и другие информационные продукты - краткие записки, пресс-релизы, сообщения на радио и телевидении, отдельные доклады, ориентированные на разные группы: учителя, школы, преподаватели системы подготовки и повышения квалификации работников образования, разработчики учебных планов и стандартов.
Таблица2
Информационные продукты и способы распространения информации
Информационные продукты Распространение информации
• Региональный отчёт по итогам оценки. • Специализированный отчёт (по предмету, группе учащихся). • Аналитическая записка для министра. • Информационный буклет для родителей. • Пресс-релиз. • Печатные отчёты. • Материалы в Интернет. • Статьи в СМИ. • Интервью. • Пресс-конференции, брифинги, конференции и семинары.
Специалисты и организации, отвечающие за проведение оценки, должны помочь работникам образования и управленцам корректно проинтерпретировать данные оценки качества образования, такие как результаты индивидуальных достижений школьников и их взаимосвязь с различными факторами, оказывающими влияние на результаты обучения (например, родной язык, уровень подготовки учителей, социально-экономический статус семьи учащегося, количество учеников в классе, материальная обеспеченность школы).
Хороший пример подготовки различных информационных материалов по итогам тестирования даёт Национальная программа оценки грамотности школьников NAPLAN в Австралии [19].
6. Подготовка отчета по результатам оценки
Итоговый отчёт (на уровне федерации, региона, муниципалитета, общеобразовательного учреждения) является наиболее важным и полезным из всех информационных материалов, которые могут быть созданы на основе данных процедуры оценки. Хорошо подготовленный итоговый отчёт должен включать определённый набор разделов. Их количество и содержание будет зависеть от вида программы оценки. Тем не менее, итоговый отчёт должен содержать следующую информацию:
• описание целей, которые были достигнуты за счёт оценки;
• описание содержания оценки (что измерялось) и обоснование, почему важно то, что было измерено;
• краткая характеристика инструментария оценки;
• пояснение, как и когда были собраны данные;
• объяснение, как результаты достижений учащихся были сгруппированы и обобщены;
• представление полного распределения результатов достижений учащихся и того, как достижения варьируются среди различных групп учащихся;
• описание факторов, которые оказывают влияние на результаты достижений учащихся;
• определение, где это возможно, тенденций и закономерностей в результатах достижений учащихся;
• формулирование сбалансированных выводов о возможных последствиях для образовательной политики и рекомендаций по повышению результатов обучения;
• предоставление подробных статистических таблиц для проведения вторичного анализа.
7. Учет дополнительных данных при принятии управленческих решений
по итогам оценки
Крайне важно, чтобы при принятии решений «с высокими ставками», такими как итоговая аттестация учащихся, аккредитация школ, аттестация педагогов, выводы о качестве образования делались не только на основе одних лишь результатов процедур оценки качества образования. Эта информация должна использоваться наряду с данными из других источников (статистическая информация, результаты исследований, самооценка общеобразовательного учреждения, портфолио педагога и др.) для составления целостной картины о качестве образования с учётом различных факторов и условий.
Кроме того, необходимо учитывать такие показатели как социально-экономический статус семьи3 и сравнительную динамику результатов оценки (учёт результатов оценочных процедур за предыдущие периоды).
Невозможно принимать «сложные» решения на основании данных одного вида. Рассмотрим некоторые примеры различных решений.
3 Международные и российские исследования показывают, что социально-экономический статус семьи является одним из главных факторов, объясняющих уровень образовательных достижений учащихся.
«Простые» решения:
• итоговая государственная аттестация по предмету.
•кБкудввдлюипооолесдрвнизооато рлДоту«н ад ошибками».
Такие решения могут приниматься на основании результатов одной оценочной процедуры, например, ЕГЭ.
«Более слопвиз» решения:
• выбор профиля обучения в старшей школе.
В этом случае уже неправомерно принимать решение только на основании экзамена за основную школу (ГИА-9). Нужно также учитывать мотивацию учащегося, резуль-татБвеовобуАОнуня ыапродыдуивде годы, портфолио (результаты участия в профильных конкуусас, олившиадави т. п.), иезувлтавыдлполнлАетбАых школьных исптшнаний пен пуд-
фиЛЬНЫМ Пре-АвРОМ.
«ОгоиАво кешитшв:
Иои;елла катестдт АаТотыучиттлв.
• оценка эффективности работы школы.
Решения такого рода требуют использования данных самых разных оценочных и иных вфлцодуР-
В ряде зарубежных стран имеется заслуживающий внимания и изучения опыт сравнения результатов работы школ с учётом факторов.
Пример 1. Анализданных с учётом факторов: Канада.
На диаграмме представлены результаты провинций Канады в национальном тесто, оцонидающеит нтввжи Атоылт швеидеиииов. Видно,кдкывлитоыАломеняется квртина результат в пр переходе от р сп едел ния провинций по баллу т ста без учёта контекстных факт ров (слева) к распределению с учётом факторов семейного окружения, школьного контекста и процесса обучения (справа).
га Скорректировано Скорректировано Скорректировано Скорректировано для
для Ошибки Измерения для ОИВ и Семейного для ОИВ, СО и ОИВ, СО.ШК,
и Выборки (ОИВ) Окружения (СО) Школьного Контекста (ШК) и Процесса Обучения
(ПО)
Пример 2. Сравнение результатов работы школ с учётом факторов: Шотландия.
В Шотландии при оценке и сравнении результатов деятельности школ учитывается ряд важных показателей, характеризующих особенности контингента школьников и расположения школы. К ним, например, относятся такие показатели: число детей из семей с низким уровнем дохода (данный показатель определяется по числу школьников, имеющих бесплатные завтраки); число детей из семей, где английский не является родным (дети из семей мигрантов). Чем больше таких детей в школе, тем значительней повышающий коэффициент, который получает образовательное учреждение, в сравнении со шко-локагдечислотакихучеников минимально.
На рисуиси привееён прчмер таеьы городаЭдинбург, которую использует в своей деятельчтсти мунициеатьнршорган управленияоЬрозорннием.На ней мйзтымицсуаами укаеанырайонырр>нРДас этьеоИстепераюаедривароваоности(бадноьти)о шаоьо1, кото-рыераамоложуны тэтихизйонзм.
чарим обртеем, школь.ртспомажанныт вртзчыхно уровню социально-экономического ризоития чайсна х емдода, каапнивареапя с учрьимэтёзафсуаирь.
8.Корректноесравнениерезультатовобразовательныхучреждений
и систем
Продолжая тему, обозначенную в предыдущем пункте, отметим, что при оценке деятельности школ по итогам проведения той или иной оценочной процедуры необходимо обеспечить корректное сравнение результатов, избегая упрощённых выводов и решений. Только в таком случае можно обеспечить адресные меры поддержки наиболее нуждаю-щимсяв этомшколами учащимся.
Традиционно мы ориентированы на принятие «простых» решений, когда выстраивается линейный рейтинг результатов.
Модель использования данных: линейный рейтинг
Линейный рейтинг
Ш1
1112
шз
шм
111 N и N+1
Ш N+2
ШЫ+к
«Сильные»
школы
школы
Ш N+1___________
ІІІ N+2_______
✓
«Простые» решения
• Поощрения
Санкции
Справедливое сравнение должно основываться на кластерном анализе данных, когда школы группируются по ряду схожих характеристик (место расположения, число детей из семей с низким социально-экономическим статусом, число учащихся с неродным русским ЯБЫКОМ и т.п.). При оценки дероемьности шкоа необходимо овкоматься от линейного рейтинга иперейти к нлбстбрнкмусртвнениюркзультотот оананису феоеорив, лежащоо в основе низкихрезультатов.
Кластерный "Слабые " Анализ Меры
анализ школы факторов поддержки
I
Использование результатов оценки должно приводить к решениям, ориентированным на выработку и реализацию адресных мер поддержки образовательных учреждений и наиболее уязвимых групп детей.
Список литературы:
1. Российская система оценки качества образования: чему мы научились за 10 лет? / В. А. Болотов, И. А. Вальдман, Г. С. Ковалёва // Тенденции развития образования: проблемы управления и оценки качества образования. Материалы VIII Международной научно-практической конференции. - М.: Университетская книга, 2012. - С. 22-31.
2. Анализ опыта создания российской системы оценки качества образования [Электронный ресурс] / В. А. Болотов, И. А. Вальдман, Г. С. Ковалёва, М. А. Пинская // Управление образованием: теория и практика : науч.-метод. сетевой журнал. -2011. - №. 2-3. - Режим доступа: http://www.iuorao.ru/2010-01-01-14, свободный.
3. Вальдман, И. А. Ключевые аспекты качества образования: уроки международного опыта / И. А. Вальдман. - М.: Московский центр качества образования, 2009.
4. Использование результатов национальной оценки учебных достижений В. Грини, Т. Кэллаган, С. Мюррей // Серия «Национальная оценка учебных достижений». Кн. 5. - Всемирный банк, 2011.
5. Крокер, Л. Введение в классическую и современную теорию тестов : учебник / Л. Крокер, Дж. Алгина. - М.: Логос, 2010.
6. Михалева, Т. Г. Оценка качества образовательных систем: инфраструктура и логистика организации массовой оценки учебных достижений : учеб.-метод. пособие / Т. Г. Михалева, О. А. Решетникова. - М.: Логос, 2012.
7. Неожиданная победа: российские школьники читают лучше других / под науч. ред. И. Д. Фрумина. - М.: Изд. дом. Гос. ун-та - Высшей школы экономики, 2010.
8. Оценка качества образования: обзор международных подходов и тенденций. -Всемирный банк, 2005.
9. Политика, основанная на знании: опыт Англии и Шотландии / под ред. И. А. Вальдмана. - М.: Университетская книга, 2006.
10. Серия Всемирного банка «Национальная оценка учебных достижений» : в 5 кн. -М.: Логос, 2011.
11. Тюменева, Ю. А. Сравнительная оценка факторов, связанных с успешностью в PIRLS: вторичный анализ данных PIRLS-2006 по российской выборке / Ю. А. Тюменева // Вопросы образования. - 2008. - № 4. - С. 56-80.
12. Хокер, Д. Системы оценки в Англии и Уэльсе - четыре вопроса и пять уроков / Д. Хо-кер // Журнал руководителя управления образованием. - 2011. - № 6. - С. 47-54.
13. Хорошо ли читают российские школьники? / Г. А. Цукерман, Г. С. Ковалёва, М. И. Кузнецова // Вопросы образования. - 2007. - № 4. - С. 240-267.
14. darke, M. Roadmap for building an effective assessment system. The World Bank, 2010.
15. Erin, D. Caffrey. Assessment in Elementary and Secondary Education: A Primer. Congressional Research Service, 2009.
16. Forster, M. (2000) A Policy Maker's Guide for Managers to International Achievements Studies, Australian Council for Educational Research, Melburn.
17. Kellaghan, T., Greaney, V. and Murray, T. S. (2009) Using the results of a national assessment of educational achievement, The World Bank, Washington, DC.
18. Murray, T.S. (2004) Achieving Maximum Impact: A Guide for Managers of National assessment Systems, Statistics Canada, Ottawa.
19. National Assessment Program - Literacy and Numeracy (NAPLAN), Australia. http:// www.naplan.edu. au /
20. SABER: System Assessment and Benchmarking for Education Results. The World Bank.
21. http://web.worldbank.org/WBSITE/EXTERNAL/T0PICS/EXTEDUCATI0N/0 ,,contentMDK:22710669~menuPK:282391~pagePK:148956~piPK:216618~theSite PK:282386,00.html
Интернет-журнал «Проблемы современного образования» 2012, № 4
