CC BY
11
УДК 37.014.5; 37.014.6
ФОРМИРОВАНИЕ И РАЗВИТИЕ РЕГИОНАЛЬНОЙ ОЦЕНКИ ОБРАЗОВАТЕЛЬНЫХ ДОСТИЖЕНИЙ
Захир Ю.С., директор, Новосибирский институт мониторинга и развития образования, Новосибирск, Россия. E-mail: yzakhir@gmail.com
Аннотация. Описан опыт создания, основные проблемы и задачи развития процедур оценки образовательных достижений учащихся общеобразовательных школ Новосибирской области.
Ключевые слова: образовательные достижения, оценка, инструментарий оценки
FORMATION AND DEVELOPMENT OF A REGIONAL ASSESSMENT OF
EDUCATIONAL ACHIEVEMENT
Zakhir Yuliya S., Head of Institute of Monitoring and Development of Education Novosibirsk Region, Novosibirsk E-mail: yzakhir@gmail.com
Annotation. Experience of creation, the main problems and tasks of development the assessment procedures of educational achievement of students of secondary schools Novosibirsk Region is described.
Key words: educational attainment, evaluation, assessment tools
Федеральная целевая программа развития образования на 2011-2015 годы обозначает повышение доступности качественного образования одной из стратегических целей государственной политики в области образования. Провозглашенная цель предполагает решение ряда задач, среди которых не последнее место занимает создание прозрачной, объективной системы оценки качества образования. В ходе развития региональных систем оценки качества образования (РСОКО) одним из основных предметов оценки качества становятся индивидуальные образовательные достижения учащихся.
Оценка индивидуальных образовательных достижений всегда являлась важным элементом образовательного процесса, значение которого усиливает вводимый федеральный государственный образовательный стандарт. С введением стандарта постепенно меняется понимание и наполняется новыми смыслами содержание определения «образовательных достижений». К однозначному пониманию образовательных достижений как «учебных успехов» добавляются такие компоненты как «общеучебные навыки» (метапредметные достижения), «социальная зрелость» и «готовность к самостоятельной жизни» (личностные достижения). В.А.Болотов относит
феномен осознания более широкого понимания образовательных достижений к списку основных тенденций, проявившихся в последнее время в области оценки качества образования [2]. В связи с этим появляется необходимость фиксировать степень продвижения по составляющим образовательных достижений, а значит формировать процедуры, создавать и использовать специальный инструмент для их оценки.
При этом, безусловно, следует держать в фокусе внимания цели оценки. Большинство исследователей [1] в области качества образования выстраивают их в следующей логике:
- внутриклассная оценка. Цель - оказание поддержки преподаванию и обучению в конкретном классе, конкретному учителю;
- оценка высокой значимости на определенных этапах обучения (например, аттестация, сертификация или отбор). Цель - принятие решений относительно каждого учащегося в рамках системы образования;
- крупномасштабная не персонифицированная оценка. Цель -осуществление мониторинга и предоставления информации о системе образования на всех уровнях, о происходящих изменениях и о факторах, которые с ними связаны или способствовали изменениям. Процедуры оценки, формирующиеся в РСОКО, по целям относятся к этому типу процедур.
Региональная оценка образовательных достижений (2005-2012)
В системе оценки качества образования Новосибирской области оценка образовательных достижений полномасштабно осуществляется с 2005 года. Для описания региональной оценки будет использована рамка, предложенная В.А.Болотовым и И.А.Вальдманом [3], которая предполагает ответы на десять последовательно заданных вопросов.
Вопрос 1. Для достижения каких целей будет использоваться процедура?
Ответ. Оценка соответствия качества подготовки выпускников требованиям реализуемых общеобразовательных программ.
Комментарий. Формулировка цели оценки совпадает с ранее действовавшим федеральным положением о государственной аккредитации образовательных учреждений. Первая региональная оценка была создана и проводилась в рамках аккредитационных экспертиз [6]. Изменения в нормативной базе, регулирующей проведение государственной аккредитации, привело к изменениям целей оценки и, соответственно, содержательным аспектам процедуры: ключевых вопросов, предмета и инструментария оценки .
Вопрос 2. На какие вопросы вы планируете получить ответы с использованием результатов процедуры?
Ответ. Какова степень овладения школьниками предметным содержанием? Какие факторы влияют на получаемые результаты?
Вопрос 3. Какова характеристика выборки процедуры?
Ответ. Выпускники 4, 9, 11 классов школ, выходящих на государственную аккредитацию в текущем учебном году.
Комментарий. Ежегодно объем оценки составлял 250-350 школ, а процедура проходила за два дня. При этом каждая школа участвовала в оценке по трем-четырем предметам, два из которых определялись региональным министерством образования, остальные школа выбирала самостоятельно. Специально разработанное программное обеспечение позволяло обрабатывать на местах результаты и в день проведения оценки оставлять предварительные результаты в школе.
Вопрос 4. Какие образовательные результаты подлежат оценке?
Ответ. В рамках процедуры первоначально оценивались предметные результаты выпускников ступеней школы.
Комментарий. С 2009-2010 года начат переход на оценку предметных результатов и общеучебных умений. На основе федерального компонента государственного образовательного стандарта 2004 года был сформирован список общеучебных умений и заново создан инструментарий, который позволил оценить не только предметные результаты, но и уровень сформированности общеучебных умений.
Вопрос 5. Каковы характеристики оценочного инструментария?
Ответ. Инструментарием для оценки служил пакет диагностических материалов по общеобразовательным предметам.
Комментарий. Этапами создания инструментария, повторяющимися в ежегодном цикле, являются:
1. Этап установления стандарта инструментария. Разработка кодификатора, спецификации, обобщенный план работы по каждому общеобразовательному предмету.
2. Этап разработки документов: план и варианты диагностической работы, бланк ответа ученика, инструкция для эксперта по оценке выполнения диагностической работы.
3. Этап экспертизы. Обязательным условием создания инструментария стало проведение двух содержательных и одной тестологической экспертиз, апробации и корректировки.
Срок разработки инструментария составляет в среднем восемь-девять месяцев. Разработано четыре региональных банка заданий для начальной школы, семнадцать -для основной и двадцать для старшей школы, в которых содержится от 500 до 1000 заданий. Группа разработчиков и экспертов состоит из 30 человек, каждый из которых является признанным профессионалом-предметником и имеет квалификацию «тестолог».
Здесь автору необходимо сделать небольшое отступление, связанное так же с инструментарием оценки. Точнее - с качеством инструментария. Конечно, скурпулезная поэтапная разработка инструментария позволяла нам быть уверенными в его качестве. Но эту уверенность необходимо было постоянно подкреплять. В первые году проведения процедуры оценки для этого мы привлекали в качестве экспертов тестовых заданий учителей области, чьи ученики в текущем учебном году участвовали в оценке. Во время процедуры учителя экспертировали предложенные их ученикам задания по заданной экспертной форме в специально разработанной программной оболочке. Это позволило нам решить две задачи. Первая задача: снять профессиональное напряжение по поводу неизвестности содержания диагностических работ. Учителя видели, что задания соответствуют пройденному материалу, времени для их выполнения дано достаточно и т.д. Вторая задача: получение постоянной обратной связи на применяемый инструментарий от большого количества экспертов. Кроме того, в самом начале разработки мы поставили задачу поиска возможности внешней экспертизы и инструментария, и процедуры оценки, и банков разработанных тестовых заданий. И в 2007-2008 году получили сертификаты соответствия существовавшей системы добровольной сертификации.
Вопрос 6. Какие организации отвечают за подготовку, проведение, анализ и представление результатов?
Ответ. Организатором и исполнителем всех этапов оценки является Новосибирский институт мониторинга и развития образования. К проведению оценки привлекаются муниципальные координаторы, школьные технологи. За годы проведения оценки в каждой школе области проучено уже по несколько технологов. В каждой школе присутствуют наблюдатели, которые призваны обеспечить
объективность оценки. В качестве наблюдателей работают студенты педагогического университета, педагоги школ, не участвующие в процедуре и владеющие технологией проведения оценки.
Комментарий. Мы сталкивались, конечно, с нарушениями объективности проведения оценки. Принимаемые оперативные меры (проведение повторной или аннулирование результатов оценки) не позволили избежать искажения результатов. Для школы оценка была процедурой с высокими ставками, по ее результатам решался вопрос об аккредитации.
Вопрос 7. В каком виде представляются результаты целевым группам?
Ответ. Результаты процедуры в день проведения оценки передавались директору школы в виде электронной матрицы результатов. После загрузки всех матриц с результатами школ региональное ведомство получало заключение по каждой школе о соответствии качества подготовки выпускников требования образовательного стандарта. Несколько месяцев требовалось для подготовки печатных и электронных аналитических и методических сборников для педагогического сообщества.
Комментарий. Формат представления результатов оценки (информационных продуктов) обсуждается до начала ее проведения и является самостоятельным процессом [4]. В настоящее время обсуждается формат открытого регионального интернет-ресурса, на котором будут представлены результаты, появляющиеся в процедурах региональной системы оценки качества образования.
Вопрос 8. Какие виды решения на разных уровнях региональной системы образования могут приниматься? Кто является субъектами принятие решений?
Ответ. Кроме уже упомянутых решений регионального министерства образования об аккредитации школы, свое решение могли принять и руководители школы. Например, о мерах по повышению профессионального уровня педагогического коллектива или отдельных учителей, направлениях методической работы.
Вопрос 9. Кто может использовать результаты и для каких целей?
Ответ. Для учителей школ со временем процедура стала постоянной внешней оценкой и могла служить для накопления портфолио для аттестации, а так же основой для определения направлений профессионального развития.
Вопрос 10. Какие риски и проблемы при проведении мониторинга и использования результатов имеют место?
Ответ. Основные проблемы процедуры:
- невозможно обобщить получаемые результаты для целей управления качеством образования из-за нерепрезентативности выборки;
- объективность проведения процедуры в школе. Не представлялось возможным обобщить получаемые результаты для целей управления. С одной стороны, выборка школ не являлась репрезентативной. С другой, цели процедуры -аккредитационная экспертиза - определяли мотив участия школ;
- качество инструментария. Отсутствие признанной системы сертификации и института экспертизы инструментария не позволяет быть до конца уверенными в его качестве;
- кадры для оценки. Эта проблема не может быть решена в рамках одного региона. Но в условиях отсутствия системы подготовки специальных кадров, эту задачу для себя мы решаем. Направляем на переподготовку разработчиков и экспертов. Готовим кадры для внутришкольной и внутриклассной оценки, организовав с помощью коллег из Российской академии образования методологический семинар для учителей школ.
За семь лет процедура оценки стала регулярной, а система образования признала ее профессиональность и полезность. Около половины школ области, а в отдельных случаях и целые муниципалитеты, добровольно участвовали в оценке, расценивая ее как внешнюю экспертизу.
Региональная оценка образовательных достижений (2012-...)
Начавшийся процессы принятия и внедрения федеральных государственных образовательных стандартов не дают возможность считать действующую региональую процедуру оценки завершенной, а созданный инструментарий окончательным. В 2012 году начата ее существенная корректировка, которая связана прежде всего с изменением цели оценки, которая «ушла» с поля аккредитационных экспертиз и стала самостоятельной процедурой. Опишем последовательно вновь формируемую процедуру оценки, приведя новые ответы на часть обязательных вопросов упомянутой уже рамки описания.
Целью оценки становится получение информации об уровне образовательных достижений учащихся школ Новосибирской области, а ключевым вопросом - «каков уровень предметных достижений и конкретных общеучебных умений учащихся школ?».
Меняется и состав участников оценки. В оценке ежегодно будут участвовать учащиеся 4, 6, 8, 10 классов 50% школ из каждого муниципалитета. Выборка формируется как представительная на уровне каждого муниципалитета и области.
Оценке подлежат предметные результаты и конкретные общеучебные умения в рамках ГОС 2004 года.
Из-за изменения целей оценки меняется и содержание представляемых результатов, а основным владельцем информации о результатах оценки становится школа. Оценка становится регулярной внешней экспертизой, по результатам которой школа получает электронные матрицы и заключение о предметных результатах и сформированности общеучебных умений по каждому ученику, классу. Право школы -открывать эти результаты или работать с ними в закрытом режиме. Областные и муниципальные органы управления образованием получают общую информацию о результатах оценки.
И последняя характеристика обновленной процедуры - виды и субъекты принятия решений. Основные решения по результатам оценки на первоначальном этапе принимает только школа (руководители, учителя). Спектр этих решений широк: от очевидных решений о формах и содержании профессионального совершенствования учителей до определения необходимости создания индивидуальных планов поддержки учащимся. Адресную поддержку школам может оказывать и муниципалитет. Для этого разрабатывается учебный курс для специалистов муниципальных управлений образованием и заместителей директоров школ «Интерпретация результатов оценки». Таким образом, по результатам оценки не принимаются жесткие решения сверху, а решение принимает тот, кто результат использует - школа.
Проблемы и задачи региональной оценки образовательных достижений
Осмысление первых шагов по корректировке региональной процедуры оценки показывает, что по-прежнему актуальными остаются две проблемы:
- объективность проведения оценки в школе. Не смотря на то, что процедура разворачивается к школам, уходя от характеристики «высокая ставка», но еще и сегодня остаются в школы, которые не хотят «ударить в грязь лицом». Чувствуется пока «налет» их предыдущего опыта участия в оценке;
- качество инструментария. Наши диагностические работы остаются критериально-ориентированными, хотя для достижения целей оценки необходим переход на нормативно-ориентированный подход. Увеличение количества школ, переходящих на ФГОС начального и основного общего образования, требует
дальнейших изменений в подходах к разработке инструментария оценки. Это вновь актуализирует задачу переподготовки/пересмотра состава группы разработчиков и экспертов.
Возвращаясь к мысли о значимости целей оценки для задания ее формата, отметим еще одну проблему. Это проблема сбалансированности процедур оценки в региональной системе оценки. Активное развитие региональной оценки образовательных достижений (внешнее оценивание) намного опережает процесс формирования школьных систем оценки (внутреннее оценивание). Отсутствует необходимая очевидная связь двух видов оценок. При этом существует значительный объем эмпирических исследований, которые демонстрируют связь между высококачественным внутренним оцениванием и хорошими результатами обучения учащихся, которые измеряются по показателям внешних измерений. Исследованиями о влиянии эффективного внутреннего оценивания [5] на улучшение качества образования установлено приращение от половины до целого стандартного отклонения при проведении стандартизированных тестов. Именно поэтому необходимо в ближайшее время обратить пристальное внимание на поддержку образовательных учреждений по формированию современных школьных систем оценки образовательных достижений, соотнесенных с форматами, содержанием и процедурами внешнего оценивания.
Список литературы:
1. Андрюкова И.В. Вариативность оценки образовательных достижений учащихся // The Emissia.Offline Letters: электронное научное издание, август 2013, http://www.emissia.org/offline/2013/2031.htm (дата обращения 06.12.13).
2. Болотов В.А. О построении общероссийской системы оценки качества образования//Вопросы образования.- 2005. №1. - С. 2-7.
3. Болотов В.А., Вальдман И.А. Актуальные задачи по развитию системы оценки качества образования в стране и регионе. / Образование для будущего: материалы II Международного конгресса. 14-16 августа 2013 г. - Хабаровск: ХК ИРО, 2013. С. 50-63.
4. Захир Ю.С. Информационное сопровождение участия региона в федеральном проекте/Управление образованием: теория и практика. - 2013. № 2 - С. 73-79.
5. Clarke M. Framework for building an effective assessment system. / The World Bank, 2011 - 32 с.
6. Результаты оценки качества предметных достижений обучающихся общеобразовательных учреждений Новосибирской области (информационно-аналитический сборник). - Новосибирск: ОГУ «Областной центр мониторинга образования», 2008. - 161 с.
