CC BY
85
УДК 371.26; 371.27
АНАЛИЗ И ИНТЕРПРЕТАЦИЯ РЕЗУЛЬТАТОВ ЕГЭ-2012
Боченков С.А., Независимое агентство оценки качества образования «Лидер», Чувашский РЦНИТ, Чебоксары, Россия E-mail: [email protected]
Аннотация. Проведен анализ всероссийских результатов ЕГЭ-2012, сделаны предложения по совершенствованию технологии единого государственного экзамена. Ключевые слова: единый государственный экзамен, совершенствование технологии, система качества образования.
ANALYSIS AND INTERPRETATION OF THE RESULTS EGE-2012
Bochenkov S.A. An independent Agency of evaluation of quality of education «Leader», the Chuvash RCNIT, Cheboksary, Russia E-mail: [email protected]
Annotation Is given the analysis of all-Russian unified state exam EGE-2012, made proposals for improvement of the technology of the unified state exam. Keywords: the unified state examination, improvement of technology, the system of the quality of education.
Статья подготовлена по материалам выступления автора в рамках учебного курса Российского тренингового центра Института управления образованием РАО "Система оценки качества и образовательная политика: ключевые проблемы и направления развития", проведённый совместно с Национальным центром тестирования Министерства образования и науки Республики Кыргызстан и при поддержке Всемирного банка 27-30 июня 2012 года в Республике Кыргызстан. С более подробной информацией о курсе и учебными материалами можно ознакомиться на http://www.rtc-edu.ru/trainings/study/111.
• Можно ли использовать результаты ЕГЭ для оценки деятельности системы образования и принятия управленческих решений?
• Чем задаётся рамка интерпретации результатов ЕГЭ?
• Каковы ключевые тезисы модели анализа и интерпретации результатов ЕГЭ-2012?
• Каковы особенности анализа и интерпретации индивидуальных результатов ЕГЭ?
• Каковы особенности анализа и интерпретации результатов ЕГЭ для оценки результатов работы учителя?
• Каковы особенности анализа и интерпретации результатов ЕГЭ для оценки результатов деятельности школы?
• Каковы особенности анализа и интерпретации результатов ЕГЭ для оценки результатов деятельности образовательных систем?
Можно ли использовать результаты ЕГЭ для принятия управленческих решений в системе образования?
Одной из ведущих тенденций развития образования в мире в настоящее время является создание в странах независимых систем оценки качества образования, включающих национальные экзамены. Единый государственный экзамен (далее - ЕГЭ), согласно принятой на международном уровне классификации оценочных процедур, относится к национальным экзаменам, причём совмещает в себе выпускной экзамен из средней общеобразовательной школы и вступительный в учреждения профессионального образования. После восьмилетнего эксперимента, в 2009 году ЕГЭ вступил в штатный режим.
Введение ЕГЭ в штатный режим позволило не только повысить объективность оценки образовательных достижений выпускников средней школы, создать основу для сохранения единого образовательного пространства Российской Федерации в условиях вариативного образования, заложить фундамент общероссийской и региональных систем оценки качества образования, но и способствовать решению ряда социальных задач, связанных с созданием равных возможностей на получение высшего профессионального образования гражданам страны вне зависимости от места жительства и уровня доходов семьи. Вместе с тем ЕГЭ позволяет получить информацию о состоянии образования в стране, в регионе, в отдельных образовательных учреждениях, судить о тенденциях в изменениях, происходящих в образовании, создавать основу для управления качеством образования региона.
Следует помнить, что ЕГЭ - это экзамен с очень высокими ставками, так как очень значим для выпускников школы и их родителей. Прямое назначение ЕГЭ -сертификация учащихся на освоение образовательного стандарта среднего полного образования и селекция (отбор) для получения профессионального образования, по сути своей результаты ЕГЭ - это оценка уровня индивидуальных образовательных достижений выпускника средней школы. И не более того.
Здесь на использовании результатов ЕГЭ нужно было бы поставить точку и закрыть список возможных областей использования его результатов, но существующая практика не позволяет нам сделать этого. Дело в том, что с момента своего введения ЕГЭ позиционируется и как оценочная процедура, которая позволяет получить информацию о состоянии образования в стране, в регионе, в отдельных образовательных учреждениях, судить о тенденциях в изменениях, происходящих в образовании, создавать основу для управления качеством образования на разных уровнях. Эту функцию вообще-то в мировой практике выполняют национальные
мониторинги, результаты которых не значимы для самих учащихся, но по этим результатам принимаются решения по отношению к образовательным учреждениям и системам.
Но в системе образования Российской Федерации национальные мониторинги ещё только зарождаются в проектах, а вот практика использования результатов ЕГЭ в данном контексте имеет уже многолетнюю историю и, к сожалению, уже накоплено достаточно кейсов, когда анализ и интерпретация результатов ЕГЭ делается некорректно, что приводит к ложным заключениям и выводам и к неадекватным управленческим решениям. Поэтому на данном этапе актуальным является обсуждение вопроса о корректной интерпретации результатов единого государственного экзамена как основной формы итоговой аттестации выпускников средней школы в оценке отдельных характеристик качества образования на уровне учителя (учебного предмета), на уровне образовательного учреждения, на уровне образовательных систем.
При корректной интерпретации результаты ЕГЭ, во-первых, предоставляют возможность объективного сравнения результатов обучения (основной составляющей качества образования) в разных территориях и в разных учебных заведениях, во-вторых, появляется возможность отслеживать результаты одного учебного заведения или территории в динамике. Но не менее важным является появление действенного инструмента неадминистративного управления качеством образования - система образования самостоятельно стремится удовлетворить требованиям, предъявляемым к результату. Таким образом, вторым важным аспектом обсуждения является наполнение понятия «результаты ЕГЭ» для учителя, для школы, для образовательной системы.
Результаты, показанные выпускниками школы на государственной (итоговой) аттестации в форме ЕГЭ, при корректной интерпретации позволяют дать оценку деятельности системы образования, особенностям организации образовательного процесса, качеству представляемой образовательной услуги, что крайне важно для планирования шага развития.
Таким образом, результаты ЕГЭ - это ценный материал для анализа, который может и должен быть использован для управления образовательными системами и образовательными учреждениями для выбора пути достижения нового качества образования. Корректность интерпретации зависит от выбора алгоритма и приемов в сравнении и сопоставлении, методов математической обработки и определения формата представляемой обобщенной информации.
На сегодня отсутствует общепринятая методика анализа, позволяющая использовать данные о результатах сдачи ЕГЭ выпускниками школы в оценке деятельности школы и образовательной системы, а существующая практика имеет два противоположных полюса. Одни исследователи ратуют за практически неограниченное использование результатов ЕГЭ вплоть до скоропостижных управленческих решений и заслуженно попадают под обвинения в использовании некорректных подходов. Другие - имея на руках многолетний массив данных, отстаивают идею невозможности каких-либо сравнений и сопоставлений на их основе.
В данной статье представлен авторский подход к оценке деятельности региональных и муниципальных образовательных систем и образовательных учреждений на основе результатов ЕГЭ, выстроенный с одной стороны на основе приоритетов образовательной политики региона, с другой - прямо отвечающий на актуальные запросы разных групп пользователей. Кроме того, в модель анализа внесены необходимые изменения в связи с переходом ЕГЭ в штатный режим1, отражены особенности 2012 года. Ключевым моментом здесь является общий алгоритм анализа результатов, полученных выпускниками на ЕГЭ.
Данный подход прошёл экспертизу и получил одобрение в рамках проекта Рособрнадзора «Совершенствование управления качеством образования в общеобразовательных учреждениях на основе результатов независимого оценивания учащихся 9-х и 11-х классов» , был представлен и обсуждён на экспертном семинаре Российской академии образования «Методологические основы оценки качества образования»3. Система показателей, используемая в данной модели легко встраивается в систему ключевых индикаторов для задач управления качеством образования, разработанных Межрегиональной ассоциацией мониторинга и статистики образования4. Модель применяется в подготовке региональных сборников по результатам ЕГЭ и в практике управления качеством образования в Чувашской Республике с 2004 года5, в Ханты-Мансийском АО - Югра6 (Служба по контролю и
1 Модель анализа и интерпретации результатов ЕГЭ и ГИА на региональном уровне: опыт Чувашской Республики // Тенденции развития образования: Про-блемы управления и оценки качества образования: Материалы восьмой междуна-родной научно-практической конференции Центра изучения образовательной политики. Сборник статей. М.: Издательский дом «Дело» РАНХиГС, 2012. - 466 с.
2Управление качеством образования на основе результатов независимого оценивания учащихся 9-х и 11-х классов. В 2 частях / О.Ф. Батрова., В.И. Блинов, Боченков С.А. и др, - М, Аспект Пресс, 2007.)
3 Материалы заседания и видеозапись доступны по ссылке http://centeroko.ru/seminar/seminar-3.htm
4Управление качеством образования в регионе на основе показателей и индикаторов: сборник инструктивно-методических материалов. - М.:Логос, 2008. - 184с.
5Анализ результатов ЕГЭ-2011 по Чувашской Республике. Сводные таблицы и диаграммы по республике, муниципалитетам, образовательным учреждениям. / Боченков С.А. - Чебоксары, ГУ «Чувашский республиканский центр новых образовательных технологий», 2011. - 188 с.
надзору в сфере образования округа) с 2008 года, в Чеченской Республике с 2010 года, в Ямало-Ненецком автономном округе с 2012 года и ещё в ряде других регионах.
Интерпретация результатов ЕГЭ определяется запросами адресата
Анализ и интерпретация результатов ЕГЭ представляет собой подготовку разных информационных продуктов, которые адресованы соответствующим группам пользователей. При этом каждой такой категории пользователей требуется своя информация в компактном, наглядном и удобном для восприятия виде. Здесь важно точно понять, на какие вопросы через призму результатов ЕГЭ желает получить ответы сам выпускник, учитель, администрация школы, руководитель территориальной системы образования (регион, муниципалитет), методическая служба и другие заинтересованные пользователи.
ИНТЕРПРЕТАЦИЯ РЕЗУЛЬТАТОВ ОПРЕДЕЛЯЕТСЯ С ОДНОЙ СТОРОНЫ ЗАПРОСАМИ ГРУППЫ ПОЛЬЗОВАТЕЛЕЙ, С ДРУГОЙ - ИСТОЧНИКАМИ ДАННЫХ
г л
Запросы разных групп пользователей о результатах оценочной процедуры
• Участники и их родители
• Учителя
• Администрация школы
• Органы управления образованием
• Методические службы
• Родители, выбирающие школу
• СМИ, местное сообщество
Информационные продукты,
содержащие интерпретацию результатов оценочной процедуры
• Свидетельство о результатах ЕГЭ
• Региональный отчёт по итогам оценки.
• Специализированный отчёт (по предмету, группе учащихся, по школе, по группе школ).
• Аналитическая записка для министра.
• Информационный буклет для родителей.
• Пресс-релиз
Источники данных о результатах оценочной процедуры и об
условиях организации образовательного процесса
Протоколы результатов ЕГЭ (ГИА)
Регламент оценочной процедуры Спецификации и кодификаторы КИМов Кодификатор школ региона
Программа развития школы (региона) Данные других оценочных процедур и мониторингов
6 Анализ результатов единого государственного экзамена по Ханты-Мансийскому автономному округу -Югре в 2011 году. Серия «По результатам ЕГЭ-2011». Выпуск 1. - Ханты-Мансийск: ООО «ТЕХНОПОЛИС», 2011. - 182 с.
Таким образом, каждая группа пользователей должна получить адресный ответ на имеющиеся у неё запросы в понятном для неё виде. Здесь важна и используемая модель интерпретации, и система показателей, и форма предъявления результата: язык, наглядность, степень детализации. Правильно поданная информация позволяет делать правильные заключения и принимать адекватные управленческие решения на каждом уровне.
Для корректной интерпретации результатов ЕГЭ необходимо понимание некоторых особенностей этой оценочной процедуры, а именно - каковы последствия получения тех или иных результатов для выпускника школы.
Общий алгоритм итоговой аттестации выпускников средней школы в форме ЕГЭ показан на схеме.
ОБЩИИ АЛГОРИТМ ГОСУДАРСТВЕННОЙ ИТОГОВОЙ АТТЕСТАЦИИ ВЫПУСКНИКОВ 11(12) КЛАССОВ ШКОЛ В ФОРМЕ ЕГЭ
Видно, что результаты экзаменов по обязательным предметам и результаты экзаменов по предметам по выбору имеют разные последствия для выпускника. Значимым является не только балл по 100-балльной шкале, но и величина минимального порога по каждому учебному предмету, которая свидетельствует об освоении выпускником основных общеобразовательных программ среднего (полного) общего образования по предмету. Этот порог устанавливается распоряжением Рособрнадзора по каждому предмету ежегодно.
Модель Анализа и интерпретации результатов ЕГЭ: ключевые тезисы
Модель анализа результатов ЕГЭ основывается на следующих ключевых тезисах:
1. ЕГЭ - только одна из ряда процедур оценки качества образования, позволяющая получить представление только об отдельных характеристиках качества образования.
2. Анализ и оценка выполнены с учётом позиций как государства (важно, какого качества образовательные услуги представляет система образования и отдельное общеобразовательное учреждение, как реализуются приоритеты образовательной политики), так и других участников образовательного процесса.
3. Результаты ЕГЭ представляют собой протоколы, в которых представлены индивидуальные предметные результаты, решаемость каждого задания, первичные и итоговые баллы. Так как выпускники данного учебного года не сдают экзамены в дополнительный этап, то за результаты ЕГЭ по региону принимаются результаты досрочного и основного этапов ЕГЭ, а результаты вступительных испытаний в образовательные учреждения среднего и высшего профессионального образования к расчетам не принимаются. Выпускники прошлых лет, выпускники НПО, СПО сдают экзамены по желанию (для поступления) и строго говоря, не могут считаться продуктом деятельности муниципальной образовательной системы за данный учебный год, так как они закончили общеобразовательные учреждения в прежние годы.
4. Анализ и оценка делается на предметных результатах, продемонстрированных каждым выпускником, т.е. единицей расчетов становится не человеко-экзамены, оценки и баллы, а совокупный индивидуальный результат выпускника. Результаты ЕГЭ рассматриваются в разрезе каждого конкретного выпускника. Индивидуальные результаты по предметам (протоколы) объединяются, формируется база данных участников с указанием у каждого результатов по тем предметам, которые он сдавал. На её основе и ведутся дальнейшие расчеты. Потому что результат работы системы полного среднего образования можно оценить только через индивидуальные результаты конкретного выпускника общеобразовательного учреждения.
Но сегодня за средними баллами, числом двоек-пятёрок, стобалльных результатов в аналитике потерялся конкретный выпускник, а ведь именно он является непосредственных получателем той бюджетной услуги, которую предоставляет в данном случае система образования, качество работы которой мы пытаемся оценить.
Если ЕГЭ - это и форма государственной (итоговой) аттестации выпускников 11(12)-х классов общеобразовательных учреждений, и вступительные испытания в
образовательные учреждения среднего или высшего профессионального образования на переходе со ступени среднего на ступень профессиональное образования, а единица государственной (итоговой) аттестации и перехода - конкретный выпускник, то важны не результаты отдельных экзаменов по предметам, общеобразовательным учреждениям, этапам, а совокупность предметных результатов выпускника, и вытекающие из этих результатов последствия для выпускника.
Допустим, выпускник общеобразовательного учреждения выбрал и сдал в форме ЕГЭ четыре экзамена - два обязательных и два для поступления на выбранную специальность. Если он не справился с обязательным (-ми) экзаменами, то он не получит аттестат, если он не справился с одним экзаменом по выбору, то не получит свидетельство о результатах ЕГЭ по данному предмету и не сможет участвовать в конкурсе на выбранную специальность. Если он сдал все экзамены не только выше установленного порога перед ним открываются гораздо более широкие перспективы выбора как места, так и формы обучения. Таким образом, важно, участвовал ли выпускник 11 класса в ЕГЭ, сколько предметов сдал, преодолел ли порог по обязательным предметам (т.е. получил аттестат), преодолел ли порог по каждому из предметов по выбору (получил свидетельство ЕГЭ по всем сданным предметами или каких-то предметов там нет - не сможет поступать на данную специальность). Итак, единицей расчетов становятся не человеко-экзамены, а совокупные результаты ЕГЭ отдельного выпускника каждого общеобразовательного учреждения, муниципалитета, региона.
5. Анализ и оценка делается на результатах ЕГЭ выпускников дневных и вечерних школ данного учебного года. Результаты работы системы образования региона (и далее - муниципалитетов, образовательных учреждений) оцениваются по результатам выпускников дневных и вечерних общеобразовательных учреждений этого учебного года. Важно сопоставить число выпускников в региональной базе данных ЕГЭ с числом выпускников, которое указано в ведомственной статистике.
6. Для снятия напряжённости в ситуации сравнения выделяется несколько групп школ по ряду контекстных характеристик.
При кластеризации образовательных учреждений учтены такие характеристики, как тип и вид образовательного учреждения, тип местности, размер населённого пункта, размер образовательного учреждения по числу выпускников (наличие условий для профильной подготовки). Данные по ним есть в региональной базе ЕГЭ. Кроме того, есть целый ряд характеристик, которые было бы целесообразно учитывать, так как они показывают значительную связь с образовательными результатами, но для
сбора этих данных необходима дополнительная работа. Это данные об уровне образования родителей, образовательных ресурсов семьи, материальной
^ у
обеспеченности семей, языке общения в семье и величине фильтра при поступлении в школу.
Общеобразовател ьные учреждения Чувашской Республики
Общеобразовател ьные учреждения (с дневным режимом работы)
Кластер №8 Вечерние (сменные) общеобразовательные учреждения
Городские учреждения
Общеобразовательные школы, обеспечивающую углубленную подготовку по одному или нескольким предметам: лицеи, гимназии, школы с углубленным изучением отдельных предметов
Кластер №1 Городские инновационные ОУ: лицеи, гимназии, школы с углубленным изучением отдельных предметов
Общеобразовательные школы,
реализующие программы начального общего, основного общего и среднего (полного) общего образования
Кластер №2 Городские общеобразовательные школы (более 50 выпускников 11
Кластер №3 Городские общеобразовательные школы [менее 50 выпускников 11
Сельские учреждения
Общеобразовательные школы, обеспечивающую углубленную
подготовиу по одному или нескольким предметам: лицеи, гимназии, шиолы с углубленным изучением отдельных предметов
Кластер №4 Сельские инновационные ОУ: лицеи, гимназии, школы с углубленным изучением отдельных предметов, ресурсные центры
Общеобразовательные школы,
реализующие программы начального общего, основного общего и среднего (полного) общего образования
Кластер №5 Сельская общеобразовательная школа (25 и более выпускников 11
Кластер N96 Сельская общеобразовательная школа (от 15 до 25 выпускников 11
Кластер N97 Малочисленные сельские общеобразовательные школы (менее 15 выпускников 11 классов)
7. В комплексе индикаторов выделены два аспекта - управленческий
(сигнал вверх - отчётность, и вниз - стимул о том, что значимо в данной системе управления) и исследовательский (для выявления проблемных зон и понимания нюансов ситуации). Управленческий определяет уровень требований к качеству образования. Его показатели закреплены в нормативных документах и их достижение можно и нужно контролировать. Например, доля выпускников, успешно сдавших два обязательных экзамена (преодолевших порог минимального количества баллов ЕГЭ и по русскому языку и по математике, подтверждающее освоение выпускником основных общеобразовательных программ среднего (полного) общего образования в 2012 году) в общем числе выпускников региона. Исследовательский - сложнее и
7Язык, используемый в семье показывает значительную связь со всеми видами образовательных результатов: применение в общении другого языка (т.е. русский язык не является родным) сказывается в меньшей степени на текущей отметке (вероятно, из-за большого разнообразия видов работ, с которыми сталкиваются учащиеся на уроках и возможности выравнивания шансов), в большей степени - на результатах письменных работ - экзаменов ГИА и в самой значительной степени - при оценке функциональной грамотности, особенно в работах с текстами (грамотность чтения). Разница в результатах этих двух групп учащихся составляет от 9 до 55% шкалы (г. Норильск, 2010).
неоднозначнее, здесь показатели нормативно не закреплены и применяются сложные системы расчёта. Но именно они позволяют увидеть палитру результатов.
8. В оценке применяются пять ключевых линий анализа (8.1. - 8.5.) по
которым оцениваются позиции региона, муниципальных образовательных систем и каждого образовательного учреждения на фоне аналогичных образовательных учреждений (кластер) и на фоне территории (все образовательные учреждения района или города) (см. схема).
8.1. Активность участия выпускников в ЕГЭ. Применяются два ключевых показателя. Первый позволяет оценить сколько выпускников не довольствуется только обязательными экзаменами, а сдают ещё предметы по выбору. Это признаки стратегии ориентирующейся на продолжение образования в вузе. Второй - позволяет сформировать представление о среднем количестве экзаменов, которое сдаёт каждый выпускник. По сути своей оба показателя не являются однозначно интерпретируемыми, потому что невозможно точно сказать какая дальнейшая образовательная или трудовая траектория для выпускника школы предпочтительна. Скорее показатели активности дополняют позиции по результатам, выявляя сильные и слабые стороны каждой стратегии.
Важным показателем в анализе предметных результатов является показатель востребованности учебного предмета - доля выпускников, сдававших ЕГЭ по данному учебному предмету.
8.2. Уровень освоения образовательного стандарта. Применяются следующие ключевые показатели:
- Уровень освоения образовательного стандарта для получения документа о полном среднем образовании - доля выпускников, успешно сдавших два обязательных экзамена (преодолевших порог минимального количества баллов ЕГЭ и по русскому языку и по математике, подтверждающее освоение выпускником основных общеобразовательных программ среднего (полного) общего образования в 2011 году) в общем числе выпускников региона.
- Уровень освоения образовательного стандарта для получения профессионального образования - получение свидетельства о результатах ЕГЭ с баллами по всем предметам, необходимым для поступления в выбранное учреждение профессионального образования - доля выпускников, успешно сдавших все экзамены, которые они выбрали для сдачи в форме ЕГЭ в общем числе выпускников региона.
8.3. Качество учебных достижений. С учётом результатов по всем предметам в пересчёте на одного выпускника качество оценить достаточно затруднительно. Когда
была связь между результатами ЕГЭ и пятибалльной шкалой, то традиционно за качество принималась доля сдавших экзамены на «отлично» (или как вариант, на «хорошо» и «отлично»), но теперь такой связи нет. Сейчас при анализе результатов ЕГЭ необходимо понимать, что из себя представляет результат (или балл) ЕГЭ. Выполняя задания контрольно-измерительных материалов ЕГЭ (далее - КИМы) выпускник набирает определённое количество первичных баллов. Например, успешное выполнение задания базового уровня из части А (выбор одного правильного ответа из четырёх) как правило оценивается одним первичным баллом, задания части В (повышенный уровень) и С (высокий уровень сложности) как правило позволяют
получить несколько первичных баллов. Набранная выпускником сумма первичных
8 „ баллов после процедуры шкалирования переводится в балл по 100-балльной шкале и
выставляется в свидетельство о результатах ЕГЭ. Этот результат чаще всего и берётся
за основу в существующих сегодня моделях анализа и интерпретации результатов ЕГЭ
как показатель качества, а между тем несёт в себе заметную ошибку.
Соотношение 100-балльной шкалы и уровней подготовки по учебным предметам (РФ, ЕГЭ-2011)
.|яГ1"1пГ1»1"1я
33 ■ 32
36 ■ 35
40 ■ 40
70 баллов
10% лучших участников I выше 50 процентиля 50-процентиль I ниже минимального порога
от га QJ га ¡с
s X X S а О 1- (J а I
■в- га а L. х ь га I X га I m ? га а го от IX
О и а о -9- О ш ь и X и Ь х X X и
i и X
X i ю О Е I <
8 Подробнее о методике шкалирования можно посмотреть здесь http ://www. e ge.edu. ru/ru/main/legal-documents/index.php?id 4=17904
На рисунке показано соответствие результата по 100-балльной шкале выделенным по результатам ЕГЭ-2011 по Российской Федерации процентильным группам участников по учебным предметам. Заметно явное несовпадение шкал между собой.
Например, чтобы попасть в группу 10% лучших результатов ЕГЭ в 2011 году по РФ по математике нужно было набрать 68 баллов, по русскому - 79, по английскому языку - 88. А это значит, что 70 баллов по математике не равны 70 баллов по русскому языку и, вполне возможно, что 70 баллов по математике ЕГЭ-2011 не равны 70 баллам по математике ЕГЭ-2012. Таким образом, при интерпретации данных важно понимать, что 100-балльные шкалы по разным учебным предметам по сути своей не совпадают и баллы (максимальные, минимальные, средние и т.д.) нельзя сравнивать как между предметами, так и в пределах одного предмета в динамике по годам.
В этой ситуации при интерпретации результатов ЕГЭ с точки зрения оценки качества полученных результатов и ответа на вопрос «кто лучше?» имеет смысл использовать либо относительные показатели 100-балльной шкалы (т.е. пересчитанные, приведённые её значения), либо показатели доли выпускников успешно преодолевших порог высоких результатов (по аналогии - получивших отметку «отлично»). Разработчики КИМов выделяют такой порог, называя его ПБ29 (или ТБ2). Получив балл соответствующий ТБ2 и выше выпускник демонстрирует высокий уровень подготовки и наличие системных знаний, овладение комплексными умениями, способности выполнять творческие задания по соответствующему общеобразовательному предмету. Эта очень важная характеристика качества результата и показатель, рассчитанный на её основе далее будет использоваться под следующим наименованием - доля выпускников, показавших высокий уровень результатов по предмету (по всем сданным предметам) в общем числе выпускников.
В таблице приведены пороговые значения первичных баллов и баллов по 100-балльной шкале из методики шкалирования. Величины ПБ1 и ПБ2 устанавливаются разработчиками, а минимальный порог - распоряжение Рособрнадзора (он как правило
9 О методике выделения ПБ1 (или ТБ1) и ПБ2 (или ТБ2) см. здесь http ://www. e ge.edu. ru/ru/main/scaling/
совпадает с ПБ110). Отметим, что минимальный балл определяет минимальные требования образовательного стандарта.
Предмет ПБ1 - наименьший первичный балл, получение которого свидетельствует об усвоении участником экзамена основных понятий и методов по соответствующему общеобразовательном у предмету (в скобках ТБ2 - балл по 100-балльной шкале) Минимальный балл ЕГЭ согласно Распоряжениею Рособрнадзора и подтверждающий освоение выпускником основных общеобразовательных программ среднего (полного) общего образования по предмету (в скобках ТБ2 -балл по 100-балльной шкале), далее - реквизиты распоряжения ПБ2 - наименьший первичный балл, получение которого свидетельствует о высоком уровне подготовки участника экзамена, а именно, о наличии системных знаний, овладении комплексными умениями, способности выполнять творческие задания по соответствующему общеобразовательному предмету (в скобках ТБ2 - балл по 100-балльной шкале)
Русский язык 17 (36 из 100) 17 (36) № 2843-10 от 30.08.2011 54 (73из 100)
Математика 5 (24 из 100) 5 (24) № 2844-10 от 30.08.2011 15 (63из 100)
Обществознание 15 (39из 100) 15 (39)№ 2868-10 от 22.06.2012 48 (72из 100)
История 13из 58 (32из 100) 13(32) № 2590-10 от 05.06.2012 46 из 58 (72из 100)
Физика 12 (39 из 100) 11(36)№ 2869-10 от 22.06.2012 33 (62из 100)
Химия 14 (36из 100) 14 (36)№ 2637-10 от 13.06.2012 58 (80из 100)
Биология 17 из 69 (36из 100) 17 (36) № 2591-10 от 05.06.2012 60из 69 (79из 100)
География 14 (37из 100) 14 (37)№ 2870-10 от 22.06.2012 44 (69из 100)
Информатика 8 из 40 (40 из 100) 8(40) № 2592-10 от 05.06.2012 35 из 40 (84из 100)
Иностранные языки 16 (20из 100) 16(20)№ 2636-10 от 13.06.2012 65 (82из 100)
Литература 8 (32из 100) 8 (32)№ 2871-10 от 22.06.2012 36 (73из 100)
Исходя из вышесказанного, вместо среднего балла по 100-балльной шкале для оценки качества учебных достижений применяются следующие ключевые показатели:
• Если единицей получателя образовательной услуги является выпускник, то показателем качества результатов ЕГЭ будет доля выпускников, показавших высокий уровень результатов, т.е. сдавших все экзамены по выбору с результатом выше порога профильной подготовки (ТБ2). Результаты по обязательным предметам здесь не учитываются, т.к. невозможно определить, нужны ли они для продолжения
10 В 2011 году минимальный балл, установленный Рособрнадзором был снижен относительно ПБ1 по математике, физике, химии, информатике и ИКТ и истории, в 2012 году - только по физике.
образования, а требовать профильного уровня математики от гуманитария или профильного уровня по русскому языку от будущего инженера было бы несправедливо. В итоге получается очень небольшая доля выпускников, но их результаты позволяют им рассчитывать на зачисление практически в любое даже очень престижное учреждение профессионального образования.
• Если единицей качества услуги считать каждый экзамен, сданный выпускником, то показателем качества будет доля экзаменов по выбору сданных с высоким результатом (выше порога профильной подготовки ТБ2). Результаты по обязательным предметам не учитываются. Получается, что школа или система образования работает тем качественнее, чем больше экзаменов из числа выбранных сдаются выше порога профильной подготовки.
Безусловно, эти два показателя взаимосвязаны и сильно коррелируют между собой, поэтому в зависимости от задачи имеет смысл использовать один из них либо оба - в сравнении.
Балл по 100-балльной шкале используется при оценке качества подготовки по обязательным предметам, как средний балл по двум обязательным предметам. Такое использование является вполне корректным.
Активность участия выпускников в ЕГЭ
Уровень освоения образовательного
стандарта и качество учебных достижений
Качество учебных достижений
Равенство доступа к
образованию соответствующего качества
Успешность усвоения
отдельных дидактических единиц
•Активность участия в ЕГЭ - доля выпускников ОУ сдававших кроне двух обязательных один и более экзамен по выбору и среднее число экзаменов в форме ЕГЭ на одного выпускника.
• Востребованность учебных предметов - доля выпускников, сдававших ЕГЭ по данному учебному предмету.
■Уровень освоения образовательного стандарта для получения документа о полном среднем образовании - доля выпускников, успешно сдавших два обязательных экзамена (преодалевших порог минимального количества баллов ЕГЭ и по русскому языку и по математике, подтверждающее освоение выпускником основных общеобразовательных программ среднего (полного) общего образования в 2012 году) в общем числе выпускников региона ■ Уровень освоения образовательного стандарта для получения профессионального образования - получение свидетельства о результатах ЕГЭ с баллами по всем предметам, необходимых для поступления в выбранное учреждение профессионального образования - доля выпускников, успешно сдавших все экзамены, которые они выбрали для сдачи в форме ЕГЭ в общем числе выпускников региона
> Качество профильной подготовки - доля выпускников показавших высокий уровень подготовки по всем обязательным и выбранным предметам, сданным в форме ЕГЭ
> Качество подготовки по обязательным предметам - средний балл по 100-балльной шкале с учётом результатов по русскому языку и по математике
■Равенство доступа к качественному образованию - разница величины среднего балла ЕГЭ по обязательным предметам между средним баллом по региону и результатами школы, показавшей наименьший результат.
■Соотношение величины доли получивших аттестат (программа минимум для школы) и доли выпускников показавших высокие результаты ЕГЭ по всем сданным предметам - программа-максимум для школы)
■ Успешность усвоения отдельных дидактических единиц - сравнение позадачной решаемости в разрезе отдельных дидактических единиц относительно коридора ожидаемой решаемости по каждому учебному предмету
8.4. Равенство доступа к образованию соответствующего качества. Для
оценки территориальных образовательных систем и муниципальных образований важно распределение высоких и низких результатов между школами. Это позволяет не только оценить равенство доступа к образованию соответствующего качества, но и выявить среди школ региона и муниципалитета группу школ риска и организовать целенаправленную работу. Следует отметить, что это важнейшая для муниципального образования характеристика результатов ЕГЭ. Данная линия анализа предполагает сопоставление значений двух индикаторов. Во-первых, это разница величины среднего балла ЕГЭ по обязательным предметам (как показатель качества подготовки по обязательным предметам) между ОУ региона, муниципалитета или кластера. Этот показатель даёт представление о разнице уровня обученности между школами
территории - насколько он низок в «худшей» ОУ, насколько высок - в «лучшей». Чем больше разница между худшей школой и средним баллом по региону, тем хуже состояние доступности территории, тем больше результаты отдельного выпускника зависят от образовательного учреждения, в котором он обучался.
Другим показателем доступности является соотношение величины доли выпускников получивших аттестат (программа минимум для ОУ) и доли выпускников показавших высокие результаты ЕГЭ по всем сданным предметам - программа-максимум для ОУ). Это позволяет определить, каков вектор развития имеют отдельные общеобразовательные учреждения региона и что из себя представляет система образования муниципалитета и региона в целом не только с точки зрения обеспечения права на образование, но и показывает, каков уровень образовательных услуг обеспечивается.
8.5. Успешность усвоения отдельных дидактических единиц. Графическим выражением успешности, результата выполнения теста группой учеников является профиль решаемости, где видна успешность выполнения каждого задания. Практика анализа результатов экзамена в разрезе отдельной школы, учителя даёт разные профили по решаемости заданий, т.е. при сравнении всегда видно, какие темы отработаны лучше, какие хуже, а какие вообще оказались провальными.
9. Представленные выше показатели качества образования, полученные на основе результатов независимого оценивания, являются важной составляющей информации, необходимой для решения задач управления качеством образования на всех уровнях в регионе.
Для каждого уровня необходимо применять адаптированную модель анализа и интерпретации результатов оценочной процедуры и свою систему ключевых показателей. Показатели должны отражать состояние того участка работы и в таком ракурсе, в котором работает управленец, т.к. ориентируясь на эти показатели он не только выстраивает свою деятельность, но и использует все имеющиеся в его распоряжении ресурсы.
Рассмотрим особенности интерпретации результатов ЕГЭ под запросы основных групп пользователей.
Анализ и интерпретация индивидуальных результатов ЕГЭ как оценка достижений учащегося
По своему прямому назначению ЕГЭ, оценивая индивидуальный уровень обученности, адресует полученные в ходе этой оценки результаты именно участникам и их родителям в виде свидетельства. Здесь специальной интерпретации результатов практически не требуется. На схеме видно, какие информационные запросы могут возникнуть у выпускника к результатам ЕГЭ и как они удовлетворяются.
Так, получая оперативные данные собственных результатов ЕГЭ по предмету в форме протокола (в своей школе) выпускник видит свой индивидуальный результат в баллах и позадачную решаемость и принимает решение идти ли ему на апелляцию или нет. Также на основе информации о минимальном балле, данных о конкурсе он в состоянии оценить успешность прохождения аттестации и свои возможности для конкурсного зачисления на выбранную специальность в учреждения профессионального образования.
Анализ и интерпретация итогов ЕГЭ как оценка работы учителя
Результаты ЕГЭ, поступающие в школу в виде протоколов, требуют специальной процедуры анализа и интерпретации, чтобы так или иначе ответить на информационные запросы учителя и чтобы учителю стали понятны особенности подготовки группы его учащихся к ЕГЭ. На какие же вопросы может и должен получить ответ учитель, проанализировав результаты ЕГЭ своих учащихся и как наиболее наглядно представить ему эти ответы?
Во-первых, учитель должен получить представление об уровне требований контрольно-измерительных материалов ЕГЭ по предмету. Источниками информации здесь кроме собственно результатов ЕГЭ являются кодификатор, спецификация и демоверсия ЕГЭ, открытый сегмент банка заданий по предмету и др. Напомним, что контрольно-измерительные материалы ЕГЭ имеют единую структуру, которая определена спецификацией. Задания, занимающие в работе одинаковую позицию (например, А1 или В5) проверяют одни и те же элементы содержания и виды деятельности во всех вариантах в рамках предмета. Это позволяет сформировать представление об уровне требований по предмету. Чем точнее учитель будет через фрейм теста представлять уровень требований ЕГЭ, тем успешнее он сможет организовать подготовку своих учащихся. Чем жёстче учителя-предметники ориентированы на требования ЕГЭ, тем легче транслировать новые требования образовательного стандарта по предмету изменяя содержание КИМов.
Во-вторых, для учителя важны данные об успешности освоения как отдельных дидактических единиц (позадачная решаемость), так и указанных выше содержательных блоков, сформированность умений и видов деятельности у своих учащихся. Графическим выражением успешности, результата выполнения теста группой учеников является профиль решаемости, где видна успешность выполнения каждого задания. При сравнении с коридором ожидаемой решаемости видно, какие темы отработаны лучше, какие хуже, а какие вообще оказались провальными. Эти и другие данные позволяют учителю выявить проблемы подготовки группы учащихся, понять собственные сильные и слабые стороны, скорректировать свою деятельность в перспективе.
В-третьих, результаты ЕГЭ позволяют учителю оценить востребованность учебного предмета как экзамена в форме ЕГЭ среди его учеников. Это касается предметов по выбору, и ясно, что востребованность того или иного предмета диктуется как внешними факторами (престижность будущей специальности и т.д.), так и внутренними (связанными со школой и учителем), поэтому популярность предметов как экзаменов в форме ЕГЭ разная. Но если учащиеся на старшей ступени (10-11 класс) выбрали определённый предмет для изучения его на профильном уровне, то большая их часть должна сдавать экзамен по этому предмету. Тогда можно говорить об эффективности затраченных ресурсов, об эффективности работы учителя-предметника.
В четвёртых, учитель получает данные об усвоении его учениками образовательного стандарта на минимальном уровне - доля учащихся, преодолевших минимальный установленный порог из числа сдававших предмет. Учитель должен быть
ориентирован на достижение максимальных величин этого показателя. Это его прямая ответственность, чтобы все допущенные к ЕГЭ сдали экзамен выше минимального порога. И основной показатель качества работы.
В пятых, учитель должен получить данные об освоении учениками образовательного стандарта на профильном уровне. Пороговым баллом освоения предмета на профильном уровне (на высоком уровне) следует считать значение ПБ2. И задача учителя обеспечить преодоление этого порога как можно большим числом учащихся из изучавших его предмет на профильном уровне.
И, наконец, процедура ЕГЭ позволяет учителю корректировать применяемую им систему текущего оценивания с требованиями внешней оценки. Выставляемые учителем четвертные, полугодовые, годовые оценки по предмету должны коррелировать с баллами ЕГЭ.
Приведённые выше рассуждения позволяют сформулировать рамку требований к качеству работы учителя через призму ЕГЭ.
Критерии качества работы УЧИТЕЛЯ в зеркале результатов ЕГЭ:
Общие критерии:
• Учитель обеспечивает освоение образовательного стандарта на минимальном уровне - доля учащихся успешно преодолевших минимальный порог требований образовательного стандарта из числа сдававших предмет стремится к 100%;
• Система текущего оценивания адекватна результатам внешней оценке.
• Наблюдается положительную динамика (или стабильность в высоких результатах) по каждой из значимых позиций.
Если предмет изучается на базовом уровне:
• Все учащиеся из числа слабоуспевающих
(но допущенных к ЕГЭ) успешно решают определённый набор заданий, позволяющий им преодолеть минимальный порог
Если предмет изучается на профильном уровне:
• Доля учащихся сдававших экзамен по предмету в форме ЕГЭ из числа изучавших предмет на профильном уровне выше, чем среднее значение для данной территории и в аналогичных образовательных учреждениях.
• Учитель обеспечивает освоение образовательного стандарта на профильном уровне - доля учащихся успешно преодолевших порог требований профильного уровня из числа изучавших предмет на профильном уровне и сдававших его выше, чем среднее значение для данной территории и в аналогичных образовательных учреждениях.
Применяя данную систему показателей качества в интерпретации результатов ЕГЭ для учителя, мы даём учителю адекватную обратную связь для того, чтобы он мог организовать адресную работу над собственными ошибками и спланировать свою работу по достижению более высоких результатов при подготовке следующей группы выпускников. Ресурсы, которыми имеются у учителя и область его деятельности соответствует предъявляемой рамке требований.
Анализ и интерпретация результатов ЕГЭ как оценка работы школы
ЕГЭ является основной формой итоговой аттестации выпускников 11 (12) классов, поэтому результаты ЕГЭ широко используются в оценке деятельности школ. При этом следует учитывать, что, во-первых, ЕГЭ позволяет судить лишь об отдельных характеристиках качества образования и не являются единственным и всеобъемлющим показателем качества работы школы. Во-вторых, надо достаточно точно понимать, какие именно результаты ЕГЭ могут отражать работу школы и какие контекстные данные необходимы при интерпретации этих результатов. Так, использование линейных рейтингов школ и сравнение результатов разных школ напрямую между собой не отражают реальной ситуации и часто приводят к ложным выводам и неверным управленческим решениям. Поэтому показатели по школе надо интерпретировать относительно показателей группы аналогичных школ расположенных на территории со сходными социально-экономическими условиями (т.е. в пределах кластера).
Кроме учёта контекстных и фоновых условий важно понимание того, что собственно есть результат ЕГЭ для школы, за что в результатах ЕГЭ школа может отвечать, на какие показатели может и должна оказывать влияние. Здесь важными являются следующие позиции в результатах ЕГЭ и ключевые показатели:
• Соответствует ли заявленный профиль старшей ступени школы спектру предметов, выбираемых выпускниками 11 (12) классов для сдачи в форме ЕГЭ? Хорошая школа по результатам ЕГЭ - это школа, выпускники которой активно выбирают экзамены в форме ЕГЭ из числа предметов профиля школы (которые необходимы им для продолжения образования и которые они изучали в 10-11 классах на профильном уровне).
• Каков уровень освоения образовательного стандарта на минимальном уровне (доля выпускников, успешно сдавших два обязательных экзамена и доля выпускников, успешно сдавших все экзамены в форме ЕГЭ)? Хорошая школа по результатам ЕГЭ - это школа, все выпускники которой успешно справляются с двумя обязательными экзаменами в форме ЕГЭ (русский язык и математика). Это необходимо для получения аттестата о среднем (полном) образовании. И все выпускники которой успешно сдали все экзамены в форме ЕГЭ (обязательные и по
выбору выше минимального порога), т.е. получили полноценное свидетельство о результатах ЕГЭ для конкурса при поступлении на выбранную специальность.
• Каков уровень освоения образовательного стандарта на профильном уровне (доля выпускников, успешно сдавших все предметы из числа изучавшихся на профильном уровне с результатом, соответствующим профильному уровню (ТБ2) и выше)? Хорошая школа по результатам ЕГЭ - это школа, в которой значительная часть выпускников преодолевают порог профильного уровня по всем предметам, изучавшиеся ими на профильном уровне.
• Соответствует ли применяемая учителями школы система текущего оценивания результатам внешней оценке?
• Каковы позиции школы в рейтинге по вышеназванным показателям среди школ города (района) и среди аналогичных (кластер) школ региона и какова динамика значений ключевых показателей? Хорошая школа по результатам ЕГЭ - это школа, показывающая положительную динамику или стабильность в высоких результатах по каждой из указанных позиций.
Пример комплекса показателей для оценки деятельности школы по результатам ЕГЭ.
Линия оценки Показатель Пояснения и примеры
УРОВЕНЬ ОСВОЕНИЯ ОБРАЗОВАТЕЛЬНОГО СТАНДАРТА
Уровень освоения образовательного стандарта для получения аттестата о среднем образовании Доля выпускников школы успешно сдавших два обязательных экзамена (русский язык и математику) в форме ЕГЭ из числа выпускников, допущенных к итоговой аттестации Для получения аттестата выпускнику достаточно сдать только два обязательных экзамена с результатом не ниже установленного минимального порога.
Уровень освоения образовательного стандарта для получения профессионального образования - получение свидетельства о результатах ЕГЭ с баллами по всем предметам, необходимым для поступления в выбранное учреждение профессионального образования Доля выпускников, успешно сдавших все экзамены (обязательные и по выбору) в форме ЕГЭ в общем числе допущенных к итоговой аттестации выпускников школы. Допустим, выпускник школы выбрал и сдал в форме ЕГЭ четыре экзамена - два обязательных и два для поступления на выбранную специальность. Если он не справился с обязательным (-ми) экзаменами, то он не получит аттестат, если он не справился с одним экзаменом по выбору, то в свидетельстве о результатах ЕГЭ по данному предмету не будет выставлен балл и он не сможет участвовать в конкурсе на выбранную специальность. Только если он сдал все экзамены выше установленного минимального порога, он сможет участвовать в конкурсе на зачисление на ту специальность и в то образовательное учреждение, в которое планировал. Таким образом, школа
обеспечила для него достижение минимального уровня стандарта для получения профессионального образования.
КАЧЕСТВО ПРОФИЛЬНОЙ ПОДГОТОВКИ
Соответствие заявленного профиля школы спектру предметов, выбираемых выпускниками для сдачи в форме ЕГЭ Доля выпускников, выбравших все экзамены (учитываются только экзамены по выбору) для сдачи в форме ЕГЭ из числа предметов изучавшихся на профильном уровне. Например, в школе заявлен естественнонаучный профиль с изучением таких предметов как биология, химия и физика на профильном уровне. Значит, в идеале, каждый выпускник из этого профильного класса в качестве предметов по выбору должен выбрать предметы из этого перечня. Для поступления нужно три предмета -русский язык и два из трёх, которые он изучал на профильном уровне.
Качество заявленной профильной подготовки Доля выпускников, сдавших все предметы из изучавшихся на профильном уровне не ниже порога профильной подготовки (ТБ2) Упрощённым вариантом этого показателя является доля экзаменов, сданных с результатом не ниже порога профильной подготовки (ТБ2) Например, одна школа обеспечила высокий уровень профильной подготовки 5% выпускников, другая - 35%. Показатель отражает качество профильной подготовки на единицу получателя бюджетной услуги -ученика и получается сравнимым независимо от профиля школы.
Задавая такую рамку требований к результатам ЕГЭ по школе мы с одной стороны акцентируем внимание на тех позициях качества результатов, за которые может и должна нести ответственность школа, а с другой - транслируем необходимость оказания качественной образовательной услуги каждому ученику на минимальном уровне требований образовательного стандарта и на профильном уровне в зависимости от потребностей учащегося. Эти требования в большей степени зависят от ресурсов школы, чем пресловутый средний балл и соответствуют приоритетным задачам развития образования.
Данную рамку качества применить к результатам ЕГЭ-2012 в полной мере не позволяет отсутствие информации о спектре предметов, которые изучал на профильном уровне каждый из участников ЕГЭ, поэтому возможно применение упрощённой модели оценки.
По совокупным результатам ЕГЭ-2012 общеобразовательные учреждения региона могут быть разделены на 4 группы: первая - это учреждения, обеспечившие своим выпускникам не только минимальный уровень освоения образовательного стандарта, достаточный для получения аттестата, но достигшие высоких результатов в профильной подготовки. Вторая - это школы, обеспечивающие только общеобразовательную подготовку, а по показателям качества профильной подготовки нестабильны и отстают от средних по своему кластеру. Третья группа объединяет
школы, имеющие низкие результаты по одним показателям ЕГЭ и высокие по другим - школы с нестабильным результатом и различной зоной локализации проблем. Каждая из школ этой группы требует более глубоких исследований, аудита ресурсов для выработки индивидуальной программы действий по решению обнаруженных проблем. В четвёртой собраны школы с низкими результатами ЕГЭ по всем позициям. Эта группа требует особого внимания как со стороны учредителя, так и с уровня управления системой образования региона.
Возможно, какие-то школы попали в последнюю группу случайно. Нужно дополнительно проанализировать их результаты за несколько лет и условия, в которых эти результаты получены. «Каждая слабая школа несчастлива по-своему, в основе ее неуспеха лежит уникальная комбинация причин. Поэтому важно проводить анализ факторов, обусловливающих низкие результаты, и формулировать адресные меры поддержки»11.
Выявив «слабые» школы нужно понимание, что с ними делать. Традиционно мы
ориентированы на принятие простых решений, когда выстраивается линейный рейтинг
результатов, показанных школами (например, по результатам ЕГЭ), а затем
принимается решение поощрить сильных (находящихся вверху рейтинга) и наказать
слабых (находящихся внизу рейтинга). Но проблема в том, что «причина низких
результатов далеко не всегда зависит от самой школы и связана с ее внутренней
политикой (слабое руководство, недостаточная квалификация педагогов и т.п.).
Зачастую низкие результаты во многом определяются проблемным социальным
контекстом, в котором находится школа. Такие школы, как правило, располагаются в
экономически слабо развитых территориях, в них обучаются дети из наименее
12
благополучных социальных слоев.» Владимир Путин в статье «Строительство справедливости. Социальная политика для России» пишет: «Дети не должны быть заложниками социального или культурного статуса своих семей. Если школы работают в трудных социальных условиях, то и они, а не только гимназии и лицеи, работающие, как правило, с благополучными детьми, должны получать специальную поддержку - и методическую, и кадровую, и финансовую». И в передовом международном опыте управления считается, что главный критерий хорошей образовательной системы - это мера, в которой наименее обеспеченные члены общества имеют возможность преуспеть. По мнению ректора НИУ ВШЭ Ярослава Кузьминова есть пять основных способов поддержки школ с низкими результатами:
ПИ.А. Вальдман «Ставка на лидеров себя не оправдала» http://ps.1september.ru/view_article.php?ID=201200706 12 И.А. Вальдман там же
• выделение квот для детей из социально неблагополучных семей и с низким уровнем образования родителей,
• развитие и поддержка слабых школ,
• повышенное финансирование для педагогов, работающих с социально сложными детьми,
• бесплатное дополнительное образование для детей из неблагополучных
семей
• восстановление профессиональной морали педагогов.
Таким образом, каждая школа из группы слабых школ должна оказаться в зоне повышенного внимания органов управления образованием и в случае необходимости им должна быть оказана необходимая поддержка.
Анализ и интерпретация результатов ЕГЭ - оценка деятельности образовательных систем
Для того, чтобы сравнивать муниципальные системы образования имело бы смысл исходить из следующих критериев хорошей (результативной, эффективной) системы муниципального образования по результатам ЕГЭ:
• Процедура проведения ЕГЭ защищена, в результатах ЕГЭ не наблюдается аномальных результатов. Работает система контроля и надзора за процедурой.
• Все выпускники, допущенные до итоговой аттестации, успешно сдают обязательные экзамены и получают документы об образовании. Это один из показателей охвата средним (полным) образованием учащихся соответствующего возраста учреждениями системы.
• Учреждения сети обеспечивают удовлетворение потребности учащихся в изучении предметов на профильном уровне. На территории муниципалитета есть школы, обеспечивающие стабильный высокий результат по каждому из учебных предметов. Заявленный профиль школ подтверждается результатами ЕГЭ как по спектру выбираемых предметов, так и качеством полученных результатов.
• Обеспечивается равенство доступа к образованию соответствующего качества. Различия в результатах ЕГЭ между школами сети ниже, чем между индивидуальными результатами внутри отдельных школ.
• Определены группы риска в контингенте обучающихся, определена степень депрессивности каждого элемента территории, имеются данные об условиях работы каждой из школ. Выявлены школы, работающие в трудных условиях и им оказывается соответствующая поддержка.
• Ресурсы сети используются эффективно. Оценка деятельности школ ведётся с учётом условий организации образовательного процесса и контингента обучающихся.
Приведённая рамка качества охватывает результаты ЕГЭ и целый ряд контекстных характеристик. Часто муниципальные образования региона достаточно сильно отличаются по таким важным контекстным параметрам, как доля выпускников вечерних школ, доля выпускников сельских школ, доля выпускников инновационных школ и т.д. Поэтому для достижения одинаковых результатов ЕГЭ разным муниципальным образованиям региона могут потребоваться разные усилия и ресурсы. Тем не менее, всё население, проживающее на территории муниципального образования, должно быть охвачено качественной услугой общего образования, поэтому имеет смысл и линейный рейтинг муниципалитетов, для получения объективной картины.
Для построения рейтинга муниципальных образований региона целесообразно использовать пять линий сравнения.
Во-первых, по уровню освоения образовательного стандарта для получения документа о среднем (полном) образовании.
Во-вторых, по уровню готовности к продолжению образования. Выбирая экзамены в форме ЕГЭ, выпускник нацелен на поступление в учреждение профессионального образования, и только если он по всем сданным предметам преодолеет минимальный порог, он получит полноценное свидетельство о результатах ЕГЭ и сможет участвовать в конкурсе на зачисление на выбранную специальность. Поэтому положение в этом рейтинге определяет доля выпускников, сдавших все экзамены в форме ЕГЭ с результатом выше минимального порога.
В-третьих, по качеству подготовки по обязательным предметам. Выпускники сдают два обязательных экзамена, и чтобы выявить различия в качестве их подготовки используется средний балл по 100-балльной шкале по двум предметам.
В четвёртых, по качеству профильной подготовки: на положение в рейтинге определяет доля выпускников, сдавших все экзамены по выбору с результатом выше профильного уровня.
В пятых, по величине различия в качестве предоставляемой услуги по обязательным предметам между школами муниципального образования. При этом значимым показателем является величина разницы среднего балла по региону и школы муниципального образования, показавшей наихудший результат.
Пять указанных позиций рейтинга могут иметь разные веса и значимость. Так, для оценки муниципальных образовательных систем важно распределение высоких и низких результатов между школами. Это позволяет не только оценить равенство доступа к образованию соответствующего качества, но и выявить среди школ муниципалитета группу школ риска и организовать целенаправленную работу.
Данные по активности выбора экзаменов в форме ЕГЭ в рейтинге не учитываются, т.к. ситуация, когда выпускник сдаёт только два обязательных экзамена и поступает в колледж (СПО) или УНПО и ему не требуются экзамены по выбору, как для поступления в вуз не является сколь-нибудь худшей, чем если выпускник школы выбирает несколько предметов, ориентируясь на вуз.
Как видно из приведённых позиций в оценке муниципалитета важно чтобы система образования предоставляла населению адекватные потребностям образовательные услуги. Заключение
1. Анализ и интерпретация результатов оценочной процедуры определяется с одной стороны запросами группы потенциальных пользователей, с другой -доступными источниками данных. Запросы на аналитические материалы по результатам оценочной процедуры разные и зависят от точки принятия управленческих решений, т.е. понимание результата оценочной процедуры на каждом уровне управления и под каждый запрос должно быть различно.
2. Для адресной подготовки аналитики необходимо максимально точное понимание того, на какие именно вопросы могут получить ответы представители данной группы пользователей и каковы критерии качества объекта оценки.
3. Для каждой группы пользователей необходимо применять особую модель анализа и интерпретации результатов оценочной процедуры и свою систему ключевых показателей. Показатели должны отражать состояние того участка работы и в таком ракурсе, в котором работает управленец, т.к. ориентируясь на эти показатели он не только выстраивает свою деятельность, но и использует все имеющиеся в его распоряжении ресурсы.
4. Ошибки в использовании результатов оценочной процедуры связаны, прежде всего, с отсутствием соответствующих рекомендаций (в том числе -ограничений на использование отдельных показателей, определения границ возможного их применения и т.д.), которые должны быть подготовлены ещё в период апробации инструментария.
