CC BY
309КАЧЕСТВО ОБРАЗОВА В ЕВРАЗИИ
ОПЫТ ГОРОДА МОСКВЫ В РАЗВИТИИ РЕГИОНАЛЬНОЙ СИСТЕМЫ ОЦЕНКИ КАЧЕСТВА ОБЩЕГО ОБРАЗОВАНИЯ
КУЗЬМИН ПАВЕЛ ВЛАДИМИРОВИЧ
Директор ГАОУ ДПО «Московский центр качества образования», канд. пед. наук
e-mail: mcko@edu.mos.ru Москва, Россия
АННОТАЦИЯ. В статье представлен опыт Московского центра качества образования по развитию региональной системы оценки качества образования. Дана характеристика основных направлений оценки, подходов к организации процедур разработки инструментария и проведения диагностик. Описаны возможности общегородской информационно-аналитической системы «Московский регистр качества образования».
КЛЮЧЕВЫЕ СЛОВА: региональная система оценки качества образования, независимые диагностики, организация оценочных процедур, московский регистр качества образования.
THE EXPERIENCE OF MOSCOW IN DEVELOPING THE REGIONAL SYSTEM OF EDUCATION QUALITY ASSESSMENT
PAVEL KUZMIN
Head of the Moscow center for Education Quality, PhD in Education e-mail: mcko@edu.mos.ru Moscow, Russia
ABSTRACT. This paper presents the experience of the Moscow center for Education Quality in the development of the regional system of education quality assessment. It describes the nature of the main areas of assessment, fundamental approaches to the development of tools and procedures for carrying out diagnostics. The paper lists the opportunities provided by the citywide information analysis system called "Moscow Education Quality Register" (MEQR).
KEYWORDS: regional system of education quality assessment, independent diagnostics, assessment administration, Moscow Education Quality Register.
Город Москва является одним из лидеров российского образования: по результатам государственной итоговой аттестации по большинству предметов, количеству победителей олимпиад, наличию общеобразовательных организаций с высокой репутацией и доверием населения, количеству общеобразовательных организаций, входящих в рейтинг 500 лучших российских общеобразовательных организаций.
Развитие региональной системы оценки качества общего образования (далее - РСОКО) является одним из приоритетов развития столичного образования. Постановлением Правительства Москвы от 20.01.2015 № 17-ПП в полномочия в сфере образования Департамента образования города Москвы (далее - ДО) введено положение о создании условий для организации проведения независимой оценки качества образовательной деятельности организаций, осуществляющих образовательную деятельность, расположенных на территории города Москвы. РСОКО решает задачи:
• предоставления информации об образовательных достижениях, в том числе и в динамике, разным группам пользователей, включая родителей;
• выявления факторов, влияющих на качество образования, и обеспечения принятия обоснованных управленческих решений;
• создания условий для государственно-общественной оценки качества образования.
РСОКО обеспечивается целым рядом организаций, подведомственных ДО. В структуре ДО существует Управление государственного надзора и контроля в сфере образования, которое обеспечивает функционирование региональной системы оценки качества образования.
Использование результатов РСОКО в системе повышения квалификации педагогических работников как в рамках системы курсов повышения квалификации, так и в межкурсовой период находится в ведении ГАОУ ВПО «Московский институт открытого образования» и ГБОУ ДПО «Городской методический центр». ГАУ ДПО «Центр педагогического мастерства» разрабатывает подходы к составлению рейтинга образовательных организаций города.
ГАОУ ДПО «Московский центр качества образования»:
• разрабатывает и проводит региональные независимые диагностики и мониторинговые исследования образовательных достижений обучающихся;
• осуществляет подготовку статистико-аналитической информации для различных категорий пользователей информационно-аналити-
ческой системы Московский регистр качества образования, аналитических отчетов и методических рекомендаций по вопросам оценки качества образования;
• выступает в роли регионального координатора процедур международных и национальных сравнительных исследований качества образования;
• обеспечивает организационно-технологическое сопровождение проведения ГИА-9 и ГИА-11 в городе Москве;
• обеспечивает повышение квалификации педагогических и руководящих работников в области оценки качества образовательных достижений и управления качеством общего образования, подготовку наблюдателей, организаторов и экспертов для процедур региональной диагностики образовательных достижений, общественных наблюдателей и организаторов для процедур ГИА и системы оценки качества образования федерального уровня;
• осуществляет научные исследования в области развития РСОКО;
• обеспечивает организационно-техническое и информационно-аналитическое сопровождение процедуры аттестации педагогических кадров и процедуры государственной аккредитации образовательных учреждений и организаций;
• обеспечивает организационно-техническое и информационное сопровождение федерального государственного надзора в сфере образования.
РСОКО города Москвы включает следующие элементы:
• систему региональных процедур оценки образовательных достижений, включающую независимые диагностики и мероприятия по поддержке внутреннего мониторинга образовательных организаций;
• информационно-аналитическую систему «Московский регистр качества образования»;
• внешний мониторинг образовательной деятельности образовательных организаций (далее - ОО) по открытым источникам;
• рейтинг образовательных организаций столицы;
• систему повышения квалификации педагогических работников в области оценки качества образования.
Ниже приведено краткое описание основных элементов РСОКО.
МОСКОВСКИЙ РЕГИСТР КАЧЕСТВА ОБРАЗОВАНИЯ
Инструментом, позволяющим эффективно включать независимые региональные процедуры в систему оценки качества образования, является Московский регистр качества образования (далее - МРКО). С использованием этой информационно-аналитической системы, охватывающей большое число пользователей, выстраивается автоматизированная система мониторинга и сбора статистики, структурируется система показателей для оценки состояния и развития системы образования. МРКО формирует единое сетевое региональное образовательное пространство с унифицированными подходами к управлению качеством образования. Информация о деятельности образовательных организаций города аккумулируется в едином хранилище - на серверах Центра обработки данных Правительства Москвы.
МРКО реализует принципы доступности, открытости, объективности, прозрачности, системности и модульности. Система использует данные из следующих информационных потоков: реестр образовательных организаций, реестр кадров, реестр контингента, аттестация педагогических кадров, профессиональные конкурсы, ЕГЭ и ГВЭ-11, ОГЭ и ГВЭ-9, независимая диагностика, мониторинги, электронный журнал и дневник.
МРКО предоставляет информацию для разных категорий пользователей через личные кабинеты ОО, кабинеты педагогов, кабинеты обучающихся и кабинеты межрайонных советов директоров (создана система распределенного доступа для разных категорий пользователей). В личном кабинете обучающегося размещается информация об участии образовательной организации в региональных диагностических процедурах; результаты выполнения обучающимся диагностической работы (первичный балл, процент выполнения теста, выполнение отдельных заданий работы с описанием контролируемого элемента содержания или умения, уровень образовательных достижений; данные ГИА-9 и ГИА-11).
Через личный кабинет ОО школьный администратор заполняет заявку об участии в диагностике и заполняет требуемые формы; школа получает от МЦКО инструктивные материалы по проведению диагностики, а по результатам проверки работ в личные кабинеты загружаются статистические формы и методические пояснения к ним, сканы детских работ. Школа имеет возможность сохранить или не сохранить результаты диагностики (в случае сохранения данные могут использоваться, например, при аттестации педагогических работников).
В личные кабинеты межрайонных советов директоров загружаются наиболее общие сравнительные данные по ОО района, позволяющие выстраивать рейтинг ОО.
Таким образом, МРКО интегрирует результаты всех процедур оценки качества образования в портфолио образовательных организаций города Москвы, обучающихся и педагогов, обеспечивает статистическую обработку данных процедур оценки качества образования и экспертно-ана-литическую деятельность педагогов, администрации образовательных организаций.
В МРКО функционирует целый комплекс инструментов и сервисов, что обеспечивает руководителям образовательных организаций Москвы разноплановые возможности работы с информацией системы. Например, в рамках внешнего мониторинга образовательной деятельности осуществляется проведение онлайн-опросов общественного мнения и удовлетворенности родителей качеством и результатами образовательного процесса, обеспечение работы экспертов, формирование отчетов.
ВНЕШНИЙ МОНИТОРИНГ ОБРАЗОВАТЕЛЬНОЙ ДЕЯТЕЛЬНОСТИ ОБРАЗОВАТЕЛЬНЫХ ОРГАНИЗАЦИЙ ГОРОДА МОСКВЫ
Система мониторинга качества образовательной деятельности общеобразовательных организаций представляет собой экспертизу документов и материалов, размещенных на официальных сайтах образовательных организаций и анализ информации, имеющейся в информационно-аналитической системе МРКО. Проведение таких монито-рингов позволяет повышать качество разрабатываемых в образовательной организации документов и материалов; обеспечивать открытость и достоверность информации о деятельности образовательной организации.
Мониторинг проводится по заказу ДО города Москвы по следующим направлениям:
• систематический анализ материалов сайтов образовательных организаций;
• мониторинг введения ФГОС в образовательных организациях (качество разработки образовательных программ начального общего
и основного общего образования; мониторинг качества образования в организациях, реализующих ФГОС НОО и ФГОС ООО);
• мониторинг функционирования внутренней системы оценки качества образования в общеобразовательных организациях (в т. ч. системы подготовки к ОГЭ и ЕГЭ);
• мониторинг деятельности образовательных организаций по обеспечению образовательных потребностей и социализации различных групп обучающихся (в т. ч. одаренных детей и детей с ОВЗ);
• мониторинг развития кадрового потенциала системы образования;
• мониторинг развития системы профильного образования;
• мониторинг развития системы дополнительного образования в общеобразовательных организациях.
Для проведения мониторинговых исследований разрабатывается инструментарий по заданному набору показателей с возможностью дополнения показателей. Посредством МРКО обеспечивается проведение онлайн-опросов общественного мнения и удовлетворенности родителей качеством и результатами образовательного процесса; автоматизированное формирование и отправка экспертного заключения, перечня рекомендаций по результатам мониторинговых исследований для образовательной организации; функционирование форума обратной связи для оперативного реагирования на вопросы и проблемы образовательной организации; автоматизированное выстраивание рейтинга образовательных организаций по результатам мониторинга.
Использование результатов мониторинга позволяет снизить количество несоответствий и нарушений законодательства об образовании и требований ФГОС (ст. 28, 29 ФЗ № 273); повысить качество разрабатываемых в образовательной организации документов и материалов; обеспечить открытость и достоверность информации о деятельности образовательной организации.
РЕЙТИНГ ОБРАЗОВАТЕЛЬНЫХ ОРГАНИЗАЦИЙ
В целях стимулирования повышения качества работы школ в городе внедрена система грантов мэра Москвы. Подходы и критерии отбора лауреатов заложены в основе Рейтинга московских школ, который составляется на основе данных о результатах деятельности школ, содержащихся
в информационных системах ДО, и поэтому не требует дополнительного сбора информации. Критерии рейтинга выстраиваются по нескольким блокам и учитывают показатели эффективности работы школы по обеспечению качественного массового среднего образования; по созданию условий по развитию талантов максимального количества учащихся; по обеспечению качества знаний, подтверждаемого внешней оценкой; по профилактике правонарушений; по работе с обучающимися, имеющими особые образовательные потребности; по использованию социокультурных ресурсов города в обучении.
ЦЕНТР НЕЗАВИСИМОЙ ДИАГНОСТИКИ
С сентября 2015 г. на базе МЦКО функционирует Центр независимой диагностики. В течение всего года школьники могут получить в нем независимую оценку качества знаний по основным предметам, попробовать свои силы в сдаче экзаменов в условиях, максимально приближенных к ЕГЭ и ОГЭ.
Центр полностью оснащен для проведения государственной итоговой аттестации в 9-х и 11-х классах, включая зону тестирования (можно единовременно протестировать до 450 учащихся), аудитории для работы предметной и конфликтной комиссий, зону сканирования и верификации, кабинеты для работы наблюдателей. Он также оборудован системами видеонаблюдения и комплексной безопасности (контроль доступа и ме-таллодетектор), индивидуальными камерами хранения, компьютерной техникой. Организованы защищенные каналы связи с РЦОИ и онлайн-ви-деотрансляция.
На сегодняшний день центр обеспечивает подготовку, проведение и обработку результатов государственной итоговой аттестации, проводит мониторинг качества образования, осуществляет информационно-аналитическую деятельность, производит подготовку и обучение сотрудников, привлекаемых к проведению ГИА, обеспечивает организационную и техническую поддержку проведения городских олимпиад и диагностических исследований.
РЕГИОНАЛЬНАЯ СИСТЕМА НЕЗАВИСИМЫХ ДИАГНОСТИК ОБРАЗОВАТЕЛЬНЫХ РЕЗУЛЬТАТОВ
Региональная система независимых диагностик МЦКО обеспечивает охват всех ступеней образования (начальная, основная и средняя школа); диагностику как предметных, так и метапредметных результатов обучения; использование измерительных материалов как в соответствии с федеральным компонентом государственного образовательного стандарта, так и в соответствии с ФГОС.
Московская региональная независимая диагностика образовательных достижений базируется на принципах:
• независимости процедур оценки, надежности и достоверности получаемых результатов, которые обеспечиваются строгим выполнением всех требований к процедуре разработки измерительных материалов, соблюдением процедуры проведения диагностических работ с обязательным присутствием независимого наблюдателя;
• единства требований к образовательным результатам (в их обязательной части и части, формируемой регионом), которые обеспечиваются содержанием и структурой региональных измерительных материалов;
• разделения оценочных процедур на проводимые на основе добровольности участия ОО и проводимые на основе обязательного участия.
Среди независимых диагностик города Москвы выделяются обязательные диагностики и диагностики, проводимые на основе добровольного участия ОО.
Обязательные диагностики в 4-х и 7-х классах проводятся с участием всего контингента обучающихся в данной параллели во всех образовательных организациях города. В 2015-2016 учебном году выбор предмета для обязательной диагностики проводился за две недели до ее проведения на еженедельном городском видеоселекторном совещании путем открытой жеребьевки. В этом учебном году в обязательной диагностике 4-х классов приняло участие 81 156 обучающихся, а число человеко-тестирований для двух обязательных диагностик в 7-х классах составило 143 958.
Проведение обязательных диагностик в 4-х и 7-х классах с обязательной фиксацией результатов всех обучающихся в МРКО позволяет получать информацию об учебных достижениях каждого московского школьника
четыре раза за время обучения (диагностика в конце 4-го класса, диагностика в 7-м классе, ОГЭ и ЕГЭ) и вне зависимости от того, принимал ли данный класс участие в каких-либо диагностиках на основе добровольного участия. Всеобщность участия позволяет и более пристально следить за результатами ОО, вовремя выявлять «зоны риска».
Кроме всеобщих проводятся корректирующие обязательные диагностики для отдельных групп ОО. Например, в 9-х и 10-х классах тех образовательных организаций, обучающиеся которых продемонстрировали низкие результаты на основном государственном экзамене по русскому языку и математике.
Независимые диагностики на основе добровольного участия достаточно разнообразны. Как правило, в течение года проводится порядка 30 таких оценочных процедур. Эти диагностики можно разделить по проверяемому содержанию и по характеру проверяемых результатов обучения. По содержанию выделяются два вида диагностик:
• в соответствии с Федеральным компонентом государственного образовательного стандарта 2004 г.;
• в соответствии с Федеральным государственным образовательным стандартом (ФГОС).
По проверяемым результатам обучения выделяются:
• диагностики предметных результатов обучения;
• диагностики метапредметных результатов обучения.
Кроме того, введены еще и тематические диагностики, например, «История государства Российского», «Здоровый стиль жизни». В качестве примера приведем данные об участии образовательных организаций в независимых диагностиках с сентября по апрель в 2015-2016 учебном году (см. таблицу).
Таблица. Данные об участии ОО города Москвы в независимых диагностиках в 2015-2016 учебном году.
Виды диагностик Количество классов Количество человеко-тестирований
Обязательные предметные диагностики 10 354 359 385
Предметные диагностики на основе добровольного участия ОО 5996 211 081
Метапредметные диагностики 7089 154 694
Тематические диагностики 1444 28 896
Измерительные материалы для оценки предметных результатов в соответствии со стандартами 2004 г. базируются на кодификаторах ОГЭ и ЕГЭ. Содержание работы отбирается в зависимости от целей диагностики (стартовая, рубежная или итоговая). При необходимости учитываются особенности разных учебных методических комплектов и разрабатываются разные серии вариантов. Как правило, используются задания базового и повышенного уровней сложности в примерном соотношении - 70% и 30% соответственно. Варианты формируются на основе банков стандартизованных заданий МЦКО, которые созданы по всем предметам.
Для проведения диагностик предметных результатов в соответствии с ФГОС разработаны кодификаторы планируемых результатов, которые включают планируемые результаты и операционализированные умения. Для проведения промежуточной аттестации в 5-7-х и 10-х классах в них выделены те планируемые результаты, которые можно выносить на проверку по итогам обучения в данном классе. Измерительные материалы для оценки предметных результатов в соответствии с ФГОС реализуют деятельностный подход, то есть предметом оценки становятся не содержательные единицы, а планируемые результаты или операционализированные умения. Для оценки тех планируемых результатов, которые ранее не оценивались в рамках предмета, создаются новые модели заданий.
Разработка измерительных материалов для разных групп метапред-метных результатов осуществляется на основе кодификатора метапред-метных результатов, который создан на базе требований ФГОС и утвержден метапредметным советом МЦКО1.
В МЦКО разрабатывается инструментарий для проведения следующих процедур, оценивающих достижение метапредметных результатов обучения:
• изучение готовности учащихся к обучению в основной и средней школе на базе комплексной оценки познавательных универсальных учебных действий (УУД) как важнейшей части метапредметных результатов обучения;
• мониторинг сформированности метапредметных результатов обучения (познавательные УУД) в тех ОО, которые перешли на ФГОС ООО;
1 Метапредметный совет состоит из ведущих специалистов различных предметов, в том числе преподавателей вузов, учителей школ, представителей ассоциаций учителей города Москвы. Совет служит экспертной площадкой для обсуждения инструментария и выработки рекомендаций для дальнейших направлений работы.
• диагностика регулятивных и коммуникативных УУД в проектной деятельности;
• диагностика читательской грамотности;
• диагностика естественнонаучной грамотности;
• межпредметные диагностики, в рамках которых оценивается овладение межпредметными понятиями как часть метапредметных результатов на базе различных образовательных областей;
• диагностика ИКТ-компетентности.
Для всех диагностик за месяц до проведения на сайте МЦКО (http:// www.new.mcko.ru/) публикуются документы, регламентирующие разработку измерительных материалов: спецификация измерительных материалов и демонстрационный вариант, соответствующий спецификации измерительных материалов.
В МЦКО существуют специализированные отделы, занимающиеся:
а) работой с банками заданий и обработкой результатов;
б) подготовкой инструктивно-методических материалов для проведения диагностик, обучением организаторов и наблюдателей и проведением диагностик;
в) экспертизой материалов, работой с разработчиками инструментария и анализом результатов диагностик.
Подготовка инструментария для обязательных диагностик или для мероприятий контролирующего характера осуществляется на основании банка заданий, имеющих надежные статистические характеристики. Если диагностика имеет апробационный характер, то используются преимущественно новые задания, но, как правило, включаются якорные задания.
При подготовке измерительных материалов для любой диагностики используется единый алгоритм, включающий две содержательные экспертизы, тестологическую экспертизу, редакционную и корректорскую правки. Временной промежуток подготовки вариантов для диагностики в зависимости от новизны процедуры и наполнения соответствующего банка занимает от двух месяцев до полугода. Такая технологическая цепочка позволяет получать качественные измерительные материалы для независимой диагностики.
В случае проведения независимых диагностик процедура подготовки инструментария, проведения и анализа результатов включает следующие этапы:
• подготовка инструментария и печать вариантов диагностической работы МЦКО;
• проведение диагностики организатором из ОО в присутствии независимого наблюдателя;
• сбор работ обучающихся и доставка их в МЦКО сразу после проведения диагностики;
• организация сканирования бланков работ обучающихся, централизованной компьютерной проверки заданий с выбором ответа и с кратким ответом;
• создание единой экспертной комиссии и централизованная проверка заданий с развернутым ответом;
• обработка результатов в МЦКО и публикация результатов в личных кабинетах ОО, учеников, межрайонных советов директоров;
• подготовка аналитического отчета по результатам диагностики, публикация его на сайте МЦКО и проведение вебинара по анализу результатов данной процедуры.
Инструментарий для оценки образовательных достижений в соответствии с требованиями ФГОС использует широкий спектр заданий с развернутым ответом. В МЦКО для проверки заданий с развернутым ответом введена специальная система дистанционной проверки. Детские работы сканируются и загружаются в систему. Проверку работ эксперты осуществляют дистанционно, используя систему предварительного заказа работ. В процессе проверки осуществляется техническая поддержка со стороны службы обслуживания данной системы и поддержка содержательная со стороны тьюторов. Не менее 10% работ перепроверяется тьюторами, фиксируются расхождения, и для каждого эксперта вычисляется коэффициент согласованности проверки заданий с развернутым ответом. Эти данные используются в дальнейшем для отбора экспертов к последующим диагностикам.
В Московском регистре качества образования предусмотрено автоматическое формирование аналитико-статистических форм в личных кабинетах ОО. После обработки результатов диагностики и введения данных в МРКО каждая ОО получает целый ряд статистико-аналитических форм, позволяющих сделать качественный анализ результатов на уровне ОО, класса и отдельного обучающегося.
По результатам каждой независимой диагностики на уровне города проводится анализ результатов и готовится аналитический отчет. Аналитические отчеты включают, как правило, следующие элементы: анализ результатов по принятому в предмете и заложенным в структуре измерительных материалов блокам, которые выносятся на оценку; сравнение результатов данной диагностики с результатами предыдущих аналогичных
диагностик или описание динамики формирования тех или иных умений или дидактических единиц на базе сравнения результатов диагностик в разных классах; анализ результатов групп обучающихся с различным уровнем подготовки; выводы и рекомендации.
Аналитический отчет публикуется на сайте МЦКО в течение месяца со дня проведения диагностики. Кроме того, в целях ознакомления педагогических работников с результатами диагностики и оказания помощи в анализе результатов в рамках образовательной организации проводятся вебинары.
Приведенный в статье обзор показывает, что в Москве создана достаточно эффективная региональная система оценки качества образования, которая позволяет использовать результаты национальных экзаменов совместно с результатами большого спектра независимых диагностик для принятия необходимых управленческих решений с целью совершенствования процесса обучения. Ведущие позиции Москвы в области качества образования обеспечиваются в том числе и эффективностью региональной системы оценки качества образования. К основным достижениям московской системы оценки качества образования можно отнести:
• создание системы независимых диагностик, обеспечивающих оценку образовательных результатов на всех ступенях общего образования, по разным образовательным стандартам, по различным блокам образовательных результатов;
• функционирование региональной информационно-аналитической системы МРКО, которая обеспечивает статистической и аналитической информацией о региональных оценочных процедурах различные категории пользователей.
В качестве направлений дальнейшего развития можно указать следующие:
• развитие системы независимых центров тестирования, обеспечивающих весь спектр оценочных процедур с использованием компьютерного тестирования и автоматической обработки информации;
• участие Москвы как отдельного субъекта в международных сравнительных исследованиях качества образования;
• расширение спектра услуг по оценке образовательных достижений по индивидуальным запросам ОО, обучающихся и их родителей;
• расширение спектра диагностик, учитывающих образовательные потребности обучающихся с ограниченными возможностями здоровья и детей-инвалидов (по запросам ОО);
• разработка инструментария для новых форм оценочных процедур (например, компьютерного тестирования с использованием мультимедийных объектов и поиска информации в Интернете, использование устной формы оценивания образовательных результатов и т. п.), а также для оценки тех образовательных результатов, которые ранее не проверялись в рамках региональных диагностик.
