Развитие системы подготовки экспертов региональной предметной комиссии по физике в Санкт-Петербурге Текст научной статьи по специальности «Науки об образовании»



Процедуры ОКО ! 111 i 1111 {1! 1111111 j 1 1 2 3 111111 11! 11! I 11 11111111

Развитие системы подготовки экспертов региональной предметной комиссии по физике в Санкт-Петербурге Лебедева Ирина кандидат педагогических наук, проректор ГБОУ ЮпкРВНа ДПО СПбАППО, председатель региональной пред-Юрьевна метной комиссии еГэ по физике г. Санкт-Петербурга, [email protected] Ключевые слова: региональная предметная комиссия, подготовка экспертов, анализ качества работы экспертов. Появление этой статьи вызвано желанием познакомить заинтересованных коллег с накопленным в Санкт-Петербурге опытом по формированию и обучению экспертов региональных предметных комиссии по проверке заданий ЕГЭ, требующих развёрнутого ответа. Этот опыт мы анализируем на примере региональной предметной комиссии по физике, поскольку многие идеи, предложенные в ходе создания и обучения экспертов именно этой комиссии, были в дальнейшем приняты на уровне всего Санкт-Петербургского сообщества экспертов. Отдельные предложенные нами технологические и смысловые аспекты подготовки экспертов были учтены на федеральном уровне и закреплены в соответствующих нормативных и методических документах. Первая «пилотная» группа экспертов была подготовлена за год до введения экзамена в штатный режим основной формы государственной итоговой аттестации выпускников. В комиссию вошли известные в Санкт-Петербурге и достаточно статусные учителя, мотивированные к работе на экзамене. Обучение этой группы осуществлялось в режиме партнёрства, когда слушатели совместно с преподавателями по существу совместно проектировали образовательную программу, по которой осуществилось затем массовое обучение всех остальных экспертов, вошедших впоследствии в состав предметной комиссии. Именно из числа наиболее ярко проявивших себя слушателей «пилотной» группы были выбраны эксперты-консультанты и эксперты с правом третьей проверки1. Организационная система подготовки экспертов региональной предметной комиссии по физике первоначально включала в себя последовательное обучение сначала на курсах повышения квалификации по технологии подго- 1 Результаты единого государственного экзамена по физике: Аналитический отчёт предметной комиссии. СПб.: ГОУ ДПО ЦПКС СПб «Региональный центр оценки качества образования и информационных технологий», 2009. 87

Организационно-правовой блок Методический блок Зачётный блок Технологический практикум

Рис. 1

товки учащихся к ЕГЭ (объёмом 72 часа), затем обучение по программе подготовки экспертов (объёмом 80 часов) и ежегодные консультации.

В основе подготовки школьных учителей для работы в предметной комиссии лежала курсовая подготовка по дополнительной профессиональной программе «Технологии подготовки учащихся к ЕГЭ по физике» объёмом сначала 72 часа, а начиная с 2011 года — 108 часов. Обучение по данной программе предполагало знакомство слушателей со всеми аспектами проведения ЕГЭ по физике и с наиболее эффективными практиками подготовки учащихся к успешной сдаче экзамена в рамках урока и во внеурочной деятельности.

На начальном этапе формирования предметной комиссии обучение по данной образовательной программе являлось обязательным для школьных учителей, планировавших в дальнейшем работу в качестве экспертов ЕГЭ. Впоследствии, когда ЕГЭ стал системным фактором образования, необходимость данного условия отпала сама собой.

Вторым шагом при подготовке экспертов являлось освоение дополнительной профессиональной программы повышения квалификации «Профессионально-педагогическая компетентность эксперта ЕГЭ по физике» объёмом 80 часов. Структура данной образовательной программы представлена на диаграмме (рис. 1).

Программа рассчитана на слушателя, знакомого с жанром ЕГЭ. Поэтому нормативно-правовой блок незначителен. Методический блок «заточен» на приме-

нение обобщённых критериев к оцениванию решений заданий разных типов по разным разделам школьного курса физики. При этом выделено время на разбор наиболее типичных ситуаций оценивания, в том числе и тех ситуаций, которые традиционно вызывают затруднения экспертов. Если нормативно-правовой блок реализуется в основном в лекционно-информаци-онном режиме, методический блок имеет ярко выраженный практический характер: сочетание групповой и индивидуальной интерактивной работы слушателей с элементами педагогической аналитики и проектной деятельности. Методический блок заканчивается итоговой аттестацией по индивидуальному оцениванию реальных экзаменационных работ.

В последние два года при реализации данной образовательной программы активно применяются дистанционные технологии. Обучение строится по следующей обобщённой схеме:

■ заочная индивидуальная самостоятельная работа со специально подготовленным электронным пакетом «информации для размышления» с целью вычленения той или иной проблемы и предложения путей её решения;

■ очное обсуждение выявленной проблемы и отбор оптимального решения из спектра предложенных вариантов с использованием указанных выше педагогических технологий, обеспечивающих интерактивное и партнёрское взаимодействие всех участников процесса обсуждения.

Успешное прохождение аттестационных испытаний является для экспертов «пропуском» к технологическому практи-

Таблица 1

Тип образовательной организации (ОО) Количество экспертов

человек % от общего количества экспертов

Государственные ОО 102 56,6

Образовательные организации среднего профессионального образования 3 1,7

Образовательные организации среднего образования, находящиеся в подчинении Министерства обороны Российской Федерации 3 1,7

Негосударственные ОО 2 1,1

Вузы 70 38,9

ИТОГО 180 100

куму, т.е. к работе на экзамене. И только при условии, что эксперт успешно справился с технологическим практикумом, то есть подтвердил запланированный образовательной программой уровень компетентности, ему выдаётся удостоверение о курсовой подготовке, дающее право экспертной деятельности в составе предметной комиссии единого государственного экзамена по физике, которое действительно в течение 3 лет.

Таким образом, для работы в предметной комиссии по физике в начальный период было подготовлено 180 экспертов. Это число определялось не только количеством сдающих ЕГЭ по физике в Санкт-Петербурге (7-9 тысяч человек в год). Мы изначально считали, что региональная предметная комиссия должна быть достаточно большая и в её составе должны работать представители образовательных учреждений всех типов: от университета до колледжа. Это создаёт предпосылки, во-первых, для непредвзятого и адекватного восприятия самыми разными слоями профессионального педагогического сообщества физиков предложенной государством формы проведения ГИА, во-вторых, для использования опыта оценивания конкретных экзаменационных работ и выявленных в ходе этого системных проблем при организации подготовки абитуриентов на базе разных образовательных организаций. Важно отметить, что большая численность предметной комиссии помимо прочего также делает техни-

чески невозможными ситуации коррупционного сговора.

В качестве примера в таблице 1 показано представительство в предметной комиссии на первом этапе её формирования преподавателей физики разных типов образовательных организаций Санкт-Петербурга.

В таблице 2 содержатся сведения о квалификационных характеристиках членов предметной комиссии по физике.

Данные таблицы показывают, что 100% членов предметной комиссии имели высшее профессиональное образование, 100% экспертов из числа учителей имели высшую квалификационную категорию, 16% экспертов имели учёное звание. Таким образом, эксперты, вошедшие в состав предметной комиссии по физике, изначально обладали высокой профессиональной квалификацией2.

Тем не менее последующий опыт работы предметной комиссии показал, что наличие высшей категории, учёной степени или учёного звания не являются необходимыми и достаточными условиями успешности экспертной деятельности на экзамене. Необходимость строго придерживаться обобщённых критериев оценивания требует от потенциального эксперта

2 Основные итоги единого государственного экзамена в 2010 году в Санкт-Петербурге. Аналитические отчёты предметных комиссий. СПб.: ГОУ ДПО ЦПКС СПб «Региональный центр оценки качества образования и информационных технологий», 2010. — с. 45-91.

Лебедева И.Ю.

Развитие системы подготовки экспертов региональной предметной комиссии по физике в Санкт-Петербурге

Таблица 2

Квалификационные показатели Количество экспертов

человек % от общего количества экспертов

1. Образование

Высшее профессиональное образование 180 100

2. Квалификационная категория (эксперты от ОО среднего образования)

Вторая - -

Первая - -

Высшая 110 61

3. Учёное звание (эксперты от вузов)

Профессор 4 2

Доцент 25 14

определённой ломки годами складывавшихся собственных представлений и подходов к оцениванию учебных достижений учеников. Это достаточно болезненный процесс, который оказался под силу далеко не всем статусным экспертам. Поэтому в последующие годы наличие высшей квалификационной категории или учёной степени не рассматривалось как обязательное условие для работы в качестве эксперта. Наряду со знанием физики не менее важными для достижения успеха оказались внутренняя мотивированность к данному виду деятельности, мобильность мышления, дисциплинированность.

Пройдя обучение по расширенной 80-часовой программе и получив право заниматься экспертной деятельностью на экзамене, каждый последующий год эксперт предметной комиссии допускался до работы на экзамене только при условии обучения на ежегодных семинарах, которые предусматривали в конце обучения сдачу квалификационного экзамена. Это краткосрочное обязательное ежегодное обучение обусловлено необходимостью обсуждения изменений, произошедших за год в контрольных измерительных материалах и в обобщённых критериях оценивания, анализа итогов работы комиссии в предыдущем году и тех конкретных трудностей оценивания, с которыми пришлось столкнуться на экзамене. Эти занятия призваны восстановить невостребованные в течение года умения, настроиться на продук-

тивную работу с учётом произошедших за год изменений.

С 2015 года жанр семинара трансформировался в курсы повышения квалификации продолжительностью 22 часа, реализуемые частично в дистанционном режиме, технологически и содержательно созвучные базовой дополнительной профессиональной программе «Профе ссионально-педагогиче екая компе -тентность эксперта ЕГЭ по физике». При этом результаты обучения наряду с результатами работы на экзамене обуславливают присвоение эксперту того или иного статуса. Введение процедуры ежегодного повышения квалификации позволило отказаться от повторного прохождения экспертом 80-часовых курсов по истечении срока действия удостоверения (то есть каждые 3 года)3. В настоящий момент 80-часовые курсы проходят только новички и те эксперты, которые по каким-то причинам не участвовали в работе на экзамене более двух лет.

Важную функцию при проверке экзаменационных работ выполняют эксперты-консультанты, назначаемые сейчас из числа ведущих экспертов. Накануне экзамена они совместно с руководителями предметной комиссии анализируют экзаменаци-

3 Результаты единого государственного экзамена по физике: Аналитический отчёт предметной комиссии. СПб.: ГОУ ДПО «Санкт-Петербургский центр оценки качества образования и информационных технологий», 2015.

Рис. 2

онные задания на предмет прогнозирования возможных системных трудностей при применении обобщённых критериев оценивания. В ходе этой работы в дополнение к традиционному методическому пакету эксперта формируется экспресс-памятка для оценивания решений конкретных задач. Она является основой для быстрого проведения инструктажа всех членов предметной комиссии перед началом проверки.

Наличие эксперта-консультанта снимает часть эмоциональной нагрузки на эксперта: он знает, что с трудной ситуацией он не останется один на один. Помимо этого непосредственное общение эксперта с консультантом при обсуждении конкретной ситуации оценивания само по себе является дополнительным ресурсом повышения квалификации и того и другого.

Процедура отбора экспертов-консультантов (ведущие эксперты) и экспертов, имеющих право третьей проверки и право участия в работе конфликтной комиссии (старшие эксперты), первоначально включала в себя дополнительные звенья, изображённые на диаграмме (рис. 2):

В первый год работы предметной комиссии эти категории экспертов были выбраны из числа наиболее проявивших себя выпускников самой статусной «пилотной» группы. В 2010 году 12 экспертов прошли специальное обучение на курсах ФИПИ в дистанционном режиме и только после этого получили статус экспертов-консуль-

тантов. Результаты их практической работы на экзамене подтвердили высокую квалификацию этих специалистов. Они же вошли затем в состав Федеральной предметной комиссии и успешно участвуют в её работе по сей день.

Впоследствии годы подходы к формированию корпуса ведущих и старших и экспертов несколько изменились. Статус старшего и ведущего эксперта действует один год и соответственно присваивается ежегодно на основании анализа индивидуальных результатов работы эксперта на экзамене и результатов ежегодного квалификационного экзамена4.

Рассмотрев организационные аспекты формирования и работы региональной предметной комиссии, хотелось бы остановиться на важнейшем смысловом аспекте, определяющем целевой вектор перечисленных выше образовательных программ, — повышение степени согласованности работы комиссии в целом через совершенствование компетентности отдельных экспертов.

Работа предметной комиссии в целом может быть оценена по ряду позиций, представленных в левой ветви диаграммы (рис. 3).

Мы исходим из того, что улучшение этих показателей возможно только через совершенствование компетенций по оцениванию экзаменационных работ применительно к каждому отдельному эксперту. Это возможно только через отслеживание их индивидуальных достижений с последующей дифференциацией обучения. Эта практика стала системной, когда сотрудники аналитического отдела РЦОКО и ИТ впервые предоставили для анализа пакет материалов, позволяющих оценивать индивидуальные достижения экспертов предметных комиссий.

С этого времени спектр анализируемых показателей индивидуальной работы экспертов ежегодно расширяется. Так, в 2011 году о работе эксперта можно было судить в основном по доле работ, отправ-

4 Результаты единого государственного экзамена по физике: Аналитический отчёт предметной комиссии. СПб.: ГОУ ДПО ЦПКС СПб «Региональный центр оценки качества образования и информационных технологий», 2012.

Результаты работы ПК

Анализ в целом по всей комиссии

Индивидуальный анализ по экспертам

Дисциплинарные показатели, профессиональная этика

' Анализ первичных данных по третьей проверке руководителями ПК

Результаты системной аналитической работы специалистов РЦОКОиИТ V У

Индекс согласованности работы РПК

Рис. 3

ленных по вине этого эксперта на третью проверку. В 2012 году дополнительно прослеживались тенденции завышения-занижения баллов как в целом по типам заданий, так и индивидуально по экспертам. С 2013 года анализируется абсолютная величина несогласий третьего эксперта с основным на разное количество баллов5. Постоянно ведётся статистика по допущенным экспертами техническим ошибкам.

В качестве примера можно привести простейшие, но достаточно информативные варианты статистической обработки первичных данных по работе экспертов (см. таблицы 3 и 4).

В ходе традиционного весеннего краткосрочного обучения каждый эксперт имеет возможность ознакомиться с анализом результатов своей деятельности и получить индивидуальную консультацию на предмет возможной коррекции подхо-

5 Результаты единого государственного экзамена по физике: Аналитический отчёт предметной комиссии. СПб.: ГОУ ДПО ЦПКС СПб «Региональный центр оценки качества образования и информационных технологий», 2013.

дов к оцениванию. Для экспертов, показавших наихудшие результаты при оценивании экзаменационных работ или допустивших чрезмерное количество ошибок при выполнении квалификационного экзамена, предлагается дополнительный практикум с дополнительным зачётом. Им устанавливается своеобразный «испытательный срок» на проверку текущего года. Только тогда, когда руководители предметной комиссии убеждаются, что неудовлетворительные результаты работы эксперта не являются случайными и устранимыми (например, обусловленными плохим самочувствием или непониманием особенностей применения конкретного критерия), принимается решение об исключении данного эксперта из состава комиссии.

Нам представляется, что писанная выше практика даёт свой результат, проявляющийся в первую очередь в снижении процента работ, требующих третьей проверке и уменьшении кол-ва удовлетворённых апелляций по второй части экзаменационной работы.

На сегодняшний день региональная предметная комиссия по физике в Санкт-

Таблица 3

Форма для анализа индивидуальной результативности работы экспертов в текущем году

ФИО

эксперта

н о ю

03 &

о я

<D &

<D Я

О &

к

о

<D о

m

5? &

я

о &

к

н ^

О 03 Ю И

£ 3 §

СЗ

н &

<D

к

о W

СП

I

>у Я

5? &

я

о &

к

н ^

О 03

ю щ

Й * n S

о я

03

н &

<D К о

м

СП

I

§

М ^ W

<D О

S ^

я я

оз Я

Н О

о С

<D <D

Е Э

Я ю CD Я & И

с: о

„ &

^ &

н я

& о

м о ю Я

а

о н

я

(D

н о ю

Я Ю & °

е ё

5j о,

я п

я ^

В о

Я Н

Форма для анализа индивидуальной результативности работы экспертов

в течение ряда лет

Таблица 4

№

ФИО

эксперта

2014

о

03

о U £ ю

(1ч СЧ

Я

(D

Ю

Я W ю я

а

о

<D

я м

о

(D

я я

(D

н

м о ю я

а

о

^

о я н о

<D

я

я

§

м

о о

а

ю

о

<D

а

ю о н о

А

м о ю я

а

о

^

н

я

<D

я

о &

к

я я я

<D &

<D

я

о &

я

03

я н о

<D

S о

* ю

о g

^ а

2015

ю

2

я

к S я о Я Й

I &

Э я

1 * сЗ

Рч О

ю

3

я

я

(D

£ о

н &

<D

Я

§ £

сЗ

Рч О

Я W ю я

а

о

<D Я

м

о

(D

я я

(D

н

м о ю я

а

о

^

о я н о

(D

я

я

§

W

о о

а

ю

о

(D

а

ю о н о

А

м о ю я

а

о

^

н

я

(D

я

о &

к

я я я

<D &

<D

я

о &

я

03

я н о

<D

S о

* ю

о g

&ч а

Петербурге насчитывает 140 человек. Право работы на экзамене сохранили только мотивированные к работе специалисты, подтвердившие свой квалификационный уровень. Примерно раз в 3 года мы обучаем группу новичков или тех, кто ранее работал, но потерял право проверки. Таким образом происходит ротация основных

экспертов, которая дополняется ежегодной ротацией «статусных» старших и ведущих экспертов в связи с какими-либо флуктуациями их индивидуальных результатов. Таким образом, предметная комиссия представляет из себя «живой», постоянно обновляющийся и развивающий себя организм.