1
2
3
Процедуры ОКО
Трёхуровневая система согласования подходов
к оцениванию развёрнутых ответов участников ЕГЭ
Орехова Светлана Васильевна
ФГБНУ «ФИПИ», начальник отдела координации инновационных разработок, [email protected]
Ключевые слова: согласование подходов к оцениванию, процедуры согласования, анализ качества проверки.
Целью проведения массовых процедур оценки качества образования, как правило, является не только сама оценка качества образования как таковая, но и использование полученных результатов в практических целях: оценка эффективности обучения, корректировка самого процесса дальнейшего обучения, учёт полученных результатов для отбора обучающихся при переходе на следующую ступень обучения и прочие.
Самой массовой процедурой оценки качества образования в России является процедура проведения государственной итоговой аттестации по образовательным программам среднего общего образования (далее — ГИА). ГИА — процедура не только самая массовая, но и самая значимая для всех участвующих в ней субъектов образования: выпускников, образовательных организаций, органов управления образованием различного уровня. С одной стороны, от результатов ГИА зависит возможность и качество дальнейшего обучения для выпускников. С другой стороны, результаты столь массовой процедуры используются для диагностики образовательного процесса, принятия управленческих решений в сфере образования от рядовой школы до федеральных органов власти.
Очевидно, что для корректного решения всех поставленных задач, которые решаются путём проведения ГИА, необходимо максимальное обеспечение единых условий проведения и оценки результатов этой самой массовой процедуры, в которую включены все субъекты Российской Федерации.
В 2016 году ГИА в форме единого государственного экзамена (далее — ЕГЭ) исполняется 15 лет. За это время удалось решить огромное количество вопросов организационного и технологического характера:
■ введены и реализуются жёсткие требования к самой процедуре проведения экзаменов, направленные на обеспечение равных условий проведения экзамена для всех участников;
■ с каждым годом совершенствуются контрольные измерительные
материалы;
Процедуры ОКО
■ разработана и используется автоматизированная система оценивания кратких ответов, обеспечивающая автоматизированную проверку ответов на задания с ответом в краткой форме без участия человека.
Однако вопросы обеспечения единых подходов к экспертному оцениванию развёрнутых ответов на всей территории России пока не решены до конца. Несомненно, существует система оценивания выполнения экзаменационных заданий, которая в обязательном порядке содержит критерии оценивания развёрнутых ответов, но этого недостаточно, особенно для учебных предметов гуманитарного цикла. До сих пор имеют место и ситуации существенного расхождения в оценивании одних и тех же работ разными экспертами, и ситуации серьёзного изменения баллов за развёрнутые ответы при рассмотрении апелляций, и ситуации пересмотра результатов оценивания после проведения перепроверок работ на региональных и федеральном уровнях. Конечно, тому есть объективные причины, ведь развёрнутые ответы должны быть проверены экспертом-человеком, а значит, какой бы совершенной ни была система оценивания развёрнутых ответов участников ГИА, всегда будет иметь место особое мнение эксперта, не всегда согласного с установленной системой оценивания, и пресловутый человеческий фактор.
Тем не менее решение задачи внедрения единых подходов к оцениванию экзаменационных развёрнутых ответов не кажется бесперспективным — даже в такой огромной стране, как Россия, её можно решить. Экспертному сообществу необходимо в первую очередь договориться.
Три уровня системы согласования единых подходов к оцениванию
Для обеспечения внедрения единых подходов к оцениванию развёрнутых ответов, которые минимизируют разногласия экспертов при оценивании, с 2014 года по всех территории России введена следующая система, которая реализуется в три этапа, — это согласование подходов к оцениванию на трёх уровнях.
Первый уровень — федеральный, предполагающий согласование подходов к оцениванию на федеральном уровне. Председатели1 каждой региональной предметной комиссии на очной встрече обсуждают проблематику оценивания в прошлом сезоне проведения ГИА, особенности заданий будущего года2 и связанные с ними нюансы оценивания, вырабатывают единые решения, подходы для использования в будущем сезоне проведения ГИА.
Второй уровень — согласование подходов к оцениванию на региональном уровне в каждом субъекте Российской Федерации. Предполагается, что представители регионов (председатели предметных комиссий), участвующие в согласовании подходов на федеральном уровне, проводят обучения рядовых экспертов региональных предметных комиссий, внедряя те подходы к оцениванию, которые были выработаны на федеральном уровне. Такое внедрение не может быть формальностью, лекцией для прослушивания, проводится обучение экспертов на конкретных примерах экзаменационных работ, обязательно вводятся практические занятия по оцениванию. По результатам обучения эксперты проходят квалификационное испытание, осуществляя проверку ряда характерных работ, на котором демонстрируют понимание и принятие подходов к оцениванию. В противном же случае, когда эксперт не применяет выработанные согласованные подходы, он не включается в состав предметной комиссии, не участвует в проверке экзаменационных работ.
Третий уровень — оперативное согласование. Предполагается, что предметная комиссия проводит оперативное согласование после проведения экзамена, но ещё до начала проверки (в день экзамена или на следующий день), когда председатель комиссии может оперировать «бое-
1 Здесь необходимо отметить, что немаловажным является выполнение требования о наличии
у председателя комиссии опыта работы в предметных комиссиях не менее трёх лет.
2 На основании опубликованных демонстрационных вариантов и спецификаций контрольных измерительных материалов будущего сезона проведения ГИА.
выми» критериями оценивания развёрнутых ответов на конкретные задания, которые были предложены для выполнения участникам ЕГЭ именно в этом регионе. При этом уточняются и конкретизируются согласованные подходы к оцениванию применительно к заданиям, которые выполнялись участниками экзамена.
К оперативному согласованию можно отнести и практику консультирования, активно внедряемую в работу предметных комиссий. Во время проверки экзаменационных работ наиболее подготовленные в отношении применения принципов согласованности эксперты при этом консультируют рядовых экспертов при возникновении у них каких-либо вопросов или затруднений при определении оценки того или иного развёрнутого ответа. При этом необходимо отличать практику консультирования от коллективного оценивания работ, что недопустимо. Также представляется целесообразным мониторинг председателем предметной комиссии оперативной статистики хода проверки с целью дополнительной корректировки работы экспертов со стороны председателя комиссии и экспертов-консультантов.
Система согласования подходов к оцениванию базируется на следующих принципах:
■ Диалог в профессиональном сообществе с участием представителей субъектов Российской Федерации (как правило — председателей региональных предметных комиссий или их заместителей) и выработка единых договорённостей о значимости или незначимости ряда аспектов при оценивании экзаменационных работ. Такой диалог должен состояться заблаговременно до проведения и проверки результатов ГИА, поскольку необходимо время на внедрение выработанных подходов и отбора экспертов для включения в состав предметной комиссии.
■ Строгая иерархическая структура предметных комиссий.
■ Следование уже выработанным и согласованным подходам к оцениванию во время «боевой» проверки развёрнутых ответов вне зависимости от личного мнения эксперта, его положения, статуса вне процедуры проведения ГИА.
■ Проведение тщательного анализа уже прошедшего этапа проверки развёрнутых ответов с целью совершенствования выработанных согласованных подходов к оцениванию, которые будут использованы в следующем году. При этом анализируются и соблюдение требований к организации работы предметных комиссий, и сам процесс проверки, и случаи изменения результатов оценивания после основной проверки: третьи проверки, апелляции и перепроверки регионального и федерального уровня.
Иерархическая структура обеспечивает выполнение экспертами правил проверки, диктуемых председателем комиссии и экспертами-консультантами. Такая структура определяется посредством присвоения статусов каждому эксперту, включаемому в её состав. Статус эксперта (основной эксперт, старший эксперт, ведущий эксперт) определяется по результатам прохождения каждым экспертом квалификационных испытаний и определяет допуск эксперта к тем или иным функциям в рамках работы предметной комиссии3. Например, основной эксперт не может выступать в качестве эксперта-консультанта или эксперта-предметника при рассмотрении апелляции. При этом важно понимать и учитывать, что установление иерархии в предметной комиссии не может зависеть от статусов конкретных экспертов в повседневной жизни, а должно быть основано на умении применения экспертами и критериального оценивания, и согласованных подходов к оцениванию работ ГИА. А это уже отдельное умение, которым необходимо овладеть. И, как и любым другим умением, не каждому, даже заслуженному в своей профессиональной области специалисту, удаётся овладеть таким умением. Равно как и обратное — подобное умение может оказаться вполне доступным и рядовому преподавателю.
3 Методические рекомендации по формированию и организации работы предметных комиссий субъекта Российской Федерации при проведении государственной итоговой аттестации по образовательным программам среднего общего образования (письмо Рособрнадзора от 25.12.15 № 01-311/10-01).
Процедуры ОКО
Таблица 1
№ позиции оценивания 1 2 3 4 5 6 7 8 9 10 11 12 Сумма баллов
Эксперт 1 0 1 0 0 1 1 1 0 0 0 1 1 6
Эксперт 2 2 3 1 1 3 1 2 1 2 1 0 0 17
Таблица 2
№ позиции оценивания 1 2 3 4 5 6 7 8 9 10 11 12 Сумма баллов
Эксперт 1 0 1 0 0 3 3 2 0 0 0 1 1 11
Эксперт 2 2 0 1 1 1 1 1 1 2 1 0 0 11
Эксперт 3 0 1 0 0 3 2 2 0 0 0 1 2 11
ном случае разница в оценивании раооты Анализ результатов работы двумя экспертами очевидна. предметных комиссий Но, исходя из суммарных баллов, не кажется очевидным рассогласование Невозможно переоценить результа- в ситуации, представленной в Таблице 2. ты анализа работы предметных комис- Однако при рассмотрении покритериаль-сий. Качественно проведённый анализ ных оценок всё становится более понят-и полученные выводы позволят не только ным — ни по одной позиции оценивания оптимизировать процедуры проведения, эксперты не сошлись во мнении, а одина-обработки и проверки результатов ГИА, ковые суммы баллов уже не кажутся след-но и повлиять на образовательный про- ствием качественной работы экспертов. цесс, поскольку будет затрагивать и во- 2. Анализ проведённого оценивания просы содержания заданий, и статистику работ, направленных на третью проверку выполняемое™ заданий, а значит, и выяв- после выявления существенной разницы ление слабых мест в достижении образо- в оценивании первых двух проверок. вательных результатов участниками экза- Рассмотрение результатов работы экс-менов. пертов на третьих проверках даёт возмож-В настоящее время такой анализ про- ность как оценить работу каждого кон-водится в отношении ряда направлений кретного эксперта, так и сделать опреде-и результатов деятельности предметных лённые выводы о позициях оценивания, комиссий. Остановимся на некоторых вызвавшие наибольшие затруднения у экс-из них, касающихся непосредственно ка- пертов при выставлении баллов, а так-чества проверки развёрнутых ответов. же вызвавшие наибольшие затруднения 1. Рассогласованность между экспер- у участников ГИА при выполнении зада-тами, проверяющими одни и те же работы. ний. Практика показывает, что результаты 3. Анализ результатов рассмотрения оценивания экспертов могут существенно апелляций. различаться даже при небольшой разнице До настоящего момента имели место между суммами первичных баллов, рассо- случаи, когда после того как работа участ-гласование может фигурировать по боль- ника ГИА была проверена три раза — ре-шей части позиций (критериев) оценива- зультаты первых двух проверок суще-ния. В этом случае совпадение или неболь- ственно различались, и работа была на-шая разница между итоговыми суммарны- правлена на третью проверку, по результа-ми баллами, выставленными экспертами, там рассмотрения апелляции о несогласии является не более чем случайностью. с выставленными баллами, работа получа-Пример рассогласования между экс- ла четвёртый набор оценок. При выявле-пертами представлен в таблице 1. В дан- нии массовости таких случаев невольно
возникает ряд вопросов в отношении экспертов, которые проверяли работу ранее: «А была ли, собственно, проверка этих работ или работал генератор случайных чисел?», «Почему изменён балл на апелляции, ведь работа проверена уже трижды?». Ответы на такие вопросы могут описывать и вполне объективные ситуации, но факты возникновения таких вопросов и разбирательств стимулируют сделать работу предметных комиссий более слаженной и согласованной, исключить применение субъективизма.
***
Трёхуровневая система согласования подходов к оцениванию развёрнутых ответов на экзаменационные задания ГИА внедряется уже несколько лет. После проведения апробации системы в практике работы
предметных комиссий более чем из сорока регионов России в 2014-2015 годах требования элементов этой системы были заложены в действующую нормативно-методическую базу, регламентирующую процессы организации проведения ГИА. Это уже дало свой результат — количество существенных рассогласований при оценивании развёрнутых ответов каждый год заметно сокращается, что подтверждается статистикой. Баллы за развёрнутые ответы становятся более стабильными при выполнении в субъекте РФ требований системы. Хотя, конечно, с учётом огромной территории России, разницы часовых поясов, разнообразия используемых методик обучения экспертов в регионах, а также часто бытовых и финансовых проблем в структурах образования основные этапы внедрения описанной системы ещё предстоит осуществить.