АНАЛИЗ РАБОТЫ РЕГИОНАЛЬНОЙ ПРЕДМЕТНОЙ КОМИССИИ ПО ХИМИИ Текст научной статьи по специальности «Прочие медицинские науки»

1

2

3

Региональные системы ОКО

III III I II1 I I ¡1 I I I I I I

Анализ работы региональной предметной комиссии по химии

Ключевые слова: предметная комиссия, эксперт, анализ, согласованность экспертной проверки, третья проверка, рейтинг

«Эксперт» в переводе с латинского языка означает «опытный». Эксперт — это специалист, обладающий глубокими познаниями в какой-то области науки и практическим опытом их применения. Эксперт обладает высоким уровнем компетенции и многолетней практикой в своей области, он должен иметь стремление к постоянному саморазвитию в области своего предмета, желание постоянно узнавать новое и получать от этого удовольствие. У настоящего эксперта должна быть прочная мотивация к обучению. Эксперт — это профессионал высочайшего уровня. И вот из таких профессионалов каждый регион ежегодно формирует предметные комиссии, в которые приглашают опытных школьных учителей и ведущих преподавателей профильных факультетов вузов.

Предметная комиссия должна работать чётко, слаженно и объективно, не упуская ни малейшей детали. Для обеспечения ее работы есть чётко составленные критерии оценивания, подробные дополнительные указания к оцениванию (памятка для эксперта), кроме обязательных ежегодных курсов для экспертов дополнительно перед каждой проверкой проводятся установочные семинары, на которых анализируются задания и вырабатываются общие подходы к оцениванию экзаменационных работ. Всё это необходимо, но недостаточно. Для создания действительно слаженной команды крайне необходим детальный анализ проделанной экспертами работы.

В должности председателя предметной комиссии я работаю первый год. Провёл обучающий семинар перед квалификационными испытаниями экспертов, провели квалификационные испытания. После прохождения испытаний обсудил с экспертами причины существенных расхождений в их оценках. Был и установочный семинар перед началом проверки. Всё было разобрано до мельчайших деталей. Новичков в команде нет. Все эксперты имеют многолетнюю практику оценивания экзаменационных работ. С моей стороны сделано было всё, чтобы не переживать за высокий процент третьих проверок. Но процент третьих проверок оказался на уровне прошлого года. Значит, надо разбираться в причинах такой рассогласованности в работе экспертов.

Был проведен анализ результатов работы экспертов на основе статистической формы РЦОИ «Оценки работ с третьей проверкой», которая была получена сразу после прохождения основного этапа ЕГЭ 2019 по химии.

Сначала форма РЦОИ была преобразована, напротив каждой фамилии эксперта указал фамилию эксперта-оппонента и номера заданий, по которым были

Громов

Сергей Николаевич

председатель Ассоциации учителей и преподавателей химии Тюменской области, учитель химии МАОУ лицей № 93 г. Тюмени, председатель предметной комиссии Тюменской области по проверке заданий с развёрнутым ответов ЕГЭ по химии, [email protected]

существенные расхождения. Например:

Эксперт 10

Эксперт 9: №30(2/0/0); №35(3/0/0); №30(2/х/х); №35(2/0/0); №35(2/0/1); №35(1/3/1); №35(2/0/0); №30(2/х/х); №33(2/4/2); №32(х/0/х); №32(х/3/х); №30(1/х/х). Эксперт 4: №33(5/3/3); №35(0/3/3); №34(1/3/3); №33(2/0/0) )

Номерами обозначены проверяемые задания КИМ ЕГЭ. Первая оценка в скобках — это оценка эксперта 10, вторая оценка — эксперта оппонента, третья оценка — результат третьей проверки. Подчёркнутые номера — это номера, в которых оценка эксперта 10 не совпала с результатом третьей проверки (т.е. результат третьей проверки совпал с результатом эксперта-оппонента). Эти номера в целом определяют уровень некомпетентности эксперта 10. Курсивом обозначены ситуации проверки, попавшие на третью проверку по невнимательности эксперта 10, в том числе и из-за невнимательного переноса оценок в протокол (задание в наличии, а эксперт ставит Х, или наоборот: задания нет, а оценка за это задание присутствует).

Для наглядности результаты анализа были представлены в виде гистограмм. На рисунке 1 представлена гистограмма, отражающая долю участия эксперта в возникно-

12 10 8 6 4 2 О

вении третьих проверок. Составлена с учётом двух факторов: рассогласованности эксперта с командой, то есть некомпетентности эксперта и его невнимательности (в том числе и из-за невнимательного переноса оценок в протокол). На оси ординат гистограммы отмечено общее число третьих проверок: и с учётом рассогласованности экспертов, и с учётом их невнимательности.

На этой гистограмме чётко прослеживается «вклад» каждого эксперта в формирование третьих проверок. И именно эта гистограмма может служить основой для формирования рейтинга экспертов по результатам третьей проверки.

На рисунке 2 представлена гистограмма, отражающая уровень рассогласованности в работе экспертов (без учета ошибок, допущенных вследствие невнимательности). На оси ординат отмечено число третьих проверок, вызванных рассогласованностью

1

—1 1 1 1 1 1 1 1

Л Л Л* А «Ч»

S j Z5 Z5 Z5 S Z5 s s /

<Г # # v # -Г v -Г ^

Рис. 1

1 1 , ■, ^^ 1 1

Ж ж J

v v v

<V <Ъ b <Ъ fc Л °t

yyvvvvv

Рис. 2

№

Таблица 1

№ эксперта % от общего числа третьих проверок Из них % от общего числа третьих проверок из-за некомпетентности экспертов Из них% от общего числа третьих проверок из-за невнимательности экспертов

1 0 0 0

2 2,8 2,8 0

3 5,6 5,6 0

4 5,6 5,6 0

5 5,6 0 5,6

6 8,3 2,7 5,6

7 11,1 8,3 2,8

8 11,1 2,8 8,3

9 19,4 13,8 5,6

10 30,5 22,2 8,3

Итого: 100% 63,8% 36,2%

в работе эксперта, то есть некомпетентностью эксперта.

На рисунке 3 изображена гистограмма, отражающая уровень невнимательности эксперта: третьи проверки из-за невнимательности экспертов, в том числе и из-за невнимательного переноса оценок в протокол. На оси ординат отмечено число третьих проверок, вызванных невнимательностью эксперта.

Те же данные можно представить в виде таблицы, которая показывает вклад каждого эксперта (в процентном отношении) в общее число третьих проверок, а также его вклад с учетом характера ошибки.

Данные показывают, что 36,2% от общего числа третьих проверок происходило из-за невнимательности экспертов, в том числе и из-за невнимательного переноса оценок в протокол.

3.5 3 2.5 2 1.5 1 0.5 О

Следующий этап анализа базируется на сравнении расхождений по каждой из линий заданий КИМ ЕГЭ по химии. На рисунке 4 изображена гистограмма, отражающая уровень рассогласованности экспертов по номерам заданий второй части ЕГЭ по химии.

Эта гистограмма даёт чёткое представление об эффективности работы экспертов-консультантов. В моей комиссии эксперты-консультанты были распределены по заданиям. За задания № 33 и 35 отвечал эксперт 9. Как показывает гистограмма, именно эти задания вызвали наибольшую рассогласованность в работе экспертов (60% от общего числа третьих проверок). На базе этих данных можно сделать вывод о необходимости замены на следующий год консультанта по этим заданиям.

¿Г ¿Г ,<Г ,<Г ¿Ф* # -Г # -Г # # # -Г # ^

Рис. 3

12 10

I

<Ъ°

ф <£>

jf У J У

✓ # ,/ У У У

Рис. 4

I

<ъ°

у

у

f f f f jr

J?

J?

4>

Рис. 5. Рассогласованность эксперта № 10 по каждому из проверяемых заданий

Следующим шагом является анализ рассогласованности каждого эксперта с учетом номеров заданий второй части ЕГЭ по химии. Так эксперты № 1 и 5 имеют рассогласованность, равную нулю. При этом эксперт № 1 выполнил свою работу безупречно, а эксперт № 5 при нулевой рассогласованности допустил 5,6% третьих проверок по невнимательности. Приведем пример гистограммы, отражающей рассогласованность эксперта по номерам заданий второй части ЕГЭ для одного из экспертов (рис. 5).

С результатами проделанного анализа были ознакомлены все эксперты. При этом указаны были только номера экспертов, но любой из экспертов имел возможность запросить свой номер для идентификации.

На основании проведенного анализа был составлен рейтинг экспертов предметной комиссии, а также:

■ выявлены эксперты, допускающие большой процент выхода работ на третью проверку (эксперт №10 и эксперт №9, с которыми запланировано проведение допол-

нительных семинаров). Возможно, с этими экспертами придётся расстаться;

■ выявлены наиболее невнимательные эксперты: в этом списке также оказались эксперт № 10 и эксперт № 9;

■ выявлен неэффективный эксперт-консультант (эксперт № 9). Его заменит другой эксперт-консультант, эффективность работы которого также будет под контролем.

В следующем году заместителем председателя предметной комиссии планируется назначить эксперта, занявшего в рейтинге экспертов первое место и показавшего образец безупречной работы по всем направлениям. Экспертам, показавшим низкий в сравнении с остальными темп проверки экзаменационных работ, а также экспертам с низким рейтингом планируется распределять меньшее количество работ при работе комиссии в следующем цикле. С учетом полученных данных будет продолжена работа с кадровым составом предметной комиссии: ротация, пополнение, обучение.