CC BY
9
измерения
О ПРЕДМЕТНОЙ ПОДГОТОВКЕ ЭКСПЕРТОВ МУНИЦИПАЛЬНЫХ ПРЕДМЕТНЫХ КОМИССИЙ ГИА ПО ФИЗИКЕ В КРАСНОЯРСКОМ КРАЕ
Ирина Лаврентьева,
доцент Красноярского краевого института повышения квалификации [email protected] Оксана Богданова,
ст. преподаватель Красноярского краевого института повышения квалификации [email protected]
В статье описан портрет эксперта муниципальной предметной комиссии государственной итоговой аттестации по физике. Портрет составлен по результатам обучения учителей физики на дистанционном курсе повышения квалификации «Подготовка экспертов предметных комиссий ГИА по физике». Авторы курса — Лаврентьева И.В. и Богданова О.Н.
Ключевые слова: государственная итоговая аттестация, выполнение заданий ГИА по физике, критерии оценивания, эксперт муниципальной предметной комиссии, дистанционное обучение
Введение
Ежегодно для проверки экзаменационных работ по физике государственной итоговой аттестации (ГИА) выпускников основной школы формируются муниципальные предметные комиссии. В состав комиссий в качестве экспертов направляются лучшие педагоги-предметники.
В функции экспертов муниципальных комиссий входит проверка заданий с выбором ответа и с кратким ответом по шаблону, а также проверка и оценивание заданий с развёрнутым ответом по критериям. Задания с развёрнутым ответом повышенного и высокого уровня сложности содержатся в части 3 экзаменационной работы и представляют собой одно практическое задание с использованием лабораторного оборудования, одну ка-
чественную и две расчетные задачи.
От специалиста, участвующего в проверке работ, требуется высокая предметная компетентность и умение проверять выполнение заданий экзаменационной работы в соответствии с критериями.
Проверку экзаменационных работ (заданий с развёрнутыми ответами) осуществляют специалисты-предметники, прошедшие специальную подготовку. Для подготовки экспертов муниципальных предметных комиссий в 2013 году по заказу Министерства образования и науки Красноярского края при координации этой работы Центром оценки качества образования (ЦОКО) в Красноярском краевом институте повышения квалификации и профессиональной переподготовки работников образования (ККИПК) было организовано специальное обучение групп председателей и экспертов в дистанционной форме.
Первоначально количество заявок на обучение составило 348 потенциальных экспертов и председателей предметных комиссий. Отличие в обучении экспертов и председателей муниципальных предметных комиссий ГИА по физике состоит в наличии очной части обучения у последних. Дополнительно на очных занятиях в группах председателей муниципальных
предметных комиссий рассматривались возможные нестандартные ситуации, возникающие при проверке работ, и способы их разрешения. Дистанционное обучение для экспертов и председателей было одинаковым.
К дистанционной форме подготовки экспертов учителя физики оказались не готовы. Несмотря на то, что были определены сроки обучения и сформированы списки групп, активность записи педагогов на курс была низкой. Только после подключения «административного ресурса», рассылки писем в муниципалитеты со списками педагогов, не приступивших к обучению, произошло повышение активности. Всего записались на курс 330 педагогов, но 35 из них не выполнили ни одного задания курса.
Исследование мотивов обучения
При этом на вопрос о мотивах обучения на курсе «Что побудило Вас принять участие в работе данного дистанционного курса?» только 4,9% участников курса указали, что приняли участие в работе данных курсов по настоянию администрации. Менее 1% участников курса указали, что им нужен сертификат эксперта, так как он учитывается при назначении сти-
измерения
мулирующих выплат по новой системе оплаты труда (НСОТ). Почти половина участников опроса отметили, что приступили к обучению на дистанционном курсе по подготовке экспертов ГИА по физике, так как считают, что любое обучение полезно для профессионального развития.
Еще около 40% опрошенных полагают, что для подготовки учащихся к ГИА по физике им необходимо знать критерии оценивания заданий с развёрнутым ответом. То есть почти у 90% опрошенных главным мотивом обучения становится «вторичная выгода»: собственное профессиональное развитие и возможность лучше готовить детей к ГИА, если известно, что именно подлежит проверке. И только 6,3% участников дистанционного обучения выразили желание участвовать в работе муниципальной предметной комиссии по проверке ГИА по физике.
Работа учителя физики по проверке выполнения экзаменационных работ ГИА, в отличие от проверки и оценивания выполнения заданий с развёрнутым ответом ЕГЭ, не оплачивается и даже не во всех территориях стимулируется по НСОТ, хотя она не менее ответственная и трудоемкая. Какое качество проверки экзаменационных работ можно прогнозировать в случае, если
только каждый шестнадцатый имеет собственную мотивацию именно к проверке и оцениванию экзаменационных заданий, то есть к работе эксперта?
Содержание курса
Для выполнения программы дистанционного курса «Подготовка экспертов предметных комиссий ГИА по физике» каждому участнику необходимо было в течение двух недель выполнить всего 9 заданий, оцениваемых по 100-балльной шкале. Первые три задания состояли из 10 вопросов с одним или несколькими вариантами ответов. В дистанционной среде обучения Moodle такой элемент курса называется «Тест», который имеет соответствующее обозначение .
К каждому заданию был добавлен ресурс — текстовый документ, содержащий соответствующие схемы и критерии оценивания заданий разных типов, включающий все ответы на вопросы теста (рис. 1). Данными заданиями проверялось понимание схем и критериев оценивания заданий различного типа, готовность участников курса к оцениванию по критериям.
Участникам было разрешено проходить тест несколько раз, при этом каждая попытка
Задание 1. Проанализируйте схему оценивания экспериментальных заданий, изучите критерии оценивания и выполните тест. Обратите внимание на случаи выставления О баллов, а также в каких случаях прямые измерения считаются выполненными неверно.
^ Схема оценивания экспериментальных заданий й Оценивание экспериментальных заданий
Задание 2. Проанализируйте спецификацию и схему оценивании расчётных задач, выполните тест.
^ Схема оценивания расчетных заданий [/[Оценивание расчетных задач
Задание 3. Проанализируйте схему оценивания качественных заданий и выполните тест. Обратите внимание на различия в оценивании разных типов качественных задач
^ Схема оценивания качественных задач й Оценивание качественных задач
Рис. 1. Пример заданий 1-3 на определение готовности оценивать выполнение заданий различного типа по критериям
автоматически оценивалась. Установки теста были выбраны таким образом, что участники видели баллы за каждую попытку, с учётом штрафов, если было реализовано несколько попыток ответить на задание теста.
Процесс тестирования
Тесты были запущены в обучающем режиме: это означает, что участники могли несколько раз отвечать на каждый вопрос. В этом случае назначается штраф, который вычитается из итогового балла вопроса за каждый неверный ответ на не-
го. Величина штрафа указывается индивидуально для каждого вопроса во время его создания или редактирования авторами курса.
Время прохождения теста не ограничено, как и количество попыток. Окончательной оценкой считается лучшая оценка из всех попыток. Каждый тестируемый непосредственно после попытки ответа на вопрос может увидеть свои ответы, правильный ответ, комментарий к ответам и балл. После прохождения теста полностью появляется комментарий к тесту. Содержание комментария зависит от набранных баллов (рис. 2).
Hn
измерения
Комментарий к тесту®
Граница оценки 100%
Комментарий Вы можете справиться с оцениванием эксперим
Граница оценки 90%
Комментарий Возможно Вы будете допускать ошибки в оцени
Граница оценки 75%
Комментарий Вы будете допускать ошибки в оценивании эксг
Граница оценки 50%
Комментарий Вы не готов^1 к оцениванию экспериментальны»
Рис. 2. Границы оценки и комментарий к тесту
Участник курса видит толь- вого выполнения теста любого
ко свои результаты, преподава- участника, но и обзор результа-
тель имеет возможность уви- та каждой попытки. Пример та-
деть результат не только итого- кого обзора показан на рис. 3.
оценивание экспериментальных заданий Обзор попытки 1
-i
Тест начат Понедельник 8 Апрель 2013, 15:03
Завершен Понедельник 8 Апрель 2013, 15:30
Прошло времени 21 мин 35 сек
Баллов 9.6/10
Оценка 96 из максимума 100 (96%) Комментарий
Вы можете справиться с оцениванием экспериментальных заданий
1 е$ Можно ли заменить реальное оборудование на компьютерный эксперимент? Баллов:
1/1 Выберите один ответ.
® Нет /
Да *
Да, если нет реального оборудования х
Можно использовать и реальный и компьютерный эксперимент х
Оставить комментарий или переопределить оценку Верно
Баллов за ответ: 1/1.
история ответов:
Верно
№ Действие Ответ Время Набрано баллов Оценка
1 Оценить Нет 8/04/13 в 15:09:19 1 1
2 Закрыть н оценить Нет 8/04/13 в 15:30:07 1 1
Рис. 3. Обзор попытки выполнения теста «Оценивание экспериментальных заданий»
Результаты первого теста
Результаты выполнения первого теста «Оценивание экспериментальных заданий» удовлетворительные: 76,1% участников продемонстрировали готовность к оцениванию экспериментальных заданий по критериям, 21,3% возможно будут допускать ошибки при оценивании, 2,6% по результатам выполнения теста не готовы к оцениванию по критериям.
При обработке результатов тестирования с целью оценки качества каждого тестового задания (вопроса) с точки зрения его вклада в решаемую тестом задачу педагогического измерения проведен анализ выполнения каждого тестового задания. Индекс «лёгкости» тестового задания (доля правильных ответов) варьировался от 74% до 91%.
Индекс дифференцирующей способности заданий теста «Оценивание экспериментальных заданий» колеблется от 0,85 до 0,99. Этот показатель является индикатором способности конкретного тестового задания отделить более успешных испытуемых от менее успешных, может принимать значения между +1 (все испытуемые из сильной группы ответили правильно, а из слабой — неправильно) и -1 (все испытуемые из сильной группы ответили неправильно,
а из слабой, напротив, правильно).
Отрицательные значения индекса свидетельствует о том, что слабые испытуемые отвечают на данный вопрос лучше, чем сильные. Такие тестовые задания должны отбраковываться. Фактически они уменьшают точность всей процедуры тестирования.
Коэффициент корреляции — другая мера способности конкретного задания разделять сильных и слабых испытуемых. Это коэффициент корреляции между множеством значений ответов, полученных испытуемыми при выполнении конкретного задания, с результатами выполнения ими теста в целом. Полученные значения данного показателя для заданий первого теста от 0,71 до 0,93.
Коэффициент корреляции также может принимать значения между +1 и -1. Положительные значения соответствуют заданиям, которые действительно разделяют хорошо и слабо подготовленных участников курса, в то время как отрицательное значение коэффициента свидетельствует о том, что плохо подготовленные обучающиеся отвечают на данное задание в среднем лучше, чем хорошо подготовленные. Такие задания с отрицательным значением коэффициента не являются тестовыми. Такие задания в тест не включаются.
измерения
-1 -
Образовательные ресурсы Интернета. Физика. [Электронный ресурс] // Режим доступа: http://www.alleng.ru/d/ phys/phys_gia-tr.htm
Демидова М.Ю., Камзеева Е.Е. Учебно-методические материалы для подготовки председателей и членов территориальных предметных комиссий по проверке заданий с развёрнутым ответом. Физика. // [Электронный ресурс] // Режим доступа: http://www.fipi.ru/ binaries/1481/ fi_2013_gia9.pdf (Дата обращения: 30.05.2013).
При выполнении участниками курса тестов «Оценивание расчётных задач» и «Оценивание качественных задач» получены близкие значения всех параметров анализа вопросов (тестовых заданий).
При составлении тестовых заданий нами были использованы подготовленные Федеральным институтом педагогических измерений (ФИПИ) «Учебно-методические материалы для подготовки председателей и членов территориальных предметных комиссий по проверке заданий с развёрнутым ответом» по физике авторов Е.Е. Камзеевой, М.Ю. Демидовой (2013 г.), Спецификация и Демо-версия ГИА 2013 по физике, тренировочные варианты за 2012 год1.
Были обнаружены расхождения в комментариях к оцениванию экспериментальных заданий и критериях оценивания экспериментальных заданий в указанных учебно-методических материалах и Демо-версии. Например, в критериях оценивания на 1 балл в Демо-версии указаны следующие варианты выполнения задания (рис. 4):
Авторы учебно-методического пособия ФИПИ Е.Е. Камзеева, М.Ю. Демидова отмечают, «что в экспериментальном задании, в первую очередь, проверяется умение проводить измерения. Поэтому записанные результаты прямых измерений при отсутствии других элементов ответа оцениваются в 1 балл. Выполнение других элементов ответа (выполнение схематичного рисунка экспериментальной установки и запись формулы для расчёта искомой величины) при отсутствии результата хотя бы одного прямого измерения оценивается в 0 бал-лов»2. Возникает вопрос, какие материалы брать за основу при обучении экспертов муниципальных предметных комиссий: методические материалы ФИПИ или критерии из Демо-версии? Поскольку основная задача подготовки экспертов — оценивание выполнения заданий с развёрнутым ответом по критериям, за основу были приняты критерии оценивания конкретных заданий тренировочных вариантов и Демо-версии.
Рис. 4. Критерии оценивания в 1 балл демо-версии 2013 г
Качественные задачи по физике
В задании 4 участникам курса было предложено самим решить несколько качественных задач за курс физики основной школы и оформить решение в соответствии с критериями оценивания каждого задания. Для выполнения данного задания был использован элемент курса «Ответ в виде текста». Принималась только одна попытка выполнения задания,
сроки выполнения задания были ограничены, в связи с тем, что в следующем задании содержались ответы на эти качественные задачи. Приведем примеры текстов трёх задач и результатов их выполнения учителями физики.
1. Рыбаки в лодке перевозят чугунную трубу. Как изменится осадка лодки, если трубу не погрузить в лодку, а привязать снизу под днищем? (Осадка — глубина погружения лодки в воду.) Ответ поясните.
Рис. 5. Диаграмма. Выполнение качественной задачи 1
Только 42,7% учителей физики выполнили это задание верно, то есть, дали правильный ответ и привели достаточное обоснование, не содержащее ошибок (рис. 5). 13,4 педагогов не смогли сформулировать достаточное обоснование ответа. Почти 5% педагогов дали неверный ответ на вопрос задачи. И около 40% учителей физики допустили в обосновании грубую физическую ошиб-
ку, написав, что сила Архимеда увеличится, поэтому осадка лодки уменьшится. Но сила Архимеда не изменяется, она равна силе тяжести, которая остается постоянной.
2. Две лодки движутся равномерно по озеру параллельными курсами навстречу друг другу. Трение лодок о воду пренебрежимо мало. Когда лодки поравнялись, с первой лодки во вторую переложили груз, осто-
измерения
рожно выпустив его из рук. Из- первой лодки (если измени-менилась ли при этом скорость лась, то как)? Ответ поясните.
Выполнили верно (2 балла) Дали верный ответ, но объяснение 1
1 54 7%
недостаточное 1 12,1 %
(1 балл) Дали верный ответ, но в объяснении содержится физическая ошибка (0 баллов) Дали неверный ответ (0 баллов) 1 2,9%
| 29,4%
о%
20%
40%
60%
Рис. 6. Диаграмма. Выполнение качественной задачи 2
Чуть больше половины участников курса, приступивших к решению этой задачи, дали правильный ответ и достаточное обоснование, не содержащее физических ошибок (рис. 6). Но если в первом случае почти 95% учителей физики дали правильный ответ на вопрос задачи, то на вопрос
второй качественной задачи почти третья часть педагогов ответила неверно.
3. Два одинаковых бруска льда внесли с мороза в теплое помещение. Первый брусок завернули в шерстяной шарф, а второй оставили открытым. Какой из брусков будет нагреваться быстрее? Ответ поясните.
Рис. 7. Диаграмма. Выполнение качественной задачи 3
Самой простой для педагогов оказалась качественная задача на тепловые явления, половина педагогов набрала мак-
симальный балл. Но и в этой задаче 44,4% не смогли дать достаточного обоснования правильного ответа; 5,3% додумы-
вали условие задачи, считая, что брускам сообщили равное количество теплоты (рис. 7).
Сложно говорить о достижении высоких результатов выполнения экзаменационной работы ГИА по физике у школьников, особенно при выполнении заданий с развёрнутым ответом при таких низких результатах у их учителей физики. Заметим, что в эксперты муниципальной комиссии отбираются лучшие педагоги, имеющие, по крайней мере, первую квалификационную категорию, а часто и высшую.
Тренинг
преподавателей
Следующие четыре задания представляли собой тренинг по оцениванию отдельных типов заданий — экспериментальных (задание 5), качественных (задание 6) и расчётных (задания 7 и 8). Ресурсом этих заданий являлись четыре варианта части 3 экзаменационных материалов, образцы возможного решения и критерии оценивания. Для выполнения данного задания был выбран элемент курса «Лекция», обозначенный значком, состоящий из набора страниц, каждая из которых может заканчиваться вопросом, всего страниц во всех лекциях — 91.
Среднее время прохождения каждой лекции составило
около 30 минут. Число страниц в каждой лекции определялось количеством подобранных детских решений как правильных, так и ошибочных, либо содержащих мелкие недочеты. На каждой странице было представлено решение одной из задач и возможные баллы за ее выполнение, как показано на рис. 8.
От обучавшихся учителей физики требовалось правильно оценить выполнение отдельной задачи. Если выбран правильный ответ, то происходил переход к следующему заданию. Если ответ неправильный, то появлялся комментарий к ответу о занижении либо о завышении оценки, и предоставлялась еще одна попытка оценить то же самое решение.
Так же, как и в заданиях 1-3, количество попыток выполнить задания 5-8, то есть пройти каждую лекцию соответствующего задания, не ограничено. Верхняя граница результата заданий 5-8 не была задана в баллах, во внимание принимался сам факт выполнения задания.
Некоторые педагоги совершали несколько попыток, каждый раз улучшая свой результат, добиваясь 100% попадания в критерии оценивания. Но часть педагогов, планирующих проверять экзаменационные работы выпускников основной школы, ограничилась попыткой с результатами менее 70%
г"п
измерения
Рис. 8. Пример страницы задания 8 «Оценивание выполнения расчётных задач № 25»
правильного оценивания. Причём эти педагоги видят свои результаты тренировочного оценивания отдельных заданий и осведомлены о минимальном балле за выполнение итоговой (зачётной) работы, который составляет 75 баллов.
Невысокое пороговое значение проходного балла итоговой работы объясняется тем, что учитывалось расхождение с эталонным ответом даже в 1 балл.
Зачёт
Итоговая (зачётная) работа также была составлена на основе элемента курса «Лекция» и состояла из 64 страниц с вопросами, на которых было размещено 16 полных детских работ четырёх вариантов. Каждая работа состояла из 4 заданий с развёрнутым ответом: экспериментального задания, одной качественной и двух расчётных задач. Планируемое время вы-
полнения зачётной работы — 90-120 минут. В отличие от тренинга по оцениванию отдельных заданий, в зачётной работе при любом ответе происходил переход к следующему вопросу.
Зачёт можно было пересдавать несколько раз, число пересдач не ограничено.
На рис. 9 показан пример оценивания выполнения одной из качественных задач всеми участниками курса. В данном решении при наличии правильного ответа в объяснении содержится грубая физическая ошибка: указано, что сила Архимеда увеличивается. По критериям такое решение оценивается в 0 баллов.
Верно оценили данное решение только 28,34% потенциальных экспертов. Более 30% участников курса оценили данное ошибочное решение максимально возможным баллом, имея образец правильного решения и критерии оценивания. В критериях чётко указано, что максимальный балл ставится, если приведен правильный ответ и достаточное обоснование,
не содержащее ошибок. Почти треть педагогов, учителей физики, пропускают грубую физическую ошибку, скорее всего по причине того, что именно эту ошибку они допускали сами при выполнении задания 4 (см. рис. 5).
Более 40% участников курса полагают, что пункт критерия на 1 балл «Представлен правильный ответ на поставленный вопрос, но его обоснование некорректно или отсутствует» позволяет игнорировать грубую физическую ошибку и поставить за данное выполнение задания 1 балл.
Аналогичная картина наблюдается при анализе оценивания экспериментальных и расчётных заданий. Некоторые задания только четверть педагогов оценивают в соответствии с критериями, разброс может составлять 4 балла в экспериментальных заданиях и 3 балла при оценивании расчётных заданий. То есть за выполнения одного задания один эксперт ставит максимально возможную оценку, а другой — 0 баллов. Из 64 заданий итого-
Рис. 9. Пример оценивания качественной задачи итоговой работы
измерения
вой работы только в одном из заданий (идеально выполненной расчётной задаче) не было максимального разброса в оценивании. Но, тем не менее, нашлись эксперты, которые снизили оценку на 2 балла (0,52%) и на 1 балл (3,84%).
Общие результаты обучения
В результате многократных попыток с итоговой работой справились 280 участников курса. С первой попытки преодолели заданное пороговое значение только 22 педагога, а 15 так и не смогли выполнить итоговую работу и не были включены в состав предметной комиссии.
На вопрос «Какие затруднения Вы испытывали при обучении на данном дистанционном курсе?» 5,3% педагогов ответили, что так и не смогли научиться проверять по критериям, 28% отметили, что система оценивания работ учащихся, принятая в школе, существенно отличается от оценивания по критериям.
Только 7,6% учителей физики смогли сделать вывод о недостаточности собственных предметных знаний, а большая часть (54,5%) считают, что допускали ошибки при выполнении заданий только из-за собственной невнимательности. И всего
4,5% отметили, что не испытывали при выполнении заданий никаких затруднений, учиться было легко и интересно.
Таким образом, несмотря на ежегодную подготовку экспертов муниципальных предметных комиссий по физике из числа лучших, наиболее подготовленных учителей физики, имеющих первую либо высшую квалификационную категорию, большой стаж работы в школе, добиться единообразия в оценивании оказалось практически невыполнимой задачей. Именно дистанционная форма подготовки экспертов за счёт индивидуализации обучения участников курса резче обозначила существующие проблемы в области естественно-научного образования учащихся.
Две проблемы
Одной из проблем является недостаточная предметная подготовка учителей физики.
Следующая проблема — в традиционном виде педагогической деятельности — оценивании работ учащихся, но не по собственному видению, а по заданным критериям. Не удалось преодолеть субъективизм в оценивании заданий, часть педагогов упорно продолжают критиковать критерии оценивания, а не следовать им. Позиция экс-
перта, требующая высокого уровня профессионального мастерства, к сожалению, в последние годы перестала быть привлекательной для педагогов.
Источник: Демидова М.Ю., Камзеева Е.Е. Учебно-методические материалы для подго-
товки председателей и членов территориальных предметных комиссий по проверке заданий с развёрнутым ответом. Физика. // [Электронный ресурс] // Режим доступа: http://wwwfipi.ru/ binaries/1481/fi_2013_gia9.pdf (Дата обращения: 30.05.2013)
