CC BY
33Колонка главного редактора
I |l I l|l III |М II |И 1111
t 2 3
ili 1111111111111111111
Основные направления анализа и интерпретации результатов оценочных процедур
Решетникова Оксана Александровна
директор ФГБНУ «Федеральный институт педагогических измерений», кандидат педагогических наук, [email protected]
Ключевые слова: оценочные процедуры, анализ результатов на уровне субъектов РФ, методические рекомендации ФИПИ, управление качеством образования.
Третий и четвертый номера журнала «Педагогические измерения» содержат методические рекомендации по 11 учебным предметам, которые подготовлены научными сотрудниками Федерального института педагогических измерений на основе многоаспектного анализа результатов Единого государственного экзамена 2017 г.
Все эти материалы имеют единую структуру. Краткая характеристика контрольных измерительных материалов по предмету позволяет увидеть те элементы экзаменационных работ, на которых акцентируется внимание при последующем анализе результатов. Основные результаты экзамена представлены в их сравнении с показателями прошлых лет, что позволяет увидеть динамику в освоении основных блоков содержания или видов деятельности.
Содержательный анализ осуществляется для каждого из экзаменов с учетом тех особенностей, которые специфичны для методики обучения данному предмету. Но приоритетное направление — это анализ результатов по группам заданий, проверяющих наиболее важные для предмета способы действий. Общим для материалов по большинству предметов является и подробный анализ типичных ответов экзаменуемых на задания с развернутым ответом, и, соответственно, анализ их типичных затруднений при выполнении этих заданий.
Основной акцент аналитических материалов текущего года — особенности выполнения экзаменационной работы выпускниками с различным уровнем подготовки. С этого года введена единая система групп с различным уровнем подготовки, базирующаяся на результатах экзамена в стобалльной шкале. Выделяются четыре группы: группа 1 — не достигшие минимальной границы, группа 2 — набравшие баллы в диапазоне от минимальной границы до 60 баллов, группа 3 — от 61 до 80 баллов и группа 4 — высокобалльники с диапазоном от 81 до 100 баллов. В методических материалах ФИПИ по всем предметам проводится обобщенный анализ для каждой из этих групп, выделяются наиболее яркие достижения, фиксируются наиболее типичные дефициты в учебной подготовке.
Мы рассчитываем на то, что более подробный анализ будет осуществляться на уровне субъектов Российской Федерации. В требования к статистико-анали-тическим отчетам предметных комиссий субъектов РФ в этом году введен раздел о содержательном анализе выполнения заданий группами экзаменуемых с различным уровнем подготовки. Такой анализ на уровне субъектов идет «в связке» с методикой выделения образовательных организаций, продемонстрировавших наиболее высокие результаты, и образовательных организаций, продемонстриро-
Решетникова ОА.
Основные направления анализа и интерпретации результатов оценочных процедур
вавших низкие результаты ЕГЭ по предмету. В первом случае отбираются ОО с максимальной долей участников из группы 4 (или включая еще и группу 3), а низкие результаты фиксируются по максимальной доле участников из группы 1 (или включая еще и группу 2). Ясно, что такой подход позволяет не только сформулировать рекомендации по использованию различных методик, обеспечивающих дифференцированный подход к обучению, но распространить наиболее эффективные методики в целом на работу с ОО, продемонстрировавших низкие результаты на ЕГЭ по предмету.
Еще одно из направлений методических рекомендаций текущего года — это обоснование тех изменений, которые вносятся в экзаменационную модель 2018 г. Сложная и кропотливая работа со статистическими данными заданий, анализ ответов экзаменуемых на задания с кратким ответом и работ выпускников по выполнению заданий с развернутым ответом позволяет обосновать необходимость совершенствования экзаменационной модели. В этом году это изменения в системе оценивания заданий с кратким ответом в географии и химии, усовершенствование критериев оценивания заданий с развернутым ответом в иностранных языках, обществознании и литературе, введение новых линий заданий в русском языке и физике.
Для управления качеством образования наиболее эффективен интегрированный вторичный анализ различных оценочных процедур по одному и тому же предмету. Такой анализ может проводиться в субъектах РФ на базе
результатов ОГЭ, ЕГЭ, ВПР и региональных оценочных процедур.
Кратко остановимся на подходах к анализу еще одной процедуры, инструментарий которой разрабатывается на федеральном уровне — всероссийские проверочные работы (ВПР). В апреле-мае 2017 года ВПР проводились для обучающихся 11 классов по истории, географии, биологии, физике и химии. Инструментарий для этих работ разрабатывался специалистами ФИПИ.
Введение ВПР — важный шаг в развитии национальных механизмов независимой оценки качества общего образования. ВПР для 11 классов были призваны оценить качество освоения государственных образовательных стандартов по тем предметам, которые выпускники не выбрали для сдачи ЕГЭ.
В этом году участие в ВПР-11 было добровольным, образовательные организации самостоятельно принимали решение о том, будут ли ее выпускники писать предложенные итоговые работы и если будут, то по каким предметам. Проверка работ также осуществлялась силами методических объединений образовательных организаций. Ясно, что процедура проведения и проверки работ не отвечала требованиям независимой оценки, что могло сказаться на объективности процедуры и надежности результатов.
Однако специалистами ФИПИ был проведен анализ имеющихся статистических данных, который позволил сформулировать ряд выводов и рекомендаций.
Всероссийские проверочные работы выполняли выпускники образовательных орга-
Рисунок1
Колонка главного редактора
Результаты выполнения задании группами с различным уровнем подготовки
Задании
—» -Си К, 1ып 1 (1вЗв91У) —С&. %*мл 2|1иТВ6>ч1
—Ср * 1ып_Э (31977уч1 —Ср. % «ь.п> 117290^)
_ _ _
Рисунок 2
Предмет Процент обучающихся, продемонстрировавших данный уровень подготовки
Группа 1 Группа 2 Группа 3 Группа 4
История 2,1 15,3 39,8 42,8
География 4,6 48,3 35,4 11,7
Биология 3,1 32,3 53,3 11,3
Физика 6,8 47,7 38,3 7,2
Химия 6,1 36,8 35,7 21,4
низаций всех субъектов Российской Федерации. Число участников варьировалось от 227 тысяч по химии до 328 тысяч человек по географии. По всем предметам зафиксированы высокие результаты выполнения проверочных работ.
Более 90% выпускников продемонстрировали достижение требований ФК ГОС на базовом уровне: 97,9% — по истории, 96,9% — по биологии, 95,4% — по географии, 93,9% — по химии и 93,2% — по физике. По всем пяти предметам зафиксирован уровень достижения для всех элементов содержания и способов действий, которые оценивались заданиями базового уровня сложности. В качестве примера на рисунке 1 приведены средние проценты выполнения заданий ВПР по истории.
На основании полученных данных можно говорить о достижении всей выборкой участников ВПР контролируемых элементов содержания и способов действий по всем пяти предметам.
При анализе результатов было выделено четыре группы по уровню предметной подготовки. В таблице приведено распределение обучающихся по группам подготовки.
Выпускники, относящиеся к группе 1 по уровню подготовки, не достигли требований стандарта по большинству проверяемых элементов содержания и группам умений. Для групп 2 и 3 зафиксированы отдельные недостатки в сформированности способов действий и освоении предметного содержания, что может служить основанием для выработки учителями направлений совершенствования частных методик уровневой дифференциации. Группа 4 продемонстрировала достижение требований стандарта как на базовом, так и на повышенном уровнях сложности.
В качестве примера на рисунке 2 приведена диаграмма выполнения заданий обучающимися с различным уровнем подготовки по физике.
Из этого примера видно, что самостоятельное планирование физического опыта (задание 12) вызывает затруднения для всех обучающихся, а решение практико-ориен-тированных задач, в которых необходимо использовать простейшие расчеты по формуле (задание 8), — только для групп с низким уровнем подготовки. Тем самым выделяются способы действий, для формирования кото-
5
педагогические измерения / educatюnal measurements 3/2017
Решетникова О.А.
Основные направления анализа и интерпретации результатов оценочных процедур
рых необходимо шире использовать методики дифференцированного подхода.
Анализ выполнения групп заданий по различным предметам позволил выявить перечисленные ниже дефициты в освоении умений и элементов содержания.
История. Сравнительно невысокие результаты показаны выпускниками при выполнении заданий на проверку исторических персоналий и умений устанавливать причинно-следственные связи. Вызывает беспокойство тот факт, что к проблемным были отнесены задания по историческому краеведению, так как именно изучение истории родного края является эффективным способом мотивации к изучению истории России.
География. Недостаточно хорошо сформированы умения выпускников, соответствующие требованиям образовательных стандартов в части умений использовать статистические источники географической информации для решения учебно-познавательных и практических задач и умения использовать географические знания для определения собственной точки зрения по важнейшим проблемам развития России и мира.
Биология. Зафиксирован недостаточный уровень выполнения отдельных заданий на понимание вопросов эволюции, знание организации эукариотической клетки и функции отдельных ее органоидов, свойства генетического кода, а также на проверку умения решать элементарные биологические задачи, пользуясь таблицей генетического кода.
Физика. Среди элементов содержания, проверяемых заданиями базового уровня сложности, серьезные дефициты выявлены для принципа суперпозиции сил, а также за-
кона изменения и сохранения механической энергии для ситуаций, в которых нельзя пренебречь силами сопротивления. На повышенном уровне сложности не достигнут уровень освоения для группы заданий на планирование хода опыта и на использование информации из текста и имеющегося запаса знаний при решении учебно-практических задач.
Химия. Недостаточный уровень освоения продемонстрирован для заданий, проверяющих умения устанавливать взаимосвязь между основными классами органических веществ и проводить расчеты количества вещества, массы или объема по количеству вещества, массе или объему одного из реагентов или продуктов реакции, а также расчеты с использованием понятия «массовая доля вещества в растворе».
Вычленение в указанных дефицитах учебных достижений предметных и метапредмет-ных составляющих позволяет совершенствовать как предметные методические приемы освоения отдельных дидактических единиц, так и межпредметное взаимодействие учителей в образовательной организации для достижения лучших результатов в формировании универсальных учебных действий.
Результаты ВПР-11 нельзя использовать для коррекции индивидуальных образовательных траекторий, поскольку их выполняли выпускники, уже окончившие обучение в системе общего образования. Однако результаты выполнения работы в целом, групп заданий, проверяющих различные содержательные темы, или групп заданий, проверяющих сформированность различных умений, дают образовательным организациям богатый материал для самоанализа, совершенствования личных педагогических практик, освоения новых педагогических технологий.
6
......I
