CC BY
23I |М I |М II |М М[М!1|1
■ 2 о Колонка главного редактора
|' 111111111111111 к 11111_
Основные направления анализа результатов Единого государственного экзамена в 2018 году
Решетникова Оксана Александровна
кандидат педагогических наук, директор ФГБНУ «Федеральный институт педагогических измерений», [email protected]
Ключевые слова: Единый государственный экзамен, контрольные измерительные материалы, анализ результатов, использование статистических данных.
В третьем и четвертом номерах журнала «Педагогические измерения» мы публикуем методические рекомендации для учителей, подготовленные научными сотрудниками ФГБНУ «ФИПИ» на основе анализа типичных ошибок участников ЕГЭ 2018 года. Методические рекомендации по всем 11 предметам традиционно имеют схожую структуру и включают аналитическую и методическую части. В аналитической части представлены краткая характеристика контрольных измерительных материалов по предмету, основные результаты экзамена в сравнении с показателями прошлых лет, содержательный анализ по отдельным аспектам, актуальным для конкретного учебного предмета, особенности выполнения экзаменационной работы выпускниками с различным уровнем подготовки. В методической части — анализ типичных ошибок, описание возможных причин, лежащих в основе их возникновения, и рекомендации по совершенствованию методики преподавания предмета, которые могут способствовать повышению уровня учебных достижений школьников по рассмотренным аспектам.
Аналитическая часть методических рекомендаций базируется на данных итогового аналитического отчета о результатах ЕГЭ, который ежегодно готовится коллективом Федерального института педагогических измерений. В этом отчете содержится большой массив данных о результатах участников ЕГЭ, о качестве контрольных измерительных материалов, использовавшихся при проведении экзамена текущего года, представлены общие результаты экзамена в контексте каждого предмета, а также данные о субъектах РФ с результатами ЕГЭ по учебным предметам.
В ЕГЭ 2018 г. приняли участие 728 716 человек (в 2017 году их было 703 555). При этом общее количество проведённых экзаменов составило 2 737 713. В среднем 12,2% участников составляли выпускники прошлых лет (в 2017 г. их доля равнялась 13,2%).
Среди сдававших ЕГЭ девушки составили 54,7%, что в целом отражает тендерный состав выпускников средней школы. Традиционно «мужскими» остаются экзамены по физике и информатике (около 75% участников — юноши), а приоритеты девушек лежат в области литературы (более 80%), химии, биологии и ино-
странных языков (в среднем порядка 70% участников).
Несколько изменился выбор выпускниками предметов для сдачи ЕГЭ. Немного снизился процент участников по профильной математике, физике и истории. (Напомним, что эти предметы считаются у наших школьников наиболее сложными для сдачи ЕГЭ). Но, с другой стороны, возросло число участников ЕГЭ по информатике, химии и биологии.
В этом году снизился процент выпускников, не набравших минимального количества баллов по профильной математике, географии и биологии. Отмечено ожидаемое (в связи с изменениями в экзаменационных моделях) незначительное повышение доли не достигших минимальной границы по физике, информатике, обществознанию и литературе. Среди участников ЕГЭ 2018 г. 289 человек набрали 200 баллов по двум предметам, в 2017 г. таких участников было 286.
Значимыми для оценки готовности участников ЕГЭ к продолжению образования являются результаты выполнения заданий с развернутым ответом. Число таких заданий в экзаменационной работе по разным предметам варьируется от одного (в русском языке) до девяти (в обществознании). Напомним, что «вклад» в итоговый результат развернутых ответов участников составляет от 30 до 80% по разным предметам. Задания с развернутым (свободно конструируемым) ответом представлены в различных форматах: сочинения и эссе, ответы на вопросы, проведение расчетов, решения задач, составление плана ответа по заданной теме, написание компьютерной программы, проведение построений, приведение аргументов / примеров, маркировка и исправление ошибок в предложенном тексте и пр. Форматы заданий с развернутым ответом требуют от участника демонстрации целого комплекса умений. Следует отметить, что результаты выполнения заданий с развернутым ответом остались на уровне прошлого года или стали немного лучше по большинству предметов, кроме профильной математики, физики и химии.
Если говорить о группе высокобалльни-ков (участников ЕГЭ с результатами в диапазоне 81-100 баллов), то зафиксировано некоторое увеличение их доли по результатам экзаменов по русскому языку, профильной математике, физике, химии и географии (прирост от 1,1 до 1,9% в зависимости от предмета). При этом по трем предметам (математика, физика и химия) отмечена общая тенденция
улучшения результатов для заданий с кратким ответом, но снижение качества выполнения заданий с развернутым ответом. С одной стороны, это свидетельствует об усилении дифференциации в подготовке выпускников, связанной, очевидно, с ростом в стране числа инженерных и профильных естественнонаучных классов. Но, с другой стороны, положительная динамика пока связана лишь с лучшей, чем в прошлые годы «проработкой» базового учебного материала и не затрагивает такой сложный вид деятельности, как решение задач. Именно на нем делается акцент в заданиях с развернутым ответом в этих предметах.
В ЕГЭ по информатике, биологии и английскому языку произошло некоторое сокращение доли высокобалльников, что объясняется повышением требований к качеству выполнения продуктивных заданий с развернутым ответом в этих экзаменах, продиктованным необходимостью более тонкой дифференциации выпускников, претендующих на поступление в ведущие вузы страны.
В целом же ЕГЭ 2018 года продемонстрировал стабильность результатов.
Какие же направления анализа стали наиболее значимыми в отчете ФИПИ текущего года?
Анализ результатов экзамена ведется по большому спектру направлений: это анализ результатов по субъектам Российской Федерации в динамике с предыдущими годами проведения экзамена, анализ результатов по различным по подготовке группам участников, анализ влияния изменений в структуре и содержании КИМ на результаты, анализ качества контрольных измерительных материалов и многие другие. На основе многоаспектного анализа результатов принимаются решения о совершенствовании КИМ на следующий цикл проведения ЕГЭ.
Отдельное направление анализа — влияние изменений, внесенных в экзаменационную модель, на результаты ЕГЭ и изменение (повышение или снижение) качества КИМ как инструмента педагогической оценки. Так, в 2018 году были внесены значимые изменения в КИМ по литературе, русскому языку, химии и физике. По остальным предметам проводилось уточнение формулировок заданий и совершенствование системы оценива-
Решетникова ОА.
Основные направления анализа результатов Единого государственного экзамена в 2018 году
ния заданий для повышения дифференцирующей способности экзаменационной работы.
По литературе были уточнены инструкции по выполнению заданий, добавлена четвертая тема сочинения по выбору в задании № 17. Была произведена полная переработка системы оценивания заданий экзаменационной работы, в результате чего максимальный первичный балл увеличился с 42 в 2017 г. до 58 в 2018 г.
Анализ результатов ЕГЭ 2018 г. по литературе подтвердил сохранение измерительных свойств экзаменационной модели и позволил констатировать, что уровень сложности заданий КИМ в целом адекватен познавательным возможностям экзаменуемых и дает возможность дифференцировать их для поступления в вузы с различными требованиями к уровню подготовки по литературе.
По русскому языку в экзаменационную работу 2018 года было включено новое задание базового уровня (№ 20), которое проверяло сформированность умений по стилистической правке (неуместность употребления слов, форм или конструкций) в связных текстах (предложениях).
Обработка статистических данных по заданию № 20 показала достаточно высокий процент выполнения этого задания, его высокую диагностическую значимость. Экзаменуемые распознают тавтологию как лексическую ошибку (воспринимают ее в качестве непреднамеренного употребления одноко-ренных слов, неоправданной избыточности однотипного выражения), неправильное употребление фразеологизмов как лексическую ошибку (обнаруживают неточное значение фразеологизмов, немотивированное расширение или сужение состава фразеологизмов) и т.д.
По химии в экзаменационную работу были добавлены новые модели заданий, предусматривающие наличие общего контекста (№ 30 и 31). Задания были выполнены на 41 и 60% соответственно, что отвечало экспертным ожиданиям. У экзаменуемых с хорошим и удовлетворительным уровнем подготовки основные затруднения возникли на этапе, предусматривающем самостоятельный отбор веществ для последующего составления с их участием уравнений окислительно-восстановительных реакций и реакций ионного обмена. Это обусловлено расширением вариативной составляющей решения и не-
обходимостью многокомпонентной записи решения, в котором все элементы связаны друг с другом.
По физике в первую часть работу было добавлено задание (№ 24) для проверки элементов астрофизики, изучаемых в курсе физики средней школы. Все задания в новой линии носили контекстный характер и предполагали использование данных из предложенных таблиц или диаграмм. Статистический анализ показал хорошее качество и диагностическую ценность этих заданий, а также освоение большинством выпускников 2018 года основных сведений об объектах Солнечной системы, различных классах звезд, их основных характеристик, а также современных представлений о происхождении и эволюции звезд.
Таким образом, можно говорить о том, что внесенные изменения повысили дифференцирующую способность экзаменационных моделей по этим предметам.
Ещё одно важное направление — анализ качества контрольных измерительных материалов. Обеспечению качества КИМ, которые используются на ЕГЭ, в ФИПИ уделяется особое внимание. В первую очередь это работа членов комиссий по разработке КИМ и тестологов на этапе подготовки вариантов, а затем — тщательный анализ полученных по результатам экзаменов статистических данных. Ежегодно по завершении экзаменов готовится тестологический отчет по каждому предмету. Тестологами анализируются статистические данные как для каждого из заданий, включенных в варианты текущего года, так и данные для каждого из вариантов в целом.
Анализируется плотность распределения участников экзамена по набранным тестовым баллам, фиксируется пригодность материалов для использования в качестве рейтинговых тестов, нацеленных на дифференцирование выпускников в области средних и высоких баллов. Проводится сравнение с распределениями прошлых лет, поскольку это важнейший аспект обеспечения сопоставимости результатов экзаменов разных лет в условиях четырехлетнего действия результатов ЕГЭ.
Для каждого варианта фиксируются основные характеристики (средний балл, асимметрия, эксцесс и т.д.), на основании которых можно убедиться в равенстве сложности раз-
ных вариантов КИМ, оценить сбалансированность варианта КИМ, оценить надежность измерения. Например, анализ надежности экзаменационных вариантов подтверждает, что качество разработанных КИМ по всем предметам соответствует требованиям, предъявляемым к стандартизированным тестам учебных достижений: средняя надежность (коэффициент альфа Кронбаха) всех используемых на экзамене вариантов КИМ находится (в зависимости от учебного предмета) в пределах от 0,80 до 0,94.
Важным акцентом в подготовленных специалистами Федерального института педагогических измерений методических рекомендациях стал раздел, содержащий комментарии разработчиков по планируемым изменениям КИМ ЕГЭ-2019. Можно отметить общую ориентацию изменений, вносимых в КИМ по гуманитарным предметам, на усиление внимания к функциональному чтению, на переориентацию от использования шаблонов ответов, заученных штампов к осмысленной работе с текстами разных жанров. Наиболее заметным изменением 2019 г., связанным с данным направлением, стало исключение в задании второй части КИМ по русскому языку (сочинение) аргументации собственного мнения с опорой на литературу и личный опыт. Статистические данные, полученные по результатам ЕГЭ по русскому языку, как в 2018 году, так и в прошлые годы показали, что все группы экзаменуемых в достаточной степени овладели умениями находить и формулировать в сочинении проблему, поставленную автором текста, но приводимые участниками аргументы все больше стали сводиться к заученным «домашним заготовкам», зачастую искусственно притянутым к проблеме текста. Этот вопрос обсуждался на многочисленных очных и дистанционных встречах экспертного сообщества с комиссией разработчиков КИМ. Иногда именно неудачно приведенные «домашние заготовки» лишали участника экзамена значительного количества баллов за выполнение этого за-
дания, что впоследствии подтвердил проведенный специалистами ФИПИ анализ результатов апелляций некоторых участников. Данная проблема выявлена и при написании мини-сочинения в обществознании, и эссе «Мое мнение» в иностранных языках. Сложившаяся практика «натаскивания» на модели отдельных заданий КИМ, формирования банков тематических «домашних заготовок» стало серьезной проблемой экзаменов по гуманитарным предметам. И предложенные разработчиками КИМ ЕГЭ изменения должны, на наш взгляд, способствовать решению этой проблемы.
Ежегодное совершенствование моделей КИМ опирается как на статистические данные, так и на анализ прецедентов работы предметных и конфликтных комиссий субъектов Российской Федерации, типичные затруднения региональных экспертов. Все вопросы, уточнения и комментарии, получаемые в процессе проведения экзамена посредством общения на «горячей линии» ФИПИ, через форум для председателей предметных комиссий субъектов Российской Федерации, являются важной основой для принятия обоснованных решений по изменению как моделей отдельных заданий, так и системы оценивания.
Мы понимаем, что массовое участие выпускников школ в ЕГЭ придает его итогам особое значение. Результаты ЕГЭ являются ведущим источником информации об уровне общеобразовательной подготовки школьников, о тенденциях развития общего образования в Российской Федерации. Использование массива данных о результатах ЕГЭ, представленных в методических рекомендациях специалистов ФИПИ, в сочетании с широким спектром контекстной информации, имеющейся в распоряжении органов исполнительной власти всех уровней, осуществляющих управление в сфере образования, дает основания для принятия определенных управленческих решений в сфере общего образования.
