CC BY
7ЭШШУЗА,.......1ШМ1Ш,......ДШОСТШ
Прогностическая ценность результатов ГИА-9 по отношению к результатам ЕГЭ
Владимир Николаевич Белобородов,
заведующий лабораторией обработки данных оценочных процедур ГУ Московского центра качества образования, кандидат физико-математических наук,
Александр Олегович Татур,
заместитель директора ГУ Московского центра качества образования, кандидат физико-математических наук
• ГИА-9 • ЕГЭ •
В работе рассматривается связь результатов государственной (итоговой) аттестации выпускников девятых классов (ГИА-9) 2008 года и ЕГЭ 2010 года в Москве. Сравнение проводилось с результатами ГИА-9 2008 года по русскому языку и алгебре с результатами ЕГЭ по этим же предметам для тех же самых выпускников. Выборка, по которой сравнивались индивидуальные результаты экзаменов, была лимитирована в основном тем, что в 2008 году экзамен в новой форме за основную школу сдавала небольшая часть выпускников девятых классов общеобразовательных школ Москвы (13 тысяч по алгебре и 9 тысяч по русскому языку). В ЕГЭ в 2010 году принимали участие 47 тысяч человек (не все из них выпускники школ 2010 года). Пересечение этих множеств участников экзаменов дало возможность сформировать надёжные выборки1 учащихся, проходивших ГИА в 2008 году и сдававших ЕГЭ в 2010 году.
Корреляция результатов
Вычислен коэффициент корреляции2 первичных баллов, полученных на ГИА-9 и на ЕГЭ в Москве. Результаты — в таблице 1.
При указанных объёмах выборок положительные коэффициенты корреляции статистически значимы. Можно утверждать, что абсолютные значения этих коэффициентов достаточно велики. При этом коэффициент корреляции алгебре/математике (0,625) оказался несколько выше, чем коэффициент корреляции для русского языка (0,545). Ре-
Таблица 1
Предмет Объём выборки Коэффици корреляци ;нт и
Русский язык 6417 0.545
Алгебра/математика 9061 0.625
зультат, на первый взгляд, неожиданный, поскольку в экзамен за основную школу по алгебре не включаются задания по геометрии, а в экзамен за старшую ступень средней школы — включаются. Такой высокий коэффициент корреляции может быть объяснён тем, что в модель ЕГЭ по математике 2010 года включено много заданий по алгебре, соответствующих по уровню требований именно основной ступени, а не старшей. Полученные коэффициенты корреляции нельзя рассматривать как величины, описывающие надёжность результатов ГИА-9 (или ЕГЭ). Между двумя экзаменами интервал два года, в течение которых учащиеся продолжают изучать соответствующие предметы. Эти коэффициенты корреляции можно рассматривать только в рамках прогностической валидности, в данном случае ГИА-9. Она оказалась весомой как по русскому языку, так и по математике. Проведённые в 2009 году проверки критериальной валид-ности и ретестовой надёжности вариантов ЕГЭ дали значения соответствующих коэффициентов корреляции такие же, как в табл. М.: Логос, 2000.
1 Майоров А.Н. Мониторинг в образовании. М.: Интеллект-центр, 2005.
2 Челышкова М.Б. Теория и практика конструирования педагогических тестов.
1, или даже ниже. При этом следует иметь в виду, что результаты ЕГЭ проверялись в выборке первокурсников вузов, которые не имели достаточной мотивации для качественного написания проверочных работ как в виде вариантов КИМ, так и в виде заданий, разработанных вузами самостоятельно.
Распределение результатов по русскому языку и математике
1. ЕГЭ-2010. Распределение участников экзамена по набранным первичным баллам.
ЕГЭ Русский язык 2010
2000 1800 5 1600 | 1400
т 1200 >
о 1000
ф
^ 600 * 400 200
800
<
10
20
30
40
50
60
балл
ЭШШУЗА,.......1ШМ1Ш,......ДШОСТШ
В математике мода распределения (наиболее вероятное значение) находится в левой части шкалы, а по русскому языку — в правой части шкалы. По отношению к имеющемуся уровню подготовки учащихся ва-
рианты КИМ ЕГЭ по математике трудные, а по русскому языку — лёгкие. Можно сравнить эти распределения с распределениями результатов ГИА, полученными в 2008 году.
2. ГИА-9-2008. Распределение участников экзамена по набранным первичным баллам
ГИА Алгебра 2008
1400
0 5 10 15 20 25 30
балл
Варианты ГИА-9 по алгебре оказались для школьников в 2008 году такими же трудными, как и варианты ЕГЭ по математике в 2010 году. Мода находится в левой части распределения. Помимо этого наблюдается полимодальная структура распределения по набранным баллам. Наблюдаемые пики можно соотнести со словесными описаниями уровней подготовки соответствующих групп участников экзамена: низкий, посредственный, удовлетворительный, хороший и отличный (по классификации уровней подготовки участников ЕГЭ 2009 года). Однако, отметим, что появление пиков в распределении имеет помимо содержательного объяснения ещё одно. В 2008 году задания разных типов по алгебре имели существенно разные веса в результирующем балле. Вес заданий с выбором ответа (тип А) и с кратким ответом (тип В) равнялся 0,5, вес заданий с развёрнутым ответом (тип С) варьировался от двух до шести. Выполнившие полностью все 10 заданий типа А и все шесть заданий типа В набирали только 8
баллов. Таким образом пики на шкале при баллах от 12 до 30 получены искусственной сепарацией тех, кто может правильно выполнять различные наборы заданий из пяти заданий типа С. Кроме того, выполнившие верно менее восьми заданий типа А и В получали неудовлетворительную оценку, и их баллы за части С не принимались во внимание.
Если учесть эти особенности шкалирования ГИА-9 в 2008 году, полученное по математике распределение результатов ЕГЭ 2010 года можно считать полностью предсказуемым.
Форма распределения результатов по русскому языку для ГИА-9 очень близка к форме распределения результатов по этому предмету для ЕГЭ. В системе оценивания выполнения заданий ГИА-9 и ЕГЭ по русскому языку нет принципиальных отличий. Поэтому можно утверждать, что по распределению результатов ГИА-9 можно напрямую прогнозировать распределение результатов ЕГЭ в случае русского языка.
Трёхмерные распределения
На нижеприведённых трёхмерных диаграммах показано число экзаменовавшихся, получивших данные результаты экзаменов (первичный балл на ГИА-9 и ЕГЭ).
Алгебра и математика
.......ШМШ;......АШШШ
Наблюдаемые в трёхмерном распределении пики являются следствием сепарации результатов из-за различного числа баллов за последние задания в ГИА-9. Самый «мощный» пик соответствует самому низкому уровню подготовки.
Русский язык
ГИА-ЕГЭ русский
По русскому языку небольшие локальные пики распределения имеют флуктуационную природу, так как в случае русского языка выборка в полтора раза меньше, чем в случае математики. Кроме того, в русском языке максимальные первичные баллы за ГИА и ЕГЭ (45 и 60 соответственно) больше, чем максимальные первичные баллы за ГИА и ЕГЭ в математике (30).
Средние баллы
Помимо корреляционных соотношений имеет смысл сравнить средние значения баллов.
Предмет Средний балл ГИА (Москва) Средний балл ГИА в выборке Средний балл ЕГЭ (Москва) Средний бал в выбор| л ЕГЭ е
Русский язык 34.0 34.9 42.0 45.7
Алгебра\Математика 11.8 13.2 10.2 11.4
Положительное влияние участия в ГИА на результаты ЕГЭ отчётливо проявляется в случае русского языка. У тех, кто в Москве участвовал и в ГИА, и в ЕГЭ, первичный балл ЕГЭ выше среднего значения по Москве на 3,7 единицы. При этом средний балл ГИА в выборке был выше среднего только на 0,9 единицы. По алгебре средний балл в выборке выше сред-
него балла по Москве на 1,4 единицы. А средний балл ЕГЭ по математике в выборке выше среднего балла в Москве на 1,2 единицы. Положительное влияние ГИА на ЕГЭ в случае алгебры прослеживается только как тенденция.
Предварительные выводы
Результаты ГИА-9 по алгебре и русскому языку обладают высокой прогностической способностью по отношению к результатам ЕГЭ по математике и по русскому языку. Наблюдаемая прогностическая валидность ГИА-9 по алгебре несколько выше, чем прогностическая валидность ГИА-9 по русскому языку.
Как результаты ГИА, так и результаты ЕГЭ показывают общий низкий уровень подго-
товки по алгебре (и математике) по отношению к предъявляемым на экзаменах требованиям. Эта проблема требует углублённого анализа. Налицо несоответствие декларируемых требований к уровню подготовки и достигаемых результатов. Школьники Москвы составляют костяк контингента студентов престижных вузов столицы. Незнание школьной математики московскими студентами в будущем может приводить к непредсказуемым последствиям как в производственной, так и в непроизводственной сферах деятельности выпускников московских вузов.
По русскому языку варианты как ГИА-9, так и ЕГЭ — лёгкие относительно уровня подготовки московских школьников. Уровень знания школьниками Москвы русского языка делает их конкурентоспособными при поступлении в вузы и ссузы. □
Журнал для педагогов учреждений дополнительного образования. Цель издания — с помощью поддержки и распространения творческих практик способствовать развитию способностей воспитанников, формированию у них нравственных, эстетических понятий, воспитанию всесторонне развитой личности. Одна из самы1х сложные проблем — работа с одарёнными детьми. Как вышвить одарённость? Как создать условия для её развития? Мы будем вместе с вами искать ответы на эти вопросы. В журнале публикуются творческие работы детей (литературное, техническое, прикладное и другое творчество). Педагоги делятся своим опытом в «мастер-классе», что обогащает копилку знаний и умений наших читателей. Мы надеемся, что журнал станет другом и советчиком и для педагогов, и для воспитанников.
Главный редактор Ерегина Т.Н.
Подписка на журнал «Детское творчество» в каталоге «Роспечать». Подписные индексы 71980 — для индивидуальных подписчиков. 71981 — для организаций.
