CC BY
41N 11 I I I 11 I I I 11 I I 111 M I |
1 2 3
i ' 11 i i i 11 i i i 11 i i 111 n i 11
Практикум тестолога
О прогностической ценности результатов ОГЭ по отношению к результатам ЕГЭ
Белобородов кандидат физико-математических наук, доцент ка-
Владимир Николаевич федры общей физики НИЯУ МИФИ, v-belob@mail.ru
Татур Александр Олегович
кандидат физико-математических наук, начальник отдела развития инструментария оценки качества образования ГАОУ ДПО МЦКО, tatur@bk.ru
Ключевые слова: ОГЭ, ЕГЭ, сравнение результатов ГИА, прогностическая валидность
В этой статье мы хотим предложить вам итоги исследования по сравнению индивидуальных результатов ОГЭ по математике и русскому языку в городе Москве с результатами ЕГЭ по этим же предметам для тех же самых выпускников. Выборка, по которой проводилось сравнение индивидуальных результатов экзаменов, была лимитирована в основном тем, что в период проведения исследования экзамен за основную школу сдавала небольшая часть выпускников 9-х классов общеобразовательных организаций Москвы (13 тысяч по алгебре и 9 тысяч по русскому языку). Пересечение множеств участников экзаменов ОГЭ и участников ЕГЭ через два года дало возможность сформировать надёжные выборки1 обучающихся, проходивших как ОГЭ, так и ЕГЭ.
Для данной выборки был вычислен коэффициент корреляции2 первичных баллов, полученных на ОГЭ и на ЕГЭ в Москве, который представлен в табл. 1.
Таблица 1
Предмет Объём выборки Коэффициент корреляции
Русский язык 6 417 0.545
Алгебра/математика 9 061 0.625
При указанных объёмах выборок положительные коэффициенты корреляции являются статистически значимыми. Можно утверждать, что абсолютные значения этих коэффициентов достаточно велики. При этом коэффициент корреляции алгебра/математика (0,625) оказался несколько выше, чем коэффициент корреляции для русского языка (0,545). Результат на первый взгляд неожиданный, поскольку в экзамен за основную школу по алгебре не включались задания по геометрии, а в экзамен за старшую ступень средней школы — включались. Такой высокий коэффициент корреляции может быть объяснён тем, что в модели ЕГЭ по математике было включено много заданий по алгебре, соответствующих по
1 Майоров А.Н. Мониторинг в образовании. — М.: «Интеллект-центр», 2005. — 424 с.
2 М.Б. Челышкова. Теория и практика конструирования педагогических тестов. — М.: «Логос», 2000. — 431 с.
Рис. 1. ЕГЭ по математике. Распределение участников экзамена по набранным первичным баллам
Рис. 2. ЕГЭ по русскому языку. Распределение участников экзамена по набранным
первичным баллам
уровню требований именно основной ступени, а не старшей.
Полученные коэффициенты корреляции нельзя рассматривать как величины, описывающие надёжность результатов ОГЭ (или ЕГЭ). Между двумя экзаменами имеется интервал два года, в течение которых учащиеся продолжают изучать соответствующие предметы. Эти коэффициенты корреляции можно рассматривать только в рамках прогностической валидности, в данном случае ОГЭ. Она оказалась весомой как по русскому языку, так и по математике. Следует отметить, что проведённые проверки критериальной валидности и ретестовой надёжности вариантов ЕГЭ дали значения соответствующих коэффициентов корреляции такие же, как в табл. 1, или даже ниже. При этом следует иметь в виду, что проверка результатов ЕГЭ проводилась в выборке первокурсников вузов, которые не имели достаточной моти-
вации для качественного написания проверочных работ как в виде вариантов КИМ, так и в виде заданий, разработанных вузами самостоятельно.
Рассмотрим распределение результатов по русскому языку и математике, которые представлены на диаграммах (см. рис. 1 и 2).
Видно, что в математике мода распределения (наиболее вероятное значение) находится в левой части шкалы, а в русском языке — в правой части шкалы. То есть по отношению к имеющемуся уровню подготовки обучающихся варианты КИМ ЕГЭ по математике являются трудными, а по русскому языку — лёгкими. Можно сравнить эти распределения с распределениями результатов ОГЭ (см. рис. 3 и 4).
Варианты ОГЭ по алгебре оказались для школьников такими же трудными, как и варианты ЕГЭ по математике через два года. Мода (наиболее вероятное значение) нахо-
Рис. 3. ОГЭ по математике. Распределение участников экзамена по набранным первичным баллам
700 1
600 -
R
X 500 -
у > 400 -
о
300
ф
S 200 -
с
2
100
0 -
Рис. 4. ОГЭ по русскому языку. Распределение участников экзамена по набранным
первичным баллам
дится в левой части распределения. Помимо этого наблюдается полимодальная структура распределения по набранным баллам. Наблюдаемые пики можно соотнести со словесными описаниями уровней подготовки соответствующих групп участников экзамена: низкий, посредственный, удовлетворительный, хороший и отличный. Следует, однако, отметить, что появление пиков в распределении имеет помимо содержательного объяснения ещё одно. В ОГЭ задания разных типов по алгебре имели существенно разные веса в результирующем балле. Вес заданий с выбором ответа и с кратким ответом равнялся 0,5, вес заданий с развёрнутым ответом варьировался от 2 до 6. Выполнившие полностью все 10 заданий с выбором ответа и все 6 заданий с кратким ответом набирали только 8 баллов. То есть пики на шкале при баллах от 12 до 30 получены искусственной се-
парацией тех, кто может правильно выполнять различные наборы заданий из 5 заданий с развёрнутым ответом. Кроме того, выполнившие верно менее 8 заданий с выбором ответа и с кратким ответом получали неудовлетворительную оценку, и их баллы за задания с развёрнутым ответом не принимались во внимание.
Если учесть эти особенности шкалирования ОГЭ в рассматриваемом году, полученное распределение результатов ЕГЭ по математике можно считать полностью предсказуемым.
Форма распределения результатов по русскому языку для ОГЭ очень близка к форме распределения результатов по этому предмету для ЕГЭ. В системе оценивания выполнения заданий ОГЭ и ЕГЭ по русскому языку нет принципиальных отличий. Поэтому допустимо утверждать, что по распределению ре-
ОГЭ-ЕГЭ алгебра
число результатов
балл ЕГЭ
Рис. 5. Алгебра и геометрия
ОГЭ-ЕГЭ. Русский язык
число результатов
балл ЕГЭ
Рис. б. Русский язык
зультатов ОГЭ можно напрямую прогнозировать распределение результатов ЕГЭ в случае русского языка.
На нижеприведённых трёхмерных диаграммах (см. рис. 5 и 6) показано число экзаменовавшихся, получивших данные результаты экзаменов (первичный балл на ОГЭ и ЕГЭ).
Наблюдаемые в трёхмерном распределении пики являются следствием сепарации результатов из-за различного числа баллов за последние задания в ОГЭ. Самый «мощный» пик соответствует самому низкому уровню подготовки.
В случае русского языка небольшие локальные пики распределения имеют флукту-
Белобородое В.Н., Татур А.О. О прогностической ценности результатов ОГЭ по отношению к результатам ЕГЭ
Таблица 2
Предмет Средний балл ОГЭ (Москва) Средний балл ОГЭ в выборке Средний балл ЕГЭ (Москва) Средний балл ЕГЭ в выборке
Русский язык 34.0 34.9 42.0 45.7
Алгебра/математика 11.8 13.2 10.2 11.4
ационную природу, так как в случае русского языка выборка в полтора раза меньше, чем в случае математики. Кроме того, в русском языке максимальные первичные баллы за ОГЭ и ЕГЭ (45 и 60 соответственно) больше, чем максимальные первичные баллы за ОГЭ и ЕГЭ в математике (30).
Помимо корреляционных соотношений имеет смысл сравнить средние значения баллов (см. табл. 2).
Положительное влияние участия в ОГЭ на результаты ЕГЭ отчётливо проявляется в случае русского языка. У тех, кто в Москве участвовал и в ОГЭ, и в ЕГЭ, первичный балл ЕГЭ выше среднего значения по Москве на 3,7 единицы. При этом средний балл ОГЭ в выборке был выше среднего только на 0,9 единицы. По алгебре средний балл в выборке выше среднего балла по Москве на 1,4 единицы. А средний балл ЕГЭ по математике в выборке выше среднего балла в Москве на 1,2 единицы. Положительное влияние ОГЭ на
ЕГЭ в случае алгебры прослеживается только как тенденция.
***
Результаты ОГЭ по алгебре и русскому языку обладают высокой прогностической способностью по отношению к результатам ЕГЭ по математике и по русскому языку. Наблюдаемая прогностическая валидность ОГЭ по алгебре несколько выше, чем прогностическая валидность ОГЭ по русскому языку.
Как результаты ОГЭ, так и результаты ЕГЭ показывают общий низкий уровень подготовки по алгебре (и математике) по отношению к предъявляемым на экзаменах требованиям. Эта проблема требует углублённого анализа. По русскому языку варианты как ОГЭ, так и ЕГЭ, являются лёгкими относительно уровня подготовки московских школьников. Уровень знаний школьниками Москвы русского языка делает их конкурентоспособными при поступлении в вузы.
