CC BY
28Практикум тестолога
1 2 3
11111111111111111111111
Связь результатов государственной итоговой аттестации школьников 9-х и 11-х классов
Бекмухаметова Кристина Робертовна
руководитель учебно-педагогического отдела основного общего образования КГАОУ «Краевой центр образования», г. Хабаровск, Kbekmuhametova@kco27.ru
Ключевые слова: ОГЭ, ЕГЭ, содержательные блоки КИМ, проверяемые умения и виды деятельности, психометрический анализ теста, регрессионные модели.
Государственная итоговая аттестация — это обязательный этап завершения обучения по образовательной программе, имеющей государственную аккредитацию. Обучающемуся по программе основного общего образования необходимо пройти ГИА в форме основного государственного экзамена (ОГЭ), а по образовательной программе среднего общего образования — в форме единого государственного экзамена (ЕГЭ).
ОГЭ и ЕГЭ проводятся уже довольно давно, и существует возможность связать результаты одних и тех же выпускников за 9-й и 11-й классы. В связи с этим интересно посмотреть, могут ли результаты ОГЭ предсказать результаты ЕГЭ через 2 года? Существует ли преемственность двух форм ГИА на практике?
Такие исследования проводились для других оценочных процедур. Например, ранее изучалась связь результатов ЕГЭ и успешности обучения в вузе (Ха-венсон Т.Е., Соловьёва А.А.1; Польдин О.В.2). Было показано, что результаты ЕГЭ являются сильным предиктором успешности на 1-м курсе института. Но в России не проводились исследования, рассматривающие связь результатов на уровне среднего образования.
В 2016 году в рамках магистерской диссертации было проведено исследование связи результатов ГИА по математике в 9-х и 11-х классах. Основной исследовательский вопрос: каков вклад результатов ОГЭ в результаты ЕГЭ?
В качестве эмпирической базы были использованы результаты ОГЭ и ЕГЭ по математике в Хабаровском крае за 2013 и 2015 годы. В 2013 году на территории Хабаровского края в ГИА по математике в 9-х классах принял участие 10 081 выпускник из 19 муниципальных образований края. В итоговую выборку попали обучающиеся, у которых есть результат ОГЭ по математике за 2013 год и результат ЕГЭ по математике за 2015 год. Таким образом, выборка составила 5 148 учащихся, среди них 2 228 (43,3%) мальчиков и 2 920 (56,7%) девочек. Важно отметить, что с 2015 года ЕГЭ по математике обучающиеся могут сдавать как на базовом, так
1 Хавенсон Т.Е., Соловьёва А.А. Связь результатов Единого государственного экзамена и успеваемость в вузе. //Вопросы образования. — № 1. — 2014.
2 Польдин О.В. Прогнозирование успеваемости в вузе по результатам ЕГЭ // Вопросы образова-
ния.
2011. — № 1(21).
Таблица 1
Распределение заданий КИМ по содержательным блокам
Содержательные блоки по кодификатору ОГЭ по математике ЕГЭ по математике
Число заданий Макс. первичный балл Процент макс. первичного балла Число заданий Макс. первичный балл Процент макс. первичного балла
Числа и вычисления 4 4 10,5%
Алгебраиче ские выражения 4 5 13,2%
Уравнения и неравенства 3 5 13,2% 3 3 15,0%
Числовые последовательности 2 2 5,2%
Функции и графики 2 5 13,2% 1 1 5,0%
Геометрия 9 15 39,5% 4 4 20,0%
Статистика и теория вероятности 2 2 5,2% 1 1 2,0%
Начала математического анализа 1 1 5,0%
Алгебра 5 10 29,4%
и на профильном уровне: 4 003 выпускника (77,8%) сдавали экзамен на профильном уровне и 3072 выпускника (59,7%) — на базовом.
Связь результатов двух экзаменом имеет смысл устанавливать, только если оба экзамена измеряют схожий конструкт. Анализ конструкта производился по спецификациям и кодификаторам к ОГЭ и ЕГЭ за 2013 и 2015 гг. соответственно3. Было установлено, что оба экзамена имеют схожие содержательные блоки, в табл.1 представлено распределение заданий по содержательным блокам двух экзаменов.
Таким образом, блоки «Уравнения и неравенства», «Функции и графики», «Геометрия», «Статистика и теория вероятности» однозначно присутствуют в двух экзаменах. Стоит отметить, что блок «Алгебра» из ЕГЭ частично включает в себя блок «Числа и вычисления» и «Алгебраические выражения» из ОГЭ.
Так же было установлено, что экзамены оценивают схожие проверяемые умения и способы действий. В табл.2 приведено распределение заданий по проверяемым умениям и способам действий.
Блоки «Уметь использовать приобретённые знания и умения в практической деятельности и повседневной жизни», «Умения выполнять вычисления и преобразования», «Уметь решать уравнения и неравенства», «Уметь выполнять действия с геометрическими фигурами» присутствуют и в экзамене ЕГЭ, и в экзамене ОГЭ. Такой блок, как «Уметь строить и исследовать математические модели» и «Уметь выполнять действия с функциями» из ЕГЭ, является логическим продолжением блока «Уметь строить и читать графики функции» и «Уметь выполнять преобразования логических выражений» из ОГЭ.
3 1. Спецификация контрольных измерительных материалов для проведения в 2015 году единого государственного экзамена по МАТЕМАТИКЕ (базовый уровень), Федеральная служба по надзору в сфере образования и науки Российской Федерации, 2014 г.
2. Спецификация контрольных измерительных материалов для проведения в 2015 году единого государственного экзамена по МАТЕМАТИКЕ (профильный уровень), Федеральная служба по надзору в сфере образования и науки Российской Федерации, 2014 г.
3. Спецификация контрольных измерительных материалов для проведения в 2013 году государственной (итоговой) аттестации (в новой форме) по МАТЕМАТИКЕ обучающихся, освоивших основные общеобразовательные программы основного общего образования [Электронный ресурс] // сайт ФИПИ — URL: http://fipi.ru/oge-i-gve-9/demoversii-specifikacii-kodifikatory (12.04.16).
Таблица 2
Распределение заданий по проверяемым умениям и способам действий
ОГЭ по математике ЕГЭ по математике
Содержательные блоки по кодификатору Число заданий Макс. первичный балл Процент макс. первичного балла Число заданий Макс. первичный балл Процент макс. первичного балла
Уметь использовать приобретённые знания и умения в практической деятельности и повседневной жизни 9 10 26,4% 5 7 20,6%
Умения выполнять вычисления и преобразования 2 2 5,2% 1 1 2,9%
Уметь решать уравнения и неравенства 4 6 15,8% 4 9 26,5%
Уметь выполнять действия с геометрическими фигурами 6 11 28,9% 6 9 26,5%
Уметь выполнять преобразования алгебраических выражений 2 4 10,5%
Уметь строить и читать графики функции 2 5 13,2%
Уметь выполнять действия с функциями 1 1 5,0%
Уметь строить и исследовать математические модели 5 5 25,0%
Таким образом, показано, что ОГЭ и ЕГЭ по математике имеют схожие конструкты, но в ЕГЭ конструкт представлен в более расширенном и углублённом виде.
Следующим шагом исследования было проведение психометрического анализа качества вариантов ОГЭ по математике на примере одного из вариантов. Вариант выбирался случайным образом, его выполняли 2 517 обучающихся. В табл. 3 приведены сводные характеристики варианта ОГЭ, а также значение статистки Separation и количество групп, на которые тест способен продифференцировать выпускников.
Согласно данным таблицы, тест обладает достаточной надёжностью 0,86, что говорит о высокой согласованности вопросов в тесте. Средний показатель трудности теста указывает на то, что тест является достаточно простым для выборки. Дифференцирующая способность теста, оцениваемая по среднему коэффициенту дискриминативности и количеству групп, на которые тест разделяет выборку, указывает на то, что тест в целом справляется с задачей дифференциации выпускников.
На рис.1 показано распределение баллов выпускников.
В основном баллы распределились среди значений 11—27. Показатель трудности указывает на то, что тест достаточно простой для выборки, но на графике распределения баллов видно, что основные баллы обучающиеся набирают в диапазоне от 10 до 27, что несколько противоречит предыдущему выбору, и тест скорее имеет среднюю трудность. На графике распределения баллы 19 и 20 выбиваются из общего распределения, вероятно именно этот факт вносит весомый вклад в оценку трудности. Таким образом, можно сделать вывод, что по трудности тест соответствует выборке.
Дальнейший анализ показал, что тест одномерен и нет заданий, показатели которых выходили бы за рамки допустимых значений. Единственной проблемой являются аутлайе-ры, то есть обучающиеся, показывающие неожиданные результаты. В основном это выпускники с высоким уровнем подготовки, они справились с заданиями повышенного уровня сложности и не справились с заданиями базового уровня. Вероятнее всего, выпускники
Таблица 3
Сводные характеристики параметров теста
Параметры Значение
Общее количество испытуемых 2517
Максимальный набранный балл 38
Минимальный набранный балл 0
Средние значение набранного балла 18,93
Стандартное отклонение 6,09
Средний показатель коэффициента трудности (КТТ*) 0,68
Максимальный показатель коэффициента трудности (КТТ) 0,95
Минимальный показатель коэффициента трудности (КТТ) 0,01
Средний показатель коэффициента дискриминативности (IRT**) 0,44
Коэффициент надёжности (IRT) 0,86
Ошибка измерения (IRT) 0,06
Separation (IRT) 2,43
Количество групп 3
*здесь и далее КТТ — классическая теория тестирования **здесь и далее IRT — современная теория тестирования
допускали ошибки в результате спешки либо невнимательности.
Основной фокус исследования был сосредоточен на ОГЭ, поэтому анализ варианта ЕГЭ, который был проведён аналогичным образом, в рамках данной статьи мы опустим. Следует отметить, что ЕГЭ также показывает достаточно высокий коэффициент надёжности (0,79) и в целом демонстрирует удовлетворительное качество.
Выводы о качестве можно перенести на все варианты, так как они разработаны по еди-
ным документам (кодификаторам и спецификациям), и все варианты будут демонстрировать схожие психометрические показатели.
Самым важным этапом исследования являлся анализ способности ОГЭ предсказывать результаты ЕГЭ по математике. В анализ включались как результаты ОГЭ по математике, так и по другим предметам (физике, информатике, русскому языку, общество-знанию и истории), а также гендерный признак выпускников и характеристики образовательных учреждений (тип и местоположе-
Рис. 1. Распределение баллов выпускников (вариант ОГЭ)
Таблица 4
Свод регрессионных моделей
R-квaдpaт Профильный уровень Базовый уровень Профильный уровень Базовый уровень
0,352 0,221 0,366 0,225
Коэф. Знач. Коэф. Знач. Коэф. Знач. Коэф. Знач.
Константа 0,26 0,10 -0,64 0,00 0,38 0,02 -0,65 0,00
2-оценки верных ответов ОГЭ 0,63 0,00 0,37 0,00 0,63 0,00 0,37 0,00
Пол (девочки=1) - - - - -0,19 0,00 -0,04 0,24
Тип школы (лицей, гимназия, частная школа) - - - - 0,21 0,00 0,22 0,00
Расположение (город) - - - - -0,03 0,35 0,01 0,76
Таблица 5
Свод регрессионных моделей с предметными результатами
R-квaдpaт Профильный уровень Базовый уровень Профильный уровень Базовый уровень
0,391 0,204 0,228 0,308
Коэф. Знач. Коэф. Знач. Коэф. Знач. Коэф. Знач.
Константа 0,32 0,00 0,10 0,28 -0,14 0,05 -0,03 0,62
2-оценки верных ответов ОГЭ по математике 0,41 0,00 0,33 0,00 0,38 0,07 0,44 0,00
2-оценка по русскому языку -0,01 0,91 -0,06 0,63 0,19 0,06 0,22 0,00
2-оценка по информатике 0,23 0,00 0,18 0,08 - - - -
2-оценка по физике 0,05 0,39 0,04 0,66 - - - -
2-оценка по обществ - - - - -0,08 0,06 0,12 0,07
2-оценка по истории - - - - 0,00 1,00 0,01 0,93
ние). В среднем коэффициент детерминации (Я-квадрат) оказался равен 0,344 на профильном уровне и 0,232 на базовом. Иными словами, результаты ОГЭ по математике способны объяснить 34% результатов ЕГЭ по математике на профильном уровне и 23% результатов ЕГЭ по математике на базовом уровне. Это достаточно высокие показатели, так как никакие другие переменные не включались в анализ.
В табл. 4—5 приведён общий свод моделей регрессионного анализа. В таблицах использованы 2-оценки, чтобы показать силу связи, то есть значение коэффициента указывает, насколько переменная способна предсказать результаты ЕГЭ по математике. Поясним, что
в таблице, «2-оценка верных ответов ОГЭ» — это переведённые в 2-оценку результаты (или баллы) обучающихся.
Интересно заметить, что большую прогностическую силу имеют результаты ОГЭ для результатов ЕГЭ по математике на профильном уровне. Пол выпускника имеет сильную прогностическую силу для результатов ЕГЭ по математике, на профильном уровне эта сила больше. Тип школы значимо связан с результатами ЕГЭ по математике, но сила связи одинакова как для профильного, так и для базового уровня. Местоположение образовательного учреждения не имеет значимой прогностической силы для результатов ЕГЭ по математи-
Бекмухаметова К.Р.
Связь результатов государственной итоговой аттестации школьников 9-х и 11-х классов
ке. Из всех профильных предметов наибольшую прогностическую силу для результатов ЕГЭ по математике имеют результаты ОГЭ по информатике. Гуманитарные предметы не несут значимого вклада в результаты ЕГЭ по математике.
Таким образом, можно говорить, что предсказательная сила ОГЭ достаточна для предсказания результатов ЕГЭ. Также данный инструмент можно признать валидным для отбора школьников в классы с углублённым изучением отдельных предметов. Вне зависимости от места проживания, пола или иных характеристик обучающихся — 35% балов ЕГЭ по математике можно объяснить результатами ОГЭ по математике.
Предсказательная сила ОГЭ варьируется в зависимости от включённых независимых переменных, но для результатов ЕГЭ по математике на профильном уровне она значительно сильнее, чем для результатов ЕГЭ по математике на базовом уровне. Одной из причин такого результата может являться то, что экзамен ЕГЭ на базовом уровне предназначен для аттестации обучающихся и не ставит цели дифференцировать детей, поэтому шкала оценивания у данного экзамена слабее, чем у ЕГЭ на профильном уровне.
Было показано, что помимо результатов ОГЭ по математике сильную прогностическую силу имеют результаты ОГЭ по информатике. Возможно, это связано с тесной связью учебных программ по данным предметам. Также подобный результат может быть связан с тем, что учителя по информатике имеют сильную математическую подготовку. Альтернативным объяснением сильной прогностической силы результатов ОГЭ по информатике может являться то, что для сдачи экзамена по информатике выпускникам требуется серьёзная математическая подготовка, без которой хорошо сдать экзамен по информатике практически невозможно.
Дальнейшее использование представленного анализа возможно для принятия реше-
ний о выборе образовательной траектории для обучающихся. Так как результаты ОГЭ способны предсказать результаты ЕГЭ, по которым производится отбор в вузы, то по результатам ОГЭ можно судить о способности обучающихся к тем или иным предметам, а значит, и о возможных траекториях развития.
Список литературы
1. Hambleton R.K., Jones R.W (1993) Comparison of Classical Test Theory and Item Response Theory and Their Applications to Test Development. age Publications.
2. Hambleton R.K., Swaminathan H., Rogers H.J. Fundamental of Item Response Theory, 1991.
3. Анастази А., Урбина С. Психологическое тестирование. СПб.: Питер, 2003.
4. Зелман М. Особенности ЕГЭ в контексте опыта образовательного тестирования в США. Вопросы образования № 2. — 2004.
5. Ковалёва Г.С. Особенности национальных экзаменов в ряде стран мира [Электронный ресурс] // сайт ЦентрОКО — URL:- http://www.centeroko. ru/ege/ege_pub_ex.htm
6. Майоров Н.А. «Теория и практика создания тестов для системы образования. М., «Интеллект-центр», 2001.
7. Нейман Ю.М., Хлебников В.А. Введение в теорию моделирования и параметризации педагогических тестов. — М.: Прометей, 2000.
8. Официальный сайт Федерального государственного бюджетного научного учреждения «Федерального института педагогических измерений» URL: flpi.ru.
9. Спецификация контрольных измерительных материалов для проведения в 2015 году основного государственного экзамена по МАТЕМАТИКЕ [Электронный ресурс] // сайт ФИПИ — URL: http://fipi.ru/oge-i-gve-9/demoversii-specifikacii-kodifikatory (12.04.16).
10. Федеральный закон от 29.12.2012 № 273-ФЗ (ред. от 02.03.2016) «Об образовании в Российской Федерации» [Электронный ресурс] // СПС КонсультантПлюс: Официальный сайт компании — URL: https://www.consultant.ru/document/ cons_doc_LAW_140174 (12.04.2016).
