CC BY
96
Образование и наука. Том 19, № 6. 2017/The Education and Science Journal. Vol. 19, № 6. 2017
ОБЩИЕ ВОПРОСЫ ОБРАЗОВАНИЯ
УДК 371.26 DOI: 10.17853/1994-5639-2017-6-33-51
О ЧЕМ ГОВОРИТ СРЕДНИЙ БАЛЛ ЕГЭ?
Л. М. Нуриева1, С. Г. Киселев2
Омский государственный педагогический университет, Омск (Россия).
E-mail: 1liutsiya59@mailru; 2ksg_sd@mail.ru
Аннотация. Введение. Подведение итогов Единого государственного экзамена традиционно строится на сопоставлении средних баллов по учреждениям или территориям, без учета того, что представляет собой в действительности этот индикатор качества образования.
Цель статьи - уточнить содержание показателя «средний балл ЕГЭ» на примере результатов федеральных испытаний по математике.
Методология и методика исследования. В ходе изучения проблемы применялась методология комплексного исследования, включающая методы сравнительного и статистического анализа данных, публикуемых по итогам проведения ЕГЭ. Проводился также анализ данных, опубликованных специалистами Национального исследовательского университета «Высшая школа экономики» (НИУ ВШЭ).
Результаты и их научная новизна. Установлено, что средний балл ЕГЭ по математике в значительной мере определяется особенностями контрольно-измерительных материалов, системой начисления баллов, имеющей уравнительный характер, и результатами тренинга учащихся на решение несложных задач.
Практическая значимость. Авторы полагают, что выводы данного исследования будут способствовать совершенствованию методики и технологии проведения ЕГЭ.
Ключевые слова: итоги ЕГЭ, средний балл ЕГЭ.
Для цитирования: Нуриева Л. М., Киселев С. Г. О чем говорит средний балл ЕГЭ? // Образование и наука. 2017. Т. 19, № 6. С. 33-51. DOI: 10.17853/ 1994-5639-2017-6-33-51.
AVERAGE SCORE OF THE UNIFIED STATE EXAMINATION
L. M. Nurieva1, S. G. Kiselev2
Omsk State Pedagogical University, Omsk (Russia).
E-mail: 1liutsiya59@mail~ru;2 ksg_sd@mailru
Abstract. Introduction. Summing up the results of the Unified State Exam (USE) is traditionally based on comparing the average scores for institutions or territories, without taking into account what the indicator of the quality of education really represents.
The aim of the article is to clarify the content «average score» on the example of the Mathematics federal testing results.
Methodology and research methods. The methodology of comprehensive analysis is used, including the methods of comparative and statistical data analysis published following the exam results. As well, the parallel analysis of data used in the researches of the National Research University «The Higher School of Economics» (HSE) was conducted.
Results and scientific novelty. It is found out that the average score in the Unified State Exam in mathematics largely depends on peculiarities of testing and assessment materials, a scoring system of leveling nature and results of training students for solving simple problems.
Practical significance. The authors suppose that the study findings will contribute to the improvement of methods and technologies of carrying the Unified State Exam.
Keywords: results of the USE, average score of the USE.
For citation: Nurieva L. M., Kiselev S. G. Average score of the Unified State Examination. The Education and Science Journal. 2017. Vol. 19, № 6. P. 33-51. DOI: 10.17853/1994-5639-2017-6-33-51.
Введение
Ежегодно после завершения Единого государственного экзамена Министерство образования и науки РФ и Рособрнадзор публично подводят его итоги. Вместе с тем устойчивой тенденцией в организации ЕГЭ последних лет стала минимизация информации о результатах испытаний, доводимых до профессионального сообщества. Так, несмотря на то, что экзаменационные кампании в 2014-2016 гг., по словам высоких чиновников от образования, были самыми честными из всех проведенных, ни статистики, ни аналитики результатов ЕГЭ именно за эти годы практически нет. В настоящее время сведения о ЕГЭ ограничиваются указанием численности участников, долей детей, не достигших минимального уровня подготовки, а также получивших максимальные баллы. Дополняют эту сухую и крайне лаконичную информацию победные реляции о высокой дисциплине, честности и открытости экзамена, подкрепляемые цифрами о десятках тысяч видеокамер и металлоискателей, легионах наблюдателей и единицах удаленных из аудиторий нарушителях.
Ведущим показателем в ЕГЭ выступает средний балл, исходя из изменений которого делаются выводы о состоянии уровня подготовки учащихся в школе, в муниципалитете, регионе или стране в целом. В официальных докладах Рособрнадзора и отчетах Федерального института педагогических измерений (ФИПИ) средний балл фактически является эквивалентом качества образования, и именно на его рост направлены все усилия чиновников и педагогов.
За время проведения «честных»» кампаний средний балл по математике устойчиво рос: 2014 г. - 44,1, 2015 г. - 45,4, 2016 г. - 46,3. Разделение в 2015 г. экзамена на «базовый» и «профильный», судя по итогам 2016 г., тенденцию на «улучшение» школьного образования не нарушило. «Усложненный» профильный экзамен дети сдают все лучше и лучше.
Но меняется ли качество образования в действительности так, как это показывает средний балл? Из чего на самом деле он складывается и насколько согласован с другими индикаторами качества обучения?
Материалы
Для изучения сформулированных выше вопросов мы воспользовались статистикой результатов ЕГЭ по образовательным учреждениям Омской области в 2014 и 2016 г., а также данными федерального статистического наблюдения по форме ОШ-1 омских школ за 2014-2016 гг. Определение охвата школьников экзаменационными испытаниями, выявление уровня отсева учащихся в процессе обучения производилось на основе сведений о половозрастном составе населения Омской области, опубликованных Росстатом по состоянию на 1 января 2013 г. Кроме того, для решения поставленных задач привлекались результаты исследований, опубликованные специалистами Национального исследовательского университета «Высшая школа экономики» (НИУ ВШЭ).
Обзор литературы
Значение среднего балла ЕГЭ широко используется для иллюстрации состояния школьного математического образования на уровне от образовательных учреждений до административных территорий. Большинство специалистов, использующих этот показатель в своих исследованиях, обращают внимание на ошибочность прямых сопоставлений среднего балла школ, муниципалитетов или регионов без учета социального контекста, в котором он был получен. В одних публикациях обращается внимание на то, что средний балл зависит от географического расположения образовательных учреждений [1], в других - акцентируются урбанизация
территорий и особенности организации учебного процесса в различных видах школ [2, 3], в третьих - содержится ссылка на наличие ресурсов школ и социальный состав учащихся [4], в четвертых - рассматривается величина образовательных учреждений и уровень их финансирования [5], в пятых - ресурсные возможности семей [6] и т. д.1 Таким образом, основное внимание специалистов уделяется поиску объективных причин, так или иначе определяющих результаты испытаний. Вопрос о том, что же представляет собой главная зависимая переменная вышеназванных исследований - средний балл ЕГЭ, анализу не подвергался.
Косвенно этот вопрос затрагивали исследователи, изучавшие масштабы и характер дополнительной подготовки школьников к экзамену. Так, в частности, отмечалось, что к 10-11-м классам распространенность дополнительных занятий по подготовке к ЕГЭ становится настолько широкой, что ставит под сомнение «чистую» роль школы в результатах экзамена и искажает представление о ее действительной эффективности [7]. Подобными выводами специалисты фактически констатировали низкую валидность среднего балла как измерителя эффективности учебной работы общеобразовательных учреждений. В то же время дальше этой констатации дело не пошло и это верное наблюдение дальнейшего развития не получило.
Отдельным направлением анализа ЕГЭ стали работы математиков, рассматривающих проблемы качества контрольно-измерительных материалов для экзамена профильного уровня [см. например, 8, 9]. Однако в них подробный разбор содержания заданий не сопровождался анализом того, как те или иные свойства КИМов проявляют себя в результатах испытаний статистически, каким образом они сказываются на величине среднего балла и иных статистик экзамена.
Результаты исследования
Откровенно говоря, до недавнего времени мы с некоторыми оговорками тоже верили, что баллы ЕГЭ не то что выпускников, но и школ, муниципалитетов и регионов действительно отражают качество образова-
1 Не случайно чиновники Рособрнадзора и Минобразования и науки РФ последние два-три года настойчиво призывают регионы отказаться от ранжирования школ по баллам ЕГЭ, в то время как практически весь анализ на местах сводился к перечислению средних баллов школ и их элементарному сопоставлению, на котором худо-бедно и строился разбор полетов. Отказ от публикации статистики вызвал настоящий паралич анализа ЕГЭ на местах: в настоящее время в регионах не найти ничего, кроме победных реляций о высокой дисциплине и организации ЕГЭ. По итогам кампаний последних лет об эффективности школьного образования невозможно узнать практически ничего.
ния. Именно верили. Из-за очевидности. Однако усомниться в этом нас заставила одна работа специалистов Национального исследовательского университета «Высшая школа экономики» (НИУ ВШЭ).
В 2015 г. работники «вышки» опубликовали анализ результатов ЕГЭ-2014 по математике с учетом социально-демографических показателей регионов РФ [10]. Они пришли к выводу о том, что «традиционные подходы к исследованию результатов ЕГЭ не позволяют адекватно оценить уровень образования в регионах РФ. Необходим учет демографических показателей, которые существенно отличаются в разных субъектах федерации, маскируя существующие проблемы или, наоборот, создавая видимость проблем там, где их в действительности нет в том масштабе, в котором мы их видим, ориентируясь на такие показатели, как средний балл, процент отличников и процент двоечников» [10, с. 215].
При этом авторы взялись на цифрах показать, казалось бы, очевидное: отсев школьников в процессе обучения приводит к тому, что участвовать в экзамене остаются лучшие учащиеся. И чем больше такой отсев, тем выше результат региона. Привлекая богатый статистический материал, специалисты НИУ ВШЭ этот теоретически безупречный вывод эмпирическими выкладками подтвердить не смогли. Так они привели диаграмму зависимости среднего балла на ЕГЭ и процента сдававших от общей численности детей соответствующей возрастной когорты, где статистическая связь этих переменных, вопреки уверениям авторов, не прослеживается (рис. 1). Видимо, не случайно коэффициент корреляции авторы приводить не стали и предложили оценивать связь «на глазок». Более того, для подтверждения своих выводов они прибегли к исключению ряда регионов Северного Кавказа в нижнем левом углу графика (обозначено цифрой 1). Хотя с тем же основанием, ведь ЕГЭ-2014, как известно, самый честный из всех проведенных, можно исключить пару-тройку регионов из верхней левой части графика (обозначено цифрой 2) и тем самым «сконструировать» положительную статистическую связь.
Интересно, что действительно прослеживаемую связь между долей минимально обученных, т. е. учащихся, набравших 36 и более баллов, и охватом когорты на другом своем графике авторы проигнорировали (рис. 2). А ведь из него следует, что чем выше охват когорты (т. е. чем меньше отсев), тем выше доля минимально обученных школьников и лучше качество образования, что противоречит основной гипотезе авторов, которую они выдвинули.
Между тем как объяснить, что с уменьшением отсева растет доля минимально обученных? Ответ очевиден. Когда нет отсева и класс слабый, учитель, ориентируясь на общий низкий уровень, занимается натаскиванием ВСЕХ учащихся на преодоление минимального порога, т. е. на достижение этой минимальной обученности. Когда отсев был и дети по уровню подготовки разные (так как выбывает только часть слабых школьников), учителя просто проходят программный материал, обязательный для каждого. Внимание к неуспевающим ослабевает, что и ведет к снижению процента минимально обученных.
Рис. 1. Средний балл и охват когорты по регионам РФ в 2014 г.
(из работы НИУ ВШЭ) Fig. 1. Average score and cohort coverage by regions of the Russian Federation in 2014 (From the work of the Higher School of Economics)
Рис. 2. Процент минимально обученных и охват когорты по регионам РФ в 2014 г. (из работы НИУ ВШЭ) Fig. 2. The percentage of the minimum trained and cohort coverage by regions of the Russian Federation in 2014 (from the work of the Higher
School of Economics)
Результаты НИУ ВШЭ, несмотря на свою кажущуюся парадоксальность, оказались не случайными. Мы в свое время также предпринимали попытки обнаружить связь между названными показателями на материалах Омской области, но получали аналогичные результаты (рис. 3). Например, по итогам ЕГЭ-2014 коэффициент корреляции между средним баллом муниципалитетов и долей когорты, сдававшей экзамен, составил -0,13. У нас тоже появлялся соблазн подтвердить наличие связи путем исключения из массива некоторых «неудобных» объектов: например, Омска, Боль-шеуковского и Знаменского районов (обозначено цифрой 1). В этом случае связь становилась значимой: -0,38. В то же время удаление Одесского, Павлоградского, Муромцевского районов (обозначено цифрой 2) вело к тому, что коэффициент корреляции менял знак.
49 1 ffl47 Ю £? 'S О ,r _ 045 Й w s ~ 1- O43 о О о £ i> 5f <39 a. ü 37 35 2 /-—л
0десскийО|
Па L^r™ Omci^'q \ у fl) / * \ ^ольшеуковский
ч-----......„„.„-. Азовский V Калачинскии Л ЧиАиоигкий Черлакскии ^ ¿науенскии J
Нижнеомский О Саргатский v / •п-.....м№йновский Нововарша вс кий ^ ""
Д^®ьш1ьскиидМ(>скапенский ТевризскийГ) Кормиловский-^ ЛврическийКрутинский ТюкалинсЫааываевский Тарский
Усть-Ишимскии Седелвниковский „ нГСЬолыиереченский О Г.О Польским
Оконеш ников скийсско"^олянски L Горьковск^
0 25 30 35 40 45 50 55 60 65 70 Процент сдававших от когорты Percentage of people who donated from a cohort
Рис. 3. Средний балл по математике в 2014 г. и охват когорты по муниципалитетам Омской области Fig. 3. Average mark on Mathematics exam in 2014 and coverage of a cohort in the municipalities of the Omsk region
Наши попытки исключить из расчетов учащихся, выбывших за время обучения до 9-го класса, и связать отсев лишь с окончанием основного звена результат не изменили. Более того, сравнивая процент охвата детей профильным экзаменом в 2016 г. (т. е. здесь был учтен отсев, вызванный не только окончанием 9-летки, но и участием в ЕГЭ лишь базового уровня) с баллами по каждому учреждению, установить наличие статистической связи все равно не удалось. На рис. 4 приведено распределение почти 500 средних школ Омской области по баллу и доле детей, закончивших 9-летку два года назад и принявших участие в профильном ЕГЭ-2016. На графике превышение некоторыми школами 100% уровня участия объясняется дополнительным набором в 10-е классы в 2015 г.
Таким образом, результаты НИУ ВШЭ и данные по Омской области свидетельствуют об одном и том же: статистическая связь между средним баллом ЕГЭ и долей соответствующих возрастных когорт, принявших участие в испытаниях, а также уровнем участия в профильном экзамене в действительности отсутствует. Осталось только выяснить почему.
Одним из объяснений могло бы быть предположение, что после 9-летки школу покидают помимо слабых также и сильные учащиеся и от-
сев происходит не только из-за плохой учебы. Однако это противоречит тому факту, что самый низкий балл среди участников ЕГЭ наряду с выпускниками вечерних школ показывают именно выпускники СПО. Дело, видимо, в другом.
С *>
i
о и
v> 50
1 «
щ И
fL >
и <
•
# •
- DO * * • • *
• J „ i 1 * • •
а сЁЭсРрЖУ? H *
йШШо oo • * • • • ♦ •
¿ЗэдЗ *
ГО О •
* 9
20
40
60
so
100
120
14Ü
Процент сдававших ЕГЭ от когорты The percentage of those who passed the USE from a cohort
Рис. 4. Средний балл по профильной математике в 2016 г. и охват когорты по общеобразовательным школам Омской области Fig. 4. Average mark on subject-oriented Mathematics exam in 2016 and coverage of the cohort in general schools Omsk region
Для того чтобы решить проблему, обратимся к самой контрольной работе. Ее описание приводится как в сопроводительных документах ФИПИ (спецификация, кодификатор, демовариант), так и в публикациях специалистов (например, [9]). У спецификации есть один недостаток: из перечня проверяемых элементов содержания курса не ясен уровень сложности заданий. Представление об этом нам дает демовариант.
На что хотелось бы обратить внимание? В контрольной работе по математике содержатся крайне простые задачи, которым не место при аттестации школьников за 11 лет обучения. Это материал из курса начальной школы. По свидетельству томских специалистов, «при проведении регионального мониторинга аналогичные задания были включены в измерительный материал для оценки уровня сформированности универсальных учебных действий выпускников 4-х классов. Выпускники 4-х классов показали лучшую решаемость по
данным заданиям, нежели выпускники 11-х классов»1. О том, что они не дифференцируют участников по уровню знаний, составители знают. Так, по заявлению руководителя федеральной комиссии по разработке контрольно- измерительных материалов по математике И. Ященко, простейшие задания включаются в работу из политических соображений, чтобы не получить вал двоек и чтобы вузы смогли сделать наборы [11].
В результате для получения аттестата о среднем образовании выпускникам за 4 часа в 2014 г. необходимо было решить всего три (!) задачи из программы начальных классов. Такого маразма наша школа еще не знала.
Собственно программу основной и старшей школы проверяли менее половины всех заданий: В4, В6, В8-В15. Большинство из них довольно примитивны, какие-либо логические усилия для их решения не нужны (кроме В14 и В15, которые все равно стандартны, объявлены заранее и повторяются уже много лет) [9].
Также в контрольной работе содержатся задания, которых не решает никто или почти никто. Это некоторые задачи повышенного уровня и олимпиадного типа части С. Так, например, олимпиадные задачи выполняют лишь 1-2 школьника из каждой тысячи.
Серьезные искажения в результаты испытаний вносит система пересчета баллов. Ее недостатки разобрал И. Г. Малышев [8]. Он обращает внимание на то, что задания части В различаются по сложности и продолжительности отводимого на их решение времени в разы. Например, на задание В1 составители отвели 2 мин, а на текстовую задачу В15 -10 мин. Но оцениваются они одинаково: 1 первичный балл. Более того, пересчет первичных баллов в тестовые предполагает начисление максимальных баллов за решение простых задач. За каждый из первых трех первичных баллов начислялись по 8 тестовых, за каждый последующий -по 4 и менее. Решив задания части В (на них согласно спецификации отводится 65 мин), участник получит 68 тестовых баллов. Решив задания части С (на них спецификация отводит 155 мин, т. е. более чем вдвое больше времени) - 32 тестовых балла. Школьникам нет никакого резона тратить силы на сложные задания, если проходной балл можно получить за решение простых. Шкала перевода буквально заточена на то, чтобы втирать очки о «знаниях» слабых учащихся и демотивировать работу сильных выпускников [8].
1 Анализ результатов государственной итоговой аттестации выпускников 2015 года общеобразовательных учреждений Томской области в форме Единого государственного экзамена. Информационно-аналитический отчет и методические рекомендации. Томск: Дельтаплан, 2016. С. 270.
В 11-м классе дети уже не изучают математику, а готовятся к ЕГЭ. Поэтому был ли отсев учащихся, не было ли отсева, большинство натаскивается на решение задач части В, правильно решив которые можно рассчитывать на поступление в вуз. Подобный тренинг выливается в повышение баллов слабых классов, где отсева не было, и проседание баллов классов сильных, где отсев был. А это, в свою очередь, нивелирует результаты школ, муниципалитетов и регионов.
Об уровне влияния простейших задач на результаты ЕГЭ говорит такой факт. В 2016 г. в Омской области на профильном ЕГЭ по математике 6,5 тыс. участников заработали в сумме 56 тыс. первичных баллов. Из них 28 тыс., т. е. ровно половина, была получена за решение именно простейших задач (В1, В2, В3, В5, В6). На остальные 14 заданий приходится вторая половина баллов.
Разрыв между школьной программой и содержанием КИМов, низкое качество уроков как следствие тренингов на простые задачи, повлекло за собой расцвет репетиторства. По данным Росстата, уже в 2011 г. свыше четверти выпускников общеобразовательных школ (26,3%) готовились к ЕГЭ с помощью репетиторов, еще 3,5% на подготовительных отделениях вузов. В гимназиях, лицеях и школах с углубленным изучением предметов эти показатели были соответственно 46 и 14%. В городской местности доля школьников, занимающихся с репетиторами и на курсах при вузах, составляет 30 и 5%, в сельской - 15 и 0% соответственно1.
В то же время эффективность индивидуальных занятий с педагогом получила неоднозначную оценку. Так, специалист НИУ ВШЭ И. А. Прахов исследовал влияние репетиторства на результаты ЕГЭ. На основе разработанных на статистике 2010 г. моделей он установил, что воздействие репетиторов на баллы ЕГЭ прослеживается только по русскому языку, но не по математике [12, с. 89]. Это позволило сделать вывод о невысокой действенности такой формы подготовки вообще, и по математике в частности. На наш взгляд, эти выводы стали следствием использования примитивных моделей, игнорирующих специфику учета учебных достижений в отдельных дисциплинах.
Автору следовало бы обратить внимание на особенности работы репетиторов, которые учат, прежде всего, набирать максимальный балл. В разных дисциплинах они делают упор на заданиях, разных по степени сложности и способам оценивания. По русскому языку они, как правило, учат писать сочинение (напомним, что в 2010 г. оно давало 40% тестовых
1 Комплексное исследование условий жизни населения. Статистический сборник - 2011. Москва, 2013. С. 201.
баллов всей работы). Здесь репетиторы не столько повышали общую грамотность, которая в основном достигается самостоятельно (части А и В), сколько тренировали преодолевать рогатки, которыми составители КИМов обставили написание сочинения, т. е. части С (предусмотрено 12 (!) критериев оценки сочинения. И всем им нужно соответствовать1).
В математике невозможно выполнять сложные задания, не делая простых. Здесь часть С - либо трудоемкие (стереометрия, планиметрия, задачи с параметром), либо олимпиадные задачи, выходящие за рамки школьной программы. Научить выполнять часть С за год занятий репетитор может только очень хорошего выпускника, который в силу своей подготовки поступить в обычный вуз может и без репетитора. Для этого вполне достаточно «чисто» решить часть В. К тому же борьба за первичные баллы части С требует огромных усилий при минимуме вознаграждения в виде тестовых баллов (о несуразной шкале перевода баллов мы уже говорили). Именно по этой причине численность 100-балльников по русскому языку всегда намного больше, чем по математике. Данных обстоятельств модель И. А. Прахова не учитывала, поэтому роли репетиторов-математиков не обнаружила.
Кроме того, весьма опрометчиво напрямую, как сделал И. А. Пра-хов, сравнивать влияние на баллы ЕГЭ совершенно несопоставимых факторов: многолетних ежедневных уроков в школе и индивидуальных занятий с педагогом, которые в лучшем случае 1-2 раза в неделю посещал ученик в течение последнего учебного года, и на этой основе делать выводы о невысокой эффективности такой работы. Да и элементарная логика подсказывает, что не будь эти занятия результативны, они не стали бы столь распространены. Ведь обращаются к репетиторам только по хорошим отзывам. Например, согласно данным Института гуманитарного развития мегаполиса (Москва) и Левада-Центра, в 2014 г. почти 70% московских учащихся 10-11-х классов посещали дополнительные занятия по школьным предметам [7, с. 111]. А более 30% родителей учеников московских школ отмечали, что ВСЕ (!) знакомые им школьники занимаются дополнительно для подготовки к ЕГЭ, и 30% соглашались с тем, что цель таких занятий состоит в получении баллов, а не знаний [13, с. 162].
Дети, ориентируясь на средний балл приема в вуз, в который они планируют поступать (как правило, балл далеко не заоблачный, напри-
1 Демонстрационный вариант контрольных измерительных материалов единого государственного экзамена 2010 года по русскому языку [Электрон. ресурс]. Режим доступа: http://www.fipi.ru/ege-i-gve-11/demoversii-specifikacii-kodifikatory (дата обращения 18.02.2016).
мер, в омских вузах в 2016 г. он составил 56 баллов, на бюджет очного отделения - 62, по целевому набору - 54, на коммерческих условиях - 43 [8]), сами ограничивают свои усилия достижением этого минимума. Но из-за демографической ямы вузы уже давно подбирают абитуриентов с низкими баллами, чтобы сделать набор. Эти низкие баллы и становятся планкой, к которой стремится большинство вновь поступающих. В итоге требования к собственной подготовке у школьников из года в год снижаются, все меньше усилий нужно приложить, чтобы стать студентом. Специалистами давно замечено, что причины падения уровня математического образования - это снижение мотивации к учебе.
Отсутствие связи между отсевом и результативностью школ, муниципалитетов, регионов на ЕГЭ вызвано как несложностью заданий части В, так и натаскиванием на нее большинства учащихся. Таким образом, средний балл ЕГЭ по математике является вовсе не итогом школьного обучения, а продуктом тренинга на решение несложных задач.
Подтверждение этому выводу можно найти в другой работе специалистов из НИУ ВШЭ. На этот раз они изучали влияние ряда факторов на успешность выполнения учащимися 5-7-х классов диагностической работы в рамках национального исследования качества математического образования (НИ-КО), проведенного в 2014 г. [14]. Регионы-участники на основании результатов ЕГЭ были разбиты на три группы по уровню развития математического образования (1 - низкий, 2 - средний, 3 - высокий) и соотнесены с баллами НИКО (рис. 5, а). Кроме того, баллы НИКО сравнивались со школьными отметками по математике за предыдущий год: оценки 3, 4, 5 (рис. 5, г) [14, с. 140]. Разумеется, школьные оценки более соответствовали баллам НИКО, чем измеряемый с помощью ЕГЭ уровень развития математического образования регионов. Почему? Да потому, что для выборочного обследования НИКО детей никто специально не готовил, а учителя ставили оценки именно за знания. В то время как результативность на ЕГЭ отражает вовсе не уровень математического образования территорий, а в лучшем случае степень «дрессировки» выпускников на часть В, в худшем - лишь на демовариант.
Влияние натаскивания школьников обнаружила в своем исследовании М. Ю. Кирина, установив, что средний балл учебы по математике в 9-м классе и индивидуальная динамика, измеряемая на выходе баллами ЕГЭ, находятся в обратной зависимости. Учащиеся, плохо написавшие ГИА в 9-м классе, на ЕГЭ улучшают результат, и, наоборот, хорошо сдавшие ГИА на ЕГЭ выступают хуже ожидаемого. Происходит это потому, что при подготовке к ЕГЭ учитель ориентируется на тренинг слабых выпускников. «Сегодняшняя школа,
ставя планку на уровне "среднего" ученика, обеспечивает прогресс только слабо подготовленному ребенку, но не сильному ученику», - приходит к выводу М. Ю. Кирина [15, с. 238]. Добавим от себя, что прогресс слабо подготовленных в математике - по большому счету фикция, так как нынешних 11-клас-сников «дрессируют» уже на задачи начальной школы.
Рис. 5. Распределение баллов НИКО в зависимости от различных факторов: а) уровень результатов ЕГЭ по математике региона (3 - высокий; 2 - средний; 1 - низкий); б) тип школы; в) вид школы; г) школьная оценка по математике за предыдущий год (из работы НИУ ВШЭ) Fig. 5. The distribution of NIKO points depending on various factors: a) the level of the results of the USE on mathematics in the region (3 - high, 2 -medium, 1 - low); b) type of school; c) the type of school; d) school assessment in mathematics for the previous year (from the work of the Higher School of Economics)
О том, что средний балл ЕГЭ не отражает реального состояния дел в учебных заведениях, поняли, похоже, уже и в структурах, обладающих всей полнотой информации о ЕГЭ: в Министерстве образования РФ и Рос-обрнадзоре. По данным печати, в ведомстве прорабатывается вопрос по замене этого показателя на пять других. Рособрнадзор предлагает при оценке работы школ средний балл ЕГЭ заменить на следующие: массовость достижения базовых результатов; развитие таланта; прозрачность и объективность образовательного процесса; качество образовательной среды; результаты участия в региональных и федеральных программах подготовки выпускников [16].
Заключение
1. Средний балл ЕГЭ до сих пор активно используется для определения приоритетов образовательной политики органов управления образованием разного уровня и подведения итогов работы за отчетный период. Значение этого показателя, как мы видим, довольно опрометчиво ассоциируется большинством специалистов, не говоря уже о чиновниках, с качеством образования. Между тем баллы ЕГЭ по математике в действительности являются не столько продуктом школьного обучения, сколько результатом тренинга на решение простейших задач, что ставит под сомнение возможность ЕГЭ в нынешнем его виде хоть что-то верно измерять. Не удивительно, что при сопоставлении средних баллов экзамена с иными показателями, характеризующими образовательную сферу, статистическая связь между ними оказывается невысокой, а подчас и вовсе мнимой. Так, например, статистическая связь между средним баллом ЕГЭ школ и территорий с такими объективными показателями, как отсев детей или уровень участия в профильном экзамене, не проявилась. Таким образом, на вопрос, вынесенный в заголовок статьи «О чем говорит средний балл ЕГЭ?», относительно математики можно смело ответить: - ни о чем. Поэтому специалистам, берущимся изучать социально-экономические, демографические, национально-культурные, семейные и иные факторы, влияющие на результаты испытаний по этой дисциплине, следует не упускать из виду то, что представляют сами по себе эти результаты.
2. Основная идея ЕГЭ как инструмента независимой оценки качества образования ни у кого возражений не вызывает. Такой инструмент действительно необходим. Возражения вызывают нелепые условия, которыми обставлено проведение этой оценки, разлагающе воздействующие на всю систему образования. Именно они превратили ЕГЭ в лекарство, которое хуже болезни, которую оно призван лечить:
• отказ от обязательной итоговой школьной аттестации по большинству предметов официально освобождает учителей от обязанности учить, а школьников - учиться. В результате стимулы к напряженной учебной работе исчезли и у тех, и у других;
• контрольно-измерительные материалы по математике в современной их редакции позволяют успешно аттестовать выпускников, освоивших учебный курс лишь в объеме начальной школы. Примитивный характер заданий создает видимость высокого уровня подготовки школьников, которого на самом деле нет;
• шкалы перевода первичных баллов в тестовые буквально заточены на то, чтобы демотивировать работу сильных учащихся и высоко награждать наиболее слабых из них за мизерные проявления хоть каких-то знаний;
• досрочное оповещение участников о проверяемых элементах курса в демовариантах ведет к банальному тренингу, а не изучению всего курса математики. В итоге ЕГЭ утрачивает заложенные в нем свойства измерителя качества образования, а средние баллы превращаются в пустые и ничего незначащие цифры.
Что следует сделать для исправления ситуации?
Во-первых, необходимо вернуться к обязательным выпускным школьным экзаменам по предметам естественно-математического и гуманитарного циклов.
Во-вторых, отказаться от ЕГЭ как инструмента выпускной аттестации школьников, оставив за ним лишь функцию приемных экзаменов в учреждения профессионального образования.
В-третьих, привести содержание контрольно-измерительных материалов в соответствие с требованиями, предъявляемыми Федеральным компонентом государственного стандарта ОСНОВНОГО общего и СРЕДНЕГО (ПОЛНОГО) общего образования.
В-четвертых, отказаться от публикации демовариантов по всем предметам.
В-пятых, перейти к линейной шкале пересчета первичных баллов в тестовые.
Список использованных источников
1. Голубицкий А. В. Региональный социально-географический атлас системы общего образования: преодолима ли «власть территории» / / Вопросы образования. 2017. № 1. С. 188-246.
2. Нуриева Л. М., Киселев С. Г. Итоги ЕГЭ: опыт анализа. Ч. 1 // Ректор вуза. 2013. № 5. С. 42-53.
3. Нуриева Л. М., Киселев С. Г. Итоги ЕГЭ: опыт анализа. Ч. 2 // Ректор вуза. 2013. № 6. С. 44-52.
4. Ястребов Г. А., Бессуднов А. Р., Пинская М. А., Косарецкий С. Г. Проблема контекстуализации образовательных результатов: школы, социальный состав учащихся и уровень депривации территорий / / Вопросы образования. 2013. № 4. С. 188-246.
5. Агранович М. Л. Возможности анализа образовательных систем на основе результатов ЕГЭ // Вопросы образования. 2004. № 2. С. 272-287.
6. Горяйнова В. А., Акишин И. А. Эффективность деятельности школы и социально-экономические характеристики семей учащихся: существует ли взаимосвязь? // Вопросы образования. 2010. № 1. С. 151-160.
7. Бурдяк А. Я. Дополнительные занятия по школьным предметам: мотивация и распространенность // Мониторинг общественного мнения. 2015. № 2 (126). С. 96-112.
8. Малышев И. Г. К чему ведет забывчивость о принципах [Электрон. ресурс] // Математика в школе. 2015. № 10. С. 3-6. Режим доступа: http:// www.schoolpress.m/praducts/rubria/mdex.php?ro=72465&SECTION_ro=42 (дата обращения 11.05.2017)
9. Неретин Ю. А. ЕГЭ и агония математики в школе [Электрон. ресурс]. Режим доступа: http: //4ege.ru/analitika/52473-ege-i-agoniya-matematiki-v-shkole.html (дата обращения 11.05.2017)
10. Макаров А. А. Зверева Д. И., Симонова Г. И. Методика анализа результатов ЕГЭ по математике в 2014 году с учетом социально-демографических показателей регионов РФ [Электрон. ресурс] / / Статистические методы оценивания и проверки гипотез / Пермский государственный университет. 2015. Вып. 26. С. 205-222. Режим доступа: https://elis.psu.ru/node/337948 (дата обращения 12.03.2017)
11. Дмитриева М. Простые и сложные задания на ЕГЭ по математике «стоят» одинаково - один балл [Электрон. ресурс] // Учительская газета. 12.05.2016. Режим доступа: http://www.ug.ru/article/913 (дата обращения 11.05.2017)
12. Прахов И. А. Влияние инвестиций в дополнительную подготовку на результаты ЕГЭ // Вопросы образования. 2014. № 3. С. 74-99.
13. Пишняк А. И., Халина Н. В. Представления родителей московских школьников об успешной сдаче ГИА и ЕГЭ: возможности и барьеры // Вопросы образования. 2015. № 3. С. 144-170.
14. Макаров А. А., Симонова Г. И. Факторы математической успешности учащихся на старте средней школы // Статистические методы оценивания и проверки гипотез / Пермский государственный национальный исследовательский университет. 2016. Вып. 27. С. 134-152.
15. Кирина М. Ю. Школа на пути от ГИА к ЕГЭ: линия бездействия или вектор прогресса? // Вопросы образования. 2012. № 1. С. 229-245.
16. Панов П. Школы перестанут оценивать по ЕГЭ [Электрон. ресурс]. Режим доступа: http: / /iz.ru/news/622621.
17. Информационно-аналитические материалы по результатам проведения мониторинга эффективности деятельности образовательных организаций высшего образования [Электрон. ресурс]. Режим доступа: http://indica-tors.miccedu.ru/monitoring/_vpo/material.php? type=2&id=10904 (дата обращения 11.05.2017)
References
1. Golubickij A. V. Regional socio-geographical atlas of the general education system: Is «the power of the territory» overcomable? Voprosy obrazovaniya = Educational Studies. 2017. № 1. P. 188-246. (In Russian)
2. Nurieva L. M., Kiselev S. G. Results of the USE: Experience of analysis. Part 1. Rektor vuza = Rector of the University. 2013. № 5. P. 42-53. (In Russian)
3. Nurieva L. M., Kiselev S. G. Results of the USE: Experience of analysis. Part 2. Rektor vuza = Rector of the University. 2013. № 6. P. 44-52. (In Russian)
4. Yastrebov G. A., Bessudnov A. R., Pinskaya M. A., Kosareckij S. G. The problem of the contextualization of educational outcomes: schools, the social composition of students and the level of deprivation of territories. Voprosy obrazovaniya = Educational Studies. 2013. № 4. P. 188-246. (In Russian)
5. Agranovich M. L. Possibilities of the analysis of educational systems on the basis of results of the Unified State Exam. Voprosy obrazovaniya = Educational Studies. 2004. № 2. P. 272-287. (In Russian)
6. Goryajnova V. A., Akishin I. A. Effectiveness of school activities and socio-economic characteristics of students' families: Is there a relationship? Voprosy obrazovaniya = Educational Studies. 2010. № 1. P. 151-160. (In Russian)
7. Burdyak A. Ya. Additional lessons on school subjects: Motivation and prevalence. Monitoring obshchestvennogo mneniya = Monitoring of Public Opinion. 2015. № 2 (126). P. 96-112. (In Russian)
8. Malyshev I. G. What forgetfulness about principles brings to. Matematika v shkole = Mathematics in School. 2015. № 10. P. 3-6. Available at: http: //www.schoolpress.ru/ products/rubria/index.php? ID=72465&SECTI-ON_ID=42 (Accessed 12 May, 2016). (In Russian)
9. Neretin Yu. A. EGE i agoniya matematiki v shkole. [USE and mathematics agony of in school]. Available at: http://4ege.ru/analitika/52473-ege-i-agoni-ya-matematiki-v-shkole.html (Accessed 20 May, 2017). (In Russian)
10. Makarov A. A., Zvereva D. I., Simonova G. I. Methodology for analyzing the results of the USE on mathematics in 2014, taking into account the socio-de-mographic indicators of the regions of the Russian Federation. Statisticheskie me-tody ocenivaniya i proverki gipotez, Permskij gosudarstvennyj universitet = Statistical Methods for Estimating and Testing Hypotheses. Permskij gosudarstvennyj universitet. [Perm State University]. 2015. № 26. P. 205-222. Available at: http https://elis.psu.ru/node/337948 (Accessed 2 May, 2017). (In Russian)
11. Dmitrieva M. Simple and complex tasks in the Mathematics USE «cost» equally - one point. Uchitel'skaya gazeta = Teacher's Newspaper. 12.05.2016. Available at: http://www.ug.ru/article/913 (Accessed 20 May, 2017). (In Russian)
12. Prahov I. A. The impact of investment in additional training on the results of the USE. Voprosy obrazovaniya = Educational Studies. 2014. № 3. P. 7499. (In Russian)
13. Pishnyak A. I., Halina N. V. Ideas of parents of Moscow schoolchildren about the successful passing of the USE: Opportunities and barriers. Voprosy obrazovaniya = Educational Studies. 2015. № 3. P. 144-170. (In Russian)
14. Makarov A. A., Simonova G. I. Faktory matematicheskoj uspeshnosti uchashchihsya na starte srednej shkoly. [Factors of mathematical success of students at the start of secondary school]. Statisticheskie metody ocenivaniya i pro-verki gipotez. [Statistical methods of estimation and testing of hypotheses]. Perm-skij gosudarstvennyj nacional'nyj issledovatel'skij universitet. [Perm State National Research University]. 2016. P. 134-152. (In Russian)
15. Kirina M. Yu. School on the way from GIA to EGE: Line of inaction or vector of progress? Voprosy obrazovaniya = Educational Studies. 2012. № 1. P. 229-245. (In Russian)
16. Panov P. Shkoly perestanut ocenivat' po EGE. [Schools will not be judged by the USE]. Available at: http://iz.ru/news/622621 (Accessed 5 May, 2017). (In Russian)
17. Informacionno-analiticheskie materialy po rezul'tatam provedeniya monitoringa ehffektivnosti deyatel'nosti obrazovatel'nyh organizacij vysshego obrazovaniya. [Information and analytical materials on the results of monitoring the effectiveness of educational institutions of higher education]. Available at: http://indicators.miccedu.ru/monitoring/_vpo/material.php?type=2&id= 10904 (Accessed 10 May, 2017). (In Russian)
Информация об авторах:
Нуриева Люция Мухаметовна - кандидат педагогических наук, доцент кафедры математики и методики обучения математике Омского государственного педагогического университета, Омск (Россия), E-mail: liutsi-ya59@mail.ru
Киселев Сергей Георгиевич - социолог Центра адаптации и трудоустройства выпускников и студентов Омского государственного педагогического университета, Омск (Россия). E-mail: ksg_sd@mail.ru
Статья поступила в редакцию 03.03.2017; принята в печать 17.05.2017.
Авторы прочитали и одобрили окончательный вариант рукописи.
Information about the authors:
Liutsiya M. Nurieva - Candidate of Pedagogic Sciences, Associate Professor, Department of Mathematics and Methods of Mathematics Teaching, Omsk State Pedagogical University, Omsk (Russia). E-mail: liutsiya59@mail.ru
Sergey G. Kiselev - Sociologist, Center for the Adaptation and Employment of Graduates and Students, Omsk State Pedagogical University, Omsk (Russia). E-mail: ksg_sd@mail.ru
Received 03.03.2017; accepted for printing 17.05.2017.
The authors have read and approved the final manuscript.
