CC BY
86
Образование и наука. 2016. № 10 (139)
ОБЩИЕ ВОПРОСЫ ОБРАЗОВАНИЯ
УДК 371.26
Нуриева Люция Мухаметовна
кандидат педагогических наук, доцент кафедры математики и методики обучения математике Омского государственного педагогического университета, Омск (Россия). E-mail: liutsiya59@mail.ru
Киселев Сергей Георгиевич
социолог Центра адаптации и трудоустройства выпускников и студентов Омского государственного педагогического университета, Омск (Россия). E-mail: ksg_sd@mail.ru
ИТОГИ ЕГЭ: ОПЫТ МЕЖРЕГИОНАЛЬНЫХ СОПОСТАВЛЕНИЙ
Аннотация. Цель статьи - выявление факторов, определяющих результаты Единого государственного экзамена в регионах Российской Федерации, на примере экзамена по математике в 2013 г.
Методология и методика исследования. В ходе изучения результатов ЕГЭ применялась методология комплексного исследования, включающая методы сравнительного и статистического анализа данных, публикуемых по итогам экзамена Федеральным центром тестирования и Федеральным институтом педагогических измерений.
Результаты и их научная новизна. Установлено, что результаты ЕГЭ в регионах зависят не столько от уровня подготовки школьников, сколько от качества контрольно-измерительных материалов и дисциплины проведения испытаний на местах.
Практическая значимость. Авторы полагают, что выводы данного исследования будут способствовать совершенствованию методики и технологии проведения ЕГЭ.
Ключевые слова: ЕГЭ, межрегиональные сопоставления. DOI: 10.17853/1994-5639-2016-10-11-38 Статья поступила в редакцию 08.09.2016. Принята в печать 12.10.2016.
Liutsiya M. Nurieva
Candidate of Pedagogic Sciences, Associate Professor, Department of Mathematics and Methods of Mathematics Teaching, Omsk State Pedagogical University, Omsk (Russia). E-mail: liutsiya59@mail.ru
Sergey G. Kiselev
Sociologist, Center for the Adaptation and Employment of Graduates and Students, Omsk State Pedagogical University, Omsk (Russia). E-mail: ksg_sd@mail.ru
RESULTS OF THE UNIFIED STATE EXAM: EXPERIENCE OF INTERREGIONAL COMPARISONS
Abstract. The aim of the presented article is the search for the factors that determine the results of the Unified State Exam (USE) in the Russian regions through the example of mathematics exam in 2013.
Methods. During the study of the exam results the authors applied the methodology of complex research, including methods of comparative and statistical analysis of published data on the results of the exam by Federal Center of Testing and Federal Institute for Education Measurement.
Results and scientific novelty. It was found that the exam results in the region depend not only on the level of students' training, but on the quality of test materials and the discipline of the test procedures.
Practical significance. The authors suggest that the findings of this study will contribute to the improvement of techniques and technologies of the exam.
Keywords: USE, exam, interregional comparisons.
DOI: 10.17853/1994-5639-2016-10-11-38
Received: 08.09.2016.
Accepted for printing: 12.10.2016.
Единый государственный экзамен (ЕГЭ) как форма итоговой аттестации по образовательным программам среднего общего образования проводится в Российской Федерации уже не первое десятилетие. Однако общепринятой методики анализа его результатов не выработано до сих пор. Мнения специалистов о ценности получаемой в ходе экзамена информации и границах ее применимости расходятся до диаметрально противоположных. Одни полагают, что ЕГЭ позволяет изучать состояние системы общего образования и выступают за широкое использование результатов экзамена в управленческой практике [1, 3], другие говорят о чрезвычайной сложности обеспечения корректных сопоставлений результатов ЕГЭ в принципе [6, 8]. Отдельной проблемой является возможность и обоснованность сопоставлений результатов раз-
ных территорий, будь то муниципалитет или субъект Федерации, а также использование региональных баллов при сравнении показателей, характеризующих образовательную сферу.
Ответственность за эти неоднозначные и временами полярные утверждения в значительной мере лежит на совести организаторов ЕГЭ, которые не только не разработали понятный и прозрачный инструментарий анализа итогов экзамена, но даже стали скрывать статистику. Так, несмотря на то, что экзаменационные кампании в 2014-2016 гг., по словам высоких чиновников от образования, были самыми честными из всех проведенных, ни статистики, ни аналитики результатов ЕГЭ именно за эти годы практически нет. В широко анонсированных «открытых данных» Министерства образования и науки РФ сведения об итогах испытаний свелись лишь к двум куцым цифрам: численности участников и детей, получивших 100 баллов [12]. Раздел «Статистика» официального портала ЕГЭ поражает своей лапидарностью: кроме среднего балла, на главном официальном ресурсе страны нет ничего [15]. Новостная лента портала о проведении ЕГЭ в 2008-14 гг. полностью вычищена. Федеральный институт педагогических измерений (ФИ-ПИ) еще в 2013 г. оставил попытки изучения итогов ЕГЭ, заменив аналитические справки методическими рекомендациями по совершенствованию преподавания предметов. Федеральный центр тестирования (ФЦТ) отказался от публикации даже тех ограниченных сведений, которые ранее ежегодно выставлял на своем сайте. Не обнародуются элементарные графики распределения школьников по баллам. Удалена и вся информация о проведении ЕГЭ до 2016 г. Мало того, на сайте центра в течение нескольких лет в разделе «Аналитика» висело одно единственное объявление: «Раздел находится в процессе наполнения». Недавно оно исчезло вместе с так и не наполнившимся разделом.
Последним отголоском «гласности» была публикация итогов ЕГЭ в 2013 г.: ФЦТ привел распределение первичных баллов на обязательных экзаменах по каждому региону [16]. В настоящее время и эта информация удалена. К счастью, мы загодя озаботились скопировать ее, хотя с анализом несколько задержались. Поскольку ЕГЭ-2013 с точки зрения дисциплины был нетипичен, была надежда, что более продуктивным в дальнейшем станет анализ «честных экзаменов» в 2014 и 2015 г. К сожалению, статистики о том, чем они завершились, так и не появилось. Поэтому ничего не остается, как воспользоваться результатами «нечестного» ЕГЭ-2013, чтобы сделать хоть какие-то честные выводы.
Примеры межрегиональных сопоставлений
Первое, к чему приступают специалисты, изучающие результаты ЕГЭ, это сравнение среднего балла своего региона и страны в целом с по-
казателями прошлых лет. По величине отклонений делаются выводы о состоянии местной системы образования и итогах работы за год. Выводы эти, как правило, слабо устраивают кого-либо, так как практически не сопровождаются объяснениями полученных результатов. Однако ничего другого в сложившейся системе информации сделать нельзя. Сравнивать свои достижения с результатами других регионов специалисты на местах не могут из-за отсутствия соответствующих данных. В этой связи бессмысленными выглядят «Методические рекомендации по применению системы показателей и индикаторов для управления качеством образования на региональном и муниципальном уровнях», подготовленные группой экспертов и апробированные под эгидой Рособрнадзора в 15 регионах страны в 2006 г. В них главным инструментом выступает сопоставительный анализ, который «позволяет выявлять наибольшие отклонения от средних значений по группам территорий как в лучшую, так и в худшую сторону для последующего анализа причин этих отклонений и принятия решений
об использовании удачного опыта или разработке мер по улучшению положения в "отстающих" образовательных системах. Кроме того, показатели лучших территорий могут быть приняты в качестве целевых значений в программах и проектах различного уровня» [1]. Как реализовать эти идеи при отсутствии необходимой статистики, авторам рекомендаций следовало бы задуматься еще до их написания.
Простое сопоставление средних баллов по территориям порождает больше вопросов, чем ответов. О том, что такие сравнения следует делать с большой осторожностью, говорят многие специалисты. В одних публикациях обращается внимание на необходимость учитывать социально-экономические условия функционирования региональных образовательных систем, в частности урбанизацию территорий [6, с. 52], в других - на особенности контингента выпускников, а именно уровень отсева учащихся после окончания основной школы [2], в третьих - на особенности типов и видов образовательных учреждений [3, с. 20]. От себя добавим, что результаты ЕГЭ зависят также от структуры бюджетных мест в местных вузах (при наличии сильного технического вуза школьники будут штудировать математику, при отсутствии - обществознание).
Дефицит информации о результатах ЕГЭ на местах самым непосредственным образом сказывается на публикационной активности и фокусе внимания специалистов, пишущих по данной проблематике. Из более чем ста публикаций, размещенных на сайте Научной электронной библиотеки eLIBRARY.RU и так или иначе посвященных вопросам экзамена, мы не нашли ни одной, которая содержала бы межрегиональные сопоставления итогов ЕГЭ. Встречаются лишь единичные случаи привлече-
ния региональных результатов к решению ряда исследовательских задач. Так, например, специалисты Иркутского института географии СО РАН П. Л. Попов и В. Г. Сараев попытались воспользоваться данными ФЦТ для поиска статистических связей между результатами экзамена и социально-экономическими и мировоззренческими факторами в регионах России [13]. Недостаток данного исследования - некритичное отношение к итогам испытаний, которые из-за низкой дисциплины в 2013 г. стали нести недекларируемую нагрузку. Вследствие этого многие из найденных корреляционных связей оказались труднообъяснимыми, а на поверку и вовсе мнимыми. Достоинством этой работы можно назвать скорее попытку поиска причин тех или иных достижений регионов, чем действительно полученный результат.
Единственный пример межрегиональных сопоставлений, который был опубликован самими организаторами, можно найти в отчете ФИПИ за 2010 год. Работники института при описании методики стати стичес-кой обработки результатов рассказали о приемах чистки исходного массива от недостоверных или нетипичных сведений [5, с. 10].
На рис. 11 показано, как выглядели результаты чистки данных по русскому языку в 2010 г.: цифрой 1 обозначено распределение баллов по всей совокупности, цифрой 2 - распределение участников после удаления нетипичных регионов.
Обратим внимание, что после проведенных манипуляций суммирующий график не изменился. И причина проста: нетипичные результаты характерны чаще всего для регионов с небольшой численностью учащихся. Чем меньше выпускников, тем выше влияние случайных факторов, тем больше разброс баллов. На рис. 1 такие регионы представлены волнообразными линиями (обозначены цифрой 3)2. Исключение составляет график одной из территорий (цифра 4), который представляет собой нормальное распределение с левосторонним сдвигом, почти зеркально расположенное относительно итогового. Его форма, где нет случайных выбросов, свидетельствует о значительном количестве участников. Скорее всего, это Дагестан, который «выдают» многочисленность детей и низкий балл. В то же время ФИПИ исключил из рассмотрения и его, хотя эти результаты представляют несомненный интерес именно из-за своей необычности. Подобное изъятие не отразилось на общем итоге лишь только пото-
1 Рисунки, размещенные в статье, можно посмотреть в цвете в электронной версии журнала на сайте: http://www.edscience.ru/jour
2 Соединение точек плавной кривой лишь создает иллюзию непрерывности распределения, которой здесь на самом деле нет, так как график построен на интервальной шкале, предназначение которой и состоит в том, чтобы сгладить слишком большой разброс.
му, что такой регион был один. В силу того, что вклад небольших регионов в общее распределение был невелик, их удаление не отразилось на суммирующей кривой. В результате с содержательной точки зрения чистка данных, проводимая ФИПИ, не просто утратила смысл, а стала даже вредна, так как исключила из анализа часть информации.
Рис. 1. Распределение участников по баллам по русскому языку в 2010 г.
опубликованные ФИПИ
Графики ФИПИ интересны тем, что показывают, с какими сведениями работают его специалисты и как они их интерпретируют. Все, что не укладывается в готовую схему, отбрасывается. Не случайно аналитические отчеты института из года в год почти дословно переписывают одни и те же выводы. База анализа уже вычищена.
Рис. 2. Распределение первичных баллов по математике в регионах РФ в абсолютных цифрах и процентах
Между тем главным фактором, определяющим итоги ЕГЭ на местах, является качество контрольно-измерительных материалов. Как показывает анализ результатов испытаний, основной причиной искажений в графиках распре-
деления учащихся по баллам выступают не мифические особенности региональных образовательных: систем и труднообъяснимые провалы в подготовке школьников на местах, а банальные ошибки в контрольно-измерительных материалах [6, с. 47; 7, с. 46] и сложные с языковой точки зрения формулировки заданий, создающие дополнительные трудности для учащихся тех территорий, где русский язык не является родным [18]. Так, например, пробелы в знании молекулярно-кинетической теории у школьников на экзамене по физике в 2010 г. объяснялись безграмотным подбором альтернатив задания А9; задание А5 по обществознанию не имело решений; многолетнее отставание выпускников, сдававших немецкий язык, вызвано некорректными заданиями В2 и т. д. Вывод за рамки анализа нетипичных результатов приводит к тому, что ошибки в КИМах остаются необнаруженными годами. Кроме того, по мнению некоторых специалистов, содержание контрольно-измерительных материалов часто носит чрезмерно прикладной и неактуальный характер [17, с. 169]. На форумах экспертов, проверяющих выпускные работы, можно встретить замечания о том, что обращения с мест о некорректности формулировок заданий ФИПИ не рассматривает.
Любопытно было бы взглянуть на чистку данных по математике, которую проводил ФИПИ (если он ее, конечно, проводил) в 2013 г. На рис. 2 представлено распределение участников по первичному баллу по регионам. Для наглядности на графиках указаны, насколько позволяет формат рисунка, некоторые территории.
Какие регионы здесь следует признать нетипичными, сказать трудно. Поэтому, прежде чем производить межрегиональные сопоставления, сделаем небольшое отступление и посмотрим на особенности этой экзаменационной кампании.
Особенности экзаменационной кампании 2013 года
Отличительной чертой проведения ЕГЭ в 2013 г. стала низкая дисциплина как участников, так и организаторов. На основном этапе испытаний в сети было выявлено 143 размещения фрагментов контрольно-измерительных материалов, чаще всего по русскому языку (61) и математике (65)1. Но даже не это главное. За неделю до экзамена в сети появились действующие задания по ряду предметов. Например, омские школьники обменивались папкой под названием «Сибирь», которая содержала 8 действительных вариантов по математике для сибирского региона. Появилась она не позднее 1 июня. Напомним, что экзамен проходил 3 июня.
1 Официальный информационный портал Единого государственного экзамена [Электрон. ресурс]. Режим доступа: http://ege.edu.ru/ru/main/news/ index.php?id_4=18796&from_4=75 (дата обращения 04.01.2015 г.).
Нарушения на ЕГЭ-2013 по горячим следам широко комментировались в прессе и оппонентами, и организаторами. Недостатком дискуссий было слабое привлечение статистики. Критиками экзаменационной кампании выступали, как правило, журналисты. Не имея точных цифр, они поднимали проблемы дисциплины с точки зрения многочисленности нарушений без возможности оценить их масштабы. Организаторы, признавая утечку контрольно-измерительных материалов, приводили данные, свидетельствующие о слабом ее влиянии на результаты испытаний. В Интернет есть видео пресс-конференции «Предварительные итоги ЕГЭ-2013», где на вопросы прессы отвечали руководители Рособрнадзора, ФЦТ и ФИПИ [14]. Для доказательства «неплохой» дисциплины они привели графики распределения баллов по русскому языку и математике (рис. 3). На этих же слайдах Рособрнадзор обнародовал и свои выводы:
1) статистически значимое влияние обсуждения заданий КИМ в Интернет на результаты по русскому языку отсутствует;
2) появление заданий КИМ в Интернет по математике привело к небольшому увеличению участников, набравших средние баллы. Число тех, кто получил максимальное количество баллов, практически не увеличилось.
Общий вывод: кампания 2013 года прошла успешно.
Но так ли это на самом деле? Каково было истинное влияние рассекречивания КИМов на результаты экзамена? И почему оно более всего проявилось в математике?
Можно согласиться с объяснением Рособрнадзора, что повышение баллов по русскому языку связано с наработкой опыта сдачи ЕГЭ в школах и, следовательно, признать, что утечка КИМов минимально отразилась на результате по данной дисциплине. Однако в случае с математикой этого недостаточно.
Появление в сети открытых заданий по математике вызвало рост решаемости почти по всему их спектру. Воспользоваться неожиданным бонусом сумел почти каждый пятый школьник страны (в некоторых регионах доля улучшивших результат была намного выше). На рис. 4 хорошо видно, как слабые школьники с позиции 28-36 тестовых баллов (6-8 первичных) переместились на позицию 44-60 баллов (10-14 первичных). Для середнячков, предел мечтаний которых находился ранее только в части В (ее граница обозначена вертикальной линией), появились новые возможности: многие уложились в интервал от 63-74 баллов (15-20 первичных), успешно решая задачи части С. Численность высокобалльников увеличилась в разы. С учетом того, что уровень нарушений, как правило, определялся по величине отклонений от предыдущих лет, которые, в свою очередь, честными тоже не были, некоторые исследователи полагают, что с помощью разного рода фальсификаций в 2013 г. были получены до 30% баллов [11].
Рис. 3. Слайды с конференции «Предварительные итоги ЕГЭ-2013»: 2011 г. - нижняя линия; 2012 г. - средняя линия; 2013 г. - верхняя линия
2012 -2Q13 -20u]
Рис. 4. Распределение выпускников по тестовому баллу по математике в 2012-14 гг. (первая волна)
Причина, по которой погрешности организации экзамена наиболее явно проявились именно в математике, связана со спецификой предмета: для решения задач, в том числе части С, достаточно лишь узнать их основную идею и загодя прояснить необходимый алгоритм вычислений. Так как варианты заданий появились заранее, у детей была возможность прорешать их как самостоятельно, так и на консультациях в школах, с репетиторами, родителями и т. д. Поэтому большинству учащихся, знакомых с КИМами из Интернет, на экзамене подсказка была уже не нужна: они заранее знали какого характера задачи им будут предложены и как их решать. На указанной пресс-конференции руководитель разработчиков КИМов по математике И. В. Ященко не без удовольствия отметил, что подсказкой из сети воспользовались только подготовленные школьники и что слабым учащимся эта подсказка не помогла.
Акцентируем этот очень важный момент: реальные КИМы не столько показали все задачи, сколько сориентировали выпускников, т. е. выполнили роль демоварианта. Отсюда следует неприятный вывод: демо-вариант на самом деле дезориентирует учащихся относительно реальных заданий, а успешность территорий в выполнении ЕГЭ определяется, прежде всего, степенью соответствия комплектов КИМов, направленных в тот или иной регион, демоварианту. Ведь именно на него детей натаскивают в школах.
Осознание масштабов нарушений к организаторам ЕГЭ пришло, видимо, позднее. Лишь в мае 2014 г. в Интернет появилось интервью с директором Московского центра непрерывного математического образования (МЦНМО) И. В. Ященко и заведующим кафедрой высшей математики НИУ-ВШЭ А. А. Макаровым, которые по поручению Рособрнадзо-ра статистическими методами производили оценку честности проведения ЕГЭ на местах [2]. И. В. Ященко и А. А. Макаров провели типологию регионов по характеру фальсификаций и выделили семь кластеров, в которых их можно обнаружить статистически (рис. 5). При этом использовались результаты экзамена первой волны. Не обошлось без накладок: распределения баллов четвертого и шестого кластеров одинаковы. Вероятно, некоторые нарушения идентично проявляют себя на графике. Какие регионы вошли в каждую из групп, эксперты не говорили, но частично реконструировать картину можно по статистике ФЦТ.
Рис. 5. Распределение участников ЕГЭ по математике в группах регионов
(источник МЦНМО)
В первый кластер попали 14 регионов (10% участников), где доля школьников, получивших 14 баллов, составляет в среднем около 6%. Это Республика Алтай, Республика Саха (Якутия), Забайкальский, Камчатский и Приморский края, Амурская, Архангельская, Курганская, Магаданская,
Сахалинская и Свердловская области, Еврейская АО, Ненецкий и Чукотский АО. Нарушения дисциплины здесь статистически почти не проявились. Особенностью группы является низкий балл участников.
Вторая группа насчитывает 23 региона (26% участников), чьи результаты по 60-балльникам находятся на уровне 7-8%: Бурятия, Карелия, Коми, Хакасия, Удмуртия, Алтайский, Краснодарский, Пермский и Хабаровский края, Астраханская, Владимирская, Волгоградская, Вологодская, Иркутская, Кировская, Костромская, Омская, Псковская, Саратовская, Смоленская, Тульская, Тюменская и Челябинская области. Нарушения дисциплины здесь имели небольшой масштаб. Для этих регионов также характерен невысокий результат.
В третью группу вошли всего 3 региона (7% участников): Тыва, Башкирия, Дагестан. Низкая дисциплина тут связана с попустительством в использовании школьниками телефонов и шпаргалок, что проявилось в непропорциональном росте решения заданий части В: результаты большинства учащихся уложились в диапазон 7-14 баллов.
Другой вид нарушений демонстрируют участники четвертой и шестой групп, где экзаменационную работу зачастую выполняли учителя. Это Ямало-Ненецкий АО, регионы Северо-Кавказского федерального округа и образовательные учреждения федерального уровня (6% участников). Большинство экзаменуемых показали высокие результаты в части В, ничего не сделав в части С. Данный феномен А. А. Макаров объясняет так: «Например, сельская школа, где без всякого контроля работу за детей выполняют учителя. В части В они все успевают вписать за нескольких учеников, но в части С, во-первых, учитель сельской школы сам не всегда может решить задачку, а во-вторых, ему это особо и не нужно - он уже отчитался высокими показателями своей работы» [3].
В седьмую группу вошли всего два региона (1% участников): Калмыкия и Ингушетия, где нарушения связаны не только с вышеуказанными причинами, но и с работой предметных комиссий. Здесь резко возросла доля детей с высокими результатами, поскольку эксперты, проверяющие работы, начисляли школьникам баллы только за переписывание условия задачи.
Пятая группа оказалась самой многочисленной как по числу регионов, так и по числу школьников (34 региона и 50% школьников). Распределение по баллам ее выпускников в значительной мере формирует общероссийское распределение и поэтому совпадает с ним. Пик в 14 баллов обусловлен в основном появлением реальных заданий в сети Интернет.
Если соотнести кластеры «нарушителей» с численностью участников, то выявится, что доля школьников, сдававших экзамен в относительно честных условиях, была невелика. При этом большинство нарушений
оказались связанными с утечкой заданий через Интернет и появившимися возможностями более целенаправленно подготовиться к экзамену. А. А. Макаров при этом обращает внимание на высокий уровень организации этого нарушения: «...сами по себе утечки вариантов ЕГЭ в Интернет требовали высокой профессиональной работы. И это не какая-то частная инициатива отдельного школьника, который что-то там взломал и выложил. Ведь мало выложить - еще надо широко распространить по социальным сетям» [2]. Виновных, конечно, не нашли, поэтому официально провалы в обеспечении безопасности списали на «оленеводов» из пунктов проведения экзамена отдаленных местностей. По случайному (?) совпадению в конце 2013 г. были сменены руководители ФИПИ и ФЦТ.
Низкая дисциплина привела к появлению существенных различий в показателях регионов: результат первого кластера составил 39 тестовых баллов, второго - 45, третьего и пятого - 50, четвертого и шестого - 53, седьмого - 59. То есть показатели седьмого кластера оказались в 1,5 раза выше первого. Причинами территориальных различий в итогах ЕГЭ, кроме прочего, стали местные особенности в работе региональных экспертов. Субъективизм оценивания, против которого нацелен ЕГЭ, вовсе не устранен тестовой формой экзамена и автоматизированной системой проверки. Задания части С все равно проверяются вручную. И от четкости следования экспертами инструкциям зависит региональный результат. В 2013 г. лояльность местных экспертов настолько подняла региональные баллы, что комиссия Рособрнадзора по сопровождению проведения экзамена приняла решение о выборочных перепроверках высокобалльных работ. На федеральном уровне проверялись работы из всех регионов Северо-Кавказского федерального округа, Красноярского края, Республики Тыва, а также из Брянской, Свердловской, Орловской, Кемеровской областей и ряда других субъектов Российской Федерации. Несколько сглаживал ситуацию тот факт, что доля школьников из кластеров-«передови-ков» (четвертного, шестого и седьмого, т. е. территорий, где высокие баллы «обеспечивались» самими организаторами на местах) была сравнительно невелика (15%). В последующем Рособрнадзор выдвинул идею перекрестной проверки, когда работы одного региона рассматриваются экспертами другого.
Итоги ЕГЭ-2013 в регионах
Распределение по баллам на ЕГЭ-2013 по математике зачастую предается анафеме не только критиками экзамена, но даже его приверженцами. Так, например, при межгодовых сопоставлениях от результатов 2013 г. отказались даже специалисты ФИПИ [19]. Нетипичность распределения останавливает исследователей уже на стадии его констатации. При
этом поиск причин искажений графика обычно ограничивается лишь указанием на низкую дисциплину. Несмотря на максимальную за всю историю ЕГЭ доступность статистики, глубокого изучения ЕГЭ-2013 так и не получил. Между тем результаты этой экзаменационной кампании представляют существенный интерес, поскольку позволяют поднять круг проблем, на первый взгляд неочевидных.
Итоговое распределение по баллам в целом по стране является суммой результатов регионов, каждый из которых вносит свой вклад на разных участках шкалы. Например, столица и Подмосковье значительно поднимают общероссийский результат, а регионы Дальнего Востока - снижают, но несущественно, так как численность школьников там несопоставимо мала. Половину всех участников ЕГЭ составляют представители лишь двух федеральных округов (Центрального и Приволжского), а треть (33%) - всего восьми регионов-гигантов (Москва, Московская область, Санкт-Петербург, Краснодарский край, Свердловская и Ростовская области, Башкирия, Татарстан). Именно эти территории в основном формируют облик общероссийского распределения по баллам. В свою очередь, их результаты определяются не только знаниями школьников, но и особенностями местных образовательных систем и качеством КИМов, в них направленных.
Как показал наш анализ, конечный вид графика по России в 2013 г. определяли три группы регионов со сходными внутри групп распределениями (рис. 6). Первая группа - с условно низкими результатами, вторая -средними, третья - высокими. Для первой группы пик численности школьников приходится на 7 первичных баллов, для третьей - на 14. Второй группе присущи черты первой и второй групп: она имеет два пика - в 7 и 14 баллов. И у всех групп присутствует всплеск на границе 4 и 5 первичных баллов, что характеризует масштабы двоек в первой волне. Наибольшая доля школьников пересдавала экзамен в первой группе, наименьшая - в третьей. Регионы-гиганты присутствуют в каждой из этих групп.
В первую группу входит 18 субъектов РФ (республики Алтай, Карелия, Удмуртия, Саха-Якутия, Забайкальский, Камчатский, Краснодарский, Пермский и Приморский края, Амурская, Архангельская, Курганская, Сахалинская, Свердловская, Магаданская области, Еврейская АО, Ненецкий и Чукотский АО), или 16% всех выпускников. И, хотя группа состоит в основном из восточных регионов, почти половину учащихся (47%) здесь составляют дети трех регионов центральной и южной части страны: Краснодарского, Пермского краев и Свердловской области.
Обращает на себя внимание тот факт, что в группе территорий, где пробелы в подготовке школьников можно списать на социально-экономические особенности развития Сибири и Дальнего Востока, оказались социально и экономически развитые Удмуртия, Свердловская область, Пермский и Краснодарский края. Появление в сети реальных заданий школь-
никам этих регионов почему-то не помогло. Рискнем предположить, что причиной тому стали особенности контрольно-измерительных материалов, а именно их существенное отличие от тех, что попали в Интернет.
Рис. 6. Усредненные результаты по группам регионов
Характерной чертой первой группы был низкий результат: подавляющее большинство школьников (в среднем 88%) получили баллы только за часть В. При кластеризации группа разбивается на подгруппы, которые отличаются друг от друга величиной всплеска, соответствующего 14 баллам: от практически полного его отсутствия (Амурская область, Якутия, Ненецкий АО) до наибольшего в этой группе его значения - на уровне 88,5% (Карелия и Приморский край). При этом часто в одних подгруппах оказываются регионы одинаковых часовых поясов или географические соседи (подгруппы на рис. 7 обведены кружком).
Аналогичную картину можно обнаружить при кластеризации второй группы, самой многочисленной по составу - 45% всех участников из 38 субъектов Федерации. Почти треть ее являются представителями всего 6 регионов: Санкт-Петербурга, Красноярского края, Ростовской, Челябинской, Нижегородской и Новосибирской областей, в значительной мере определяющих групповые итоги. Для этих регионов характерен существенный рост доли участников, получивших 14 баллов, при уменьшении участников с низкими баллами.
Здесь тоже обнаруживается сходство графиков географических соседей (рис. 8): 1. Республика Хакасия, Красноярский край, Кемеровская область; 2. Новосибирская, Омская, Томская области и Алтайский край; 3. Оренбургская, Саратовская, Волгоградская, Астраханская области;
4. Санкт-Петербург, Ленинградская, Вологодская, Ярославская, Кировская области и Республика Коми.
26
20
15
10
5
0
Рис. 7. Дендрограмма регионов первой группы
При этом в группе отмечается нарастание энтропии в результатах соседних регионов, что связано с дисциплиной проведения испытаний, которая на местах была разной. Если в первой группе отношение суммы квадратов отклонений от среднего по всем заданиям к числу регионов составляет 10,6, то во второй - 11,4. На рис. 8 некоторые регионы, получившие близкий результат, но отдаленные друг от друга или однозначно попавшие не в «свой» кластер, обведены красной линией1.
Почти 30% школьников третьей группы являются выпускниками школ Москвы и Московской области. Вместе с Башкирией, Татарстаном и Дагестаном они составляют свыше половины всех учащихся группы. Здесь наблюдается дальнейшее увеличение энтропии в результатах соседних регионов и, наоборот, рост сходства распределений отдаленных друг от друга областей (отношение суммы квадратов отклонений от среднего по всем заданиям к числу регионов - 22,4) (рис. 9). Почти идентичны графики Ямало-Ненецкого АО и Чечни. Тыва оказалась близка по результатам Карачаево-Черкесии, Дагестану, Ставрополью и Башкирии. Мурманская и Самарская области показывают достижения, аналогичные столичным. В отдельный кластер, не похожий на всех остальных, выделилась Ингушетия. Аномалия обусловлена тем, что результаты ЕГЭ здесь большей
1 См. на сайте журнала. Образование и наука. 2016. № 10(139) The Education and science journal no. 10 (139)
частью определялись не столько знаниями учащихся, сколько масштабами и характером фальсификаций.
Рис. 8. Дендрограмма регионов второй группы
Рис. 9. Дендрограмма регионов третьей группы
Если перенести итоги кластеризации на карту, то обнаруживается близость распределений по баллам территорий, находящихся в одних часовых поясах. Причем в европейской части, в отличие от азиатской, регионы группируются не с востока на запад, а с севера на юг. На рис. 10 регионы со сходными распределениями обведены кружками.
Рис. 10. Территориальное расположение групп регионов-участников по
результатам ЕГЭ1
1 Условные обозначения названий субъектов РФ: 1. Адыгея, 2. Республика Алтай,
3. Башкортостан, 4. Бурятия, 5. Дагестан, 6. Ингушетия, 7. Кабардино-Балкария, 8. Калмыкия, 9. Карачаево-Черкесия, 10. Карелия, 11. Коми, 12. Марий Эл, 13. Мордовия, 14. Саха (Якутия), 15. Северная Осетия, 16. Татарстан, 17. Тыва, 18. Удмуртия, 19. Хакасия, 20. Чечня, 21. Чувашия, 22. Алтайский край, 23. Забайкальский край, 24. Камчатский край, 25. Краснодарский край, 26. Красноярский край, 27. Пермский край, 28. Приморский край, 29. Ставропольский край, 30. Хабаровский край, 31. Амурская область, 32. Архангельская область, 33. Астраханская область, 34. Белгородская область, 35. Брянская область, 36. Владимирская область, 37. Волгоградская область, 38. Вологодская область, 39. Воронежская область, 40. Ивановская область, 41. Иркутская область, 42. Калининградская область, 43. Калужская область, 44. Кемеровская область, 45. Кировская область, 46. Костромская область, 47. Курганская область, 48. Курская область, 49. Ленинградская область, 50. Липецкая область, 51. Магаданская область, 52. Московская область, 53. Мурманская область, 54. Нижегородская область, 55. Новгородская область, 56. Новосибирская область, 57. Омская область, 58. Оренбургская область, 59. Орловская область, 60. Пензенская область, 61. Псковская область, 62. Ростовская область, 63. Рязанская область, 64. Самарская область, 65. Саратовская область, 66. Сахалинская область, 67. Свердловская область, 68. Смоленская область, 69. Тамбовская область, 70. Тверская область, 71. Томская область, 72. Тульская область, 73. Тюменская область, 74. Ульяновская область, 75. Челябинская область, 76. Ярославская область, 77. Москва, 78. Санкт-Петербург, 79. Еврейская АО, 80. Ненецкий АО, 81. Ханты-Мансийский АО, 82. Чукотский АО, 83. Ямало-Ненецкий АО, 84. Республика Крым.
Почему это происходит? Скажем сразу, что не следует искать каких-либо общих черт в социально-экономическом развитии территорий, породивших этот эффект. Все гораздо проще.
На упомянутой пресс-конференции по итогам ЕГЭ-2013 директор ФЦТ С. Г. Тимофеев рассказал, что на экзамене всегда существовали 4 зоны, разделенные по часовым поясам. Зоны эти он не назвал, но, судя по существованию зоны «Сибирь» (по названию папки с КИМами), скорее всего, их можно условно обозначить как Дальний Восток, Сибирь, Урал, Центр1. Чтобы сделать бесполезным обмен КИМами между различными частями страны, в каждую зону, со слов С. Г. Тимофеева, всегда направлялись разные контрольно-измерительные материалы. А, поскольку перед организаторами стояла задача максимально разнообразить их на территориях, находившихся в разных часовых поясах, в регионы одного пояса направлялись единые комплекты заданий. Решая одинаковые задачи, школьники соседних регионов получают близкий результат. Так, например, распределение по баллам учащихся Омской области оказалось подобным результату других субъектов Сибирского федерального округа: Новосибирской, Томской областей и Алтайского края (территорий одного часового пояса). В свою очередь, Кемеровская область, Красноярский край, Хакасия также группируются в один кластер (другой часовой пояс). В европейской части страны, которая живет в основном по московскому времени, деление на зоны, куда направляются различные комплекты КИМов, производится, видимо, по степени удаленности от Москвы (с севера на юг). Например, Архангельская область и Карелия группируются в один кластер, Санкт-Петербург, Ярославская, Ленинградская, Кировская, Вологодская и Республика Коми - в другой и т. д. Аналогичные примеры можно легко обнаружить и по иным территориям и федеральным округам. Если распределение какого-либо региона выпадает из общего строя, значит, его комплект заданий в чем-то серьезно отличался от остальных (но это маловероятно) либо сыграла свою роль дисциплина экзамена. Только погрешностями в организации ЕГЭ на местах можно объяснить отличие графиков ряда территорий от своих соседей (Тывы, Ямало-Ненецкого АО, Башкирии и т. д., кстати, по которым и проводились проверки Рособр-надзора).
Если сравнить результаты подгрупп, то выяснится, что разные комплекты контрольно-измерительных материалов дают разное
1 В зону «Восток» условно входят 9 регионов, где разница с Москвой по времени составляет от 6 до 9 часов. В зону «Сибирь» входят 13 регионов с разницей по времени от 3 до 5 часов. В зону «Урал» входят 8 регионов с разницей с московским временем в 1-2 часа. Остальные 53 субъекта Федерации относятся к зоне «Центр» (московское время) (сюда же входит Калининградская область).
распределение учащихся по баллам и, соответственно, разный средний балл. То есть уровень соответствия региональных комплектов заданий демоварианту и спецификации настольно отличается по территориям, что это проявляется статистически.
Так, средний тестовый балл подгруппы 1 составляет 37 баллов, а у соседней подгруппы 2 - 40 баллов; подгруппы 3 - 47 баллов, а подгруппы 4 -46 баллов; подгруппы 7 - 42 баллов, а подгруппы 8 - 46 баллов.
Интересно, что в общем распределении по баллам еще есть всплеск, соответствующий 66 баллам. В неявном виде он присутствует и на графиках 2012 и 2014 г. Так проявляет себя тенденция распада школы на массовую и элитарную. В 2013 г. это явление прошло незамеченным на фоне искажений, вызванных утечкой КИМов. Зато в распределении ЕГЭ-2014, самого честного из проведенных, заметен подъем линии графика в интервале 60-70 баллов (на рис. 4 обозначен стрелкой), что выдает данный процесс с головой. Обратим также внимание на то, как менялось распределение по математике в 2011-2013 гг. На рис. 3 можно наблюдать, как оно из года в год расползалось по всей шкале, становясь все более плосковершинным. В Интернет на эту тему можно найти замечательный доклад профессора Петрозаводского университета А. В. Иванова [4]. По его мнению, ЕГЭ поставило учителя в такие условия, когда он более ориентирован на работу со слабыми учащимися (чтобы в классе не было двоек) и не может уделять должного внимания остальным. Другой эффект внедрения ЕГЭ заключается в постоянном снижении требований к уровню знаний, что выражается в систематическом снижении проходного балла и упрощении задач, с тем чтобы предотвратить вал двоек (ведь по результатам ЕГЭ оценивается работа самого Министерства образования и науки РФ). Все это освобождает педагогов от обязанности учить, а школьников -учиться [20]. В результате качество обучения падает, и значительная часть учащихся вынуждена обращаться к репетиторам. Этот вывод А. В. Иванова подтверждается официальной статистикой. Согласно исследованиям Росстата, уже в 2011 г. свыше четверти выпускников общеобразовательных школ (26,3%) готовились к ЕГЭ с помощью репетиторов, еще 3,5% -на подготовительных отделениях вузов. В гимназиях, лицеях и школах с углубленным изучением предметов эти показатели были соответственно 46% и 14%. В городской местности доля школьников, занимающихся с репетиторами и на курсах при вузах, составляет 30% и 5%, в сельской -15% и 0% соответственно [9, с. 201]. В итоге массовая школа дает пик в 6-10 первичных баллов, а элитарная - 15-20. Именно возникновение этого разрыва, с точки зрения А. В. Иванова, и побудило чиновников выступить с идеей разделить экзамен на базовый и профильный.
Невзирая на высокие показатели, Москва и Московская область (в 2013 г. они заняли 8-е и 16-е место) как регионы с нечестными результатами, со слов И. В. Ященко, никогда не рассматривались. Кроме того, А. А. Макаров в упомянутом выше интервью добавил: «Подавляющее большинство регионов имеют одинаковые распределения и по математике, и по русскому языку. Мы можем говорить о том, что не важно, в Москве ты или в Новосибирской, Калининградской области - шансы получить высокие баллы в любом из этих регионов одинаковы» [2].
Однако к столичным результатам имеет смысл все же присмотреться. Любопытно: почему в лидерах подготовки оказываются выпускники школ Москвы и Подмосковья (8-е и 16-е место), но не Санкт-Петербурга и Ленинградской области (42-е и 43-е место)? Ведь репетиторство процветает не только в Москве. Чем школьники северной столицы хуже москвичей?
Мы полагаем, что ничем. Все дело в том, что именно в Москве содержание контрольно-измерительных материалов более всего соответствует демоварианту. Не думаем, что эта затея была специально придумана изощренными умами ФИПИ и ФЦТ. Скорее всего, на первых порах организаторы старались прежде обезопасить себя от критики за содержание заданий при публичном подведении итогов ЕГЭ. Поскольку им приходилось отвечать в основном на вопросы центральной прессы, в распоряжение которой попадают чаще всего московские КИМы, именно эти комплекты заданий проходят наиболее тщательный отбор на соответствие спецификации и демоварианту. Осознание того, что, изменяя уровень такого соответствия, можно получить определенные выгоды, пришло позднее, когда стали понятны причины «стабильных успехов» московских школьников. Отказываться от этого инструмента организаторы не стали, ведь с его помощью решается ряд управленческих задач: например, обеспечение преимуществ москвичам для поступления в местные вузы. Действительно, отличнику из провинции ЕГЭ не препятствует поступить в столичный вуз. Но вот провинциалу-хорошисту в Москву дорога заказана. Здесь и своих хорошистов хватает, которых ЕГЭ и «вытаскивает за уши». О том, что варианты работы не равны по сложности, признают и сами составители. Так, в «Методических рекомендациях по некоторым аспектам совершенствования преподавания математики» за 2013 г. приводится решаемость различных задач. Разница в решаемости заданий В4 в разных вариантах составила 10 процентных пункта, В5 - 15, В7 -36(!), В8 - 21, В13 - 14, С1 - 45(!), С3 - 24 [19]. Такой разброс объясняется не столько различием в сложности заданий (ведь составить однотипные задания в математике проще, чем в любой другой дисциплине), сколько степенью их соответствия демоварианту. Режим секретности помогает чиновникам манипулировать результатами ЕГЭ. Но зачем им все это?
С помощь ЕГЭ не только обеспечивается приоритет московских школьников при приеме в столичные вузы и снимается вызванное конкуренцией социальное напряжение, но и решаются другие задачи, такие как, например, аттестация и аккредитация учреждений ВПО. Варьируя степень близости КИМов демоварианту, можно вполне законно регулировать оценку эффективности учреждений профобразования. Если у Рособ-рнадзора в планах появляется намерение сократить их в каком-либо регионе, то он элементарно может направить туда КИМы, существенно отличающиеся от демоварианта. Образовательная деятельность вузов, измеряемая в баллах ЕГЭ (см. методику определения эффективности учреждений ВПО), немедленно просядет, и появятся основания для обвинений в плохой работе, а, следовательно, для реорганизаций и слияний. Все это выглядит объективно и прозрачно - ведь в КИМы при аттестации никто не смотрит.
Подведем итоги
1. Межрегиональные сопоставления показали, что результаты ЕГЭ по территориям зависят не столько от уровня подготовки школьников, сколько от содержания и качества контрольно-изме-рительнъх материалов. Комплекты КИМов даже в такой дисциплине, как математика, подобны соли и сахару - только с виду одинаковы. Различия их в регионах столь значительны, что это проявляется статистически. Основная причина неравной сложности КИМов в регионах - разный уровень сходства с демовариантом.
Таким образом, основной постулат ЕГЭ, озвученный министром образования Д. Ливановым: «ЕГЭ - это экзамен, который задает единую систему оценивания по всей стране, в любой школе, в любой регионе, это единый уровень сложности заданий» [11] - не соответствует действительности. Несмотря на более чем десятилетнюю практику проекта, организаторам так и не удалось обеспечить равенство возможностей для всех учащихся даже в дисциплине, где это сделать проще всего.
2. Результаты ЕГЭ в регионах напрямую зависят от дисциплины проведения экзамена, которая на местах всегда была разной, о чем до 2013 г. организаторы практически молчали. Между тем корректные межрегиональные сопоставления возможны лишь в случае обеспечения равных условий проведения испытаний и в первую очередь наличия равных по сложности контрольно-измерительных материалов и соблюдения дисциплины участников и организаторов.
3. Эти неустраненные и неустранимые недостатки стали причиной политики сокрытия итогов ЕГЭ. Похоже, что в спорах о целесообразности экзамена Министерство образования и науки РФ пошло по пути, по опре-
делению недопустимому в академической среде, а именно - утаивания результатов испытаний и, как следствие, обмана профессионального сообщества о состоянии «системы независимой оценки общего образования». Что же предложено взамен? Статистика подменена выполненными на уровне начальной школы картинками (так называемой инфографи-кой), а сведения о результатах ЕГЭ, разбросанные по СМИ, свелись к подсчету видеокамер, общественных наблюдателей, уличенных в нарушениях школьников и освоенных средств. Вместо публикации результатов за немалые деньги заказана широкая PR-кампания по формированию положительного отношения к экзамену среди населения1.
На портале Минобрнауки РФ есть стенограмма пресс-конференции по итогам «честного» ЕГЭ-2014, где министр образования Д. Ливанов на просьбу одного из журналистов привести статистику экзамена сказал следующее: «Я еще раз хочу обратить ваше внимание, что окончательные результаты экзаменов еще не подведены, они все будут опубликованы так же, как это было в прошлые годы, в том числе в региональном разрезе. Вы сможете увидеть результаты по каждому предмету, по каждому региону, средние экзаменационные баллы и сделать свои выводы». То ли министр запамятовал, то ли передумал, но ничего из обещанного не было сделано ни в 2014, ни в 2015, ни в 2016 г.
В августе 2016 г. в России был назначен новый министр образования О. Ю. Васильева. При вступлении в должность она отметила, что не думает, что в проведении ЕГЭ «будут какие-то кардинальные изменения, а будет отшлифовываться то, что уже есть, в частности сокращение тестовой части». В то же время Ольга Юрьевна добавила, то будет «делать все возможное, чтобы никаких натаскиваний на ЕГЭ не было после уроков, потому что если программа пройдена, то страха на экзамене просто не должно быть»2.
Предложения
Что можно предложить для улучшения ситуации с ЕГЭ, кроме его отмены?
1. Нужно вернуться к традиционным выпускным школьным экзаменам по предметам естественно-математического и гуманитарного циклов и снять с ЕГЭ обязанности выпускной аттестации школьников, оста-
1 Информацию о заказных пиар-акциях, посвященных ЕГЭ, можно найти на сайте общественного движения «Обрнадзор»: http://обрнадзор.рф.
2 Интервью министра образования РФ О. Ю. Васильевой / / РИА Новости [Электрон. ресурс]. 15.10.2016. Режим доступа: Ы1р://минобрнауки.рф/пресс-центр/8775.
вив за ним функцию приемных экзаменов в учреждения профессионального образования. Результаты школьных экзаменов следует учитывать при приеме в вузы в виде дополнительных баллов.
2. Необходимо полностью открыть федеральный банк тестовых заданий по всем дисциплинам. Контрольно-измерительные материалы накануне экзамена должны формироваться из него случайным образом отдельно для каждого региона.
3. Целесообразно отказаться от публикации демовариантов по всем предметам.
4. Требуется открыть статистику экзамена и создать в ФЦТ базу данных результатов испытаний, где в интерактивном режиме каждый исследователь мог бы получить статистику в любом разрезе и по любому региону. К анализу региональных результатов ЕГЭ следует привлечь вузовское сообщество, так как ФИПИ сделать его не в состоянии.
5. Надо обязать региональные центры обработки информации публиковать не только статистику выполнения заданий в своем регионе, но и задания, использованные в каждой экзаменационной кампании, и анализ результатов ЕГЭ по территории.
6. Необходимо исключить результаты ЕГЭ из критериев оценки работы вузов.
Статья рекомендована к публикации д-ром пед. наук, проф. Ю. А. Шиховым
Литература
1. Агранович М. Л., Заир-Бек С. И., Коган Е. Я. Методические рекомендации по применению системы показателей и индикаторов для управления качеством образования на региональном и муниципальном уровнях [Электрон. ресурс]. Режим доступа: http://window.edu.ru/catalog/pdf2txt/050/ 79050/59754? p_page=1 (дата обращения 11.01.2016 г.).
2. Алябьева Е. Десятки тысяч выпускников просто выигрывали свой результат в «лотерею» [Электрон. ресурс]. Режим доступа: https://slon.ru/econo-mics/desyatki_tysyachjvypusknikov_prostojvyigryvaH_svoy_rezultat_v_lotereyu_-1097425.xhtml (дата обращения 11.08.2016 г.).
3. Боченков С. А. Анализ и интерпретация результатов ЕГЭ-2012 // Управление образованием: теория и практика. 2012. № 3. С. 9-35 [Электрон. ресурс]. Режим доступа: http://www.iuorao.ru/images/jurnal/12_3/bochen-kov.pdf (дата обращения 01.09.2016 г.).
4. Иванов А. В. ЕГЭ в школах - инструмент деградации для России [Электрон. ресурс]. Режим доступа: https://www.youtube.com/watch?v=z4 MAbshKIJk (дата обращения 11.08.2016 г.).
5. Итоговый аналитический отчет о результатах проведения ЕГЭ в 2010 году (май-июнь 2010 года) [Электрон. ресурс]. Москва, 2010. Режим доступа: http://
fipi.ru/sites/default/files/document/ 14080028/ 1_razdel_11_21092010.pdf (дата обращения 11.08.2016 г.).
6. Киселев С. Г., Нуриева Л. М. Итоги ЕГЭ: опыт анализа // Ректор вуза. 2013. № 5, ч. 1. С. 42-53.
7. Киселев С. Г., Нуриева Л. М. Итоги ЕГЭ: опыт анализа // Ректор вуза. 2013. № 6, ч. 2. С. 44-52.
8. Киселев С. Г., Нуриева Л. М. К проблеме анализа результатов Единого государственного экзамена // Ректор вуза. 2010. № 3. С. 38-44.
9. Комплексное исследование условий жизни населения. Статистический сборник - 2011. Москва, 2013. 316 с.
10. Ливанов Д. В. ЕГЭ приближается к экзаменам «как в СССР» [Электрон. ресурс]: интервью газете «Комсомольская правда» 01.12.2015 г. Режим доступа: http: / / минобрнауки. рф/%D 1%81/%D0%BD%D0%BE%D0%B2% D0%BE%D1 %81%D1 %82%D0%B8/7019 (дата обращения 12.08.2016 г.).
11. Оглоблин А. В. Треть баллов ЕГЭ по математике 2013 года - фальсификация? [Электрон. ресурс]. Режим доступа: https://slon.ru/economics/ tret_ballov_ege_po_ matematike_2013_goda_falsifikatsiya-1102925.xhtml (дата обращения 11.08.2016 г.).
12. Открытые данные Министерства образования и науки Российской Федерации. Сведения о сдаче Единого государственного экзамена [Электрон. ресурс]. Режим доступа: http://открытые-данные.минобрнауки.рф/opendata/ 7710539135-ege (дата обращения 24.07.2016 г.).
13. Попов П. Л., Сараев В. Г. Результаты ЕГЭ в субъектах Российской Федерации: связи с социально-экономическими и мировоззренческими явлениями // Современные проблемы науки и образования. 2015. № 2 (2). С. 590-598.
14. Предварительные итоги ЕГЭ-2013 [Электрон. ресурс]. Режим доступа: http://pressmia.ru/media/20130628/601819438.html (дата обращения 31.08.2016 г.).
15. Статистика ЕГЭ. Официальный информационный портал Единого государственного экзамена [Электрон. ресурс]. Режим доступа: http:// ege.edu.ru/ru/main/ satistics-ege/ (дата обращения 2.03.2015 г.).
16. Статистика результатов ЕГЭ в 2013 году в регионах России [Электрон. ресурс]. Режим доступа: http://www.rustest.ru/ege/ statistics/results/ (дата обращения 24.02.2014 г.).
17. Шмалько С. П. ЕГЭ и профессиональная ориентация абитуриента // Теоретические и прикладные аспекты современной науки. 2015. № 9 (4). С. 168-170.
18. Якубов А. В. Нужна ли математика Чечне? [Электрон. ресурс]. Режим доступа: http: //www.schoolpress.ru/products/rubria/index.php?ID=72947 &SECTION_ID=42(дата обращения 11.08.2016 г.).
19. Ященко И. В., Семенов А. В., Высоцкий И. Р. Методические рекомендации по некоторым аспектам совершенствования преподавания математики. Москва: ФИПИ, 2013 [Электрон. ресурс]. Режим доступа: http:// fipi.ru/ege-i-gve-11/analiticheskie-i-metodicheskie-materialy (дата обращения 12.08.2016 г.).
20. Khamatnurov F. T., Dudina M. M. & Chistik O. F. Psychological and Pedagogical Problems of Development of Talent Among Schoolchildren // IEJME-Mathematics Education. 2016. № 11 (8). P. 2903-2913.
References
1. Agranovich M. L., Zair-Bek S. I., Kogan E. Ja., Kogevnikova O. N., Majo-rov A. N., Mitrofanov K. G. i dr. Metodicheskie rekomendacii po primeneniju sis-temy pokazatelej i indikatorov dlja upravlenija kachestvom obrazovanija na regi-onal'nom i municipal'nom urovnjah. [Methodical recommendations about use of system of measures and indicators for quality management of education at the regional and municipal levels]. Available at: http://window.edu.ru/catalog/ pdf2txt/050/79050/59754? p_page=1. (In Russian)
2. Alyabyeva E. Tens of thousands of graduates just won the result in «lottery». Available at: https://slon.ru/economics/desyatki_ tysyach_vypuskni-kov_prosto_vyigryvali_svoy_rezultat_v_lotereyu_-1097425.xhtml. (In Russian)
3. Bochenkov S. A. Analysis and interpretation of results of USE-2012. Up-ravlenie obrazovaniem: teorija i praktika. [Management of Education: Theory and Practice]. 2012. № 3. P. 9-35. Available at: http://www.iuorao.ru/images/jur-nal/12_3/bochenkov.pdf. (In Russian)
4. Ivanov A. V. EGJe v shkolah - instrument degradacii dlja Rossii. [USE at schools - the instrument of degradation for Russia]. Available at: https:// www.youtube.com/watch? v= z4MAbshKIJk. (In Russian)
5. Itogovyj analiticheskij otchet o rezul'tatah provedenija EGJe v 2010 godu (maj-ijun' 2010 goda). [The closing analytical report about results of holding the USE in 2010 (May-June, 2010)]. Moscow, 2010. Available at: http://fipi.ru/si-tes/default/ files/document/ 14080028/ 1_razdel_11_21092010.pdf. (In Russian)
6. Kiselev S. G., Nurieva L. M. USE results: experience of the analysis. P. 1. Rektor vuza. [Rector of Higher Education Institution]. 2013. № 5. P. 42-53. (In Russian)
7. Kiselev S. G., Nurieva L. M. USE results: experience of the analysis. P. 2. Rektor vuza. [Rector of Higher Education Institution]. 2013. № 6. P. 44-52. (In Russian)
8. Kiselev S. G., Nurieva L. M. To a problem of the analysis of results of the Unified state exam. Rektor vuza. [Rector of Higher Education Institution]. 2010. № 3. P. 38-44. (In Russian)
9. Kompleksnoe issledovanie uslovij zhizni naselenija. Statisticheskij sbor-nik - 2011. [Complex research of living conditions of the population. The statistical collection - 2011]. Moscow, 2013. P. 316. (In Russian)
10. Livanov D. V. EGJe priblizhaetsja k jekzamenam «kak v SSSR»: interv'ju gazete «Komsomol'skaja pravda» 1 dekabrja 2015 goda. [USE approaches the exams «as in the USSR»: interview to the newspaper Komsomolskaya Pravda, d.d. 1.12.2015]. Available at: http://minobrnauki.rf/%D1%81/%D0%BD%D0% BE%D0%B2%D0%BE%D1%81% D1%82%D0%B8/7019. (In Russian)
11. Ogloblin A. V. Tret' ballov EGJe po matematike 2013 goda - fal'sifikaci-ja? [A third of marks in the Unified State Examination on mathematics of 2013 -
falsification?]. Available at: https://slon.ru/economics/ tret_ballov_ege_po_mate-matike_2013_goda_falsifikatsiya-1102925.xhtml. (In Russian)
12. Otkrytye dannye Ministerstva obrazovanija i nauki Rossijskoj Federacii Svedenija o sdache Edinogo gosudarstvennogo jekzamena. [Open data of the Ministry of Education and Science of the Russian Federation]. Available at: http://otkrytye-dannye.minobrnauki.rf/opendata/ 7710539135-ege. (In Russian)
13. Popov P. L., Saraev V. G. Results of the USE in subjects of the Russian Federation: communications with the social and economic and world outlook phenomena. Sovremennye problemy nauki i obrazovanija. [Modern Problems of Science and Education], 2015. № 2 (2). P. 590-598. (In Russian)
14. Predvaritel'nye itogi EGJe - 2013. [Preliminary results of USE-2013]. Available at: http://pressmia.ru/media/20130628/601819438.html. (In Russian)
15. Statistika EGJe. [USE statistics]. Oficial'nyj informacionnyj portal Edi-nogo gosudarstvennogo jekzamena. [Official information portal of the Unified state examination]. Available at: http://ege.edu.ru/ru/main/ satistics-ege/. (In Russian)
16. Statistika rezul'tatov EGJe v 2013 godu v regionah Rossii. [Statistics of results of the USE in 2013 in regions of Russia]. Available at: http://www.rus-test.ru/ege/ statistics/results/. (In Russian)
17. Shmal'ko S. P. USE and vocational guidance of the entrant. Teoretiches-kie i prikladnye aspekty sovremennoj nauki, [Theoretical and Application-Oriented Aspects of the Modern Science]. 2015. № 9 (4). P. 168-170. (In Russian)
18. Jakubov A. V. Nuzhna li matematika Chechne? [Whether the mathematics is necessary to Chechnya?]. Available at: http://www.schoolpress.ru/pro-ducts/rubria/ index.php?ID=72947&SECTION_ID=42. (In Russian)
19. Jashhenko I. V., Semenov A. V., Vysockij I. R. Metodicheskie rekomen-dacii po nekotorym aspektam sovershenstvovanija prepodavanija matematiki. [Methodical recommendations about some aspects of enhancement of teaching mathematics]. Moscow: FIPI, 2013. Available at: http://fipi.ru/ege-i-gve-11/anali-ticheskie-i-metodicheskie-materialy. (In Russian)
20. Khamatnurov F. T., Dudina M. M. & Chistik O. F. Psychological and Pedagogical Problems of Development of Talent Among Schoolchildren. IEJME-Mat-hematics Education. 2016. № 11 (8). P. 2903-2913. (Translated from English)
