CC BY
75
ОБЩИЕ ВОПРОСЫ ОБРАЗОВАНИЯ
С. Г. Киселев,
Л. М. Нуриева
ЕГЭ И АНАЛИЗ КАЧЕСТВА ОБУЧЕНИЯ МАТЕМАТИКЕ
В статье рассматриваются проблемы анализа результатов Единого государственного экзамена на федеральном и региональном уровнях и некоторые социальные аспекты его проведения. Уточняется роль ЕГЭ в системе повышения качества общеобразовательной подготовки школьников, выявляется ряд инструментальных недостатков экзамена, влияющих на его итоги.
In this article the problems of the analysis of results of Uniform graduation examination at federal and regional levels and some social aspects of its realization are considered. Role of Uniform graduation examination in system of improvement of quality of general educational preparation of schoolboys is specified, a number of tool lacks of the examination influencing its results comes to light.
С 2005 г. в открытом доступе стали появляться официальные общероссийские итоги Единого государственного экзамена. Их публикует Федеральный институт педагогических измерений (ФИПИ), осуществляющий содержательное и аналитическое сопровождение экзамена. Помимо сборников ФИПИ издает также свои исследования (см. www.fipi.ru). К настоящему времени на сайте ФИПИ имеются годовые отчеты о проведении ЕГЭ с 2005 по 2007 гг. почти по всем дисциплинам. Хотя отчеты довольно велики по объему и подробны, они, к сожалению, политизированы полемикой о целесообразности ЕГЭ и не уделяют должного внимания его действительным проблемам. При этом вольно или невольно искажается истинная картина проведения экзамена (в нашем случае мы говорим только о предмете «математика»). Назначение отчетов ФИПИ можно скорее отнести к обоснованию полезности осуществления таких испытаний, чем изучению их результатов. Поэтому в целях определения проблем, связанных с проведением ЕГЭ, мы предприняли параллельный его анализ.
Мы не ставили задачу рассмотреть итоги ЕГЭ по всем дисциплинам. Для этого мы просто не располагаем исходной информацией. В нашем распоряжении имеется лишь некоторая статистика результатов ЕГЭ по математике в Омской области в 2005-07 гг., т. е. за период, когда экзамен по этой дисциплине был в регионе обязательным для всех учащихся. Используя данные ФИПИ и статистику итогов экзамена по математике в Омской области, рассмотрим следующие вопросы:
• насколько возможен анализ результатов ЕГЭ и как с этой задачей справляются ФИПИ и региональные органы управления образованием (например, Министерство образования Омской области);
И
• какие проблемы необходимо решить для того, чтобы подведение итогов экзамена способствовало повышению общеобразовательной подготовки школьников.
Обработать результаты ЕГЭ в целом по стране могут инстанции, располагающие соответствующими данными, - организаторы проведения экзамена и разработчики контрольно-измерительных материалов (КИМов): Министерство образования РФ, Федеральный центр тестирования (ФЦТ) и Федеральный институт педагогических измерений. Несмотря на то, что экзамен проводится с 2001 г., отчеты по его итогам обнародованы только за последние три года. Какие же сведения о результатах ЕГЭ по математике содержатся в этих отчетах?
Прежде всего, составители сразу оговариваются, что их работа не претендует на полноту и всесторонность представления результатов ЕГЭ «из-за невозможности отражения выполнения всех вариантов КИМов и временных ограничений». Причем эта оговорка повторяется из года в год [1, с. 5; 2, с. 6;
3, с. 6]. Но никто и не требует от ФИПИ анализа всех вариантов, желательно лишь обеспечить достаточную его полноту. Однако, располагая полными данными об итогах ЕГЭ, ФИПИ фактически признается, что физически не может их проанализировать.
Возникает вопрос: а кто может выполнить такую работу, если единственные обладатели информации сделать это не в состоянии? Ответ таков: в действующей структуре сбора, накопления и анализа информации о результатах ЕГЭ этого не сделает никто. И причина заключается не в численности сотрудников ФИПИ, их квалификации или временных ограничениях.
Обратим внимание на характер сведений, с которыми имеют дело аналитики, и на систему распределения информации между обеспечивающими проведение экзамена организациями: региональными центрами обработки информации (РЦОИ) и Федеральным центром тестирования. Напомним, что контрольная работа по математике представляет собой набор заданий трех видов: часть «А» - с выбором ответа, часть «В» - с кратким ответом, часть «С» -с развернутым ответом. Обработка данных по частям «А» и «В» осуществляется машиной, по части «С» - экспертами. По каждому участнику экзамена существует факт проставления одной из четырех альтернатив ответа на задания в части «А» (крестик в бланке), краткий ответ в части «В» и баллы за решение части «С». Кроме того, о каждом выпускнике имеются данные, определяемые структурой бланка регистрации: индивидуальный номер - штрих-код, регион, муниципальное образование, образовательное учреждение, класс, пункт проведения ЕГЭ, номер аудитории, дата проведения экзамена, предмет, вариант, фамилия, имя, отчество участника и его паспортные данные.
Сведения об участниках и результатах испытаний дополняются информацией об образовательном учреждении, где помимо прочего (наименование, юридический адрес, данные об аттестации и аккредитации и т. д.) указывается его местонахождение, тип и вид, форма собственности.
В 2005 г. ФЦТ обработал результаты ЕГЭ по математике на 680 тыс. чел. (52% от общего числа выпускников школ) [1, с. 8], в 2006 г. - 623 тыс. (47,7%) [2, с. 10], в 2007 г. - 605 тыс. чел. (52,9%) [3, с. 10].
Вопрос: что можно получить благодаря обработке и анализу таких данных?
Ответ: ничего или почти ничего. Поясним, почему.
Основой анализа больших массивов информации являются группировка (разбиение совокупности на группы, однородные по какому-либо признаку) и типология (выделение групп объектов, обладающих набором общих признаков). В нашем случае недостаточно получить обобщенную среднюю оценку учащихся по стране или территориям. Необходимо выделить группы школьников, описать их результат и объяснить его причины. Однако перечень признаков, заложенных в структуре сведений об участниках, очень незначителен: пол участника, тип и вид школы, место ее нахождения, форма собственности - и все! Неудивительно, что выводы, которые получает ФИПИ из года в год, более чем банальны: городские школьники выполняют задания лучше сельских, выпускники обычных школ - лучше вечерних, учащиеся гимназий, лицеев и школ с углубленным изучением предметов - лучше школ обычных, представители крупных населенных пунктов - лучше, чем малых (см. [1, с. 14;
2, с. 17, 41-42; 3, с. 19-20]). Для того чтобы такие выводы делать, ЕГЭ можно не проводить. А какие управленческие решения можно предложить на основании таких выводов?
Выход своим аналитическим усилиям ФИПИ находит в выделении группировок учащихся по степени успешности выполнения экзаменационной работы: двоечников, троечников, хорошистов и отличников, а затем рассматривает их результаты по типам задач. Однако на уровне федерального центра это занятие в значительной мере лишено смысла. Зачем высчитывать процент школьников, решивших задания на преобразование логарифмов, в масштабе всей страны? Кому нужна средняя температура по больнице? - Ответ очевиден. Это необходимо только разработчикам образовательных стандартов и КИМов, но не школам и педагогам, которым куда важнее знать конкретные затруднения своих выпускников. Фактически ФИПИ, изучая пробелы участников экзамена, выполняет работу, которая должна быть проведена в каждом общеобразовательном учреждении.
Сложность анализа результатов ЕГЭ по математике заключается, кроме того, в отсутствии данных о реальных трудностях учащихся. Требования технологичности обработки информации заставляют записывать ответы в числовом виде, а в случае невозможности - предлагать ответ в качестве альтернативы для выбора. Но главное: за результатом решения не видно логики рассуждения экзаменуемых. В этих условиях умозаключения специалистов ФИПИ о проблемах школьников строятся на догадках, основанных скорее на практике непосредственного общения с учащимися, чем на результатах выполнения работ. Даже анализ итогов части «С» возможен лишь постольку, поскольку специалистам ФИПИ удается, что называется, «вживую» поработать с ответами выпускников и самими учащимися либо с обобщенными аналитическими справками, подготовленными региональными экспертами. Так, например, проблема решения алгебраического задания С5 в 2006 г., связанная с тем, что в его условии не имелось никаких ориентиров, облегчающих нахо-
ждение способа решения, выявилась для авторов КИМов только в беседах со школьниками, участвовавшими в пробных и репетиционных ЕГЭ [2, с. 55].
Не удивительно, что, обладая сколь колоссальным (более полумиллиона работ только по математике), столь и пустым (в виде крестиков и готовых ответов) массивом информации, ФИПИ вынужден гадать о действительных затруднениях выпускников, что хорошо видно из содержания отчетов. Показательны в этом отношении оговорки, которыми изобилует анализ ФИПИ: видимо, по-видимому, возможно, вероятно, может, быть. Чтобы не быть голословными, процитируем некоторые фрагменты отчета ФИПИ 2006 г. (курсив наш. - С. К., Л. Н.):
«Поскольку сразу в условие задачи не удается подставить значение переменной, а предварительно необходимо преобразовать данные задачи (представить логарифм произведения в виде суммы логарифмов), то, видимо, именно этот шаг вызывает наибольшее затруднение» [2, с. 44].
«Немного более низкие результаты выполнения заданий типа № 1 и № 2, по-видимому, связаны с тем, что после применения свойств радикалов от учеников требовалось вычислить значение корня, что способствовало появлению вычислительных ошибок» [2, с. 46].
«Некоторое снижение результатов, по-видимому, объясняется тем, что после умножения степеней (34а • 3-2а = 32а) выпускники должны вычислить значение выражения...» [2, с. 47].
«...менее подготовленные учащиеся лучше выполняют преобразование суммы логарифмов в логарифм произведения, чем разность логарифмов в логарифм частного. Видимо, именно это повлияло на снижение результатов при решении логарифмического уравнения [2, с. 49].
«Возможно, что трудности с решением этого уравнения у слабо подготовленных школьников связаны с несколько необычным видом уравнения.» [2, с. 50].
«Вероятнее всего, более высокий результат при решении этого типа уравнения объясняется формой представления условия задания.» [2, с. 51].
«Возможно, что некоторое снижение результатов связано с тем, что при нахождении области определения уравнения типа № 3 нужно было учитывать два фактора.» [2, с. 52].
«Трудность этого задания, возможно, состояла в том, что от учащихся требовалось самостоятельно по графикам определить абсциссы точек пересечения двух графиков» [2, с. 54].
«С заданием типа № 1 справляются несколько хуже: дают верный ответ в среднем 22,4% выпускников, среди них только 66,1%, получивших отметку «5». Возможно, это связано с двумя обстоятельствами. Во-первых, в этом задании более длинная цепочка вычислений (4 слагаемых вместо 3 или 2), что, очевидно, с большей вероятностью может приводить к арифметическим ошибкам. Во-вторых, более низкий результат мог быть обусловлен тем, что учащиеся меньше ошибок допускают, применяя определение четной функции (Д-х) = .Дх)), чем нечетной (Д-х) = - .Дх)). А в задании № 1 использовалось определение именно нечетной функции» [2, с. 60].
Не спасают положение и дистракторы - варианты ответов, полученные с использованием типичных ошибочных действий школьников, по той простой причине, что заполнение бланков заданий в условиях гарантированной тройки у значительной их части происходит методом элементарного угадывания. Так, например, выпускники одной из вечерних школ Омской области выполнили свою работу на экзамене за 15 минут, заполнив адресную часть бланка и понаставив крестов в бланке № 1. В этом случае анализ дистракто-ров просто приведет добросовестных исследователей к заблуждениям.
Другая проблема: сопоставление итогов ЕГЭ по годам. О том, как производится выявление тенденций в сфере качества подготовки школьников, можно узнать из отчетов ФИПИ. Для этого, по словам авторов, осуществляется шкалирование результатов текущего и предшествующего годов на основе единого банка откалиброванных тестовых заданий [1, с. 5]. Однако при определении тенденций сравниваются не фактические результаты - количество решенных заданий, а производные от этой оценки - тестовые баллы и аттестационные отметки. В результате в Омской области, например, в 2007 г. учащиеся правильно решили больше задач, чем в 2006 г., но получили больше двоек. Число задач, решенных омскими школьниками, увеличилось, а качество математической подготовки ухудшилось. В то же время, согласно ФИПИ, КИМы не менялись: «По сравнению с 2006 годом в контрольно-измерительных материалах 2007 года не произошло существенных изменений ни по структуре, ни по содержанию» [3, с. 12]. О том, почему норма выставления положительной отметки «3» была повышена в 2007 г., мы скажем далее.
К сожалению, признание ФИПИ невозможности проанализировать статистику экзамена относится не только к разбору содержания школьных работ, но и к общей ситуации по организации проведения ЕГЭ в стране. Материалы ФИПИ в силу политизированности вопроса замалчивают недостатки и проблемы экзамена и тенденциозно освещают его итоги. Отсутствие объективности проявляется в манипулировании цифрами, сокрытии важных обстоятельств проведения ЕГЭ, предвзятости выводов, что становится возможным по причине монополии ФИПИ на информацию. Приведем несколько примеров.
Когда в 2006 г. отмечается рост числа участников экзамена из крупных городов, ФИПИ делает вывод о повышении общественного доверия к ЕГЭ [2, с. 16]. Этот вывод не учитывает обстоятельства расширения перечня экзаменов в регионах-участниках. Что касается математики, то в 2006 г. число выбравших ЕГЭ по предмету в 59 регионах из 69 участвовавших снизилось более чем на 100 тыс. чел. Это следует из статистических таблиц, приводимых самим ФИПИ [1, с. 6-8; 2, с. 7-10]. Частично это обусловлено снижением общей численности выпускников школ. Смягчило картину уменьшения числа участников ЕГЭ в 2006 г. присоединение к экзамену новых субъектов федерации (г. Москвы, Усть-Ордынского и Бурятского АО, Курской и Владимирской областей) и введение его обязательности в Иркутской области (сравнение произведено по данным аналитических отчетов [1, с. 6-9; 2, с. 7-10], численность выпускников школ в 2005 г. [4, с. 261-279]). В 2006 г. в регионах, где число участников ЕГЭ составляет менее 60% выпуска (т. е. где выбор экзамена предположительно доброволь-
ный1), доля школьников, предпочитающих ЕГЭ, снизилась. Например, в Волгоградской области в 2005 г. в экзамене по математике приняли участие 48% выпускников, в 2006 г. - 33%, Воронежской - 45 и 37%, Астраханской - 53 и 33%, Калужской - 52 и 18%, Тульской - 45 и 35%, Дагестане - 9 и 5%, Северной Осетии - 17 и 13%, Калмыкии - 57 и 52%, Ямало-Ненецком АО - 35 и 33% соответственно и т. д.
Среди регионов, где в 2006 г. отмечается рост числа участников на добровольной основе, можно назвать Камчатскую область (число участников увеличилось на 4 чел., или 0,3%), Чукотский АО (на 71 чел. - 50%), Московскую область (на 252 чел. - 24%), Туву (на 395 чел. - 95%), Башкирию (на 1093 чел. - 10%), Новосибирскую область (на 1260 чел. - 25%), Бурятию (на 1352 чел. - 15%), Свердловскую область (на 9341 чел., или в 32 раза), Татарстан (на 13 705 чел. - в 3 раза). Вероятно, зафиксированное ФИПИ увеличение числа участников из крупных городов дали Екатеринбург и Казань (например, в 2005 г. в Свердловской области участвовало 292, в 2006 г. -9633 чел., в Татарстане - 6873 и 20 578 чел. соответственно) за счет введения обязательности экзамена. На основании этих данных выводы о повышении общественного доверия к ЕГЭ делать, наверное, преждевременно.
В 2006 г. ФИПИ приходит к заключению о повышении уровня математической подготовки в целом по стране по сравнению с 2005 г. [2, с. 41]. При этом он игнорирует факт изменения состава участников экзамена, а именно увеличение числа школьников из крупных городов, о котором сам сообщает ранее [2, с. 16], где, по признанию ФИПИ, математическая подготовка выше. Привести данные в сопоставимый вид, указав, как изменились результаты у горожан и сельчан, и дать их анализ отдельно ФИПИ затруднился.
Охват школьников испытаниями ЕГЭ, достаточный для корректного сопоставления качества подготовки выпускников по регионам, меняется ФИПИ на ходу. В 2005-06 гг. он должен быть выше 90% выпускников [1, с. 8;
2, с. 11], в 2007 г. составляет уже 80% [3, с. 19]. Создается впечатление, что ФИПИ до сих пор не выработал обоснованных критериев для сопоставления результатов экзамена по территориям.
Образовательную статистику в своем анализе ФИПИ не использует и оперирует только сведениями, получаемыми от РЦОИ. «Как и в предыдущие годы, в 2007 г. подавляющее большинство участников экзамена составили выпускники общеобразовательных школ - около 97%. Очевидно, - делают предположение авторы, - что этот процент отражает действительный состав выпускников образовательных учреждений России» [3, с. 44]. Между тем точные данные специалисты ФИПИ могли, не гадая, получить в Министерстве образования РФ, например из отчетов федерального государственного статистического наблюдения по форме № 76-рик.
1 Из отчетов ФИПИ невозможно однозначно определить, на основе обязательности или по выбору проводился ЕГЭ в регионах. Например, в Омской области в 2004 г. доля выпускников школ - участников ЕГЭ по математике составила 63%. Однако это не означает, что экзамен был добровольный. По решению Главного управления образованием области для учащихся г. Омска и пяти сельских районов экзамен был обязательным. Остальные сельские школьники ЕГЭ могли не сдавать. Аналогичная ситуация может быть и в других регионах.
Указывая, что значительную долю участников ЕГЭ составляют выходцы из сельской местности, ФИПИ делает вывод о том, что этот экзамен оправдывает свою роль социального лифта для учащихся отдаленных районов страны [1, с. 13-14]. Однако такое заключение следовало бы подкрепить фактом роста доли сельских школьников - представителей тех регионов, где экзамен проводился на добровольной основе. Этого сделано не было. Между тем руководство образования, например, Омской области, где доля сельского населения выше среднероссийского уровня, приняло решение об участии в ЕГЭ по математике не из соображений расширения образовательных возможностей сельских учащихся, а по более прозаическим причинам. Министерство образования РФ бесплатно (т. е. за счет федерального бюджета) создавало инфраструктуру экзамена (вычислительная и множительная техника, оборудование, программное обеспечение и т. д.) в регионах, принявших решение добровольно участвовать в эксперименте. При этом региональным руководителям образования намекали, что в последующем оборудование для проведения экзамена придется приобретать самостоятельно. Чтобы сэкономить областной бюджет, было принято соответствующее решение. Понятно, что желания выпускников сельских школ при этом никто не спрашивал.
По признанию самого ФИПИ, уровень математической подготовки сельских школьников ниже, чем в городе. Так за что же они так любят ЕГЭ? Причина относительной «популярности» ЕГЭ среди сельских учащихся - это гарантированная тройка в аттестате об образовании даже при заполнении бланков ответов наугад.
В 2007 г. на сайте ФИПИ приводится график плотности распределения учащихся в целом по стране, набравших соответствующий балл по различным предметам, в том числе по математике (рис. 1).
8
0
10 20 30 40 50 60 70 80 90 100
Тестовый балл
Рис. 1. График, опубликованный на сайте ФИПИ по результатам экзамена 2007 г.
Перед нами нормальное распределение, имеющее моду в 49 и выброс значений, соответствующий 27 баллам. ФИПИ не объясняет появление этого выброса (либо не знает объяснений, либо не хочет акцентировать внимание на неприглядной для экзамена причине). Между тем это учащиеся, получившие отметку «2» и выполнявшие задания путем угадывания ответов. В целом по стране доля школьников, «участвующих» в ЕГЭ по математике с результативностью гадания, составляет до 25%. Это отражает действительное отношение учащихся к единому экзамену.
Основания для таких выводов появились у нас при анализе результатов омских школьников, сдававших математику в формате ЕГЭ. Дело в том, что форма записи ответов части А позволяет учащимся, не знающим верного решения, угадать правильный ответ. При четырех альтернативах выбора из 10 заданий в среднем можно угадать 2,5 из них. По формуле Бернулли несложно более точно определить вероятность угадывания правильных ответов. Подсчеты показывают, что Единый государственный экзамен, столь «совершенный и современный» инструмент оценки качества образования, в 2005 г. позволял 2% участников получить удовлетворительную оценку по математике, даже не заглядывая в тексты задач (подробнее об этом см. [5, с. 120-121]). Для этого достаточно было отгадать ответы шести заданий.
Выделить выполнявших работу преимущественно наугад довольно легко. В части «В» в 2005 г. под кодами В1, В2, В3 содержались задания, которые, как и часть «А», относятся к базовому уровню сложности и отличаются только формой записи ответа, исключающей элемент угадывания. О распространенности выполнения ЕГЭ путем подстановки ответов наугад можно судить по результативности выполнения задач на «нахождение производной функции» (часть «А») и «физический смысл производной» (часть «В») (т. е. близких по теме заданий). Если в части «А» с заданием «справились» 25% омских школьников, получивших двойки, то в части «В» - 1,5%. Отчеты ФИПИ также фиксируют снижение результатов решения задач базового уровня сложности при переходе от части «А» к части «В» [1, с. 44; 2, с. 45], не объясняя причины. А причина проста: значительная часть школьников просто угадывает ответы. При этом, как показал анализ, такой способ работы более распространен среди сельских учащихся.
Факт формального отношения школьников к ЕГЭ по математике ФИПИ скрывает за такой фразой: «.в условиях экспериментального проведения ЕГЭ участнику экзамена известно заранее, что при любом выполнении работы ему обеспечена хотя бы минимальная положительная аттестационная отметка «3» по курсу алгебры и начал анализа. Очевидно, что это обстоятельство оказывает существенное влияние на отношение и, соответственно, на уровень подготовки к ЕГЭ более слабых выпускников, не предполагающих поступать в вузы, где требуется сдавать математику» [2, с. 41]. Из приведенного заключения ФИПИ совершенно неясны ни масштабы проблемы, ни инструментальные недостатки ЕГЭ. Между тем наличие на графике выброса в 27 тестовых баллов вызвано не спецификой подготовки выпускников, а формой записи результата в задачах части «А», т. е. пороками самой системы оценивания.
Нам могут возразить, что доля «гадающих» сильно завышена. Однако сравните решение задач базового уровня сложности в части «А» и «В», например, по графикам ФИПИ [2, с. 74; 3, с. 71]. Но дело даже не в этом. А в том, что ЕГЭ в принципе не может сказать, каким способом участники экзамена (кроме части «С») достигают того или иного результата, путем ли решения, гадания, подсказки, добросовестного заблуждения, технической или логической ошибки.
В условиях невозможности с определенностью судить о реальных затруднениях школьников ФИПИ уделяет большое внимание обоснованию качества контрольно-измерительных материалов. Однако у читателя нет возможности дискутировать на эту тему, поскольку действительное содержание КИМов закрыто от свободного доступа под предлогом антикоррупционной борьбы. Ссылки на открытый сегмент на сайте ФИПИ не должны вводить в заблуждение. На сайте вам предложат лишь потренироваться в решении нескольких вариантов и типов задач. Тем не менее возможностей сравнить реальные варианты у вас не будет. Обсуждение проблемы при этом ФИПИ уводит в сторону оценки надежности и валидности КИМов, как будто только этим их качество и ограничивается. Между тем совершенство экзаменационных материалов - это качество не столько каждой задачи в отдельно взятом варианте работы, сколько всего комплекса заданий как единого целого, равноценность вариантов, неповторяемость заданий и т. д. В обеспечении этих требований к КИМам нам предлагают всецело полагаться на добросовестность их создателей. И напрасно. Итоги ЕГЭ 2007 г. тому свидетельство.
Спецификой 2007 г. являются значительные изменения условий проведения экзамена, которые не могли не сказаться на результатах выпускников, но о которых ФИПИ умалчивает. Например, в Омской области вместо 90 неповторяющихся вариантов работы, как это делалось в 2005-06 гг., в 2007 г. школьникам было предложено лишь 15 вариантов с одинаковыми задачами! Опрос первокурсников математического факультета Омского государственного педагогического университета, сдававших ЕГЭ в 2007 г., показал, что на экзамене при ослаблении дисциплины был возможен обмен результатами задач как в части «А», так и в части «В». Чистота проведения испытаний в такой ситуации определялась уже не столько качеством экзаменационных материалов, сколько дисциплиной на пунктах проведения ЕГЭ. По свидетельству экспертов, другая особенность состояла в том, что экзамен второй волны (в июле) проводился абсолютно по тем же заданиям, что и первой (в июне). То есть у определенного круга учащихся благодаря знакомым или родителям, имевшим доступ к заданиям, была возможность заранее ознакомиться с их содержанием, чего никогда не случалось в предыдущие годы.
Изменение условий проведения испытаний немедленно отразилось на распределении учащихся Омской области по тестовому баллу (рис. 2).
Хорошо видно, как сократилась доля учащихся, находившихся ранее в зоне отметки «два» (от 0 до 38 баллов) и переместившихся в зону отметки «три» (38-54 балла). Доля хорошистов (54-72 балла) и отличников (свыше 72 баллов) при этом изменилась незначительно, потому что для получения вы-
соких оценок необходимо было решать задания части «С», где обмен результатами во время экзамена в силу развернутой формы ответа затруднен.
Рис. 2. Распределение учащихся по набранному тестовому баллу
по математике:
1 - Омская обл. 2004 г.; 2 - Омская обл. 2005 г.; 3 - Омская обл. 2006 г.; 4 - Омская
обл. 2007 г.;5 - РФ 2007
Обратим внимание, каким образом Министерство образования РФ воспользовалось итогами 2007 г. Без объяснения причин (ФИПИ о них ничего не сообщает) оно повышает норму для выставления отметки «3» (только отметки «3», а не «4» и не «5»), т. е. именно за часть «А», где наиболее часто встречались повторяющиеся задачи. В результате такой «операции» проиграли представители тех школ, где организация экзамена соответствовала должным требованиям, и выиграли те, кто сдавал экзамен в условиях низкой дисциплины.
Шкалирование результатов 2006 и 2007 гг. на основе единого банка тестовых заданий (если такое шкалирование вообще проводилось) в данном случае исполняет роль «дымовой завесы», которая маскирует низкое качество экзаменационных материалов и недостатки процедуры проведения экзамена 2007 г. Более того, именно эти, наиболее «грязные» с точки зрения чистоты проведения экзамена, результаты выставлены на сайте ФИПИ как иллюстрация состояния математической подготовки школьников (рис. 1), а не данные 2004-2006 гг. (Графики 2004-2007 гг., опубликованные в отчетах ФИПИ, представляют собой уловку авторов. Они выполнены в виде гистограмм, где значения, соответствующие угадыванию ответов, спрятаны в суммах интервалов шкалы и поэтому не так бросаются в глаза [1, с. 35; 2, с. 40; 3, с. 45].) При этом ФИПИ делает вывод: «С учетом повышения нормы выставления отметки «3» можно констатировать, что наблюдается некоторая тенденция по-
вышения уровня подготовки у части учащихся, входящих в группу слабо подготовленных выпускников» [3, с. 21]. Комментарии излишни.
Еще одним недостатком работы ФИПИ является отсутствие попыток взглянуть на экзамен как социальную проблему. Если угадывание ответов характеризует участие в ЕГЭ значительной части школьников, то результаты 2007 г. иллюстрируют отношение к ЕГЭ со стороны учителей. В печати часто высказываются сомнения в достоверности итогов ЕГЭ по территориям, когда лучшие показатели, например, по русскому языку демонстрируют школьники национальных республик. В связи с этим делаются выводы об особенностях менталитета и клановости населения, которые позволяют нечестным должностным лицам находить лазейки в системе безопасности экзамена и делать задания известными еще до проведения испытаний.
На самом деле, на наш взгляд, дело в другом. Идея ЕГЭ как контроля качества педагогического труда не принята большинством учителей, в том числе и в Омской области. Фактически ЕГЭ понимается как недоверие к учителю, его работе, точности и непредвзятости оценивания учебных достижений школьников. Какой в этих условиях должна быть позиция учителя, контролирующего ход проведения экзамена? Если в аудитории на экзамене по математике за дисциплиной наблюдает учитель русского языка, он ничем не может помочь детям. Но он может не мешать пользоваться им всеми видами помощи: подсказками товарищей, шпаргалками, сотовыми телефонами и другими средствами борьбы за оценку. Стоило лишь Министерству образования и ФИПИ в 2007 г. подготовить КИМы с одинаковыми заданиями, как низкая дисциплина экзамена тут же дала о себе знать ростом решения задач с фиксированным и кратким ответом. Ранее это явление из-за большого числа вариантов наблюдалось в существенно меньших масштабах. Однако и в 2005 г. успешность «решения» слабыми учащимися задач А2 и А3 также частично объясняется повторяемостью этих заданий. Важным фактором является и то обстоятельство, что все контролирующие проведение ЕГЭ инстанции и должностные лица на местах более заинтересованы в повышении результата, чем в обеспечении его объективности: это и учителя, и директора школ, и заведующие РОНО.
Таким образом, объективный анализ итогов ЕГЭ сталкивается с серьезными трудностями, заложенными в его идеологии (формализм результатов, ограниченность структуры данных, бессмысленность анализа содержания работ на уровне всей страны, несопоставимость результатов по годам и территориям), а также связанными с отношением к экзамену различных социальных групп - участников ЕГЭ (формальное участие школьников, заинтересованность контролирующих органов в повышении результата, низкая дисциплина проведения ЕГЭ). На все это накладывается стремление специалистов ФИПИ минимизировать критику экзамена, что оборачивается замалчиванием проблем и тенденциозностью подбора и изложения фактов.
Анализ результатов ЕГЭ на региональном уровне еще более затруднен, поскольку к вышеперечисленным проблемам добавляется отсутствие информации о характере предложенных школьникам заданий. Региональная статистика экзамена сильно запутана. Авторы КИМов приложили значительные усилия для обеспечения «чистоты эксперимента», заложив несоответствие расположения заданий
в различных вариантах экзаменационной работы. Контрольно-измерительные материалы 2005-2006 гг., например, составлялись на основе нескольких планов (двух как минимум), являющихся модификациями общего плана, обозначенного в спецификации. За одинаковыми кодами заданий на самом деле в вариантах скрывались задачи разных типов, не только не всегда соответствующие, но даже не указанные в спецификации (например, в 2005 г. помимо задач, обозначенных в спецификации в части «А», применялся такой тип, как «Решение показательных неравенств»). Содержательный анализ работ школьников в этих условиях возможен лишь при обеспечении доступа региональных исследователей к фактическим экзаменационным заданиям. К сожалению, такого доступа у них нет.
Наглядным примером здесь может служить ситуация в Омской области. Выпускаемый Министерством образования Омской области и выполняющим функции РЦОИ Региональным информационно-аналитическим центром системы образования Омской области (РИАЦ) сборник статистики по итогам ЕГЭ 200507 гг. содержит лишь средние тестовые баллы муниципальных образований и образовательных учреждений по предметам и среднеобластные результаты решения различных типов заданий по спецификации 2004 г. Омские организаторы ЕГЭ не только сами не знают, какие задачи по математике решали школьники, но вводят в заблуждение учителей области относительно их действительного характера, отсылая к типам задач спецификации трехлетней давности [7, с. 10-12; 8, с. 32-34]. Попытки анализа областных результатов, выполненные РИАЦ, носят единичный и неудачный характер. Так, например, в сборнике за 2005 г. РИАЦ перечисляет варианты, с которыми школьники справились лучше и хуже всего, и на основании этого делает выводы об их неравнозначности. При этом даже высчитывается разница между средними величинами процентов верно выполненных «простого» и «сложного» вариантов [6, с. 31]. Однако составители сборника не обратили внимания на контингент учащихся, эти варианты решавших. Так называемые «простые» варианты были распространены среди более подготовленных городских школьников, а «сложные» - среди сравнительно слабых сельских.
В то же время именно на региональном и муниципальном уровнях содержательный анализ экзамена был бы наиболее продуктивен. Итоги экзамена можно сопоставлять с любыми показателями ведомственной статистики, которыми органы управления образованием на местах обладают в избытке (образовательный, квалификационный и возрастной состав учителей, распределение нагрузки, наполняемость классов, режим работы образовательных учреждений, система доставки учащихся из отдаленных сел, характер контингента школьников и другие местные особенности).
Но в действующей системе распределения информации, какие бы формы и направление не принял анализ региональных итогов, он с неизбежностью содержит в себе ошибки и погрешности, заложенные формой организации ЕГЭ:
1) невозможно подвести итоги работ учащихся, не зная, какие задачи они решают;
2) подведение итогов по кодам задач и сделанные в условиях отсутствия доступа к их содержанию выводы ориентируют педагогов на типы заданий, которые школьникам иногда даже не предлагались;
3) сравнение усредненных баллов образовательных учреждений региона базируется на допущении, что экзамен повсеместно проводится в одинаково стерильных условиях, что далеко не так.
Одним из аргументов введения ЕГЭ часто называют контроль качества образования и возможность образовательных учреждений, органов управления проанализировать результативность школ по подготовке учащихся. Конкретная практика проведения ЕГЭ свидетельствует об обратном. ЕГЭ, в нынешнем его виде, не оправдывает ожиданий ни как инструмент анализа уровня математической подготовки учащихся, ни, тем более, как инструмент повышения качества образования. Об этом говорят уже сами организаторы экзамена: «Единый государственный экзамен призван выявить уровень и качество общеобразовательной подготовки выпускников, но не может изменить состояние образования в стране» [3, с. 20].
Совершенно очевидно, что первым шагом для повышения качества подготовки школьников является доведение до учителей школ и муниципальных органов управления образованием информации об итогах экзамена в полном объеме. Каждый учитель должен знать, какие конкретно задания решали его ученики и какие ошибки они при этом сделали. Лучшим выходом был бы постоянно открытый банк заданий, из которого варианты ЕГЭ с учетом требований равноценности и неповторяемости ежегодно формируются случайным образом. За составителями экзаменационных заданий, таким образом, был бы установлен определенный общественный контроль, судя по 2007 г., весьма полезный для всех участников ЕГЭ.
Сопоставление результатов должно осуществляться заинтересованными лицами и организациями в пределах своей компетенции. На уровне класса и школы нужно сравнивать учащихся, на уровне муниципалитетов - школы, на уровне субъекта федерации - муниципалитеты. Все это возможно постольку, поскольку форма участия в ЕГЭ в каждом регионе определяется самостоятельно и правила внутри субъекта едины (хотя ежегодно не единообразны). На уровне федерального центра итоги ЕГЭ необходимо подводить в той мере, в какой это необходимо для определения содержания образования и контрольно-измерительных материалов.
Следует устранить или нивелировать инструментальные погрешности ЕГЭ - минимизировать возможность угадывания ответов путем увеличения числа заданий отрытого типа. В заданиях с выбором ответа необходимо увеличить число альтернатив.
Необходимо отказаться от крайностей ЕГЭ и фанатизма в его применении. Во-первых, не все предметы можно втиснуть в прокрустово ложе тестов (литература, иностранные языки, история, география и др.). Во-вторых, информационно-аналитическая ценность результатов испытаний в форме ЕГЭ довольно низкая, в то время как издержки на его внедрение весьма значительны. В-третьих, ЕГЭ не оправдывает ожиданий в сфере точности и объективности оценки достижений учащихся. Один только его результат не является обоснованным критерием оценки уровня подготовки абитуриентов в силу неустранимых дефектов инструмента оценивания (тесты) и наличия существенных различий в дисциплине на пунктах приема экзамена. Поэтому в вузах необходимо обязательно вводить устный экзамен по профилирующему предмету.
Очевидно, следует также организационно развести структуры, осуществляющие разработку контрольно-измерительных материалов и анализирующие итоги испытаний. В противном случае трудно рассчитывать в будущем на объективное и беспристрастное рассмотрение проблем и результатов ЕГЭ.
Подведем итоги.
1. Система информации о результатах ЕГЭ оказалась поставленной «с ног на голову»: те, кто обладает исходными данными (ФИПИ), не могут их проанализировать. Те, кому информация необходима в первую очередь, прежде всего учителя, ее почти лишены. Аттестационные отметки и тестовые баллы, которые в лучшем случае доводятся до учителей, ничего не сообщают о реальных проблемах школьников. Поэтому педагоги также не могут выполнить содержательный анализ работ своих учащихся.
2. Отсутствие сведений о характере затруднений выпускников ведет к тому, что учителя зачастую дезориентированы в направлениях подготовки. Не случайно ФИПИ из года в год сетует на повторяющиеся на экзаменах типичные ошибки [1, с. 16; 2, с.77], [3, с.50], а уровень математической подготовки школьников почти не меняется [3, с. 46].
3. Закрытость информации и отсутствие общественного контроля за содержанием экзаменационных работ создает возможность манипуляции результатами ЕГЭ, что уже не имеет никакого отношения к главной его цели -объективной оценке уровня математической подготовки школьников. Режим излишней секретности скорее обслуживает корпоративные интересы организаторов ЕГЭ, чем служит повышению качества обучения математике.
4. Как инструмент оценки знаний ЕГЭ обладает изъянами, которые существенным образом сказываются на его результатах.
Литература
1. Результаты Единого государственного экзамена (май - июнь 2005 года): Аналитический отчет / ФИПИ. - М., 2005.
2. Результаты Единого государственного экзамена (май - июнь 2006 года): Аналитический отчет /ФИПИ. - М., 2006.
3. Результаты Единого государственного экзамена, 2007 год: Аналит. отчет / ФИПИ. - [Электрон. ресурс]. Режим доступа: http://fipi.ru/view/ /зе^юпз/138/^сз/318.Мт1.
4. Образование в Российской Федерации, 2006 год: Статист. Ежегодник. - М.: ГУ-ВШЭ, 2006.
5. Киселев С. Г., Нуриева Л. М. Единый государственный экзамен как итоговый контроль качества обучения математике // Математика и информатика. Наука и образование: Межвуз. сб. науч. тр. 2008. - Омск: Изд-во ОмГПУ, 2008. - С. 116-127.
6. Статистика основных результатов Единого государственного экзамена в Омской области в мае - июне 2005 г. - Омск, 2005.
7. Статистика результатов пробного Единого государственного экзамена 12 апреля 2007 г. - Омск, 2007.
8. Статистика результатов Единого государственного экзамена в 2007 году в Омской области. - Омск, 2007.
