CC BY
41
ЭВОЛЮЦИЯ ЕГЭ: ВИД СО СТОРОНЫ «КИМов»
ГРЕБНЕВ Леонид Сергеевич - д-р экон. наук, проф., Национальный исследовательский университет «Высшая школа экономики». E-mail: [email protected]
Аннотация. Статья представляет собой комментарий к докладу директора Федерального института педагогических измерений (ФИПИ) О.А. Решетниковой на тему «Контрольные измерительные материалы государственной итоговой аттестации. Особенности и пути развития» на научно-исследовательском семинаре «Измерения в социальных науках » в НИУ ВШЭ и содержит предложения по повышению эффективности процедур измерения и оценивания результатов обучения в зависимости от целей применения этих процедур.
Ключевые слова: единый государственный экзамен, контрольно-измерительные материалы, множественный выбор, государственные именные финансовые обязательства, доверие
Для цитирования:: ГребневЛ.С. Эволюция ЕГЭ: вид со стороны КИМов // Высшее образование в России. 2016. № 10 (205). С. 79-92.
20 мая 2016 г. на научно-исследовательском семинаре «Измерения в социальных науках» в НИУ ВШЭ с большим докладом на тему «Контрольные измерительные материалы государственной итоговой аттестации. Особенности и пути развития » выступила директор Федерального института педагогических измерений (ФИПИ) О.А. Решетникова Ч В центре доклада и его обсуждения оказалась практика перехода от формата «выбор» к формату «краткий ответ ». По результатам сравнения данных за 2014 и 2015 гг. было охарактеризовано текущее положение. Констатировано, что:
• изменение формы заданий (выбор ответа / краткий ответ) не влияет на результаты хорошо подготовленных участников экзамена;
• участники экзамена с минимальной подготовкой демонстрируют заметно худшие результаты;
• исключение/ сокращение числа заданий с выбором одного ответа не снижает показатели надежности измерения.
Такие итоги позволили в 2016 г. продолжить процесс изменения пропорции зада-
ний: от автоматизированно проверяемого выбора к ответам, проверяемым экспертами. В самом начале июля, сразу по окончании основного этапа ЕГЭ, в СМИ со ссылкой на руководителя Рособрнадзора С.С. Кравцова появилась информация, что это ведомство собирается в следующем, 2017 г., отказаться от тестовой части задания (с выбором только одного ответа) практически по всем предметам, включая физику, биологию и химию.
Похоже, исчезает почва для основного содержательного возражения противников ЕГЭ, связанного какраз с «засильем» тестовых заданий. Если раньше школы были вынуждены натаскивать выпускников на аккуратное занесение «галочек» в нужные поля «части А», то теперь, по оценке О.А. Решетниковой, образовательные организации должны будут готовить старшеклассников к демонстрации не только знаний, но и своихинтеллектуальных навыков. Например: проводить доказательные рассуждения при решении задач; высказывать и обосновывать свою точку зрения по тем или иным периодам истории; аргументиро-
1 Видеозапись семинара размещена по адресу: https://www.youtube.com/watch?v=BNGiq3Du0Oo
ванно формулировать свое отношение к прочитанному произведению; писать сочинения на литературные темы; объяснять демографическую ситуацию отдельных стран и регионов мира, уровни урбанизации и территориальной концентрации населения и производства.
Из того, что прозвучало в рамках доклада и его обсуждения, можно отметить только два непреодолимых ограничения в плане дальнейшего повышения качества контрольно-измерительных материалов -время проведения ЕГЭ (после «последнего звонка» в 11-м классе) и продолжительность обработки результатов (10 суток). В частности, в докладе отмечалось, что для апробации моделей заданий во многих случаях невозможно привлечь десятиклассников, поскольку они еще не «проходили» соответствующий материал.
В ходе обсуждения на вопрос от том, как наши КИМы и в целом ЕГЭ смотрятся со стороны мирового сообщества, докладчик ответила известными стихами Федора Ивановича Тютчева: «Умом Россию не понять, аршином общим не измерить, у ней особенная стать ...». Попробуем присмотреться к особенностям нашей реализации общепринятой во всем мире практики: одни - учат, другие - оценивают результаты обучения.
Начнем с того, зачем создавался ЕГЭ и почему это испытание выпускников полной средней школы имеет такое название -«Единый государственный экзамен ». Возможно, не все помнят, что ЕГЭ создавался как средство для определения конкретных размеров ГИФО - государственных именных финансовых обязательств - каждому студенту вуза в отдельности. Предполагалось, что этот финансовый инструмент придет на смену обычной практике финансирования из государственного бюджета высших учебных заведений по количеству зачисляемых студентов (в соответствии с до-
водимыми до них планами приема по каждой специальности) вне зависимости от их качества. Имелось в виду, что чем выше показатели качества абитуриента, тем на более высокую поддержку государства он может рассчитывать при получении высшего образования.
Понятно, что выиграть от введения связки ГИФО-ЕГЭ должны были вузы и специальности с более высокой репутацией у выпускников и их родителей. Таких вузов больше всего было в Москве, а среди специальностей повышенным спросом тогда пользовались экономика и юриспруденция.
Однако эксперименты 2 показали неработоспособность связки ГИФО-ЕГЭ. Прежде всего оказалось, что имевшимися средствами не удается достаточно точно «привязать» каждую из пяти категорий ГИФО к результатам ЕГЭ. Потенциальные отличники и двоечники выявлялись довольно хорошо. Поэтому легко было определить, кто достоин высшей категории и кто недостоин даже низшей. Но вот как остальные четыре категории распределить между условными хорошистами и троечниками -оставалось непонятным. Кроме того, сравнение результатов ЕГЭ и оценок после первой сессии в вузах, которые участвовали в эксперименте, показали различие между институтами (они имели четкую привязку к отраслям) и университетами. В институтах корреляция была заметно выше, чем в университетах, где «отличники» по ЕГЭ нередко становились троечниками, и наоборот: «ЕГЭ-троечники» могли стать отличниками.
По «логике намерений», неудача с ГИФО должна была поставить крест на ЕГЭ. Ведь если цель, для которой разрабатывается средство, оказывается недостижимой, то теряется смысл средства. Последние следы «логики намерений» (увязать финансирование вуза с результатами ЕГЭ) присутствовали в предложениях на
2 См., например: http://ecsocman.hse.ru/text/l7675618/
этот счет к последнему проекту федерального закона «Об образовании в Российской Федерации», поступившим от ректора СПбГУ Н.М. Кропачева 3.
Чтобы завершить тему «логики намерений » в связи с идеей ГИФО, уместно вспомнить, что тема интересов различных субъектов присутствует в первых же строках обоих законов об образовании: «Под образованием в настоящем Законе понимается целенаправленный процесс воспитания и обучения в интересах человека, общества, государства.» (1992); «Образование -единый целенаправленный процесс воспитания и обучения, являющийся общественно значимым благом и осуществляемый в интересах человека, семьи, общества и государства» (2012). Таким образом, интересы образовательных организаций, в том числе высших, в этом списке не представлены. Но именно интересы вузов, причем далеко не всех, лежали в основе идеи ГИФО. Из перечисленных в законе эти интересы напрямую увязывались только с «интересами человека, семьи ». А эти интересы совсем не обязательно совпадают с «интересами общества, государства ». Конфликт интересов этих субъектов вполне возможен. Понятна также нормальная логика разрешения этого конфликта в части, относящейся к финансированию. Бюджетные обязательства государства должны в первоочередном порядке обеспечивать интересы общества в целом, а не отдельных его групп (например, выпускников средних школ и их родителей), и уж тем более не интересы тех или иныхзаведений,организаций.
Между тем идея ГИФО противоречила интересам общества. На протяжении десятилетий планового регулирования экономики география размещения вузов по стране подчинялась определенной логике. Отрас-
левые институты - инженерные, строительные, сельскохозяйственные, медицинские, педагогические - относительно равномерно создавались в разных регионах. Университеты - в основном в научных центрах, традиционных (прежде всего - столичных) и вновь создаваемых (например, в Новосибирске). Повышенная роль столичных предприятий, прежде всего ВПК, предопределяла повышенное качество отраслевых институтов, расположенных в Москве. Кроме того, плановое распределение выпускников столичных вузов, в том числе и коренных москвичей, по всему Советскому Союзу компенсировало географическую неравномерность элитного высшего образования, оправдывало концентрацию студенчества в условиях, благоприятных не только для их профессионального, но и общего развития. С исчезновением планового распределения выпускников ситуация в корне изменилась и по географии мест их работы, и по профессиям. Вузы где были, там и остались с тем же набором кафедр профессиональной подготовки, но теперь регионы лишились прежней подпитки специалистами высшей квалификации столичного уровня подготовки и общей культуры, а сами выпускники лишились гарантированной возможности работать по профессии. В Москве и в советское время не было рабочих мест для всех выпускников вузов этого города, а после значительной деиндустриализации Москвы начиная с 1990-хгодов их стало гораздо меньше. Если бы идея ГИФО была реализована, то ЕГЭ стало бы инструментом ускоренного разрушения сложившейся ранее системы высшего образования в целом в стране.
Почему же ЕГЭ не только не исчез после отказа от идеи ГИФО, но и из стадии эксперимента в конце 2000-х годов пере-
3 «Финансирование российских вузов должно зависеть от среднего балла абитуриентов, поступивших к ним по результатам ЕГЭ: чем выше балл, тем больше денег вуз должен получать из бюджета, считает ректор Санкт-Петербургского госуниверситета Николай Кропа-чев». URL: http:/ / portal.mpgu.edu/ news/2009/ finansirovanie-vuza-dolzhno-zaviset-ot-srednego-balla-ege
шел в узаконенную практику, несмотря на ожесточенную критику по самым разным направлениям? Скорее всего, потому, что при переходе от идеи к попыткам ее реализации логика намерений всегда дополняется, а потом нередко и заменяется логикой обстоятельств.
Идея ГИФО, обслуживающая интересы только отдельных вузов (а в них - отдельных специальностей, имеющих повышенный спрос у абитуриентов «здесь и сейчас»), не имела шансов на реализацию в таком откровенном виде. Поэтому сама по себе она не акцентировалась. Вместо этой цели был «поднят флаг » ЕГЭ - просто как средства повышения доступности качественного образования.
Доступность качественного образования - вполне достойная цель. Но, во-первых, не единственная для соответствующей статьи государственного бюджета, и, во-вторых, средства ее достижения могут быть самыми разными, особенно сейчас, в условиях доступности любой информации практически в любой точке планеты. ЕГЭ «при прочих равных» повышает географическую доступность очного образования выпускника школы «здесь и сейчас», в имеющихся в стране высших учебных заведениях. Но если размещение вузов, с учетом их качества, перестает соответствовать интересам страны, то ЕГЭ может быть злом, а не благом даже при отсутствии ГИФО.
В последние годы на доступность качественного образования абитуриентов нацелено развитие сети федеральных университетов в разных регионах. Но в период проведения эксперимента с ЕГЭ именно доступность сильных столичных вузов для «школьников из глубинки» была своего рода тараном, пробивавшим все преграды. Наряду с этим серьезным аргументом применялся и «несерьезный», по сути дела, и давший название «единый».Смысл ЕГЭ как средства для ГИФО состоял в том, чтобы единым (=одинаковым) для всей страны образом определялось, кому что положе-
но в качестве «финансового обязательства» государства. Но такая постановка вопроса непосредственно связывала бы ЕГЭ именно с ГИФО, а это скорее мешало, чем способствовало продвижению этой идеи. Поэтому прилагательному «единый» был придан совсем другой смысл: единый (=един-ственный) экзамен, который выступает как средство достижения сразу двух целей: фиксация завершения полного среднего образования и обеспечение конкурсности получения высшего образования за счет государства, предусмотренное Конституцией. Едва ли не главным аргументом была забота о здоровье, психике выпускников средних школ: лучше, мол, одна стрессовая ситуация, чем две в течение одного лета
- выпускные экзамены в июне и вступительные испытания в августе (не считая элитных вузов, которые проводили эти испытания в июле).
Цели эти очень разные, и в мировой практике оценивания обучающихся существуют разные типы контрольных материалов. В одном случае в центре внимания находится степень освоения требований школьной программы (в идеале - за все 11 лет обучения в средней школе), в другом - способность осваивать новый материал повышенного интеллектуального уровня. С точки зрения здравого смысла и мирового опыта нет никакой необходимости упорствовать в том, что является «особенной статью России» в виде современного кентавра ЕГЭ. Более того, появление в 2009 г. во многом похожего экзамена после девятого класса
- Государственной итоговой аттестации (основного государственного экзамена), ГИА-9 - позволяет вернуться к «философии» ЕГЭ, внести в него коррективы.
Составы ГИА-9 и ЕГЭ, по сути дела, совпадают: два обязательных предмета -русский язык и математика - и два по выбору из остальных девяти (литература, физика, химия, биология, география, история, обществознание, информатика и информационно-коммуникационные тех-
нологии, иностранные языки), не считая родного языка и родной литературы народов Российской Федерации в составе ГИА. Было бы логично основной упор в ГИА-9 сделать «на знаниях», разгрузив от этой функции ЕГЭ, а за ЕГЭ оставить функцию оценивания способности учиться в вузе. Это заодно сделает необязательным прохождение ЕГЭ всеми выпускниками полной средней школы. Помимо логичности для выпускников средних школ, перевод ЕГЭ на добровольный формат имеет и финансовый смысл. С 2000 г. рождаемость в России вступила в очередную повышательную фазу демографического эха 4 Великой Отечественной войны, которая продлится не менее 15 лет. Поэтому начиная с 2017 г. количество выпускников средней школы будет расти, а вместе с ним будут расти и затраты на проведение ЕГЭ. А ведь страна сейчас вынуждена жить в условиях все более жесткой экономии бюджетных средств.
Принцип эффективности использования бюджетных средств означает, что при составлении и исполнении бюджетов участники бюджетного процесса в рамках установленных им бюджетных полномочий должны исходить из необходимости достижения заданных результатов с использованием наименьшего объема средств (экономности). По расчетам аналитиков правительства, современной экономике России достаточно, чтобы высшее образование по-
лучала треть молодых людей. (Для сравнения: 40 лет назад в РСФСР доля работников с высшим образованием составляла примерно одну пятую 5). С точки зрения соблюдения принципа эффективности использования бюджетных средств уже приводившаяся выше констатация: «Исключение/ сокращение числа заданий с выбором одного ответа не снизило показатели надежности измерения» - представляет собой аргумент в пользу не сокращения, а, наоборот, увеличения числа доли заданий с выбором одного ответа, в пределе - доведения их доли до 100 процентов.
В докладе О.А. Решетниковой нет данных о затратах на проведение ЕГЭ. Но, наверное, нет необходимости быть профессиональным экономистом, чтобы понимать повышенную затратность проверок, осуществляемых экспертами, по сравнению с автоматизированной проверкой компьютером. Для того чтобы значительно наращивать затраты при сохранении на неизменном уровне «показателя надежности измерения», нужны какие-то дополнительные, очень веские аргументы. Чаще всего высказываются аргументы двух типов. Во-первых, задания на выбор правильного ответа из уже сформулированных - это своего рода «игра в угадайку», через них можно проверить скорее память обучаемого, чем его умение думать. Во-вторых, такие задания отрицательно сказываются на работе
4 Первый - отправной - минимум рождаемости пришелся на 1942 г. Второй - на 1968 г. (первое эхо войны, через 26 лет: мало рождалось, потому что родителей было мало), третий -на 1999 г. (второе эхо войны, через 31 год после предыдущего эха - женщины стали позже рожать). Кстати, момент зарождения идеи ГИФО тоже связан с периодической сменой повышательной и понижательной фаз рождаемости, берущими начало в 1942 г. На рубеже 2000-х гг. уже было хорошо видно, что очередная понижательная фаза в численности выпускников средних школ должна начаться через 5-6 лет и за десятилетие количество абитуриентов вузов сократится примерно вдвое. Это значительно повышало доступность бюджетных мест и подрывало сложившиеся к этому времени финансовые условия деятельности вузов, основанные на существовании платных подготовительных курсов и внебюджетного набора. Он к этому времени начал превышать набор на места, финансируемые за счет государственного бюджета.
5 В 1985 г. в РСФСР численность работающих составляла 46,7 млн. чел., в том числе с высшим образованием - 7,9 млн. чел. (Народное хозяйство СССР в 1985 г. М.: Финансы и статистика, 1986. С. 394, 404).
образовательных организаций: обычное освоение нового материала в 10-м и особенно в 11-м классе во многом замещается натаскиванием на «угадывание » правильного варианта ответа при множественном выборе.
Попробуем оценить значимость этих аргументов. Любое задание с закрытым перечнем ответов состоит из двух частей: вопроса и ответов. В простейшем случае ответов может быть только два: «да» или «нет». В более сложных случаях их может быть несколько. Могут также быть задания на последовательность, на соответствие. Пожалуй, типовым сейчас является способ заданий с четырьмя вариантами ответов. Под него создано удобное программное обеспечение Plickers, бесплатно доступное любому желающему во всем мире (https:// play.google.com/ store/ apps/ details?id= com.plickers.client.android). Критика вопросов с закрытым ответом нередко упускает из виду, что при формировании суммы результатов по каждому такому вопросу могут выставляться не только положительные оценки за правильный ответ, но и отрицательные за неправильный. В этом случае даже только при двух вариантах ответов их заполнение случайным образом дает в итоге нулевую сумму, а не половину правильных ответов. Но главное не в этом простом приеме, хорошо известном всем, кто применял тестирование на своих занятиях, а в том, как формулируется вопрос.
Вот пример, когда российские старшеклассники показали провальный результат в 2003 г. в рамках регулярного исследования Programme for International Student
Рис.
Assessment (PISA) - 3% полностью правильных ответов при среднем по ОЭСР 15,4% и максимальном 32,5%, показанном их сверстниками из Швеции. Вопрос сформулирован так: «В телевизионной передаче журналист продемонстрировал диаграмму (см. рис.) и сказал: "Диаграмма показывает, что по сравнению с 1998 годом в 1999 году резко возросло число ограблений". Считаете ли вы, что журналист сделал правильный вывод на основе данной диаграммы? ». Вариант ответа «да» здесь однозначно неправильный. Поскольку задание предполагало обоснование ответа, вариант «нет» предполагал разные начисляемые баллы за его качество 6.
Этот простой с виду пример показывает, что через вопросы с закрытым ответом можно проверить далеко не только «знание ранее усвоенного материала », но и, например, то, как обучающийся работает с новой информацией - насколько правильно ее воспринимает и умело обрабатывает.
6 Частично правильно ответили 16,1% российских школьников, 28,1% - в среднем по ОЭСР и 38,5% - в Финляндии. При этом только частично правильным признавался и такой ответ: «От 508 до 515 - небольшое увеличение». URL: http://school26ukvko.ucoz.kz/MO/pisa/ PISA2003_ExampleUnitsMath.pdf
В этой связи можно сослаться на практику SAT 7 - одной из организаций, занимающихся «американским ЕГЭ». Тестирование проводится по английскому и еще девяти языкам (по некоторым - с аудированием), по математике на двух уровнях, истории, литературе, физике, химии и биологии. Все -исключительно в формате множественных ответов (Multiple Choice) и по нескольку (до шести) раз в течение учебного года по цене 45 долларов за один тест (сдающие в России доплачивают 38 долларов). Возможность повторных прохождений тестирования значительно снижает стрессовую нагрузку, поскольку можно выбрать наилучший результат среди сделанных попыток. Вряд ли условия проведения «американского ЕГЭ» в чем-то ущемляют права обучающегося на оценку своей возможности получать высшее образование по сравнению с тем, что сейчас практикуется в России, за исключением разве что платности (символической) участия в тестировании. Существуют ли обстоятельства непреодолимой силы, которые препятствуют значительному удешевлению российского ЕГЭ при одновременном повышении его объективности?
Сейчас в качестве одной из таких сил выступает убеждение широкой общественности, что вопросы «с выбором ответа» крайне губительно сказываются на образовании, отучают обучающихся думать, деформируют весь образовательный процесс. Выше уже приводился пример, во многом ставящий под сомнение такое убеждение: надо лишь научиться (это именно наука, а не искусство) правильно формулировать задания в зависимости от явно сформулированных целей тестирования.
Еще одно препятствие, во многом надуманное, состоит в том, что оценка возможности учиться в вузе должна ставиться исключительно по завершении обучения в школе и «ни днём раньше ». Это явное заблуждение. В его основе лежит отсутствие
7 URL: https://www.collegeboard.org/
различения того, что школьник должен «освоить» в соответствии со стандартом общего образования, и того, какими компетенциями он должен обладать, чтобы успешно учиться в вузе. «Американское ЕГЭ », о котором говорилось выше, проводится в течение предпоследнего года обучения в старших классах, а не последнего. Нам ничто не мешает делать так же.
По сути дела, нынешние сроки проведения ЕГЭ и дальнейшей обработки результатов в вузах просто копируют сроки проведения выпускных и вступительных испытаний традиционного типа, проводившихся в прошлом на основе исключительно «ручной» работы всех участников: и тех, кто проходил испытания, и тех, кто их проводил. Несколько дней было достаточно, чтобы проверить вручную написанные работы, как выпускные, так и вступительные, а на устных экзаменах оценка выставлялась в тот же день. Еще несколько дней уходило на оформление аттестатов, в которые от руки же заносились все результаты выпускных испытаний. Так же быстро в ручном формате каждый вуз проводил вступительные испытания и определял проходной балл для «поступления по конкурсу». Разумеется, выбор у абитуриента был, но только до момента сдачи своего аттестата в один из вузов. Следующая попытка - через год.
Для вузов каждая приемная кампания была большим стрессом, особенно по непрофильным для себя предметам, например, по русскому языку. Поэтому, когда в 1990-х гг. под эгидой Министерства образования России появился Центр тестирования (рук. - В.А. Хлебников), выдаваемые им свидетельства о прохождении испытаний к началу 2000-х гг. получили признание и у школьников, и в вузах. Свидетельства эти были, как тогда говорилось, трижды добровольны: школьники по своей воле проходили тестирование по тем или иным предметам (за очень доступную плату для семьи с любым достатком), так же добро-
вольно они решали, стоит ли предъявлять результат тестирования в приемной комиссии или лучше пройти вступительное испытание, а приемная комиссия решала, принимать или нет документ этого учреждения. К 2001 г. число тестов уже превышало миллион, и логичным стало возложение на этот Центр - параллельно с продолжением добровольного тестирования еще до получения аттестатов - проведения эксперимента по ЕГЭ в те же сроки, в которые проходили традиционные выпускные испытания.
Но добровольное тестирование проводилось, «как во всем цивилизованном мире», в виде заданий с выбором ответа -это и делало его доступным для населения при обеспечении определенного уровня качества. А в ЕГЭ такие задания были только в части А, в остальных двух частях (блоках) задания были открытого типа: с кратким ответом в части В и с развернутым - в части С. Причина появления этих двух частей - прилагательное «единый» в смысле «два в одном», попытка одним выстрелом убить сразу двух зайцев - «оценить» итог обучения в средней школе и «измерить» готовность получать высшее образование. О причине этого нелогичного (если не сказать непрофессионального) решения выше уже говорилось. Говорилось и о том, что появление ГИА после 9-го класса позволяет пересмотреть, сделать более рациональными во всех аспектах, включая финансирование, испытания «вступительного » типа в 10-х и/ или 11-х классах.
В докладе О.Е. Решетниковой шла речь об очень конкретной содержательной «работе над ошибками» в части содержания образования, которую ФИПИ ведет с соответствующими органами субъектов Российской Федерации по итогам проведения ЕГЭ в очередном году. Можно ожидать повышения эффективности этой работы, если в центре внимания окажутся итоги ГИА-9. Связано это не только с тем, что при этом исчезнут негативные побочные эффекты, порождаемые судьбоносностью
«вступительного » характера ЕГЭ. Основной фундамент образования «на всю оставшуюся жизнь» закладывается именно в рамках 9-летнего цикла, обязательного и общедоступного в соответствии с Конституцией (ст. 43, п. 2).
Здесь, наверное, уместно вспомнить пословицу «Не было бы счастья, да несчастье помогло », понимая под несчастьем понижение мировых цен на нефть. Зависимость решений в сфере образования от этих цен имеет в нашей стране довольно долгую историю. Конституция СССР 1936 года (ст. 121) предусматривала «всеобще-обязательность» только начального образования. Затем без закрепления в Основном законе, «по факту», все стали учиться еще три года («семилетка», превратившаяся на рубеже 1950-60-х гг. в «восьмилетку»). После ее окончания только половина учащихся продолжала обучение в старших классах, предполагая по получении «аттестата зрелости » поступление в вуз или, в крайнем случае, в техникум. То есть у этих учащихся была изначальная нацеленность на продолжение учебы после окончания школы, а не на начало самостоятельной жизни. Причем, поскольку «мест» в вузах было меньше, чем выпускников, у обучающихся в старших классах была мотивация учиться как можно лучше, с тем чтобы повысить свои шансы на продолжение образования.
Эта логичная и, можно сказать, стандартная в мировом масштабе структура общего образования в 1970-х гг. была сломана в нашей стране популистским решением о переходе к обязательному всеобщему среднему образованию молодежи, что было закреплено в Конституции СССР в 1977 г. (ст. 45). Вряд ли сейчас можно понять мотивы этого решения, пагубно сказавшегося и на общем образовании, и на специальном, профессиональном. «Закат» техникумов начался именно тогда, равно как и бурное развитие репетиторства. Финансовой основой, сделавшей воз-
можным этот феномен, стало многократное повышение мировых цен на нефть как раз в этот период.
Конституцией России, принятой в 1993 г. (ст. 43), обязательства в сфере общего образования были вполне рационально сокращены до основного среднего, но в начале «тучных 2000-х» была предпринята очередная попытка вести каждого так или иначе «до аттестата».
Сейчас, наконец, появляется возможность вернуться к «общему аршину». Это значит, в частности, что о качестве обучения в старших классах конкретной образовательной организации можно будет судить не по результатам ЕГЭ или других видов выпускных испытаний, а по тому, сколько ее выпускников продолжили образование и в каких вузах. Именно так «отчитывались » средние школы в СССР в лучшие времена. Все это позволяет «отвязать » ЕГЭ как «вступительное» испытание от момента окончания образовательной организации, проводить его неоднократно в течение по-лутора-двух лет, причем допуская несколько (например, три) попытки на бесплатной основе без больших дополнительных затрат. Современные технические средства позволяют полностью отказаться от синхронности проведения таких испытаний, а также от использования каких-либо элементов «бумажной» технологии, включая специально подготовленные места для их проведения. Более того, формат компьютерного адаптивного тестирования позволяет полностью индивидуализировать формирование заданий и при этом значительно повысить точность измерения результатов. Надежную идентификацию испытуемых без физического присутствия наблюдателей вполне могут обеспечить фронтальные видеокамеры, встроенные сейчас во все
устройства, на которых может проходить тестирование.
Манипулирование средними баллами и важность ухода от этой практики как порочной - одна из сквозных тем доклада О.А. Решетниковой. Она напомнила, что в момент перехода в 2008 г. от эксперимента по ЕГЭ к его повсеместному использованию результаты по этому показателю были включены в отчетность, по которой оценивали деятельность руководителей субъектов Федерации. Как и следовало ожидать, через некоторое время (у нас это составило пять лет) качество измерения в целом по стране оказалось недопустимо низким (а результаты ЕГЭ, соответственно, завышенными). В 2014 г. эта управленческая ошибка была исправлена.
Главный содержательный минус средних величин, насколько можно было понять докладчика, состоит в том, что КИМы разрабатываются по каждому отдельному предмету с учетом его специфики. Поэтому вычисление средних баллов по «сумме дисциплин» - операция искусственная, ни о чем не говорящая. Парадокс в том, что именно такое суммирование, к тому же без взвешивания по приоритетности отдельных предметов для конкретных образовательных программ, Министерство образования и науки Российской Федерации предписывает осуществлять в обязательном порядке для каждого абитуриента 8. Делается это исключительно для того, чтобы в условиях ЕГЭ соблюсти конституционную норму бесплатной доступности по конкурсу высшего образования.
Немного истории. В 1965 г. на физфаке МГУ им. М.В. Ломоносова на одно место претендовали семь абитуриентов, из них три с медалью. По итогам пяти вступительных испытаний (два письменных: матема-
8 Только при равенстве суммы конкурсных баллов вузу «разрешается ранжировать поступающих по убыванию количества баллов, начисленных по результатам отдельных вступительных испытаний, в соответствии с приоритетностью вступительных испытаний, установленной организацией» (подпункт 2 пункта 112 «Порядка приема...», утвержденного приказом Министерства образования и науки Российской Федерации от 14 октября 2015 г. N 1147).
тика-1 и русский язык/литература и три устных: математика-2, физика и химия) проходными были 13 баллов на трех профильных испытаниях (две математики и физика), полупроходными, соответственно, 12 баллов. С этими же оценками принимали медалистов, получивших «отлично» по химии. Обратите внимание: во-первых, все предметы изначально, в соответствии с заранее утвержденными на факультете правилами, были разделены на две группы -профильные и непрофильные; во-вторых, уже после завершения всех испытаний приемная комиссия приняла решение, в соответствии с которым среди непрофильных предметов один выделяется как приоритетный, причем только для медалистов. Значит, среди медалистов среди поступавших на физфак МГУ оказались такие, у кого с языком преподавания - русским - были проблемы, не помешавшие им, однако, месяц назад получить медаль.
Точно так же - с учетом специфики предстоящего обучения - принимались решения «по конкурсу» на всех специальностях во всех вузах СССР. Кроме того, задачи вступительных экзаменов, осуществлявшихся в письменной форме (прежде всего это относилось к математике), в каждом вузе разрабатывались самостоятельно, и каждый абитуриент мог готовиться к ним по регулярно издававшимся вариантам прошлых лет. Привязка конкурсности принятия на фиксированное количество мест к оценкам вступительных испытаний - это естественная норма, когда испытания проводятся в самом вузе и в основном в устной форме: в режиме общения «глаза в глаза» получается намного больше информации, чем при отсутствии диалога. Причем вузы могли проводить собеседования с теми, кто
получал полупроходной балл. В частности, в Высшей школе экономики это практиковалось с самого начала существования этого вуза. В МФТИ собеседования проводились с каждым абитуриентом, успешно прошедшим все положенные испытания. Но сведение конкурсности к «цифре» перестает быть органичным, естественным, когда испытания и правила обращения с их результатами выносятся за пределы вуза. Именно это произошло, когда волей властей ЕГЭ стало основным инструментом не только определения способности индивида получать высшее образование, но и конкурсного отбора среди них тех, кто по конкурсу получает «право на бесплатность ». Минобрнауки РФ регулярно издает приказы, которыми утверждает Порядок приема на обучение 9. Простое суммирование всех результатов ЕГЭ без попыток выделения при этой операции профильных предметов предписывается именно этим документом. На практике это, например, в НИУ ВШЭ приводит к тому, что профильные предметы «дают» абитуриенту значительно меньше баллов, чем баллы по обязательному для всех русскому языку 10. При всем уважении к государственному языку вряд ли следует забывать, что высшее образование -это образование преимущественно профессиональное, а не общее.
Если попытаться одним словом описать эту позицию Минобрнауки России, то это слово «недоверие». Недоверие «по вертикали»: того, кто финансирует высшее образование в России из федерального бюджета, к тем, кто работает в наших вузах. Эта ситуация, по-видимому, значительно отличается и от того, что наблюдалось у нас в стране в 1990-х гг., и от того, что можно наблюдать в других странах. Ситуацию
9 Последний относительно времени написания этого текста приказ был подписан 14 октября 2015 г. (в него потом дважды вносились уточнения, последнее - 30 марта 2016 г.). Утвержденный этим приказом Порядок занимает без малого 40 страниц текста, в котором термин «конкурс» встречается 62 раза.
10 Например, в 2016 г. у принятых на программу «Экономика» средний балл по профильным предметам (обществоведение и математика) - 90, а по русскому языку - 97.
1990-х гг. в нашем образовании, в том числе высшем, можно описать выражением: «Если не можешь дать хлеба, дай свободу ». Закон «Об образовании » 1992 года, по общему мнению тех, кто помнит и его, и то, как он применялся, предоставлял самые широкие права учебным заведениям, что и помогло многим, особенно вузам, выжить. Потом ситуация стала меняться на противоположную.
Антоним к слову «недоверие » - доверие. Как credit-hours в американских университетах, так и credits в европейской ECTS (European Credit Transfer System) было бы ближе к их смыслу переводить, соответственно, как «доверительные часы» и «доверительные единицы» или просто «доверие». Поэтому, чтобы не было ложного - финансового - оттенка восприятия российского аналога европейским credits, у нас по инициативе Министерства образования России, то есть «сверху», появились «зачетные единицы». Между тем во всех случаях использования термина «доверие » в европейских и американских вузах речь идет об «инициативе снизу». Точнее, даже не «снизу», а просто «внизу» - внутри вузов, если речь идет о выстраивании индивидуальных образовательных траекторий (допускающих и перерывы в учебе, тогда «доверительные единицы» накапливаются), и в отношениях между вузами, когда речь идет о пространственной мобильности студентов. Доверие (credit) - неотъемлемый элемент естественного развития горизонтальных связей, в том числе и экономических: без него, кредита, невозможно представить функционирование рыночной экономики п. У нас, как известно, исторически сложилось так, что в управлении на протяжении многих веков повышенную роль играли вертикальные отношения. В них до-
верию, наверное, труднее «найти место», чем в горизонтальных.
В «американском ЕГЭ » все результаты испытаний должны быть направлены в вузы не позднее декабря последнего года обучения в школе. После этого начинается взаимная «притирка», которая может продолжаться полгода, если не дольше, и сопровождается перепиской, содержащей качественные, а не количественные характеристики обучающихся 12. У нас общение, причем в основном в очном формате, начинается только после 20 июня - завершения основной части ЕГЭ - и заканчивается не позднее начала августа: 3 августа заполняется 80% конкурсных мест (кроме заочной формы обучения) в бакалавриате и специалитете, а еще через пять дней («второй этап») - остальные 20%. Нетрудно догадаться, что никакого «качественного» общения между абитуриентами и принимающими вузами в такие сроки быть не может. В отличие от вузов США, наши «принимают числа, а не людей». Что им делать с этими числами, решено без них министерством, и для всех совершенно одинаково.
Качественные характеристики абитуриента в соответствии с мировым опытом составляют столь же важную часть его «порт-фолио », как и количественные результаты ЕГЭ. Они могут дополняться, уточняться в процессе «притирки» и затрагивать самые разнообразные темы. У нас все это по воле министерства свелось к«индивидуальным достижениям», на которые теперь отведено максимум 10 баллов (раньше было 20). Эта величина при трех вступительных испытаниях и 40 минимально допустимых баллах составляет менее 7% от общей суммы значимых баллов (10/150). Вряд ли будет ошибкой сказать, что все «индивидуальные достижения» укладываются в рам-
11 Поэтому часто встречающееся в нашей речи, устной и письменной, словосочетание «кредит доверия» - вряд ли поддается адекватному переводу на другие языки.
12 В Массачусетском технологическом институте на сайте курсивом выделено: we admit people, not numbers («мы принимаем людей, а не числа»).
ки допустимой погрешности измерительных материалов.
Во времена СССР «проходной балл» весил много. Например, если профильных предметов было три, а значимых оценок тоже три на каждом из них (от пятерки до тройки), и всего - девять, то каждый балл «весил» больше 10% от суммы. Причем качество каждого из них, особенно на устных экзаменах, которые принимались комиссиями, было высоким. Теперь для тех же трех экзаменов «вес» каждого балла в двадцать раз ниже - едва ли не 0,5% (1/ 180 при 40 минимальных баллах из 100) 13. Может быть, не стоило механически переносить идею «проходного балла» из традиционной технологии вступительных экзаменов в технологию ЕГЭ? Вместо повышения объективности получилась только видимость самой объективности.
Главное реальное препятствие для того, чтобы вернуть вузам право самим решать, как именно «по конкурсу» принимать абитуриентов на места, финансируемые из федерального бюджета, - не столько ошибки - они неизбежны, но над ними можно конкретно работать, сколько злоупотребления. Дефицит «доверия по вертикали», о котором выше уже говорилось, скорее всего можно попробовать сократить увеличением «доверия сверху» - разумеется, в формате «доверяй, но проверяй». Начать, наверное, проще всего с: 1) разрешения вузам устанавливать веса при суммировании баллов ЕГЭ с учетом соответствия предмета профилю образовательной программы; 2) выведения максимального размера суммы баллов за индивидуальные достижения из зоны статистической погрешности оценок ЕГЭ (если коэффициент альфа Крон-баха в классической теории измерений считается приемлемым от значения 0,7, то, возможно, следует довести эту сумму хотя бы до 90 баллов при трех вступительных экзаменах и 120 баллов - при четырех);
3) ограничения при этом максимального размера дополнительных баллов за сочинение, выставляемых в вузе, теми же 10 баллами, что и сейчас, чтобы основная доля дополнительных баллов реально была за достижения, связанные с профилем образовательной программы.
Тема объективности в связи с КИМами имеет еще один важный аспект, который здесь уместно хотя бы коротко затронуть. Стремление увеличивать их потенциал (включение новых интересных заданий, в том числе в формате испытаний на чтение графиков, таблиц, диаграмм и пр., разнообразных эссе, заданий на понимание разных текстов, на умение применять различные источники и т.д.) основано на очевидном: что проверяется «на выходе », на то и начинают ориентироваться «в процессе». В докладе О.А. Решетниковой отмечалось, что в сильных школах проверка через КИМы интеллектуальных навыков выпускников не вызывает возражений. Они и сами давно занимаются их развитием. Но здесь есть опасность количественного и качественного тупиков, которая, похоже, пока не осознается в должной мере.
Прежде всего, рост затратности «измерительных процедур » ставит границы широте их применения в том, что касается предметов. Сейчас таких предметов только по четыре после 9-го и 11-го классов: два обязательных (плюс сочинение в 11-м классе) и два по индивидуальному выбору обучающегося. Это меньше половины предметов, изучаемых в школе, в том числе и тех, которые нужны в вузе для получения полноценного профессионального образования тому, кто в школе вынужден повышенное внимание уделять только одному или двум предметам, связанным с прохождением конкурса. По остальным для получения аттестата достаточно избежать неудовлетворительных оценок. Поэтому массовым явлением в российских вузах стало «повто-
13 Иначе и не может быть при переходе от 5-балльной системы к 100-балльной.
рение пройденного», компенсация на младших курсах того, что студенты недополучили в период обучения в школе из того, что необходимо для освоения специальных дисциплин. Из этого - количественного -тупика есть выход, и о нем уже говорилось выше: умные, профессионально с тестоло-гической точки зрения созданные задания закрытого типа позволяют с достаточной надежностью и минимальными затратами выявлять способность индивида получать высшее образование.
С другим тупиком, качественным, дело обстоит сложнее. В докладе О.А. Решетниковой не раз упоминалась проблема объективности оценивания экспертами ответов, особенно развернутых. В идеале один ответ должен оцениваться одинаково любым количеством экспертов, то есть нужна их полная взаимозаменяемость. На практике достаточна близость оценок двух экспертов. Если разность превышает некоторый порог, проводится оценка работы еще одним экспертом. Что мы здесь видим? Уподобление людей машинам, компьютеру. По-другому и быть не может. Парадигма образования, заложенная чехом Яном Ко-менским, мыслителем-гуманистом XVII в., органична для индустриальных технологий. В них субъект должен принимать и дисциплинированно выполнять роль объекта - детали («винтика») среди множества других деталей («Кто там шагает правой? »). Этой парадигмы хватило на несколько веков успешного развития экономик стран сначала в Европе, а затем и на других континентах. Но сейчас успехи в развитии тех-
нологий, компьютеризация рутинных процессов в самых разных сферах жизни людей возвращают значимость субъектных качеств людей. Едва ли не самым важным, незаменимым среди них является умение общаться с другими людьми, жить вместе 14. Причем не просто жить, но и вместе работать, познавать 15, творить. Первое по важности требование современных работодателей - умение претендента на вакантное место работать в команде. На современном управленческом языке это означает повышение роли общих компетенций, причем связанных именно с общением. Если этого требуют работодатели от выпускников вузов, то со временем вузы, в свою очередь, начнут требовать это и от выпускников школ. И школы в самых разных странах мира уже работают в этом направлении. Оценивание, включая взаимное оценивание и самооценку, чисто человеческих качеств становится органичной частью образовательных технологий. Поэтому с высокой степенью достоверности можно предположить неизбежность эволюции КИМов в сторону чего-то вроде КОТов - комплексов оценочных технологий.
Нам достаточно упомянуть имя одного теоретика - М.М. Бахтина с его концепцией полифонизма - и одного практика - А.С. Макаренко, автора «Педагогической поэмы », чтобы зафиксировать почти очевидное: «особая стать» России на этом поприще в недалеком прошлом уже признана и уважаема в мире. Вопрос в том, насколько мы сами способны продолжать начатое.
Статья поступила в редакцию 28.07.16.
14 Learning to live together и learning to be - два из четырех столпов современной парадигмы образования, сформулированной, в частности, в докладе комиссии ЮНЕСКО (1996 г.) наряду с традиционными learning to know и learning to do. Первое слово его названия - «Learning: The Treasure Within» - не вполне адекватно переведено на русский язык - «Образование: сокрытое сокровище» (ifap.ru/library/books201.pdf)
15 Может быть, здесь уместно привести слова, написанные около ста лет назад нашим соотечественником: «...Истина познается сообща человеческим родом, здесь существует естественный и неустранимый коммунизм». См.: С.Н. Булгаков. Религия человекобожия у Л. Фейербаха // Два града. Исследование о природе человеческих идеалов (1911). СПб.: Изд. РХГИ, 1997. С. 43).
EVOLUTION OF THE UNIFIED STATE EXAM: VIEW FROM EDUCATIONAL ASSESSMENT TOOLS
GREBNEVLeonid S. - Dr. Sci. (Economics), Prof., National Research University Higher School of Economics, Moscow, Russia. E-mail: [email protected]
Abstract. The article is the commentary to the report of O.A. Reshetnikova, the director of the Federal Institute of Educational Measuring Materials, named "Assessment Materials for State Final Attestation. Specifics and ways of development" represented on scientific-research seminar "Measuring in social sciences" 20.05.2016. The article also includes suggestions for increasing efficiency of measuring and evaluation procedures taking into account their application.
Keywords: educational assessment, Unified State Exam, tool kits for measuring learning outcomes, multiple choice, State Person-centered Financial Liabilities, Credit
Cite as: Grebnev, L.S. (2016). [Evolution of the Unified State Exam: View from Educational Assessment Tools]. Vysshee obrazovanie vRossii [Higher Education in Russia]. No. 10 (205), pp. 79-92 (In Russ., abstract in Eng.)
The paper was submitted 28.07.16.
Пятилетний импакт-фактор РИНЦ-2015, без самоцитирования
Психологическая наука и образование 2,092
Вопросы образования 1,435
Социологические исследования 1,337
Высшее образование в России 1,205
Вопросы философии 1,042
Образование и наука 1,022
Университетское управление:
практика и анализ 0,873
Педагогика 0,841
Инженерное образование 0,533
Вестник международных организаций 0,518
Alma mater 0,482
Высшее образование сегодня 0,448
Интеграция образования 0,443
Социология образования 0,390
Философские науки 0,290
Эпистемология и философия науки 0,286
