CC BY
170№ 3 (23) 2011
А. А. Пересецкий, М. А. Давтян
Эффективность ЕГЭ и олимпиад как инструмента отбора абитуриентов
В статье рассматривается эффективность Единого Государственного Экзамена (ЕГЭ) и профильных олимпиад при отборе студентов в МИЭФ — факультет НИУ ВШЭ, который предлагает совместную с Лондонской Школой Экономики программу бакалавриата по экономике. Анализируется зависимость академических успехов студентов первого и второго года обучения от результатов ЕГЭ и профильных олимпиад. Показано, что ЕГЭ по английскому языку не влияет на академические успехи студентов, а ЕГЭ по русскому языку и математике оказывают значимое, примерно одинаковое влияние. Однако именно результат ЕГЭ по русскому языку наиболее сильно влияет на вероятность отчисления студента. Победители олимпиад при тех же результатах ЕГЭ показывают большие успехи по сравнению со своими коллегами.
Ключевые слова: ЕГЭ, олимпиада, критерий отбора студентов, академическая успеваемость, МИЭФ НИУ ВШЭ, LSE.
JEL classification: A22, I21, I23, I20, C25, C53, P36.
Эксперимент по введению Единого Государственного Экзамена (ЕГЭ) проводится с 2001 г., охватывая все большее число регионов России. Начиная с 2008 года, ЕГЭ является обязательной формой контроля знаний, позволяющей абитуриентам поступать в высшие учебные заведения Российской Федерации.
Введение ЕГЭ вызвало горячие споры и обширный поток публикаций как сторонников, так и противников ЕГЭ. Значительная часть публикаций носит гуманитарный характер, отражая мнения авторов о том, что введение ЕГЭ снижает коррупцию, увеличивает доступность образования или напротив, расширяет коррупцию, снижает качество школьного образования1.
Некоторые публикации указывают на необходимость статистического анализа имеющейся информации. В работе (Лисичкин, 2007) сказано: «Необходимо исследовать, насколько успешны студенты, принятые в вузы по результатам ЕГЭ. Необходимо статистически достоверное сравнение их со студентами, принятыми по традиционной системе отбора».
Только небольшое количество публикаций посвящено анализу данных по этому вопросу. Сравниваются отбор абитуриентов по ЕГЭ и по результатам олимпиад. В статье (Гор-деева и др., 2011) отмечается, что студенты, поступившие на химический факультет МГУ с учетом результатов олимпиад, демонстрируют значимо более высокие академические достижения на протяжении первых двух лет обучения, чем студенты, поступившие на общих
1 Например, Елисеев (2011) пишет: «Направление общечеловеческого и культурного воздействия ЕГЭ в двух последних группах (середняки, максималисты) будет сходным: воспитание посредственности в чистом виде с тщательным контролем успеха на выходе».
1. Введение
№ 3 (23) 2011
основаниях (по результатам ЕГЭ). При этом наиболее высокие достижения в учебе демонстрируют лауреаты Международной Менделеевской олимпиады и Всероссийской олимпиады школьников, а также олимпиад МГУ «Покори Воробьевы горы!» и «Ломоносов». Успешность по школьному курсу физики (ЕГЭ по физике) выступает важным предиктором успешного изучения химии в университете. Отмечается, что хотя и ЕГЭ, и победы в олимпиадах связаны с показателями упорства и настойчивости, эта связь сильнее выражена у олимпиадников.
Два исследования (Российский союз ректоров, 2010, 2011) используют корреляционный анализ для сравнения академических успехов студентов, поступивших по результатам олимпиад и ЕГЭ. Замечено, что студенты-олимпиадники стабильно демонстрируют более высокие академические успехи, нежели их коллеги, поступившие на общих основаниях. В то же время по итогам II и III сессий наблюдается плавное выравнивание уровня успеваемости студентов-олимпиадников и студентов, поступивших на общих основаниях. При этом происходит общий рост успеваемости обеих категорий учащихся. Уместно предположить, что указанные выше процессы связаны c постепенным отчислением неуспевающих студентов и адаптацией оставшихся к требованиям вузов. Среди олимпиад, дипломанты которых стабильно демонстрируют наиболее высокую успеваемость в вузах, отмечаются три: олимпиада школьников «Ломоносов», олимпиада школьников «Физтех», Межрегиональная многопрофильная олимпиада НИУ ВШЭ.
Лишь несколько работ применяют эконометрические методы для анализа связи академических успехов студентов и их результатов по ЕГЭ. Среди них отметим доклад (Канторович и др., 2011) и статью (Польдин, 2011). Обе работы посвящены анализу данных по студентам экономических специальностей НИУ ВШЭ.
В докладе (Канторович и др., 2011) показано, что результаты, полученные студентами при § сдаче ЕГЭ, в значительной степени предопределяют успешность дальнейшей учебы на факуль-
* тете Экономики и в Международном Институте Экономики и Финансов (МИЭФ). Отмечается, а что результат ЕГЭ по математике значим во всех моделях, для студентов факультета Эконо-5 мики значимым также является результат ЕГЭ по русскому языку, а для студентов МИЭФ — я по английскому языку. В ходе анализа оказалось, что сходств в моделях для факультета Экономики и МИЭФ больше, чем в моделях для факультета Экономики и отделения Статистики,
о несмотря на то, что студенты двух последних подразделений НИУ ВШЭ обучаются вместе. | Польдин (2011) прогнозировал успеваемость на первом году обучения, опираясь на ре-^ зультаты ЕГЭ студентов, поступивших на первый курс экономического факультета ГУ-ВШЭ ¡^ (Москва) в 2009 году. Используя выборку из 157 студентов, поступивших по результатам s ЕГЭ и закончивших первый курс в 2010 году, была построена регрессия успеваемости ^ на первом курсе от результатов ЕГЭ по четырем предметам (математика, русский язык, Ц английский язык и обществознание). Коэффициент детерминации R2 оказался равен 0.384 § в случае использования четырех регрессоров, в числе которых были результаты ЕГЭ по от-§ дельным предметам. Было показано, что в регрессии наибольший вклад в оценку успевае-
* мости на первом курсе дает результат ЕГЭ по математике, в то время как результат ЕГЭ [Л по иностранному языку — наименьший.
§ Исследования эффективности вступительных экзаменов для прогнозирования успеваемо-| сти в университете имеют довольно длинную историю. В отличие от России, где ЕГЭ был вве-| ден как обязательный экзамен лишь в 2008 году, американский аналог Scholastic Assessment ■¡j. Test (SAT) существует уже более ста лет. Соответственно, значительный опыт исследований m в этой области накоплен именно в США. Уже в (Fishman, Pasanella, 1960) содержался обзор
№ 3 (23) 2011
результатов сотен работ по данной теме. По результатам 147 исследований коэффициент де- Ц терминации в регрессиях между средним баллом за первый год обучения в колледже и ре- ^ зультатами SAT принимал значения от 0.34 до 0.82 с медианой 0.61, что говорит о значимости «¡j результатов SAT для прогноза среднего балла за первый год обучения в колледже. ^
В статье (Kobrin et al., 2008) исследовалась значимость прогноза средней оценки за первый год обучения студентов по результатам SAT и среднего балла за последний год учебы ф в средней школе. Используя данные по 151316 студентам, исследователи получили коэф- Ц фициент детерминации в диапазоне 0.26 - 0.46 (для разных вариантов среднего балла и SAT ^ теста). Стоит также отметить, что с учетом среднего балла за последний год обучения в сред- „^ ней школе корреляция увеличивается до уровня 0.46.
Работа (Rothstein, 2004) вносит некоторую долю скепсиса в интерпретацию SAT как важного фактора прогноза успехов студента по результатам первого курса. Автор приводит аргументы за то, что результат SAT тесно связан с демографическими характеристиками абитуриента и школы, которую он закончил. А при отдельном учете демографических характеристик вклад в академическую успеваемость того, что в SAT остается, оказывается не так уж и велик.
В статьях (Zwick, 2010; Burton, Ramist, 2001) можно найти обзор как тестов, так и работ, исследующих корреляцию результатов этих тестов с дальнейшими академическими успехами студентов.
2. Международный Институт Экономики и Финансов НИУ ВШЭ
Настоящая работа посвящена анализу связи результатов ЕГЭ и академических успехов студентов одного из факультетов Высшей школы экономики — Международного Института Экономики и Финансов (МИЭФ). Этот факультет существенно отличается от других факультетов НИУ ВШЭ. Он является совместным проектом НИУ ВШЭ и Лондонской школы экономики (LSE), а студенты, заканчивающие программу бакалавриата, получают два диплома — НИУ ВШЭ и Лондонского университета. Соответственно, большинство лекций и семинаров проводится на английском языке.
Для поступления в Высшую школу экономики на факультет МИЭФ абитуриенту надо обязательно сдать ЕГЭ по трем предметам: математика, русский язык и иностранный язык (английский). Отбор будущих студентов осуществляется на конкурсной основе по сумме баллов за 3 предмета.
Вследствие того, что студенты, поступившие на МИЭФ в 2008 и 2009 годах, закончили, соответственно, второй и первый год обучения в 2010 году, появилась возможность использовать статистические данные для исследования связи результатов ЕГЭ и успеваемости на первом и втором курсах МИЭФ. Основной задачей данной работы является выявление эффективности отбора студентов в высшие учебные заведения (на примере МИЭФ) по результатам ЕГЭ. Также исследуется роль олимпиад, поскольку часть студентов поступает в МИЭФ по их результатам.
Остановимся более подробно на процедуре поступления на факультет МИЭФ НИУ ВШЭ.
В 2008 году абитуриенты российских школ могли поступить на факультет МИЭФ, предоставив результаты внутренних вступительных экзаменов Высшей школы экономики либо Единого Государственного Экзамена по обязательным предметам: математика и русский язык. Также абитуриентам предлагалось предоставить результаты по английскому языку
№ 3 (23) 2011
по любой из форм контроля знаний на выбор: ЕГЭ, вступительному экзамену или соответствующему предмету из Межрегиональной многопрофильной олимпиады НИУ ВШЭ. При этом вступительные баллы по отдельным предметам имели разный вес: математика оценивалась от 0 до 12 баллов, английский — от 0 до 10 баллов и русский язык — от 0 до 5 баллов. Распределение весов предметов происходило с помощью шкалирования баллов из 100-балльной системы оценивания в систему, представленную выше (шкалу перевода баллов см. в Приложении, табл. 8).
Если абитуриент предоставлял результаты сразу по нескольким формам контроля знаний, то при подсчете суммарного балла по трем предметам из них выбирался наибольший результат. Победителям и призерам Всероссийской олимпиады по экономике или математике (в том числе и регионального этапа) и Межрегиональной многопрофильной олимпиады НИУ ВШЭ в качестве поощрения позволялось поступить на факультет без конкурса при условии удовлетворительной сдачи вступительных экзаменов или ЕГЭ.
В 2009 году процедура поступления была значительно видоизменена. Поступление в Высшую школу экономики на факультет МИЭФ осуществлялось только по результатам Единого Государственного Экзамена по трем предметам: математика, русский язык и иностранный язык (английский). Предметы имели одинаковый вес и оценивались по 100-балльной системе. Однако победители и призеры Всероссийской олимпиады по экономике или математике и Межрегиональной многопрофильной олимпиады НИУ ВШЭ, как и в 2008 году, имели право поступить на факультет без конкурсного отбора.
Все статистики по данным студентов, поступивших в 2008 и 2009 годах на факультет МИЭФ, приведены в Приложении (табл. 7).
* 3. Описание данных
S
а
5 В настоящем исследовании используются данные по всем 272 студентам, поступившим 2 в МИЭФ в 2008 - 2009 гг. (2008 г. — 133; 2009 г. — 139) и представившим результаты ЕГЭ.
Ниже приведен список данных по каждому студенту и их обозначений: о EGE_M — результат ЕГЭ по математике (может принимать значения от 0 до 100); | EGE_A — результат ЕГЭ по английскому языку (0-100); ^ EGE_R — результат ЕГЭ по русскому языку (0-100);
VSEROS — фиктивная переменная, принимающая два значения: 1, если студент являет-
победителем/призером Межрегиональной многопрофильной олимпиады НИУ ВШЭ, и 0,
s ся победителем/призером Всероссийской олимпиады по экономике, и 0, если не является
S таковым;
Ц MMO — фиктивная переменная, принимающая два значения: 1, если студент является
S
§ если не является таковым;
* REGION — фиктивная переменная, принимающая два значения: 1, если студент явля-
iu ется победителем/призером региональной олимпиады по экономике, и 0, если не является
¡3 таковым;
| CALCI — итоговый балл студента по математическому анализу в конце первого года Й
STAT1 — итоговый балл студента по статистике в конце первого года обучения в МИЭФ
S (0-100);
обучения в МИЭФ (0-100);
№ 3 (23) 2011
MICRO! — итоговый балл студента по микроэкономике в конце первого года обучения Ц в МИЭФ (0-100); |
MACRO! — итоговый балл студента по макроэкономике в конце первого года обуче- ^ ния в МИЭФ (0-100); ё
FINAL1 — финальный рейтинг студента в конце первого года обучения в МИЭФ (0100); !
MATEC_2 — итоговый балл студента по предмету «математика для экономистов» в кон- Ц це второго года обучения в МИЭФ (0-100); ^
STAT_2 — итоговый балл студента по статистике в конце второго года обучения в МИЭФ (0-100);
MICRO_2 — итоговый балл студента по микроэкономике в конце второго года обучения в МИЭФ (0-100);
MACRO2 — итоговый балл студента по макроэкономике в конце второго года обучения в МИЭФ (0-100);
LINAL_2 — итоговый балл студента по линейной алгебре в конце второго года обучения в МИЭФ (0-100);
FINAL_2 — финальный рейтинг студента в конце второго года обучения в МИЭФ (0100);
VIBIL1 — фиктивная переменная, принимающая два значения: 1, если студент выбыл во время или по итогам обучения на первом курсе, и 0, если остался;
VIBIL_2 — фиктивная переменная, принимающая два значения: 1, если студент выбыл во время или по итогам обучения на втором курсе, и 0, если остался2.
Важно отметить, что при построении регрессии результаты студентов, поступивших в 2008 году, должны быть обратно переведены из 12-, 10- и 5-балльной системы оценивания (по математике, английскому языку и русскому языку соответственно) в 100-балльную систему. Так как авторам были доступны лишь данные по «взвешенной» системе оценивания, то значения по 12-, 10-, 5-балльной шкалам оценивания переведены в середины интервалов, соответствующих этим значениям по 100-балльной шкале. Например, по шкале перевода баллов 10 баллов по математике соответствуют интервалу от 85 до 93 баллов по 100-балльной шкале. Тогда при переводе из «взвешенной» системы оценивания в 100-балльную 10 баллов будут соответствовать середине интервала — 89 баллам (шкалу перевода баллов см. в Приложении, табл. 8). Такой перевод позволяет единообразно учитывать данные студентов обоих годов поступления при построении регрессий и анализе данных. В таблице 7 Приложения приведены описательные статистики исходных данных. Гистограммы распределений результатов ЕГЭ студентов по математике, русскому языку и английскому языку изображены на рис. 1 - 3 Приложения.
4. ЕГЭ и рейтинг студента после первого и второго курса МИЭФ
Рассмотрим зависимость рейтинга студента после первого и второго курса МИЭФ от результатов ЕГЭ. Результаты регрессий представлены в табл. 1. В моделях 1 и 2 зависимая переменная FINAL_1 (рейтинг после первого курса), а в модели 3 — FINAL_2 (рейтинг студента после второго курса).
2 Если студент выбыл на первом курсе (т. е. VIBIL_1 = 1), то переменная VIBIL_2 принимает значение 1.
№ 3 (23) 2011
В первую модель включены оценки студентов, поступивших в МИЭФ в 2008 и 2009 гг. и имевших итоговый рейтинг за первый курс (всего 257 студентов из 272 поступивших в МИЭФ). В качестве объясняющих переменных используются оценки ЕГЭ по математике и русскому языку, поскольку лишь незначительное число студентов 2008 года поступления (17) сдавало ЕГЭ по английскому языку. Кроме того, в модель включена фиктивная переменная У2009 — индикатор студентов, поступивших в 2009 г., для контроля в уровнях оценок 2008 и 2009 гг. Отметим, что в данной регрессии не учитываются студенты, которые выбыли во время обучения на первом курсе и не имели итогового годового балла.
Оба коэффициента при результатах экзаменов в модели значимы на 1%-ном уровне. Таким образом, баллы ЕГЭ как по математике, так и по русскому языку значимы для прогноза рейтинга первого года. Поскольку коэффициенты при EGE_M и EGE_R отличаются не значимо, а средние значения и дисперсии оценок по математике и русскому языку примерно равны (см. Приложение, табл. 7), то можно заключить, что оба экзамена важны в равной мере для прогноза академической успеваемости студента в конце первого года обучения.
Переменная У2009 также является значимой на 1%-ном уровне и коэффициент при ней равен - 4.46. Это означает, что студенты 2009 года поступления при тех же результатах ЕГЭ получали итоговую оценку за первый курс в среднем на 4.46 балла меньше, чем студенты 2008 года поступления. Можно предложить несколько объяснений этому эффекту: во-первых, он может быть результатом изменения методики оценивания ЕГЭ, во-вторых, это может означать, что при тех же результатах ЕГЭ студенты в 2009 г. были менее подготовлены к учебе в университете (результат «натаскивания» на ЕГЭ), в-третьих, может сказаться повышение требований к оценке знаний студентов в МИЭФ.
Щ
В
I
ф $
& $
\о
а о
\о
I
ф
I
во »
*
с §
$
ч
о £
о
0
1 Щ
5 *
ф о
Таблица 1. Зависимость интегральной оценки (рейтинг) первого и второго курса от результатов ЕГЭ
Модель 1 Модель 2 Модель 3
Регрессоры Обозначение Рейтинг Рейтинг Рейтинг
1 курса 1 курса 2 курса
Константа С -19.82** -45.828*** -25.505*
(8.34) (16.018) (13.639)
ЕГЭ по математике ЕОЕ М 0.502*** 0.507*** 0.636***
(0.090) (0.131) (0.158)
ЕГЭ по русскому языку ЕОЕ Я 0.493*** 0.570*** 0.391***
(0.088) (0.140) (0.134)
ЕГЭ по английскому языку ЕОЕЛ — 0.165 —
(0.145)
2009 год поступления Y2009 -4 46*** — —
(1.503)
Я2 0.265 0.283 0.246
Количество наблюдений 257 125 106
— значимость на 10%, 5%, 1%-ном уровне соответственно. В скобках приведены стандартные ошибки.
Вторая модель в табл. 1 также описывает рейтинг первого курса, но теперь в нее включен результат ЕГЭ по английскому языку. При этом приходится ограничить регрессию толь-
№ 3 (23) 2011
ко на студентов 2009 г. поступления, предоставивших результаты ЕГЭ по трем предметам | и имеющих финальный рейтинг за первый год обучения (125 наблюдений). Дело в том, что ^ у студентов 2008 года поступления был выбор в сдаче английского языка — либо ЕГЭ, либо «,-вступительный экзамен, либо ММО НИУ ВШЭ. Таким образом, те 17 студентов, которые ^ сдавали ЕГЭ по английскому языку, сделали этот выбор осознанно, а не являются результа- | том случайной выборки. Поэтому эти наблюдения не включены в регрессию, чтобы избе- ф жать возможного смещения оценок в результате самоотбора (Магнус и др., 2007). Ц
В модели 2, как и в модели 1, результаты ЕГЭ по математике и русскому языку являют- ^ ся значимыми на 1%-ном уровне переменными. При этом коэффициенты при них прибли- ^ зительно равны соответствующим коэффициентам в модели 1. А результат ЕГЭ по английскому языку оказывается незначимым. Это несколько удивительно, особенно принимая во внимание, что значительная часть предметов в МИЭФ преподается на английском языке. Возможно, планка ЕГЭ достаточно высока для успешного понимания материала на английском. Немаловажную роль также играет и интенсивный курс английского языка в начале первого года, и серьезный курс английского языка в течение всего года, что позволяет быстро нивелировать первоначальный разброс уровня владения английским языком среди студентов первого года обучения.
В модели 3 зависимой переменной является рейтинг второго курса, FINAL_2, соответственно, в нее включены только 106 студентов, имеющих финальный рейтинг за второй год обучения. Как и первых двух моделях, оценки ЕГЭ по математике и русскому языку оказывают значимое влияние на 1%-ном уровне значимости. Теперь коэффициент при EGE_M в 1.5 раза превосходит коэффициент при EGE_R, что могло бы свидетельствовать о том, что более глубокое изучение предметов на втором курсе требует от студента больших математических способностей, чем на первом курсе. Однако формальный тест показывает, что гипотеза о равенстве этих коэффициентов не отвергается на 20%-ном уровне значимости.
Часть студентов, поступивших на первый курс, выбывает по разным причинам, включая академическую неуспеваемость, в течение первого года, а часть отчисляется по результатам первого года (последние не учитываются в моделях табл. 1).
В работе (Польдин, 2011) рассмотрена модель с цензурированием, которая дала оценки коэффициентов в регрессиях, несколько отличающиеся от оценок коэффициентов в линейной модели. В данной работе не приводятся результаты подобных моделей, т. к., во-первых, из них не следуют качественно другие выводы, а во-вторых, как отмечено в (Польдин, 2011) ТоЬ/Т-модель в данной ситуации может оказаться неадекватной ввиду возможных негауссов-ских ошибок. Кроме того, отчисление может происходить не по низкому среднему баллу (рейтингу), а из-за неудовлетворительных оценок по одному или нескольким предметам. Кроме того, выбытие частично происходит по причинам, не связанным напрямую с академической задолженностью.
Тем не менее, рассмотрим модель бинарного выбора для прогноза выбывания студента после первого или второго года обучения на основе данных ЕГЭ.
Среди 26 выбывших студентов 2009 года поступления 10 не имеют итоговый балл за первый курс.
5. Модель выбывания
№ 3 (23) 2011
Среди студентов 2008 года 19 выбыли после первого года обучения, и 5 из них не имели итоговый балл за первый курс; 25 выбыли после второго года, 8 из них не имели итоговый балл за второй курс. Всего за два года выбыло 44 студента.
Результаты трех logit-моделей представлены в табл. 2. По набору объясняющих факторов они аналогичны трем моделям линейной регрессии табл. 1.
Модель 4 использует данные по студентам за два года. Как и ранее, результаты ЕГЭ по математике и русскому языку значимы на 1%-ном уровне, и чем они выше, тем меньше вероятность выбытия после первого года. Коэффициент при ЕГЭ по русскому языку по абсолютной величине больше, чем коэффициент при ЕГЭ по математике. Коэффициенты статистически отличаются на 10%-ном уровне. Это означает, что ЕГЭ по русскому языку в большей степени определяет вероятность выбытия, чем ЕГЭ по математике. По-видимому, оценка по русскому языку в значительной степени характеризует общий уровень развития студента, его упорство, нацеленность на освоение знаний, а оценка по математике характеризует его аналитические способности. Таким образом, для прогноза выбывания большую роль играет оценка по русскому языку, а для итоговой оценки за первый год влияние двух оценок примерно одинаково (модель 1, табл. 1). Положительный коэффициент при У 2009 значим на 10%-ном уровне, т. е. при прочих равных условиях вероятность выбытия после первого курса больше у студентов 2009 г. Интерпретация этого совпадает с приведенной выше интерпретацией соответствующего коэффициента в модели 1.
Таблица 2. Logit-модели выбывания студента после первого и второго курсов по результатам ЕГЭ
0
В
1
ф $
& $
\о
а о
\о
I
ф
I
во »
*
с §
$
ч
о £
о
0
1 Щ
5 *
ф о
Модель 4 Модель 5 Модель 6
Регрессоры Обозначение Выбыл на 1 курсе Выбыл на 1 курсе Выбыл на 1 - 2 курсах
Константа С 10.478*** 16.689*** 5.846***
(2.509) (4.369) (2.124)
ЕГЭ по математике ЕОЕ М - 0.0484** - 0.077** - 0.0259
(0.022) (0.035) (0.023)
ЕГЭ по русскому языку ЕОЕ Я - 0 119*** - 0.138*** - 0.061**
(0.032) (0.046) (0.024)
ЕГЭ по английскому языку ЕОЕ А — -0.024 —
(0.033)
2009 год поступления Y2009 0.621* — —
(0.369)
МакФадден Я2 Количество наблюдений 0.150 272 0.223 135 0.070 133
*, **, *** — значимость на 10%, 5%, 1%-ном уровне соответственно. В скобках приведены стандартные ошибки.
Модель 5 учитывает только данные студентов 2009 года, что позволяет включить в нее результат ЕГЭ по английскому языку. В ней 135 наблюдений, поскольку из 139 поступивших, 4 победителя всероссийской олимпиады не сдавали ЕГЭ по английскому языку. Вывод совпадает с выводом моделей 2 и 4: результаты ЕГЭ по математике и русскому языку зна-
I №
3 (23) 2011
чимы на 5%-ном уровне, и чем они выше, тем меньше вероятность выбытия после первого года, а оценка ЕГЭ по английскому языку не значима.
Модель 6 отличается от моделей 4 и 5 тем, что дает прогноз выбывания за первые два года обучения. Поскольку наблюдаемый результат более отдален от момента сдачи ЕГЭ, то неудивительно, что прогнозная сила модели ниже, МакФадден R2 равен 0.070, что значительно ниже, чем 0.15 и 0.22 для моделей 4 и 5 соответственно. Значимым фактором остается только один ЕГЭ — по русскому языку.
6. Олимпиады и рейтинги
& со
1 ш и
ш &
с
"С "С
Добавим к объясняющим факторам моделей 1 - 3 фиктивные переменные — индикаторы победителей олимпиад. Результаты представлены в табл. 3. Модель 7 прогнозирует рейтинг первого курса по результатам ЕГЭ и олимпиад. Она отличается от модели 1 тем, что в нее добавлены индикаторы победителей олимпиад. Отметим, что прогнозная сила модели (коэффициент детерминации) значительно возросла: с 0.26 в модели 1 до 0.39 в модели 7. Все переменные в модели 7 значимы на 1%-ном уровне. Победа на Всероссийской олимпиаде добавляет к рейтингу первого курса 15.7 баллов, а победа на ММО НИУ ВШЭ — 12.6 баллов (различие статистически не значимо). Как и ранее, студенты 2009 года получают при прочих равных условиях на 6.2 балла меньше.
Таблица 3. Зависимость интегральной оценки (рейтинг) первого и второго курса от результатов ЕГЭ и побед на олимпиадах
Модель 7 Модель 8 Модель 9 Модель 10
Регрессоры Обозначение Рейтинг Рейтинг Рейтинг Рейтинг
1 курса 1 курса 2 курса 2 курса
Константа С - 9.347 - 34.858** -22.141 -19.334
(7.804) (14.617) (13.414) (13.218)
ЕГЭ по математике ЕОЕМ 0.380*** 0.379*** 0.544*** 0.538***
(0.085) (0.120) (0.158) (0.15)
ЕГЭ по русскому языку ЕОЕК 0.463*** 0.509*** 0.413*** 0.385***
(0.081) (0.129) (0.131) (0.129)
ЕГЭ по английскому языку ЕОЕА — 0.177 — —
(0.131)
Победа на Всероссийской VSEROS 15.669*** 13.289*** 11.917** 12.802***
олимпиаде (2.821) (4.586) (4.744) (4.683)
Победа на ММО НИУ ВШЭ ММО 12.590*** 13.336*** — —
(2.781) (2.874)
Победа на региональной REGЮN — — — 9.193**
олимпиаде (4.346)
2009 год поступления 72009 - 6.162*** — —
(1.423)
Я2 0.386 0.428 0.290 0.320
Количество наблюдений 257 125 106 106
**, *** — значимость на 5%, 1%-ном уровне соответственно. В скобках приведены стандартные ошибки.
№ 3 (23) 2011
Модель 8 аналогична модели 2. Она учитывает ЕГЭ по английскому языку, результаты которого известны только для студентов 2009 года, поэтому использует только данные по студентам этого года поступления. По данной модели победители олимпиад получают «добавку» к рейтингу первого курса в 13.3 балла. ЕГЭ по английскому языку не оказывает на рейтинг значимого влияния.
В моделях 9 и 10 зависимой переменной является рейтинг второго курса. Эти модели аналогичны модели 3 и используют данные только по студентам 2008 года. Результаты ЕГЭ значимы, и вклад обоих ЕГЭ приблизительно одинаков. Победа на Всероссийской олимпиаде значима и приносит 12.8 баллов, а победа на ММО НИУ ВШЭ оказывается не значимой, ее влияние не распространяется на второй год обучения. Победа на региональной олимпиаде значима на 5%-ном уровне с вкладом 9.2 баллов.
Рассмотрим связь между результатами ЕГЭ и оценками по основным курсам за первый и второй год обучения. В качестве основных курсов выбраны: на первом курсе — математический анализ (CALC1), статистика ^ТАТ_1), микроэкономика (М1СЯ01) и макроэкономика (МАСЯО_1); на втором курсе — линейная алгебра (LINAL_2), математика для экономистов (МАТЕС 2), статистика-2 ^ТАТ_2), микроэкономика (М1СЯО_2) и макроэкономика (МАСЯО_2). В качестве контрольных переменных будем добавлять в регрессии фиктивные переменные — индикаторы победителей олимпиад, которые, как показано в предыдущем разделе, значимы для прогноза итоговых рейтингов первого и второго курсов. § Проанализируем сначала результаты по отдельным предметам первого года обучения,
* используя данные по студентам 2008 - 2009 гг. При этом из объясняющих факторов прихо-|. дится исключить ЕГЭ по английскому языку, поскольку данные по нему отсутствуют для 5 большинства студентов 2008 г. Результаты представлены в табл. 4.
я Модели оценок по отдельным предметам первого года обучения, при использовании данных по студентам только 2009 г., представлены в табл. 5. Здесь есть возможность учесть ре-о зультаты ЕГЭ по английскому языку в качестве объясняющего фактора. Отметим, что все | четыре курса читаются на английском языке. Модели 11 - 18 дают схожие результаты: оба ^ ЕГЭ, по математике и по русскому языку, являются значимыми на 1%-ном уровне, кроме мо-¡^ делей 15 (математический анализ) и 17 (микроэкономика), в которых ЕГЭ по русскому язы-« ку значим на 10% и 5%-ном уровнях соответственно. Приведенные в таблицах Р-значения
§ тестов Вальда на равенство коэффициентов при ЕГЭ по математике и ЕГЭ по русскому язы-ч
«я ку не отвергают равный вклад этих экзаменов, за исключением математического анализа,
§ для которого вклад ЕГЭ по математике статистически достоверно превышает вклад ЕГЭ
§ по русскому языку. Коэффициент детерминации для моделей 11 и 15 (математический ана-
* лиз) превышает значения коэффициентов детерминации для аналогичных моделей по дру-иЗ гим предметам. В этом смысле оценка по математическому анализу «более предсказуема». ¡3 Возможно, это связано с тем, что остальные три предмета содержат больше нового мате-§ риала по отношению к школьным курсам. В моделях 12 и 16 (статистика) прослеживается | тенденция, противоположная курсу математического анализа: вклад ЕГЭ по русскому языку превышает (хотя и незначимо) вклад ЕГЭ по математике. Это несколько необычно, пот скольку курс интенсивно использует математику. Видимо, курс статистки концептуально
7. ЕГЭ и основные курсы
№
3 (23) 2011
Таблица 4. Модели оценок по основным курсам первого года обучения по данным студентов 2008 и 2009 гг.
Модель 11 Модель 12 Модель 13 Модель 14
Регрессоры Обозначение Математиче- Статистика Микро- Макро-
ский анализ экономика экономика
Константа С - 30.054*** -26.588*** 5.345 -22.896**
(9.021) (8.923) (8.518) (9.786)
ЕГЭ по математике EGE_M 0.763*** 0 441*** 0.318*** 0.398***
(0.098) (0.097) (0.093) (0.106)
ЕГЭ по русскому языку EGE_R 0.285*** 0.490*** 0.367*** 0.520***
(0.094) (0.093) (0.089) (0.102)
Победа на Всероссийской VSEROS 19.822*** 18.084*** 18.842*** 19.499***
олимпиаде (3.261) (3.226) (3.079) (3.537)
Победа на ММО НИУ ВШЭ ММО 11.923*** 11.735*** 14.094*** 16.204***
(3.215) (3.180) (3.036) (3.487)
2009 год поступления 72009 - 11.525*** - 3.481** - 4.433*** - 4.346**
(1.644) (1.627) (1.553) (1.784)
Р-значение теста 0.002 0.747 0.732 0.460
на равенство коэффициентов
при двух ЕГЭ
Я2 0.462 0.354 0.328 0.341
Количество наблюдений 257 257 257 257
' — значимость на 5%, 1%-ном уровне соответственно. В скобках приведены стандартные ошибки.
& со
1 ш и
ш &
с
"С "С
сложен для бывших школьников (что соответствует опыту преподавания одного из авторов). Так же, как и в предыдущих моделях, в моделях 11 - 14 прослеживается различие между студентами 2008 и 2009 годов. Последние получают оценку по курсу математики ниже на 11.5, а по трем другим курсам — ниже на 3.5 - 4.4 балла. Частично это может быть связано со сменой в 2009 г состава преподавателей, ведущих семинары по математическому анализу.
Рассмотрим теперь возможность прогноза оценок по курсам второго года обучения по данным олимпиад и ЕГЭ при поступлении, т. е. по информации, которая на два года более старая, чем оценки по курсам. Устаревает ли за этот срок информация, содержащаяся в результатах ЕГЭ и олимпиад? Построим модели для оценок по основным курсам второго года обучения, аналогичные модели 10 (табл. 3) по данным только студентов 2008 года. По причинам, описанным выше, в регрессии не включен результат ЕГЭ по английскому языку. Результаты приведены в табл. 6. Как и в модели 10 (табл. 3), вместо олимпиады ММО включена региональная олимпиада — в соответствии с условиями поступления в 2008 и 2009 годах.
Заметим, что коэффициент детерминации в регрессиях табл. 6 меньше, чем коэффициент детерминации в моделях табл. 5, т. е. информация, содержащаяся в результатах ЕГЭ и олимпиад, устаревает. Результат ЕГЭ по математике остается значимым на 1%-ном уровне, однако значимость ЕГЭ по русскому языку несколько снижается. Для курса статистики на 5%-ном уровне остается значимым только ЕГЭ по математике, причем коэффициент при нем существенно выше, чем коэффициент в аналогичной модели для курса «статистика-1». По-видимому, курс статистики на втором году обучения более математизирован по сравнению с курсом статистики на первом году.
№ 3 (23) 2011
Таблица 5. Модели оценок по основным курсам первого года обучения по данным студентов 2009 г.
0
В
1
ф $
& $
\о
.
о
\о
I
ф
I
во »
*
с §
$
ч
о £
о
0
1 Щ
£ ф
. .
Модель 15 Модель 16 Модель 17 Модель 18
Регрессоры Обозначение Математиче- Статистика Микро- Макро-
ский анализ экономика экономика
Константа С -72.206*** - 52.666*** -6.565 - 34.775**
(17.832) (16.763) (15.290) (17.056)
ЕГЭ по математике ЕОЕ М 0.850*** 0.484*** 0.350*** 0.387***
(0.147) (0.138) (0.126) (0.140)
ЕГЭ по русскому языку ЕОЕ Я 0.310* 0.604*** 0.342** 0.458***
(0.158) (0.148) (0.135) (0.151)
ЕГЭ по английскому языку ЕОЕ А 0.248 0.114*** 0.078 0.147
(0.159) (0.150) (0.137) (0.152)
Победа на Всероссийской VSEЯOS 15.976*** 16.035*** 17.665*** 19.280***
олимпиаде (5.595) (5.260) (4.798) (5.352)
Победа на ММО НИУ ВШЭ ММО 12.532*** 13.108*** 15.353*** 16.860***
(3.506) (3.295) (3.006) (3.353)
Р-значение теста 0.023 0.589 0.966 0.752
на равенство коэффициентов
при двух ЕГЭ
Я2 0.438 0.421 0.395 0.410
Количество наблюдений 125 125 125 125
*, **, *** — значимость на 10%, 5%, 1%-ном уровне соответственно. В скобках приведены стандартные ошибки.
Таблица 6. Модели оценок по основным курсам второго года обучения по данным
студентов 2008 г.
Модель 19 Модель 20 Модель 21 Модель 22 Модель 23
Регрессоры Математика Статистика Микро- Макро- Линейная
для экономистов экономика экономика алгебра
Константа - 30.063* - 31.003* - 40.851*** - 37.219** -21.165
(16.067) (17.342) (15.230) (15.678) (17.448)
ЕГЭ по математике 0.737*** 0.789*** 0.706*** 0.587*** 0.881***
(0.189) (0.204) (0.179) (0.184) (0.205)
ЕГЭ по русскому языку 0.416*** 0.287* 0.364** 0.406*** 0.214
(0.157) (0.170) (0.149) (0.154) (0.171)
Победа на Всероссийской 14.520** 20.554*** 15.643*** 13.001** 9.895
олимпиаде (5.693) (6.144) (5.396) (5.555) (6.182)
Победа на региональной 12.311** 10.547* 9.708* 12.148** 8.644
олимпиаде (5.282) (1.850) (5.007) (5.154) (5.737)
Р-значение теста на равенство 0.251 0.096 0.195 0.507 0.029
коэффициентов при двух ЕГЭ
Я2 0.330 0.313 0.327 0.286 0.256
Количество наблюдений 106 106 106 106 106
*, **, *** — значимость на 10%, 5%, 1%-ном уровне соответственно. В скобках приведены стандартные ошибки.
№ 3 (23) 2011
Особняком стоит курс по линейной алгебре. Для него значим только результат ЕГЭ по ма- | тематике. По-видимому, этот курс требует развитого абстрактного мышления, а другие ^ факторы — общее развитие (русский язык) и целеустремленность (олимпиады) — не дают значимого вклада в оценку. Соответственно, коэффициенты при двух ЕГЭ значимо разли- ё чаются на 5%-ном уровне. |
Факт победы на олимпиаде прибавляет примерно равное количество баллов к оцен- ф кам основных предметов первого и второго курса при прочих равных условиях (ЕГЭ). Ц Это, по-видимому, означает, что есть нечто, отличающее победителей олимпиад от дру- ^ гих студентов, возможно, это мотивация к получению знаний, нацеленность на резуль- ^ тат. Таким образом, подтверждается тезис, высказанный в работе (Гордеева и др., 2011): «Психологические особенности студентов, принятых по конкурсу и по итогам олимпиад, различаются. Хотя и ЕГЭ, и победы в олимпиадах связаны с показателями упорства и настойчивости, эта связь сильнее выражена у олимпиадников. Содержательно различный характер мотивации, стоящий за этими достижениями, позволяет предполагать, что победители олимпиад, проявляющие значимо более высокую познавательную мотивацию и заинтересованность учебой, будут демонстрировать более устойчивую успешность в долгосрочной перспективе».
8. Заключение
В работе рассмотрена зависимость академической успеваемости студентов МИЭФ НИУ ВШЭ от результатов ЕГЭ и результатов олимпиад. МИЭФ предлагает студентам современную программу бакалавриата по экономике (совместный проект НИУ ВШЭ и Лондонской школы экономики), которая требует хороших аналитических способностей и хорошего знания английского языка, поскольку основные курсы преподаются на английском языке.
Анализ результатов студентов, поступивших в МИЭФ в 2008 и 2009 годах, привел к следующим выводам:
Оценки ЕГЭ по математике и по русскому языку примерно одинаково важны для успешной учебы в МИЭФ. Только две модели (математика первого года и линейная алгебра второго года) показали большую значимость оценок ЕГЭ по математике по сравнению с ЕГЭ по русскому языку. При анализе вероятности выбывания студентов оказалось, что результаты ЕГЭ по русскому языку имеют большее значение, чем ЕГЭ по математике. По-видимому, эти два экзамена измеряют различные стороны способностей абитуриента. ЕГЭ по математике тестирует аналитические способности, а ЕГЭ по русскому языку нечто более широкое — общую грамотность, кругозор, общее развитие, неспецифическую способность к освоению материала.
Парадоксально, но оценка ЕГЭ по английскому языку оказалась незначимой во всех моделях. Это можно объяснить тем, что в начале первого года все студенты проходят интенсивный курс английского языка, и далее в течение первых двух лет обучения продолжаются серьезные и объемные курсы языка. Таким образом, первоначальное различие студентов во владении минимумом английского языка, необходимым для усвоения основных предметов, быстро выравнивается.
Обращаясь к дискуссии о необходимости взвешивания результатов ЕГЭ для более эффективного отбора студентов, см., например, (Польдин, 2011), можно придти к выводу, что
№ 3 (23) 2011
ЕГЭ по русскому языку и по математике важны в равной степени. Что касается ЕГЭ по английскому языку, то его, видимо, имеет смысл учитывать пороговым образом, установив некоторый «проходной уровень», а не приплюсовывать к общему среднему баллу. (Заметим, что даже вид распределения оценок по английскому языку существенно отличается от распределений оценок по математике и русскому языку, см. рис. 1 - 3 Приложения).
Победители олимпиад устойчиво показывают во всех моделях результаты на 10 - 20 баллов выше, чем их коллеги с теми же результатами ЕГЭ. По-видимому, победителей олимпиад отличает от других студентов высокая мотивация к получению знаний, нацеленность на результат, которые проявляются и в долгосрочной перспективе. Необходимо отметить, что ни один из победителей олимпиад не выбыл из числа студентов за рассматриваемый период времени.
Имеющиеся при проведении исследования данные не позволяют ответить на вопрос, какой способ приема студентов более эффективен — по ЕГЭ или по внутренним экзаменам. Для эконометрического анализа этой проблемы нужно было бы иметь выборки за несколько лет набора студентов, которые бы все сдавали как ЕГЭ, так и внутренние экзамены.
Тем не менее, приведенный в статье анализ показывает, что ЕГЭ является важным инструментом отбора студентов, и его результаты оказывают значимое влияние на академические успехи студентов МИЭФ первых двух лет обучения.
Авторы благодарны профессору П. К. Катышеву за ценные замечания, а также О. О. Замко-ву и Д. Локшину за помощь в понимании механизмов приема студентов в МИЭФ НИУ ВШЭ.
Список литературы
§ Гордеева Т. О., Осин Е. Н., Кузьменко Н. Е., Леонтьев Д. А., Рыжова О. Н., Демидова Е. Д. (2011).
■с Об эффективности двух систем зачисления абитуриентов в химические вузы: дальнейший анализ
а проблемы. В кн.: Естественнонаучное образование: тенденции развития в России и в мире. Под ред.
5 акад. РАН Лунина В. В. и профессора Кузьменко Н. Е. М: Издательство МГУ, 88 - 110. и Елисеев Б. П. (2011). К оценке ЕГЭ как одной из форм системы отбора абитуриентов. Научный
£ вестник МГТУ ГА, 166 (4), 98 - 101.
£ Канторович Г. Г., Македонский А. Л., Замков О. О. (2011). Влияние результатов ЕГЭ на успевае-
g мость студентов на примере НИУ ВШЭ. Доклад на научном семинаре ИНИИ НИУ ВШЭ 3 марта
I 2011 г. http://cinst.hse.ru/news/27397119.html. Б-
Лисичкин Г. В. (2007). Научно-методические задачи современного школьного химического обра-
se зования. В кн.: Инновационные образовательные программы в области химии: химический факуль-
^ тет. Под ред. акад. РАН В. В. Лунина. М: Издательство МГУ, 15 - 23.
сч
§ Магнус Я. Р., Катышев П. К., Пересецкий А. А. (2007). Эконометрика. Начальный курс. М.: Дело. §
| Польдин О. В. (2011). Прогнозирование успеваемости в вузе по результатам ЕГЭ. Прикладная
s эконометрика, 1 (21), 56 - 69. о
[- Российский союз ректоров. (2010). II Межвузовское исследование «Успеваемость студентов пер-
¡S вого курса высших учебных заведений России». http://rsr-online.ru/doc/2010_10_28/2.pdf. § Российский союз ректоров. (2011). III Комплексное межвузовское исследование успеваемости сту-
| дентов высших учебных заведений Российской Федерации. http://rsr-online.ru/doc/norm/527.pdf. ■fr Burton N. W., Ramist L. (2001). Predicting success in college: SAT studies of classes graduating since
£ 1980. College Board Research Report 2001.
3 (23) 2011
Fishman J. A., Pasanella A. K. (1960). College admission selection studies. Review of Educational Research, 30 (4), 298 - 310.
Kobrin J. L., Patterson B. F., Shaw E. J., Mattern K. D., Barbuti S. M. (2008). Validity of the SAT for predicting first-year college grade point average. College Board Research Report 2008.
Rothstein J. (2004). College performance predictions and the SAT. Journal of Econometrics, 121, 297 - 317.
Zwick R. (2010). Admissions testing. International Encyclopedia of Education (Third Edition), 7 - 14.
Приложение
Таблица 7. Описательные статистики переменных
2008 г. EGEM EGER EGEA CALCI STAT1 MICRO1 MACRO1 FINAL1
Среднее 75.1 76.96 84.56 50.715 45.739 58.900 48.674 56.134
Станд. отклонение 8.99 9.68 5.50 15.481 15.015 14.700 17.524 13.603
Минимум 48 50 81 13 14 19 12 20
Максимум 99 91 92 89 78 86 86 86
Всего наблюдений 133 133 17 128 128 128 128 128
2008 г. MATEC2 STAT2 MICRO! MACRO! LINAL2 FINAL_
Среднее 60.462 53.649 43.137 41.014 63.850 53.252
Станд. отклонение 17.887 19.066 16.921 16.910 18.444 14.616
Минимум 8 16 9 4 21 18
Максимум 94 97 80 82 97 85
Всего наблюдений 106 106 106 106 106 106
EGE M EGE R EGE A CALC 1 STAT 1 MICRO 1 MACRO 1 FINAL 1
2009 г.
73.906 78.640 89.178 40.806 44.409 56.783 47.126 52.205
8.732 8.099 7.592 17.177 15.793 14.088 15.917 13.794
50 60 64 3 7 22 11 16
100 100 100 84 78 85 82 82
139 139 135 129 129 129 129 129
s
CD «i
1 Ш
u
Ш &
с «i «i
Среднее
Станд. отклонение Минимум Максимум Всего наблюдений
Таблица 8. Шкалы перевода баллов (данные официального сайта ВШЭ http://www.hse.ru/)
Русский язык Математика Английский язык
100-балльная 5-балльная 100-балльная 5-балльная 100-балльная 5-балльная
шкала шкала шкала шкала шкала шкала
81 - 100 5 98 - 100 12 99 - 100 10
61 - 80 4 94 - 97 11 96 - 98 9
40 - 60 3 85 - 93 10 89 - 95 8
72 - 84 9 73 - 88 7
61 - 71 8 61 - 72 6
51 - 60 7 55 - 60 5
46 - 50 6 50 - 54 4
40 - 45 5 45 - 49 3
35 - 39 4
30 - 34 3
№ 3 (23) 2011
150 100 50 0 -+
ЕГЭ математика 2008-2009
■
8 -
г-
9 -
81
100 -80 -60 -40 -20 -0 -т-
ЕГЭ математика 2009
-
61
8 -
г-
9 -
81
Рис. 1. Гистограмма результатов ЕГЭ по математике
ЕГЭ русский язык 2008-2009
ЕГЭ русский язык 2009
0
В
1
ф
$ & $
\о
а о
\о
I
ф
I
во I
5 *
с §
$
ч
о £
о
0
1 Щ
£ ф
200 150 100 50 0
80 -60 -40 -20 -0 —
-
61
-
61
Рис. 2. Гистограмма результатов ЕГЭ по русскому языку
ЕГЭ английский язык 2009
80 -60 -40 -20 -0 —
■
Рис. 3. Гистограмма результатов ЕГЭ по английскому языку
