CC BY-NC-ND
43
М. Багуэс, М.С. Лабини, Н.М. Зиновьева
Статья поступила в редакцию в июле 2009 г.
Аннотация
82
различия в стандартах оценки успеваемости
И ФИНАНСИРОВАНИЕ УНИВЕРСИТЕТОВ:
ОПыТ ИТАЛИИ*
Средние итоговые оценки выпускников разных итальянских государственных университетов существенно различаются. При этом молодые люди, окончившие вузы с более высокими средними выпускными оценками, не являются более успешными на рынке труда, а иногда даже проигрывают тем, кто учился в вузе, выпускники которого в среднем получают более низкие оценки в дипломе. Одна из причин различий итоговых баллов — неоднородность стандартов оценки успеваемости, применяемых различными университетами. Отсюда следует, что системы финансирования университетов, основанные на показателях академической успеваемости студентов, не гарантируют преимущественную поддержку тех вузов, которые реально обеспечивают более высокое качество образования. Это касается, в частности, итальянской системы финансирования, где распределение бюджетных средств между университетами зависит от количества успешно сданных студентами экзаменов.
Ключевые слова: высшее образование; финансирование университетов; стандарты оценки успеваемости; качество образования.
Принято считать, что в ряде европейских стран, включая Италию, Испанию и Францию, стандарты оценки успеваемости, применяемые разными университетами, достаточно близки. Эта предпосылка лежит в основании юридической значимости университетской степени и объясняет, почему государственное финансирование университетов все в большей степени ставится в зависимость от количества дипломов или баллов за экзамены.
Bagues M., Labini M.S., Zinovyeva N. Differential grading standards and university funding: Evidence from Italy // CESifo Economic Studies. Vol. 54. № 2. P.149-176 (пер. с англ. Е. Покатович).
М. Багуэс, М.С. Лабини, Н.М. Зиновьева
Различия в стандартах оценки успеваемости и финансирование университетов: опыт Италии
Л
Для того чтобы выявить различия в оценках и стандартах оценивания, принятых в итальянских университетах, мы использовали результаты трех обследований, проведенных на репрезентативной выборке выпускников итальянских вузов. В ходе обследования получены данные об успеваемости студентов в период обучения и их дальнейших достижениях на рынке труда, а также контролировался широкий спектр индивидуальных характеристик учащихся, включая их школьные оценки, место рождения и различные показатели социального положения семьи. Установлено, что средние оценки значительно различаются в разных университетах и по разным специальностям. Показатели успешности выпускников на рынке труда и результаты профессиональных квалификационных экзаменов (abilitazione professional), проводимых после окончания университета, свидетельствуют, что разброс в оценках отражает различия в стандартах оценивания, а не в качестве подготовки студентов. Между средним уровнем оценок в университете и показателями достижений выпускников на рынке труда обнаруживается значимая отрицательная корреляция, т.е. окончить факультет, на котором ставят высокие оценки, означает столкнуться с более высокой вероятностью оказаться безработным и получать более низкую зарплату. Точно так же выпускники факультетов с высоким средним уровнем оценок имеют не больше шансов на успех на профессиональных квалификационных экзаменах, чем другие выпускники.
Из этих результатов вытекает очевидный вывод, важный для политики в области образования. Следует проявлять большую осторожность, используя академическую успеваемость студентов как характеристику добавленной стоимости, создаваемой университетом. Если стандарты оценивания существенно различаются по факультетам и университетам, то преимущественное финансирование университетов с высокой долей выпускников в общем числе студентов может привести к нежелательным последствиям.
Эта гипотеза тестируется с использованием основного параметра, учитываемого итальянским правительством при распределении финансирования: эквивалента студента дневного отделения (ЭСДО), измеряющего количество экзаменов, сданных студентами за каждый год обучения. Выяснилось, что выпускники университетов с высокими показателями ЭСДО заметно менее успешны на рынке труда и не лучше других справляются с профессиональными квалификационными экзаменами. Следовательно, механизм финансирования университетов, предполагающий поддержку и поощрение образовательных учреждений с высокой добавленной стоимостью, в действительности обеспечивает поддержку вузам с низкими стандартами.
Статья имеет следующую структуру. В разделе 2 анализируются существующие работы, посвященные стандартам оценивания. В разделе 3 описаны данные обследований и основные переменные, используемые в эмпирической части исследования. Эмпири-
83
Теоретические и прикладные исследования
Л
ческий анализ и обсуждение вопросов политики в области образования приводятся в разделе 4. Наконец, раздел 5 посвящен основным результатам и выводам.
1. Значение согласованности образовательных стандартов
Тема образовательных стандартов широко освещается в литературе как с теоретической, так и с практической стороны. Стандарты оценки успеваемости различны в разных вузах и меняются с течением временем в силу ряда причин. Стандарты могут корректироваться в соответствии с качеством подготовки студентов [24]. Преподаватели иногда завышают оценки, чтобы заслужить расположение своих учеников, от мнения которых зависит сохранение постоянного места работы и продвижение по службе [22; 16]. На некоторых факультетах оценки завышают, чтобы спасти плохо посещаемые курсы, которые иначе просто пришлось бы закрыть [7; 23]. Кроме того, Д. Фримен [10] утверждает, что, учитывая наличие институциональных ограничений, которые в рамках отдельно взятого университета не позволяют гибко оценивать в денежном выражении курсы с различной ожидаемой доходностью, преподаватели и факультеты могут действовать стратегически, управляя количеством студентов путем корректировки времени и усилий, необходимых для получения заданной оценки. Вообще децентрализованный выбор учебными заведениями стандартов оценивания чреват возникновением «проблемы безбилетника»: не все вузы готовы придерживаться высоких стандартов [5]. М. де Паола и В. Скоп-па [6] указывают, что в условиях децентрализации образовательные стандарты могут также подвергаться влиянию искажений, существующих на рынке труда.
Обширная эмпирическая литература описывает колебания средних оценок в американских университетах и колледжах на протяжении длительного времени. В особенности следует отметить, что начиная с 1960-х годов средние оценки студентов в университетах США росли параллельно с отмечаемым специалистами снижением образовательных стандартов [12; 21; 1]. Ряд исследований описывает рассогласование в оценках в различных дисциплинах [7; 21; 10].
Различия в оценках наблюдаются и в Европе. Исследование динамики системы экзаменационных оценок в Германии свидетельствует о значительных расхождениях средних оценок в немецких университетах [25]. В Великобритании результаты оценивания также варьируют в зависимости от учебного заведения. Так, К. чепмен [4] изучал итоговые оценки студентов по восьми дисциплинам с 1973 по 1993 г. и выявил университеты, в которых дипломов с наивысшими оценками по всем предметам постоянно оказывается значительно больше, чем в среднем по стране. В Италии Дж. Боеро с соавторами [2] выявили значительные колебания в оценках в зависимости от университета и региона.
К сожалению, в большинстве упомянутых исследований сложно определить, отражают ли наблюдаемые расхождения в оценках
84
М. Багуэс, М.С. Лабини, Н.М. Зиновьева
Различия в стандартах оценки успеваемости и финансирование университетов: опыт Италии
Л
различия в навыках и успеваемости или же они связаны с особенностями преподавания и практикой оценивания работы студентов. Дж. Боеро утверждает, что «определить, основываясь на этих данных, указывают ли наблюдаемые различия на использование разных стандартов в разных образовательных учреждениях или на подлинные институциональные различия в эффективности образования, не представляется возможным» [2. P. 27]. Однако по ряду причин очень важно установить, является ли неоднородность оценок следствием различий в стандартах оценивания или отражением реальных достижений выпускников. Как в Европе, так и в Америке различия между университетами в стандартах оценки успеваемости могут представлять собой проблему, порождая асимметрию информации о качестве выпускников и (или) самих университетов. Во многих европейских странах институциональная организация системы высшего образования подразумевает однородность стандартов оценивания во всех университетах. Такая согласованность оценок лежит в основе юридической силы, которой наделены присуждаемые академические звания как необходимое условие для занятия многими видами деятельности. В некоторых странах, например в Италии и Дании, финансирование университетов зависит от количества выданных каждым из них дипломов или от оценок студентов.
Мы исследуем возможные различия в стандартах оценивания в итальянских университетах по разным специальностям, используя очень подробный массив данных о студентах, который включает их социальное и экономическое положение, школьные оценки, успеваемость в университете, достижения на рынке труда и результаты профессиональных квалификационных экзаменов. Источником данных являются три разных, но почти идентичных обследования под названием Indagine Inserimento Professionale Laureati, которые представляли собой опрос, посвященный переходу от обучения в университете к работе, и проводились в 1998, 2001 и 2004 гг. применительно к выпускникам 1995, 1998 и 2001 гг. 1
целевая выборка состояла из 25 716 человек в 1998 г., 36 373 — в 2001 г. и 38 470 — в 2004 г. Это составило 25, 28,1 и 24,7% от общего количества выпускников итальянских университетов соответственно. Доля ответивших составила 64,7, 53,3 и 67,7% соответственно, в абсолютном выражении — 17 326, 20 844 и 20 006 человек.
2. Данные опросов выпускников университетов в Италии
В Италии итоговая оценка рассчитывается как сумма оценок, полученных на всех курсах, плюс оценка, полученная за диссертацию на соискание соответствующей степени (tesidilaurea). Студент, чья итоговая оценка превышает 110, получает оценку «110 с плюсом» (110 e lode). Для простоты в проводимом анализе игнорируется потенциальное существование оценок выше 110. Результаты, полученные с использованием цензурированной зависимой переменной (тобит-регрессии), могут быть предоставлены по запросу и крайне близки к результатам, приводимым в данной работе. Также отметим, что в итальянской системе образования в анализируемый период студентов не ограничивали ни во времени сдачи экзаменов, ни в количестве пробных попыток.
85
Теоретические и прикладные исследования
Л
По всем трем опросам выборка стратифицируется по категориям: пол, университет, полученная степень, и веса этих категорий используются во всех нижеприведенных расчетах.
Наряду с другими странами европейского континента Италия проводит политику открытого зачисления в государственные университеты. Они обязаны принимать всех абитуриентов и не имеют права вводить какие-либо ограничения для желающих начать обучение. Исключение составляют вузы и факультеты медицины, ветеринарии и архитектуры, где осуществляется отбор абитуриентов. Стандарты оценивания в университетах и на специальностях, где может проводиться отбор, скорее всего, будут отличаться от остальных вузов, и поэтому они исключаются из выборки. Это сужает совокупную выборку трех обследований до 61 844 человек.
В опросах собиралась информация 1) об индивидуальных характеристиках выпускников; 2) о результатах обучения в университете; 3) об успешности на рынке труда. В первую группу переменных входят сведения о социально-демографических параметрах: пол, гражданство, наличие братьев (сестер), регион проживания до поступления в учебное заведение, образование родителей и их занятость на момент 14-летия респондента, положение с воинской обязанностью до поступления в университет, тип школы и оценки в старших классах. Второй набор переменных: тип университета, полученная степень, итоговая оценка и число лет, затраченных на получение диплома2, трудовая занятость во время обучения в университете, происхождение из того же города (провинции), в котором находится университет, или из другого и др. Официальные оценки варьируют от 66 баллов до максимальных 110 с плюсом. Третью группу характеристик составила собранная в рамках опроса со слов респондентов информация об их занятости в течение трех лет после окончания университета: помимо прочего, это данные о том, трудоустроился ли выпускник, потребовался ли ему для этого диплом о высшем образовании, а также об уровне заработной платы и удовлетворенности работой. В табл. 1 приводится общее описание статистических данных по всем ключевым переменным3.
2
3
В Италии итоговая оценка рассчитывается как сумма оценок, полученных на всех курсах, плюс оценка, полученная за диссертацию на соискание соответствующей степени (tesi di laurea). Студент, чья итоговая оценка превышает 110, получает оценку «110 с плюсом» (110 e lode). Для простоты в проводимом анализе игнорируется потенциальное существование оценок выше 110. Результаты, полученные с использованием цензурированной зависимой переменной (тобит-регрессии), могут быть предоставлены по запросу и крайне близки к результатам, приводимым в данной работе. Также отметим, что в итальянской системе образования в анализируемый период студентов не ограничивали ни во времени сдачи экзаменов, ни в количестве пробных попыток.
Уровень безработицы среди выпускников в наших выборках составил 14,7%. Это соответствует данным ОЭСР за 2003 г., когда 13,6% выпускников вузов в возрасте 25-29 лет в Италии официально считались безработными. В среднем уровень безработицы среди молодежи в возрасте 25-29 лет, по данным ОЭСР, составляет 10,4%.
86
М. Багуэс, М.С. Лабини, Н.М. Зиновьева
Различия в стандартах оценки успеваемости и финансирование университетов: опыт Италии
Л
Таблица 1 Общая статистика:
индивидуальные характеристики*
Среднее Мини- мум Макси- мум
Исходные индивидуальные характеристики
Пол (доля женщин) 0,532 0 1
Возраст 27,587 21 75
Когда индивиду было 14 лет, его отец...
Работал 0,960 0 1
Искал работу 0,004 0 1
Был на пенсии 0,017 0 1
Другое 0,019 0 1
Когда индивиду было 14 лет, его мать.
Работала 0,494 0 1
Искала работу 0,004 0 1
Была на пенсии 0,020 0 1
Другое 0,482 0 1
Когда индивиду было 14 лет, наивысшим уровнем образования его отца было.
Начальное(или образование отсутствовало) 0,190 0 1
Среднее 0,236 0 1
Высшее 0,340 0 1
Университетская степень 0,226 0 1
Нет ответа 0,008 0 1
Когда индивиду было 14 лет, наивысшим уровнем образования его матери было.
Начальное(или образование отсутствовало) 0,250 0 1
Среднее 0,259 0 1
Высшее 0,350 0 1
Университетская степень 0,135 0 1
Нет ответа 0,006 0 1
Сфера работы отца
Сельское хозяйство 0,050 0 1
Промышленность 0,260 0 1
Услуги 0,672 0 1
Нет ответа 0,018 0 1
Количество братьев и сестер 1,313 0 4
Гражданство
Италия 0,991 0 1
ЕС 0,006 0 1
Не ЕС 0,003 0 1
Тип школы
Научный лицей 0,413 0 1
Классический лицей 0,193 0 1
Производственный техникум 0,062 0 1
Топографический техникум 0,034 0 1
Торговый техникум 0,128 0 1
Другие типы техникумов 0,030 0 1
Педагогическая школа или училище 0,062 0 1
Языковой лицей 0,036 0 1
Профессиональное училище 0,029 0 1
Среднее Мини- мум Макси- мум
Художественный лицей или училище 0,013 0 1
Оценка в школе 49,085 36 60
Воинская обязанность
Невоеннообязанный 0,219 0 1
Отслужил до поступления в университет 0,039 0 1
Другое 0,742 0 1
Индивидуальные характеристики, связанные с учебным заведением
Количество дополнительных лет, потребовавшихся для окончания университета после завершения официального срока программы ** 2 0 4
Оценки в университете 103,628 66 110
Перевод с другого курса 0,107 0 1
Второе высшее образование 0,014 0 1
Обучение в родном регионе 0,793 0 1
Обучение в родной провинции 0,519 0 1
Обучение в родном городе 0,412 0 1
Переезд из родного города на учебу 0,300 0 1
Успехи выпускников после окончания
Успешная сдача профессионального квалификационного экзамена 0,452 0 1
Относится к рабочей силе 0,843 0 1
Имеет работу (если относится к рабочей силе) 0,853 0 1
Имеет работу, требующую наличия университетского диплома (если относится к рабочей силе) 0,644 0 1
Заработная плата*** 1135,786 77,468 10000
Примечания.
Количество наблюдений равно 61 844.
В этом случае приводится медиана, а не среднее. Значение, равное 4, означает, что для окончания университета дополнительно потребовалось 4 или более лет.
Количество наблюдений, в которых присутствует информация о заработной плате, равно 37 552.
87
Теоретические и прикладные исследования
Л
Помимо индивидуальной информации мы используем данные о различных характеристиках учебных заведений. Их профили сгруппированы в двенадцать специальностей4. В табл. 2 приведены общие статистические данные по ЭСДО на уровне факультетов — это основной показатель, используемый министерством при распределении регулярного финансирования по университетам, — а также сведения о самом финансировании5. Наконец, мы также рассматриваем ряд демографических и экономических индикаторов на уровне провинций, таких как валовой внутренний продукт (ВВП), численность населения и уровень безработицы.
Таблица 2
Общая статистика: характеристики факультетов*
Год Среднее Ст. откл. Минимум Максимум
Эквивалент студента дневного отделения (ЭСДО),% 1995 46,394 12,748 13,118 94,608
Регулярное финансирование университета (млрд лир)** 1995, 1998, 2001 188,982 186,856 11,3 1186,1
Количество профессоров*** одного студента** 1996, 1999 0,093 0,101 0,004 1,429
Примечания.
* В 2001 г. всего имелось 410 различных факультетов.
** Данные о регулярном финансировании доступны только для государственных университетов.
*** Отношение числа профессоров к совокупной численности студентов, не остающихся в университете сверх положенного срока.
3. Высокие оценки — отражение реальных достижений или различия в стандартах?
Для начала рассмотрим, имеет ли место статистически значимое различие оценок в зависимости от дисциплины и университета. Затем проанализируем, является ли различие в средних итоговых оценках следствием несогласованности в стандартах оценивания или оно отражает разницу в добавленной стоимости, создаваемой учебным заведением. В завершение мы исследуем, каким образом наличие разных стандартов оценивания влияет на финансирование итальянских университетов.
3.1. Оценки
Оценки, которые получает выпускник университета, связаны с рядом персональных характеристик, включая социальноэкономическое положение родителей и способности, проявленные до поступления в университет. Будем оценивать следующую модель:
G = PX, + YDf + Wu + “f + ,
(1)
где Gi — показатель академических достижений индивида i, а X. — набор индивидуальных характеристик, описанных в табл. 1,
4
5
Источником информации о количестве ЭСДО является [18]. Подробно о влиянии количества ЭСДО на финансирование университетов см. [19].
Источником информации о количестве ЭСДО является [18]. Подробно о влиянии количества ЭСДО на финансирование университетов см. [19].
88
М. Багуэс, М.С. Лабини, Н.М. Зиновьева
Различия в стандартах оценки успеваемости и финансирование университетов: опыт Италии
Л
включая фиктивные переменные, характеризующие провинцию, в которой студент жил до поступления в университет, а также показатели ВВП и уровня безработицы в этой провинции. Df и Du — это наборы фиктивных переменных, соответствующих профилю факультета (или специальности) и университету. Фиктивная переменная для времени а отражает общие изменения с течением времени. Наконец, ошибка е№ должна отражать все остальные факторы, влияющие на академическую успеваемость.
В столбце 1 табл. 3 приведены результаты оценки уравнения (1) методом наименьших квадратов, где зависимой переменной является окончательная совокупная оценка, полученная индивидом по окончании обучения. Помимо исходных индивидуальных характеристик регрессия учитывает количество дополнительных лет, потребовавшихся для завершения образования6. Характер влияния индивидуальных характеристик в целом согласуется с результатами предшествующих исследований7. Студенты из регионов с более высоким уровнем безработицы получают в среднем более высокие оценки. Это согласуется с данными Р. Дорнбуша с соавторами [9] и Ди Пьетро [8], которые отмечают возможность влияния ситуации на местном рынке труда на принимаемые студентами решения. Снижение уровня безработицы может подтолкнуть некоторых студентов к тому, чтобы тратить меньше сил на учебу в университете и воспользоваться сложившейся конъюнктурой.
Таблица 3
Индивидуальные характеристики студентов и их достижения в университете, успехи на рынке труда и оценки на внешних профессиональных квалификационных экзаменах
1 2 3 4 5 6
оценка в университете Количество дополнительных лет в университете Вероятность найти работу Логарифм заработной платы Занятость по специальности Квалификационные экзамены
МНК МНК Пробит МНК Пробит Пробит
Исходные индивидуальные характеристики
Доля женщин 0,757*** -0,081 -0,067*** -0,015 -0,047*** -0,005 -0,128*** -0,007 -0,068*** -0,008 0,001 -0,006
Возраст -0,169*** -0,011 0,160*** -0,004 0,002*** -0,004 0,002*** -0,004 -0,002** -0,001 -0,007*** -0,001
Отец...
Работал Точка отсчета Точка отсчета Точка отсчета Точка отсчета Точка отсчета Точка отсчета
Искал работу -0,060 -0,496 -0,229** -0,101 -0,013 -0,025 -0,019 -0,052 -0,002 -0,048 -0,011 -0,034
Был на пенсии 0,308 -0,217 -0,007 -0,045 -0,011 -0,014 -0,034 -0,021 -0,026 -0,021 -0,006 -0,018
Другое 0,329 -0,272 0,087 -0,057 0,003 -0,015 -0,076*** -0,03 0,033 -0,024 -0,004 -0,023
Мать.
Работала Точка отсчета Точка отсчета Точка отсчета Точка отсчета Точка отсчета Точка отсчета
Искала работу 0,575 -0,376 0,195** -0,087 -0,007 -0,024 -0,216*** -0,064 -0,021 -0,049 0,003 -0,031
Была на пенсии 0,15 -0,215 -0,047 -0,042 -0,016 -0,017 -0,019 -0,017 -0,023 -0,022 0,005 -0,016
Другое -0,118* -0,064 0,001 -0,013 -0,004 -0,004 -0,005 -0,007 0,005(0) -0,006 -0,010** -0,005
6
7
Сложность каждой конкретной учебной программы можно описать двумя путями: как время, необходимое для ее окончания и получения определенной оценки, или как окончательную оценку, которую индивид получит, если потратит определенное время на обучение.
См., например, работу Боеро [2], в которой факторы успехов в учебе исследуются на базе обследования ISTAT, осуществленного в 1998 г.
89
Теоретические и прикладные исследования
Л
1 2 3 4 5 6
Образование отца
Начальное (или образование отсутствовало) Точка отсчета Точка отсчета Точка отсчета Точка отсчета Точка отсчета Точка отсчета
Неполное среднее -0,136 -0,094 -0,016 -0,02 -0,003 -0,006 0,022*** -0,008 0,017* -0,009 0,001 -0,009
Среднее -0,193* -0,1 0,004 -0,021 0(0,0) -0,006 0,033*** -0,007 0,028*** -0,006 0(0,0) -0,007
Высшее -0,204* -0,12 -0,048* -0,025 -0,013* -0,008 0,035** -0,011 0,037*** -0,012 0,035** -0,008
Образование матери
Начальное (или образование отсутствовало) Точка отсчета Точка отсчета Точка отсчета Точка отсчета Точка отсчета Точка отсчета
Неполное среднее -0,216** -0,088 -0,036* -0,018 0,012** -0,005 0,020* -0,007 0,012 -0,009 0(0,0) (0,007)
Среднее -0,420*** -0,098 -0,087*** -0,021 0,014** -0,006 0,030** -0,009 0,014** -0,006 -0,003 (0,007)
Высшее -0,260** -0,131 -0,204*** -0,028 0,019** -0,007 0,028* -0,013 0,036*** -0,013 0,015 (0,007)
Сфера работы отца
Сельское хозяйство Точка отсчета Точка отсчета Точка отсчета Точка отсчета Точка отсчета Точка отсчета
Промышленность 0,375*** -0,14 0,016 -0,03 0,024*** -0,008 0,004 -0,03 0,01 -0,03 0,005 (0,030)
Услуги 0,504*** -0,134 0,039 -0,029 0,020*** -0,008 -0,016 -0,013 0,012 -0,013 0 (0,013)
Другое 0,831** -0,347 0,026 -0,079 -0,004 -0,021 (0,071)*** -0,033 -0,053 -0,037 0,043* (0,018)
Количество братьев и сестер 0,085** -0,033 0,012* -0,007 (0,007)*** -0,007 0,005* -0,003 0,005 -0,003 -0,000 (0,003)
Гражданство
Италия Точка отсчета Точка отсчета Точка отсчета Точка отсчета Точка отсчета Точка отсчета
ЕС 0,989 -0,819 0,055 -0,147 0,066* -0,024 0,094 -0,08 0,162** -0,147 0,027 (0,043)
Не ЕС 1,786*** -0,688 0,054 -0,129 0,058 -0,057 0,069 -0,07 0,124* -0,07 0,001 (0,057)
Тип школы
Научный лицей Точка отсчета Точка отсчета Точка отсчета Точка отсчета Точка отсчета Точка отсчета
Классический лицей 0,409*** -0,08 0,034** -0,017 -0,025*** -0,005 -0,030*** -0,009 -0,015* -0,009 -0,005 -0,007
Производственный техникум -1,062*** -0,133 -0,021 -0,026 0,030*** -0,008 0,019*** -0,009 -0,016 -0,012 0,014** -0,007
Математический техникум -1,458*** -0,167 -0,020 -0,034 0,009 -0,01 -0,035** -0,014 0,008 -0,016 0,026*** -0,016
Торговый техникум -1,544*** -0,102 0,050** -0,02 -0,005 -0,006 -0,009 -0,008 -0,033*** -0,01 -0,001 -0,011
Другие типы техникумов -1,516*** -0,172 0,039 -0,035 0,004 -0,011 0,02 -0,013 -0,008 -0,017 0,021** -0,009
Педагогическая школа или училище -0,882*** -0,122 0,221*** -0,03 0,003 -0,007 0,027*** -0,011 0,022* -0,03 0,017 -0,011
Языковой лицей -1,181*** -0,141 0,198*** -0,038 -0,004 -0,01 0,011 -0,013 -0,052*** (0,015) -0,004 -0,019
Профессиональное училище -2,223*** -0,181 0,034 -0,041 -0,004 -0,011 -0,023 -0,019 -0,021 -0,018 0,002 -0,013
Художественный лицей или училище -1,524*** -0,237 0,221*** -0,045 -0,029* -0,016 -0,070*** -0,022 -0,052** (0,024) 0,001 -0,013
Другое -1,092*** -0,416 -0,039 -0,094 0,006 -0,024 -0,013 -0,045 0,080** -0,038 0,027 -0,031
Оценка в школе 0,303*** -0,004 -0,016*** -0,001 0,002*** 0 0,005*** 0 0,003*** 0 0,001* 0
Воинская обязанность
Невоеннообязан- ный -0,077 -0,093 0,008 -0,017 0,002 -0,006 0,023*** -0,017 0,009 -0,009 -0,019*** -0,006
Отслужил до поступления вуни-верситет 0,085** -0,033 -0,691*** -0,044 0,047*** -0,009 0,092*** -0,013 0,092*** -0,017 -0,024* -0,015
Индивидуальные характеристики, связанные с учебным заведением
Перевод с другого курса 0,021 -0,095 -0,320*** -0,024 0,012** -0,006 0,017*** -0,008 -0,001 -0,01 0,006 -0,008
Второе высшее образование 1,184*** -0,42 -1,151*** -0,137 0,047 -0,047 0,049 -0,098 0,127 -0,098 -0,079 -0,049
Обучение в родном регионе 0,262*** -0,1 0,147*** -0,021 0,004 -0,006 -0,035*** -0,008 -0,027*** -0,01 0,025*** -0,008
Обучение в родном городе 0,687*** -0,078 -0,050*** -0,016 0,004 -0,005 0,020*** -0,007 -0,009 -0,008 -0,038** -0,006
Переезд из родного города на учебу 0,02 -0,073 0,056*** -0,015 0,004 -0,004 0,009 -0,007 0,056*** -0,007 0,006 -0,007
Характеристики родной провинции, за два года до выпуска
ВВП * (10) | 0,064 | -0,082 | -0,013 |-0,017 | -0,002 | -0,005 | -0,011 |-0,008 | 0,020** |-0,009 | 0,018* |-0,001
90
М. Багуэс, М.С. Лабини, Н.М. Зиновьева
Различия в стандартах оценки успеваемости и финансирование университетов: опыт Италии
Л
i 2 3 4 5 6
Безработица 0,054*** -0,019 0,010*** -0,004 -0,001 -0,001 0,011*** -0,002 0,007*** -0,002 0,002 -0,002
численность населения* (10 000) -0,003 -0,003 0,004 -0,006 0,001 -0,002 0,005* -0,003 0,003 -0,003 -0,005** -0,002
Другие фиктивные и контрольные переменные
Родная провинция Да Да Да Да Да Да
Фиксированный эффект от курса Да
Фиксированный эффект от специальности Да Да Да Да Да
Фиксированный эффект от университета Да Да Да Да Да Да
Количество дополнительных лет, потребовавшихся для окончания университета Да
Оценка в университете -0,033*** -0,001
(Псевдо)R2 0,403 0,361 0,157 0,226 0,0811 0,1726
число наблюдений 61 844 61 844 52 532 37 552 49 103 26 344
Примечания.
* Значимо при 10%.
** Значимо при 5%.
*** Значимо при 1%. Для пробит-регрессий приводятся предельные эффекты при средних значениях параметров. Стандартные ошибки даны в скобках.
Примечание. Длина столбцов отражает значения фиктивных переменных, полученных в результате МНК-регрессии, в которой зависимой переменной является итоговая оценка. Параметры в правой части урав-
91
Теоретические и прикладные исследования
Л
нения включают индивидуальные характеристики, специальность и количество лет, потребовавшихся для окончания университета. Университеты упорядочены по официальному коду, точкой отсчета является университет Урбино. «Усы» на графике соответствуют доверительным интервалам при 5%-м уровне значимости.
Средние итоговые оценки очень сильно варьируют в зависимости от университета и факультета8. На рис. 1 приведено множество полученных из регрессии (1) оценок фиктивных переменных, характеризующих университет. Это тот компонент выпускного балла индивида, который статистически объясняется учебой в конкретном университете с учетом наблюдаемых характеристик студента, специальности, места рождения и времени, потребовавшегося для получения образования. Университеты упорядочены слева направо в соответствии с официальным кодом, меньшие значения которого соответствуют северу, а большие — югу. Положительный наклон означает, что если двигаться по университетам с севера на юг, то итоговые оценки (с учетом наблюдаемых характеристик студента) будут возрастать. Аналогичным образом на рис. 2 показано, как варьируют оценки по различным специальностям. Здесь заметны различия в том, как фиксированные эффекты специальности влияют на оценки, причем самые низкие оценки приходятся на такие специальности, как инженерное дело, экономика и статистика, химия и фармацевтика, а самые высокие — на сельское хозяйство, литературу, педагогику и архитектуру.
Во втором столбце табл. 3 приведены результаты оценки вышеприведенной модели, в которой в качестве зависимой переменной используется количество дополнительных лет, потребовавшихся для завершения образования. Сделанные выводы в целом подтверждаются. Результаты, касающиеся вариации коэффициентов при фиктивных переменных, характеризующих университет и специальности, качественно очень близки к приведенным на рис. 1 и 2, и доступны по запросу.
Относительно вышеприведенных регрессионных оценок необходимо сделать две оговорки. Во-первых, обратим внимание на то, что эти оценки основываются на информации, предоставленной индивидами, обладающими одинаковыми характеристиками, включая географию происхождения, но решившими поступать на разные факультеты. Такая стратегия дает состоятельные оценки до тех пор, пока ненаблюдаемые характеристики индивидов различаются слабо. Во-вторых, возникает проблема, связанная с эндогенностью выборки. Мы наблюдаем
Включение в уравнение (1) фиксированных эффектов, характеризующих университет и специальность, существенно влияет на объясняющую способность модели. Добавление фиктивных переменных по университетам повышает R2 c 21,68 до 28,54%. Если, помимо этого, добавить фиксированные эффекты по специальностям, то R2 вырастет до 39,82%.
92
М. Багуэс, М.С. Лабини, Н.М. Зиновьева
Различия в стандартах оценки успеваемости и финансирование университетов: опыт Италии
Л
9
Рис. 2.
Оценки по областям знаний
Примечание. Длина столбцов отражает значения фиктивных переменных, полученных в результате МНК-регрессии, в которой зависимой переменной является итоговая оценка. Параметры в правой части уравнения включают индивидуальные характеристики, университет и количество лет, потребовавшихся для его окончания. Точкой отсчета является право. «Усы» на графике соответствуют доверительным интервалам при 5%-м уровне значимости.
только тех, кто окончил университет, но не тех, кто был из него исключен9.
Этот недостаток порождает две проблемы. Во-первых, факторы, влияющие на оценки студентов, которые не смогли закончить университет, могут отличаться от факторов, которые влияют на оценки тех, кто сумел это сделать. Поэтому ключевое предположение заключается в том, что оценки, полученные студентами, успешно окончившими университет, соответствуют оценкам, полученным студентами, исключенными из университета, с учетом наблюдаемых характеристик. Вторая, более тонкая проблема связана с тем, что те же самые ненаблюдаемые характеристики, т.е. талант или стандарты оценивания, которые влияют на формальную успеваемость, также влияют и на состав выборки, т.е. на то, заканчивает студент университет или нет. Поэтому предположение, что попадание в выборку объясняется наблюдаемыми характеристиками, скорее всего, в данном случае неверно. В то же время мы можем сделать некоторые предположения о направлении смещения регрессионных оценок, по крайней мере в когорте студентов, заканчивающих университет своевременно. Любой фактор, который приводит к повышению оценок студентов, увеличит размер этой когорты. Новая выборка будет включать индивидов, которые с учетом наблюдаемых характеристик будут относительно хуже по ненаблюдаемым. Это означает, что эффект от факторов, приводящих к повышению оценок студентов, окажется недооцененным, или, другими словами, что оцененные значения коэффициентов будут ближе к нижней границе диапазона, в котором лежат истинные значения.
93
Теоретические и прикладные исследования
Л
3.2. Различия в качестве или различия в стандартах оценивания?
Итак, средние итоговые оценки с учетом исходных характеристик выпускников очень сильно варьируют по университетам и областям знаний. Эти различия могут быть обусловлены добавленной стоимостью, создаваемой университетами (качеством образования), либо различиями в стандартах оценивания. чтобы сравнить достоверность альтернативных объяснений, воспользуемся двумя дополнительными переменными, характеризующими качество образования. Во-первых, используем показатели, отражающие успехи выпускников на рынке труда. Если более высокие оценки являются следствием большей добавленной стоимости, выпускники факультетов с более высокими оценками должны добиваться лучших результатов на рынке труда. Во-вторых, используем результаты внешних профессиональных квалификационных экзаменов. Если оценки отражают качество, то выпускники учебных заведений, в которых ставят более высокие баллы, должны демонстрировать более впечатляющий уровень подготовки на профессиональном экзамене.
3.2.1. Успехи на рынке труда
Успехи выпускников на рынке труда L; зависят от ряда социально-экономических характеристик X, области знаний Df и университета, в котором они учатся, — Du. Эти взаимосвязи представлены в уравнении:
L = at + + YDf + sDu+<
itfu
(2)
В табл. 3 приведены результаты оценивания этой модели. В качестве показателей успеха на рынке труда через три года после окончания университета используются статус с точки зрения занятости (столбец 3), заработная плата (столбец 4), вероятность найти работу, требующую от претендентов университетского диплома (столбец 4), при условии, что индивид занимается поиском работы10. Женщины получают относительно более высокие в среднем итоговые оценки, но имеют более низкие показатели успешности на рынке труда. Выпускникам-иностранцам также не удается трансформировать свои успехи в учебе в достижения на рынке труда.
Помимо индивидуальных характеристик ключевым предиктором будущих достижений на рынке труда является посещаемое учебное заведение. На рис. 3 представлены оценки фиксированных эффектов, характеризующих влияние университетов на заработную плату с учетом наблюдаемых характеристик индивидов, их места рождения и специальности. Как и на рис. 1, университеты упорядочены слева направо в соответствии с их официальным кодовым номером ISTAT (Национального института статистики), который возрастает при движении с севера на юг Италии. Таким образом, отрицательный наклон, наблюдаемый на рис. 3, предполагает, что выпускники северных университетов зарабатыва-
10 Результаты существенно не изменяются, если вместо рабочей силы мы используем всю совокупность выпускников, включая тех, которые не ищут работу.
94
М. Багуэс, М.С. Лабини, Н.М. Зиновьева
Различия в стандартах оценки успеваемости и финансирование университетов: опыт Италии
Л
ют больше, чем выпускники южных. Аналогичная зависимость наблюдается, если ограничить анализ выпускниками, закончившими свое образование вовремя. Если включить в регрессионную модель регион, в котором реально проживает индивид на момент опроса, то результаты, показанные на гистограмме, не изменяются. Следовательно, наши результаты не являются полностью обусловленными ненаблюдаемыми условиями рынка труда. Картина будет аналогичной, если в качестве зависимой переменной использовать статус занятости выпускника: из двух студентов с одинаковым социально-экономическим положением и местом рождения больших успехов на рынке труда добьется тот, кто окончит северный университет, даже если в конечном счете они оба будут работать в одном и том же регионе. Этот результат согласуется с более ранними исследованиями, которые также выявили наличие премии, связанной с окончанием северного университета [3; 20; 13]. Более того, мы наблюдаем заметные различия между специальностями с точки зрения заработной платы. В частности, при условии окончания одного и того же университета и с учетом школьных оценок, индивидуальных особенностей и места рождения, выпускники по специальностям «инженерное дело», «экономика и статистика», «химия и фармацевтика», «медицина» получают более высокую заработную плату по сравнению с выпускниками по специальностям «ветеринария», «литература», «право и педагогика» (рис. 4).
Как показано на рис. 1 и 3, хотя в южных университетах оценки выше, выпускники северных университетов добиваются более высоких результатов на рынке труда. Такая же зависимость сохраняется на уровне специальностей, за исключением факультетов права11: дисциплины, которые приносят высокие оценки, предоставляют студентам меньше возможностей на рынке труда.
Эта описательная статистика означает, что между средними оценками на том или ином факультете и средними успехами выпускников этого факультета на рынке труда существует отрицательная корреляция как в разрезе университетов, так и в разрезе специальностей. Ниже мы проведем формальное тестирование этой статистической взаимосвязи.
Во-первых, мы проведем расчет уравнения, в котором, как и в уравнении (1), проанализируем факторы, определяющие оценки. Фиктивные переменные, характеризующие специальность и университет, заменим на набор фиктивных переменных, специфических для каждого факультета университета по отдельности для 1995, 1998 и 2001 гг. — Dfd:
Gi = PX, + YDfd + af + %
(3)
11 Право — это совершенно особый случай. Отметим, что в Италии выпускники юридических факультетов должны стажироваться не менее двух лет, прежде чем получат возможность сдать профессиональные квалификационные экзамены и стать юристами.
95
Теоретические и прикладные исследования
Л
Рис. 3.
Заработная плата по университетам
Примечание. Длина столбцов отражает значения фиктивных переменных, полученных в результате МНК-регрессии, в которой зависимой переменной является зарплата. Параметры в правой части уравнения включают индивидуальные характеристики, дисциплину и количество лет, потребовавшихся для окончания университета. Университеты упорядочены по официальному коду, точкой отсчета является университет Урбино. «Усы» на графике соответствуют доверительным интервалам при 5%-м уровне значимости.
Во-вторых, с помощью регрессионных оценок фиктивных переменных по факультетам (у ) мы разложим выпускные оценки индивидов на два компонента:
1) ytdDtd, который отражает (условную) среднюю оценку, полученную индивидами, окончившими университет в пределах одной и той же когорты и факультета,
2) относительную оценку, полученную индивидом, которая рассчитывается как разница между фактической оценкой и (условной) средней оценкой на факультете, исключающей влияние персональных характеристик, —
G = Gi - JtdPtd-
96
М. Багуэс, М.С. Лабини, Н.М. Зиновьева
Различия в стандартах оценки успеваемости и финансирование университетов: опыт Италии
Л
Рис. 4. Заработная плата по областям знаний
Примечание. Длина столбцов отражает значения фиктивных переменных по дисциплинам, полученных в результате МНК-регрессии, в которой зависимой переменной является зарплата. Параметры в правой части уравнения включают индивидуальные характеристики, университет и количество лет, потребовавшихся для его окончания. Точкой отсчета является право. «Усы» на графике соответствуют доверительным интервалам при 5%-м уровне значимости.
В-третьих, рассмотрим, как эти компоненты влияют на показатели, измеряющие успех на рынке труда:
Li = af + PX, + i + НУ td + в(.и. (4)
В табл. 4 представлены результаты оценивания уравнения (4) с использованием трех разных показателей успеха выпускников на рынке труда: вероятности найти работу (столбцы 1 и 2), вероятности найти работу, требующую университетского диплома (столбцы 3 и 4) и ожидаемого уровня заработной платы (столбцы 5 и 6). С учетом наблюдаемых индивидуальных характеристик, количества лет, проведенных в университете, и выбранной специальности студенты, получающие более высокие оценки относительно своих одногруппников, с более высокой вероятностью находят работу в течение трех лет после выпуска, а найдя ее, как правило, получают более высокую зарплату. Однако средний уровень оценок на факультете имеет противоположный эффект. Для студентов, окончивших университеты, в которых средний уро-
97
Теоретические и прикладные исследования
Л
вень оценок более высок, вероятность найти работу значительно ниже (столбец 1), а когда они ее находят, то вероятность того, что для нее будет требоваться университетское образование, оказывается такой же или более низкой, чем для выпускников университетов с относительно низкими средними баллами (столбец 3). Нет и тенденции к выигрышу в зарплате (столбец 5). Результаты, по существу, не изменяются, если в число контрольных переменных включить размер учебной группы выпускников или регион проживания выпускников в момент интервью. В столбцах 2, 4 и 6 мы сравниваем индивидов, окончивших разные факультеты одного и того же университета. Оказывается, что у индивидов, получивших свой диплом на факультетах с относительно более высоким средним уровнем оценок, вероятность найти работу, требующую университетского образования, значительно ниже (столбец 4), как и зарплата (столбец 6). Учет региона проживания в момент опроса не оказывает заметного влияния на полученные оценки.
Вышеприведенные результаты помогают рационально объяснить загадочную отрицательную корреляцию академической успеваемости итальянских выпускников и их успехов на рынке труда. Простой описательный анализ данных, полученных ISTAT при обследовании выпускников 1995, 1998 и 2001 гг., показывает, что индивиды, получившие высокие оценки в университете, впоследствии не получают более высокую зарплату (см. табл. 5, столбцы 1, 2 и 3)12. В последнем издании обследования оказывается, что оценки имеют отрицательную корреляцию и с заработками: выпускники, получавшие более низкие оценки, зарабатывают относительно больше. Как показывают приведенные выше результаты, отрицательная связь обусловлена различными стандартами оценивания, которые применяются на тех или иных факультетах. Если включить в расчет фиксированные эффекты университета и факультета, который окончил конкретный выпускник, ожидаемая положительная связь между оценками и зарплатой возвращается (впрочем, лишь при 11%-м уровне значимости).
12 В работе Боеро с соавторами [2] уже указывалось на то, что оценки выпускников 1998 г. не коррелируют с их заработной платой.
98
М. Багуэс, М.С. Лабини, Н.М. Зиновьева
Различия в стандартах оценки успеваемости и финансирование университетов: опыт Италии
Л
Таблица 4 Влияние оценок на достижения на рынке труда
(1) Занятость (2) Занятость (3) Работа по специальности (4) Работа по специальности (5) Логарифм зарплаты (6) Логарифм зарплаты
Пробит Пробит Пробит Пробит МНК МНК
Индивидуальная относительная оценка 0,003* (0,002) 0,003 (0,002) 0,010*** (0,002) 0,010*** (0,002) 0,010*** (0,002) 0,004*** (0,002)
Фиксированное влияние факультета на оценку -0,020*** (0,006) 0,005 (0,004) 0,006 (0,004) -0,014*** (0,003) 0,001 (0,001) -0,009*** (0,001)
Контрольные переменные
Год окончания Да Да Да Да Да Да
Количество дополнительных лет, потребовавшихся для окончания Да Да Да Да Да Да
Индивидуальные характеристики1 Да Да Да Да Да Да
Родная провинция* (Оценка в школе) Да Да Да Да Да Да
Характеристики родной провинции1 Да Да Да Да Да Да
Фиктивные переменные для специальности Да Да Да
Фиктивные переменные для университета Да Да Да
Наблюдения 42 819 42 819 40 051 40 051 31 040 31 040
(Псевдо) R2 0,1614 0,1431 0,0780 0,0684 0,2335 0,2081
Примечания.
* Значимо при 10%.
*** Значимо при 1%. Для пробит-регрессий приводятся предельные эффекты при средних значениях параметров. Стандартные ошибки даны в скобках. Студенты частных университетов и факультетов с ограничениями на прием абитуриентов исключены.
! Переменные, перечисленные в табл. 3, включены в число регрессоров.
Таблица 5 Связь между оценками и зарплатами
(1) (2) (3) (4) (5) (6)
1995 1998 2001 2001 2001 2001
Оценка в университете1 0,007 -0,004 -0,017** 0,010 -0,008 0,015
(0,010) (0,006) (0,008) (0,009) (0,009) (0,010)
Контрольные переменные
Год поступления Да Да Да Да Да Да
Количество дополнительных лет, потребовавшихся для окончания Да Да Да Да Да Да
Индивидуальные характеристики11 Да Да Да Да Да Да
Родная провинция Да Да
Характеристики родной провинции11 Да Да Да Да Да Да
Фиктивные переменные по специальностям Да
Фиктивные переменные по университетам Да
Фиктивные переменные по факультетам Да
Наблюдения 8700 10697 11643 11643 11643 11643
R2 0,1481 0,1543 0,1271 0,1706 0,145 0,1976
Примечания.
** Значимо при 5%. Стандартные ошибки даны в скобках. Студенты частных университетов и факультетов с ограничениями на прием абитуриентов исключены.
! Коэффициент показывает влияние увеличения оценки на 10 баллов.
!! Переменные, перечисленные в табл. 3, включены в число регрессоров.
99
Теоретические и прикладные исследования
Л
3.2.2. Профессиональные квалификационные экзамены
Проверить, отражают ли высокие оценки высокое качество или просто являются следствием разницы в стандартах, можно также на основании итогов профессиональных квалификационных экзаменов, которые проводятся после окончания университета. Эти экзамены организуют официальные профессиональные организации. Их цель — подтвердить, что данный выпускник владеет минимальным набором компетенций для данной профессии. Эти экзамены не являются обязательными, но они необходимы для того, чтобы легально заниматься определенными видами деятельности, в том числе архитектурой, химией, бухгалтерским учетом, медициной, психологией, инженерным делом13.
Обследование ISTAT позволяет увидеть, сдал ли конкретный выпускник соответствующий внешний квалификационный экзамен в течение трех лет после выпуска. Потенциальным источником смещения в этом показателе является то обстоятельство, что мы наблюдаем только факты успешной сдачи экзамена, но не факты неудачных попыток сдать экзамен. Вероятно, данная проблема более значима в тех сферах, где выпускники располагают разнообразными профессиональными возможностями, не требующими официального подтверждения квалификации.
Как показано в табл. 1, около половины респондентов успешно сдали внешний квалификационный экзамен после выпуска. Распределение этой доли по областям знаний неоднородно14: вероятность успешно сдать квалификационный экзамен варьирует от 0 до 40% в 66% курсов, от 40 до 60% — в 4% курсов, от 60 до 100% — в 30% курсов. Иными словами, существует большая группа курсов, в которых более 60% выпускников вообще не сдают экзамен, группа курсов, в которых более 60% выпускников успешно сдают экзамен, и очень немногочисленная группа курсов, которые нельзя отнести ни к первой, ни ко второй группе. чтобы минимизировать описанную выше проблему самоотбора, ограничим анализ теми видами деятельности, в которых профессиональные возможности выпускников до сдачи внешнего квалификационного экзамена крайне ограничены. Ниже рассматривается только последняя группа курсов, т.е. те, в которых более 60% выпускников сдают экзамен успешно (в основном курсы, относящиеся к химии и инженерному делу).
В столбце 6 табл. 3 приводится связь между индивидуальными характеристиками и вероятностью успешной сдачи квалификационного экзамена. Как и предполагалось, успех на таком экзамене тесно связан с качеством выпускника, которое характеризу-
13 Полный перечень профессиональных организаций в Италии и особенностей соответствующих экзаменов см. http://it.wikipedia.org/wiki/Albo_professionale.
14 Курс по специальности определяет специализацию выпускника в рамках конкретной дисциплины. В каждой области знаний в среднем около десяти курсов по специальности.
100
М. Багуэс, М.С. Лабини, Н.М. Зиновьева
Различия в стандартах оценки успеваемости и финансирование университетов: опыт Италии
Л
ется его оценками в школе и другими социально-экономическими параметрами.
Таблица 6 Влияние оценок на результаты внешних
квалификационных экзаменов
(1) (2)
Оценка в университете 0,0( 2*** (0,001)
Индивидуальная относительная оценка 0,002***
(0,001)
Фиксированное влияние факультета на оценку -0,008**
(0,004)
Контрольные переменные
Год выпуска Да Да
Количество дополнительных лет, потребовавшихся для окончания Да Да
Индивидуальные характеристики Да Да
Родная провинция (Школьная оценка) Да Да
Характеристики родной провинции! Да Да
Фиктивные переменные по курсам Да Да
Фиктивные переменные по факультетам (Год выпуска) Да
Наблюдения 16 261 16 261
(Псевдо) R2 0,2068 0,2018
Примечания.
** Значимо при 5%.
*** Значимо при 1%. Приводятся предельные эффекты при средних значениях параметров. Стандартные ошибки даны в скобках. Студенты частных университетов и факультетов с ограничениями на прием абитуриентов исключены.
! Переменные, перечисленные в табл. 3, включены в число регрессоров.
В табл. 6 анализируется связь между оценками в университете и результатами внешних квалификационных экзаменов. Мы получаем, что если принять во внимание университет и факультет, на котором учился выпускник, то вероятность успешно сдать квалификационный экзамен значительно выше у тех выпускников, которые получали более высокие оценки, чем их однокурсники. Рассмотрим, оказывает ли (условная) средняя оценка всех выпускников одного факультета, относящихся к одной и той же когорте YtdDtd (в соответствии с определением из предыдущего подраздела), такое же положительное влияние на успех выпускников на профессиональных квалификационных экзаменах A. Для этого оценим следующую регрессию:
A= а + + П<5, + ДУ ы + 8 itd-
(5)
Как показано в столбце 2 табл. 6, хотя в рамках каждого факультета хорошие студенты, как правило, успешно сдают профессиональные квалификационные экзамены, в целом выпускники факультетов, где выше средний уровень оценок, оказываются на этих экзаменах менее успешными. Принимая во внимание тот факт, что провал на внешних экзаменах влечет за собой существенно более низкий уровень занятости и существенно более низкую вероят-
101
Теоретические и прикладные исследования
Л
3.3. Различия в стандартах оценивания и финансирование итальянских университетов
ность найти работу, требующую наличия университетского диплома, наши результаты означают, что вариации среднего по факультетам компонента оценок не отражают вариации в качестве* 15.
До 1993 г. Министерство образования Италии отвечало за определение как общего объема финансирования, так и доли каждого из государственных университетов, а также за распределение средств по специальностям. Решения принимались преимущественно на основе исторически сложившихся долей университетов в общем бюджете высшего образования. Иногда на них влияли конкретные договоренности с отдельными учебными за-
ведениями и факультетами. В 1993 г. была проведена реформа, позволившая каждому университету стать автономным учреждением, имеющим собственный бюджет и распределяющим его по разным дисциплинам (Закон № 537/1993). Кроме того, произвольное принятие решений было заменено сложной системой правил, согласно которой в краткосрочном периоде около 90% общего объема бюджетного финансирования должно было распределяться исходя из исторически сложившейся структуры, а остальное — через выравнивающий компонент, который постепенно должен был заместить первую часть. Выравнивающий компонент имеет двоякую цель: во-первых, сократить неравномерность бюджетного финансирования университетов и специальностей, а во-вторых, создать стимулы к повышению качества обучения, т.е. вознаграждать качество преподавания, привязывая финансирование к количеству экзаменов, успешно сданных студентами. Технически объем финансирования положительно зависит от доли ЭСДО, определяемой как отношение количества экзаменов, сданных студентами, к количеству экзаменов, которые они должны были сдать (см. подробности в работе Перотти [19]).
В принципе, измерение качества на основе доли ЭСДО порождает две проблемы. Во-первых, оно не учитывает исходный уровень качества студентов. Университеты, привлекающие более подготовленных студентов, будут демонстрировать лучшие результаты, даже если качество преподавания будет отставать. Во-вторых, при отсутствии механизмов обеспечения качества образования ЭСДО будет отражать как истинное качество студентов, так и легкость обучения (или стандарты оценивания) в данном учебном заведении16. На самом же деле данные, при-
15 Для выпускников, успешно сдавших профессиональный экзамен, вероятность найти работу, соответствующую полученным в университете знаниям, на 11 процентных пунктов превышает аналогичный показатель по всем остальным представителям выборки. Отметим также, что если ненаблюдаемые способности, влияющие на успеваемость в университете, положительно связаны с ненаблюдаемыми способностями на профессиональных квалификационных экзаменах, то оценка коэффициента должна считаться верхней границей его истинного значения.
16 В 1996 и 1999 гг. для обеспечения качества были созданы два разных типа оценочных комитетов: Национальный комитет (Comitato Nazionale per la Valutazione
102
М. Багуэс, М.С. Лабини, Н.М. Зиновьева
Различия в стандартах оценки успеваемости и финансирование университетов: опыт Италии
Л
веденные в предыдущем разделе, показывают, что если и существует связь между средними оценками в разных университетах и успехами их выпускников на рынке труда или в квалификационных экзаменах, то она отрицательная. Следовательно, финансирование университетов, основанное на академической успеваемости студентов, которую измеряют они сами, не обязательно вознаграждает именно те университеты, которые создают наибольшую добавленную стоимость.
В табл. 7 показана связь между достижениями выпускников на рынке труда и долей ЭСДО на факультете, который они окончили, с учетом социально-экономических характеристик выпускников и показателей качества, относящихся к их доуниверситетскому периоду. Хотя количество ЭСДО должно характеризовать качество факультета, мы видим сильную и статистически значимую отрицательную связь между этим показателем и достижениями выпускников на рынке труда, измеряемыми как уровнем занятости (столбец 1), так и возможностью получения работы по специальности (столбец 2). Мы также не обнаружили какой-либо значимой связи между долей ЭСДО и зарплатами выпускников (столбец 3) или их результатами на профессиональных квалификационных экзаменах (столбец 4).
Короче говоря, ЭСДО не отражает качества учебных заведений, по меньшей мере его аспекта, выраженного в успехах выпускников на рынке труда и на профессиональных квалификационных экзаменах.
Таблица 7 Связь между долей ЭСДО и достижениями на рынке труда
(1) Занятость (2) Работа по специальности (3) Логарифм зарплаты (4) Квалификационные экзамены
Пробит Пробит МНК Пробит
Студенты ЭСДО! -0,032* -0,032* -0,006 0,013
(0,018) (0,018) (0,004) (0,031)
Контрольные переменные
Год выпуска Да Да Да Да
Количество дополнительных лет, потребовавшихся для окончания Да Да Да Да
Индивидуальные характеристики Да Да Да Да
Родная провинция* (Школьная оценка) Да Да Да Да
Характеристики родной провинции" Да Да Да Да
Фиктивные переменные специальностям Да Да Да
Фиктивные переменные по курсам Да
Наблюдения 13 579 13 579 10 424 5 233
(Псевдо) R2 0,1667 0,1667 0,2151 0,1814
Примечания. *Значимо при 10%. Стандартные ошибки даны в скобках.
! Коэффициент показывает влияние увеличения ЭСДО на 10 в 1995 г.
!! Все переменные, перечисленные в табл. 3, включены в число регрессоров. Учитывались только студенты, окончившие в 1998 г. государственные университеты и факультеты с открытым приемом. del Sistema Universitario) и несколько внутренних комитетов (Nuclei di Valutazione Interna). Однако, как убедительно показано в работе Перотти [19], их цели оказались слишком размытыми, а сами они — неэффективными.
103
Теоретические и прикладные исследования
Л
4. Заключе- В последние годы в ряде европейских стран, включая Италию,
ние были приняты схемы финансирования университетов по резуль-
_______________ татам, основанные на количестве дипломов, выдаваемых каждым
учебным заведением, и баллах оценок. Одной из предпосылок для того, чтобы такие системы эффективно создавали стимулы к повышению качества, является однородность образования с точки зрения качества и стандартов выставления оценок в разных учебных заведениях. В противном случае такая практика не обеспечит эффективного стимулирования качества, ведь в большинстве случаев финансово вознаграждается именно количество, так как качество измерить гораздо сложнее [11].
В данной статье мы анализировали стандарты выставления оценок в различных итальянских университетах по различным специальностям. Мы изучали достижения нескольких когорт выпускников итальянских университетов на рынке труда, а также на внешних квалификационных экзаменах и анализировали их связь с успеваемостью в университете. Мы получили, что если учесть большое количество наблюдаемых характеристик индивидов, в том числе место рождения, оценки в средней школе и социальноэкономические параметры, то оказывается, что выпускники факультетов, где в среднем ставят более высокие оценки, как правило, значительно хуже выступают на рынке труда. Кроме того, выпускники таких университетов с меньшей вероятностью успешно сдают внешние квалификационные экзамены, необходимые для занятия определенными видами профессиональной деятельности. Эти результаты означают, что в Италии существенный разброс в среднем уровне оценок по университетам и по специальностям в большой степени отражает различия в стандартах оценивания.
Помимо этого, мы также пришли к выводу, что показатель качества образования, принятый итальянским Министерством образования для распределения средств по университетам, — количество ЭСДО (отношение количества экзаменов, сданных студентами, к совокупному количеству экзаменов, которое они должны были сдать) — отрицательно коррелирует с успехами выпускников на рынке труда. Причиной этой отрицательной зависимости может служить тот факт, что сама система финансирования подталкивает не слишком успешные университеты к снижению стандартов. Иными словами, при существующей системе финансирования университеты, обеспечивающие относительно низкое качество образования, могут предпочесть честной конкуренции, основанной на повышении качества образования, борьбу за повышение своей доли в бюджетных средствах путем дальнейшего понижения образовательных стандартов.
Этот вывод ставит под сомнение результативность подобных механизмов финансирования. В свете этих данных реализацию механизмов обеспечения качества, таких как система внешних экзаменаторов в Великобритании, следует рассматривать как необходимое дополнение к любой системе финансирования, основанной на формальных результатах студентов. Кроме того, учитывая, что получе-
104
М. Багуэс, М.С. Лабини, Н.М. Зиновьева
Различия в стандартах оценки успеваемости и финансирование университетов: опыт Италии
Л
ние объективных оценок внешних экзаменаторов может быть дорогим и проблематичным, можно применить более радикальную политику, направленную на усиление репутационного эффекта на рынке высшего образования. К этой цели можно двигаться разными путями. Например, можно разрешить университетам отбирать студентов и одновременно способствовать мобильности студентов, разрешить университетам устанавливать плату за обучение и внедрять эффективные механизмы кредитования студентов17.
1. Anglin P.M., Meng R. (2000) Evidence on grades and grade inflation in Литература
Ontario's universities // Canadian Public Policy. XXVI (3). P. 361-368. _____________
2. Boero G., McKnight A., Naylor R.A., Smith J. (2001) Graduates and the graduate labour market: Evidence from the UK and Italy // Special Issue of Lavoro e Relazioni Industriali. P. 131-172.
3. Brunello G., Cappellari L. (2005) The labour market effects of alma mater: Evidence from Italy // IZA Discussion Paper. No. 1562.
Economics of Education Review.
4. Chapman K. (1997) Degrees of difference: Variability of degree results in UK universities // Higher Education. № 33 (2). P. 137-153.
5. Costrell R. M. (1994) A simple model of educational standards // The American Economic Review. № 84 (4). № 956-971.
6. De Paola M., Scoppa V. (2007) Returns to skills, incentives to study and optimal educational standards // Journal of Economics. № 92 (3).
P.229-262.
7. Dickson V.A. (1984) An economic model of faculty grading practices // Journal of Economic Education. № 6. Issue 3. P. 197-203.
8. Di Pietro G. (2006) Regional labour market conditions and university dropout rates: Evidence from Italy // Regional studies: The Journal of the Regional Studies Association. № 40 (6). P. 617-630.
9. Dornbusch R., Gentilini A., Giavazzi F. (2000) Italian labour force participation: Disguised unemployment on campus/Paper presented at the Annual Meeting of the European Economic Association, Bolzano.
10. Freeman D.G. (1999) Grade divergence as a market outcome // Journal of Economic Education. № 30 (4). P. 344-351.
11. Jacobs B., Van der Ploeg F. (2006) Guide to reform of higher education:
A European perspective // Economic Policy. № 21 (47). P. 535-592.
12. Kolevzon M.S. (1981) Grade inflation in higher education: A comparative study // Research in Higher Education. № 15 (3). P. 195-211.
13. Makovec M. (2007) Does it pay to study far from home? Explaining the returns to geographic mobility of Italian college graduates. Universitat de Alicante, Mimeo.
14. Mas-Colell A. (2003) The European space of higher education: Incentive and governance issues // Rivista di Politica Economica. № 93. Part 11/12. P. 9-27.
17
Подробное обсуждение реформ, способных стимулировать конкуренцию и содействовать появлению репутационных эффектов в европейском пространстве высшего образования, см. в [14; 15].
105
Теоретические и прикладные исследования
Л
15. Mas-Colell A. (2004) The European higher education space: Funding issues. Third MEMS Lecture, Master’s Program in Economics and Management Science, Humboldt University, Berlin, 30 April 2004.
16. Nelson J.P., Lynch K.A. (1984) Grade inflation, real income, simultaneity, and teaching evaluations // Journal of Economic Education. № 15 (1). P. 21-37.
17. OECD (2005) Education at a Glance. Organization for Economic Cooperation and Development, Paris.
18. Osservatorio per la valutazione del sistema universitario (1998) L’evoluzione della domanda di formazione universitaria: studenti, laureati e studenti equivalenti. Rome.
19. Perotti R. (2002) The Italian university system: Rules vs. incentives. Paper presented at the first conference on Monitoring Italy, ISAE, Rome, January.
20. Pozzoli D. (2006) The transition to work for Italian university graduates: Determinants of the time to obtain the first job. Milan Catholic University, Mimeo.
21. Sabot R., Wakeman-Linn J. (1991) Grade inflation and course choice // Journal of Economic Perspectives. № 5 (1). P. 159-170.
22. Siegfried J.J., Fels R. (1979) Research on teaching college economics: A survey // Journal of Economic Literature. № 17 (3) P. 923-969.
23. Staples B. (1998) Why colleges shower their students with A’s // New York Times. March 8.
24. Strenta A.C., Elliott R. (1987) Differential grading standards revisited // Journal of Educational Measurement. № 24 (4). P. 281-291.
25. Wissenschaftsrat (2004) Empfehlungen zur Reform des
Hochschulzugangs [Online]. http: // www.wissenschaftsrat.
de/texte/5920-04.pdf (last accessed in May 2008).
