Моделирование эффективности российских университетов Текст научной статьи по специальности «Экономика и бизнес»

Экономический журнал ВШЭ. 2019. Т. 23. № 1. С. 143-172.

HSE Economic Journal, 2019, vol. 23, no 1, pp. 143-172.

Моделирование эффективности российских университетов

Зинченко Д.И., Егоров А.А.

В работе анализируются факторы эффективности российских университетов с использованием данных Мониторинга эффективности деятельности образовательных организаций высшего образования за 2017 г. Особое внимание в работе уделяется детерминантам эффективности, которые соотносятся с факторами государственной политики в сфере высшего образования. Объясняя вариацию полученных оценок, мы впервые применяем на российских данных один из современных подходов для анализа факторов эффективности: двухшаговую процедуру Data Envelopment Analysis (DEA) с применением бутстрэпа. Высокая неоднородность российских университетов с точки зрения их целей и задач контролируется с помощью разных спецификаций модели DEA: с фокусом на образовательный потенциал вузов и на результативность их научно-учебной деятельности. Результаты показывают, что влияние рассмотренных факторов эффективности на «неэффективные» университеты выше, чем на «эффективные». Учебные заведения, находящиеся в ведении Министерства науки и высшего образования РФ и региональных органов власти, являются более «эффективными». В данном случае референтной группой выступают вузы, подведомственные федеральным органам исполнительной власти (за исключением Минобрнауки РФ): Министерству сельского хозяйства, Министерству здравоохранения, Министерству культуры, Министерству спорта и др. Среди рассмотренных детерминант подведомственность Минобрнауки имеет самую сильную связь с уровнем эффективности вузов, в то время как подведомственность региональным органам власти - самый слабый эффект. Показатель общей площади помещений университета оказывает положительное и статистически

Исследование осуществлено в рамках Программы фундаментальных исследований Национального исследовательского университета «Высшая школа экономики» (НИУ ВШЭ) в 2018 г.

Авторы выражают признательность за ценные замечания и комментарии А.Л. Лукьяновой и В.Е. Гимпельсону.

Зинченко Дарья Игоревна - стажер-исследователь, Центр трудовых исследований Национального исследовательского университета «Высшая школа экономики». E-mail: [email protected] Егоров Алексей Алексеевич - м.н.с., Институт образования Национального исследовательского университета «Высшая школа экономики». E-mail: [email protected]

Статья поступила: 23.09.2018/Статья принята: 24.01.2019.

значимое влияние на его уровень эффективности. В то время как между статусом автономного учреждения и уровнем эффективности не было обнаружено статистически значимой связи.

Ключевые слова: высшее образование; детерминанты эффективности; двухша-говая процедура DEA; бутстрэп.

DOI: 10.17323/1813-8691-2019-23-1-143-172

1. Введение

В последние годы эффективность деятельности университетов рассматривается как один из ключевых приоритетов государственной политики в сфере высшего образования. Одним из наиболее ярких проявлений данного приоритета является изменение принципов распределения бюджетных средств между университетами. Все более распространенными становятся конкурентные механизмы финансирования (performance-based funding), предполагающие, что финансирование университета в текущий момент времени зависит от того, какие результаты он продемонстрировал в предыдущем периоде [Jong-bloed et al., 2018]. Теоретической основой для введения такого рода механизмов стала концепция нового государственного управления [Ferlie et al., 1996], согласно которой в управлении государственными организациями должны использоваться те же модели, что и при управлении в корпоративном секторе. Изменения в принципах финансирования высшего образования в России соответствуют мировым тенденциям: в 2012 г. согласно Указу Президента № 599 от 07.05.2012 г. началось введение механизма нормативно-подушевого финансирования в высшем образовании. В настоящее время объем выделяемых контрольных цифр приема (КЦП) для университета, а также объем его финансирования в расчете на одну КЦП, определяются по формулам, в которых фигурируют различные показатели результативности деятельности вуза - публикационная активность, объем НИОКР, доля победителей олимпиад среди зачисленных на первый курс и прочее.

Конкурентные механизмы распределения бюджетного финансирования могут принимать разные формы. Однако для всех из них необходим инструмент, который позволяет сравнивать образовательные организации между собой. В настоящее время ключевым инструментом для сравнения высших учебных заведений, как в масштабах одной страны, так и в глобальном контексте, являются рейтинги университетов. Позиции национальных университетов в международных рейтингах становятся одними из основных индикаторов успешности государственной политики в сфере высшего образования. Многие страны запускают так называемые инициативы превосходства (анализ результативности данных инициатив превосходства приведен, например, в работе [Salmi, 2016]). Такие государственные программы предполагают выделение дополнительных ресурсов селективной группе вузов, перед которыми стоит задача вхождения и продвижения в международных рейтингах и обеспечения глобальной конкурентоспособности национальной системы высшего образования. Россия не является исключением из данной тенденции, поэтому инициализация проекта повышения конкурентоспособности коснулась и ведущих российских университетов. Так, в 2012 г. в России был запущен проект по повышению международной конкурентоспособности ведущих российских вузов (Проект 5-100),

предполагающий вхождение к 2020 г. не менее пяти российских университетов в первые сотни мировых рейтингов. Более детальное обсуждение университетских рейтингов, их достоинств и недостатков приведено в работе [De Witte, Hudrlikova, 2013].

При построении любого рейтинга необходимо ответить на два вопроса: какие критерии будут использоваться при определении позиции вузов и какие веса будут иметь данные критерии [Алескеров и др., 2015]. В глобальных рейтингах университетов (ARWU, QS, THE и др.), как правило, больший вес имеют индикаторы, отражающие качество и востребованность проводимых в вузе научных исследований, а также уровень подготовки выпускников. Позиция университета в рейтингах может служить надежным индикатором для абитуриентов, а также оказывать влияние на процессы принятия решений в академической сфере [Hazelkorn, 2007]. Однако в такого рода рейтингах позицию университета определяет результативность его деятельности безотносительного того, за счет каких ресурсов были достигнуты данные результаты. В этой связи классические рейтинги не позволяют судить о том, насколько эффективно университет использует свои ресурсы.

Для конкурентных механизмов финансирования университетов необходим сравнительный инструмент, который позволил бы ранжировать организации по их способности извлекать максимум возможного из доступных ресурсов. В настоящей работе в качестве такого инструмента используется концепт эффективности, предложенный в работе [Farrell, 1957]. Подход Фарелла решает ряд проблем, характерных для существовавших до этого мер эффективности. Во-первых, он позволяет оценивать эффективность в случае, когда организация использует разные типы ресурсов и характеризуется несколькими результатами деятельности. Во-вторых, предполагает использование показателей ресурсов и результатов деятельности, которые не могут быть представлены в денежном выражении.

Изначально подход Фарелла был реализован для изучения эффективности фирм. Впоследствии эта концепция получила широкое распространение, как в исследованиях высшего образования, так и в практике управления высшими учебными заведениями. В условиях сокращения бюджетного финансирования, являющегося глобальным трендом в сфере высшего образования [Singh, 2013], основным способом сохранения прежнего уровня результативности является выработка новых подходов к использованию имеющихся ресурсов. В рамках подхода Фарелла этот основной способ состоит в поиске новых механизмов для повышения эффективности деятельности университетов. Согласно работе [Liu et al., 2013], сфера образования входит в топ-5 наиболее популярных секторов с точки зрения изучения эффективности. Однако тема эффективности в высшем образовании исследована в гораздо меньшей степени, поскольку данная исследовательская линия сформировалась лишь в начале 90-х годов прошлого века. Первые исследования концентрировались на оценке эффективности отдельных подразделений (департаментов) университетов [Johnes, Johnes, 1993; 1995]. Позже появились работы по анализу эффективности на уровне университетов [Flegg et al., 2004; Алескеров и др., 2015; Абанкина и др., 2013] и целых систем высшего образования [Agasisti, Dal Bianco, 2006]. В настоящее время зарубежные исследования эффективности высшего образования развиваются в направлении межстрановых сопоставлений (см., например: [Agasisti, 2011; Bonaccorsi et al., 2014; Parte-ka, Wolszczak-Derlacz, 2013]).

Сложившиеся в университете управленческие практики и общее качество менеджмента являются не единственными факторами, определяющими его уровень эффектив-

ности. Университет всегда находится под значительным влиянием институциональных условий среды, в которой он функционирует. Поэтому наряду с исследованием эффективности как самостоятельного социально-экономического явления чрезвычайно важным с экономической точки зрения является вопрос о детерминантах эффективности. Впервые методология анализа факторов эффективности была предложена в работе [Grosskopf, 1996]. Эта публикация вызвала появление целого ряда исследований, объясняющих вариацию уровня эффективности социально-экономических объектов, в том числе университетов. Метод Гросскопфа базируется на подходе Фарелла и предполагает для объяснения вариации оценок эффективности включение в анализ только тех факторов, которые не являются ресурсами социально-экономического объекта и не поддаются управлению со стороны хозяйствующего субъекта [Fried et al., 1999]. К таким факторам могут относиться различия в формах собственности, характеристики местоположения социально-экономического объекта, социально-экономические характеристики территории, на которой функционирует объект, политика государственного регулирования и прочее. Более подробное описание таких факторов представлено в книге [Coelli et al., 2005].

В данной работе мы сосредоточимся на детерминантах эффективности, которые можно соотнести с факторами государственного регулирования. В России система высшего образования характеризуется высоким уровнем дифференциации [Кузьминов и др., 2013]. Такая дифференциация определена, в том числе, факторами государственной политики в сфере высшего образования. Например, к таким факторам в определенной степени можно отнести следующие характеристики российских университетов: подведомственная принадлежность, степень автономности в расходовании финансовых средств, принадлежность к группе «ведущих вузов»1, общая площадь помещений университета2. Таким образом, анализ детерминант эффективности университетов с фокусом на характеристики государственного регулирования приобретает особую актуальность в системе высшего образования России.

В зарубежных эмпирических исследованиях, посвященных исследованию факторов эффективности университетов, чаще всего в качестве инструмента государственной политики используется показатель структуры финансирования: объем доходов из бюджетных источников в общем объеме доходов (см., например: [Robst, 2001; Sav, 2012, 2013; Bolli et al., 2016; Wolszczak-Derlacz, 2017]). Предшествующие работы по российским данным, анализировавшие детерминанты эффективности университетов, также охватывали довольно узкий список переменных, соотносимых с факторами государственного регулирования [Gromov, 2017]. В настоящей работе рассматривается более широкий перечень инструментов государственного контроля в сфере высшего образования. В данном исследовании мы ставим перед собой цель провести анализ факторов эффективности российских университетов с фокусом на характеристики государственного регулирования. Особенностью нашей работы является использование одного из наиболее современных

1 К группе «ведущих вузов» относятся университеты, имеющие повышенный норматив финансирования при распределении контрольных цифр приема в соответствии с приказом Министерства науки и высшего образования РФ от 01.04.2015 г. № 340.

2 Последний показатель тоже является фактором государственного регулирования, поскольку регламентирован документом «СНиП П-Л.6-67 Высшие учебные заведения. Нормы проектирования».

подходов к выявлению факторов эффективности - двухшаговой процедуры Data Envelopment Analysis (DEA) с одновременным применением бутстрэпа. Исследование проводится на данных Мониторинга эффективности деятельности образовательных организаций высшего образования за 2017 г.3, когда государственная политика в сфере высшего образования, проводимая начиная с 2000-х годов, проявила свой результат и сформировала текущий ландшафт высшего образования.

Проведенный анализ показал, что университеты, подведомственные Министерству науки и высшего образования РФ и региональным органам власти, являются более «эффективными» по сравнению с вузами, находящимися в ведении учреждений федеральных органов исполнительной власти (Министерство здравоохранения, Министерство спорта, Министерство культуры и пр.). Вместе с тем подтверждается положительная статистическая связь между общей площадью зданий университета и его уровнем эффективности. Университеты, входящие в группу «ведущих вузов», демонстрируют более низкий уровень эффективности. В то время как статус автономного учреждения оказался статистически незначимым. Также было выявлено, что риски попасть под влияние рассмотренных детерминант выше у «неэффективных» университетов, чем у «эффективных».

Работа структурирована следующим образом. В разделе 2 обсуждается методология оценки эффективности и анализа факторов эффективности. Представлен метод двух-шаговой процедуры DEA с одновременным применением бутстрэпа, предложенный в работе [Simar, Wilson, 2007]. Раздел 3 посвящен описанию выборки, данных исследования и ключевых переменных, используемых в настоящем исследовании. В разделе 4 приводятся оценки эффективности и результаты эмпирического анализа факторов, определяющих уровень эффективности университетов. Заключительный раздел содержит основные выводы исследования и их обсуждение.

2. Методология оценки эффективности и анализа ее детерминант

Подход к анализу эффективности социально-экономических объектов через построение границы производственных возможностей, предложенный в работе [Farrell, 1957], широко используется в большинстве современных методов для оценки эффективности. Однако подход Фаррела стал предметом пристального внимания со стороны эмпирических исследователей лишь спустя несколько десятилетий после выхода статьи с описанием этого подхода. Причиной такого внимания стала работа [Charnes et al., 1978], которая базируется на подходе Фаррела и предлагает реализацию метода Data Envelopment Analysis (DEA) для оценивания эффективности фирм4. Эта публикация дала толчок целой волне исследований5, применивших и расширивших методологию DEA для анализа эффективности различных социально-экономических объектов, в том числе вузов (см.,

3 Данные мониторинга эффективности деятельности образовательных организаций высшего образования публикуются с временным лагом, равным одному году, поэтому используемые данные относятся к 2016 г.

4 В общем случае - любой фирмы, производящей какой-либо продукт.

5 Подробный обзор и библиография работ с применением метода DEA представлены в исследованиях [Lovell, 1993; Seiford, 1996] соответственно.

например: [Johnes, 1995; Abbott, Doucouliagos, 2003; Athanassopoulos, Shale, 1997]). Метод DEA представляет собой решение задачи математического программирования для построения производственной границы, относительно которой измеряется эффективность исследуемых объектов. DEA-метод носит непараметрический характер и не требует предварительных предположений о виде функциональных взаимосвязей между векторами ресурсов и выпуска [Seiford, Thrall, 1990]. В этом случае граница производственных возможностей вычисляется на основе фактических данных по исследуемым объектам: эмпирическая производственная граница определяется кусочно-линейной комбинацией наиболее эффективных единиц наблюдения. Как следствие, оценки эффективности, полученные при помощи DEA-метода, представляют собой относительные показатели, поскольку их вычисление осуществляется относительно «лучших практик» - наиболее «эффективных» объектов выборки исследования.

В рамках DEA-метода задача оценки эффективности может рассматриваться с точки зрения максимизации результатов при фиксированном объеме ресурсов или, напротив, с точки зрения минимизации используемых ресурсов при фиксированном объеме выпуска. Первый случай задачи DEA соответствует спецификации модели, ориентированной на выпуск (output-oriented DEA model), второй случай - ориентированной на ресурсы (input-oriented DEA model). В практике оценивания эффективности университетов, как правило, используется первая спецификация модели, ориентированная на выпуск: ресурсы для университета в большей степени являются экзогенными факторами, тогда как результаты деятельности - эндогенными [Agasisti, Perez-Esparrells, 2010].

В рамках ориентированной на выпуск спецификации DEA-модели для каждого университета в выборке с индексом к, использующего вектор ресурсов

— (ХХк Kхш )е R+1 для производства набора выпуска Yk —(ylk ...ysk )е R+, решается следующая задача6:

(1) max 0k,

ek, х,

к,i—1...N

N

(1-1) ekysk < XX,ysl, s — S; S — #{outputs},

i—1

N

(1-2) xmk > £\lxmi, m = M; M = #{inputs},

i=1 Ä, > 0,

где 9к является показателем эффективности и измеряется как расстояние до производственной границы, состоящей из эффективных единиц наблюдения (университетов). Если 0к > 1, то к -ый университет располагается ниже производственной границы и является «неэффективным» (чем больше разница между показателем эффективности 0к и

6 Подробнее об описании основных математических моделей DEA см. учебно-методическое пособие [Cooper, Seiford, Zhu, 2004].

единицей, тем больше неэффективность). Если же Qk = 1, то к -ый университет лежит на границе «лучших практик» и является «эффективным». Следуя работе [Абанкина и др., 2013], содержательно Хк можно интерпретировать как вектор теневых цен: максимальная стоимость, которую университет готов заплатить за увеличение переменной результата или ресурса на единицу. При этом при решении задачи (1) выбирается максимально возможный уровень выпуска (или минимизируется расстояние до производственной границы (1-1)) при заданном ограничении на ресурсы (1-2). Сама производственная граница задана неявным образом. Подробное описание связи решения данной задачи и производственной границы приведены в работе [Cooper, Seiford, Zhu, 2004, ch. 3].

Модель (1) с ограничениями (1-1)-(1-2) представляет случай DEA-модели с постоянной отдачей от масштаба (Constant Return to Scale, CRS). Использование CRS-специфика-ции основано на допущении о том, что все единицы наблюдения из рассматриваемой выборки оперируют в оптимальном для них масштабе [Coelli et al., 2005]. Другими словами, CRS-модель не предполагает наличия существенной связи между размером единицы наблюдения и ее эффективностью. Метод DEA предусматривает возможность адаптации модели (1) к случаю переменной отдачи от масштаба (Variable Return to Scale, VRS). Такая спецификация соответствует ситуации, когда все анализируемые единицы наблюдения оперируют в неоптимальном для них объеме. С целью адаптации модели (1) к случаю

N

VRS-спецификации, ограничения (1-1)-(1-2) необходимо дополнить условием ^ Xi = 1.

i=1

Для того чтобы осуществить выбор между CRS- и VRS-моделью, в работе [Fare, Gros-

Q

skopf, 1985] предлагается оценить эффект масштаба, SE = CRS (Scale Economies), где

qvrs

QCRS - значение эффективности, полученное с помощью CRS-модели; QVRS - с помощью VRS-модели. Если рассчитанное значение SE оказывается близким к единице, то необходимо выбрать CRS-спецификацию. Если же SE > 1, то ситуация соответствует VRS-модели7.

В течение последних десятилетий было предложено несколько модификаций стандартной методологии DEA. Одна из них была разработана для объяснения вариации оценок эффективности, полученных с помощью стандартного DEA. Для решения этой задачи в данной работе используется подход, рассмотренный в работе [Grosskopf, 1996], -двухшаговая процедура DEA (Two-Step procedure). В основе этой процедуры лежит построение линейной регрессии, в которой в качестве зависимой переменной выбираются оценки эффективности. Таким образом, двухшаговая процедура DEA предполагает проведение анализа в два последовательных этапа: первый шаг предполагает расчет оценок эффективности с помощью базовой модели DEA, второй шаг - анализ факторов8, которые могут

7 Данная реализация условий проверки релевантна для случая ориентированной на выпуск модели. Если рассматривается модель, ориентированная на ресурсы, то условия проверки меняются: выбор VRS-модели соответствует случаю, когда SE < 1 (подробное описание анализа эффекта масштаба см. в работе [Badunenko, Mozharovskyi, 2016]).

8 Двухшаговая процедура DEA позволяет учитывать факторы, которые принимают значения как непрерывных, так и категориальных переменных [Casu, Molyneux, 2003].

оказывать влияние на показатели эффективности. Знак оценки коэффициента перед факторами эффективности указывает на направление связи между переменными. Факторы, которые используются на втором шаге для объяснения вариации оценок эффективности, называются контекстными переменными9 (environmental variables). Этот термин применим к факторам, которые не являются ресурсами социально-экономического объекта и не поддаются контролю политики его руководства [Fried et al., 1999]. Например, к таким факторам относят форму собственности, характеристики местоположения изучаемого объекта и политику государственного регулирования [Fried et al., 1999]. В данной работе мы сосредоточимся на контекстных переменных, которые соотносятся с факторами государственного регулирования (см. раздел 3).

Подход двухшаговой процедуры DEA требует уточнения: поскольку оценки эффективности изменяются в диапазоне от единицы до бесконечности (т.е. являются усеченными показателями), то это делает некорректным применение МНК для оценки параметров уравнений регрессии. Эта поправка впервые была рассмотрена в работе [Lovell et al., 1993]. Оценки двухшагового DEA могут оказаться недостаточно надежными еще по нескольким причинам. Во-первых, серийная коррелированность оценок эффективности из базовой модели DEA нарушает основные предпосылки регрессионного анализа, что делает оценки коэффициентов неэффективными [Xue, Harker, 1999]. Во-вторых, на втором шаге процедуры DEA может быть нарушено предположение о некоррелированности объясняющих переменных и случайной ошибки. Нарушение данной предпосылки приводит к эндогенности, являющейся причиной смещенности и несостоятельности оценок коэффициентов регрессии [Deprins, Simar, 1989; Simar et al., 1994].

Насколько нам известно, в литературе по DEA была предпринята попытка лишь найти инструмент для борьбы с автокорреляцией. В работе [Xue, Harker, 1999] в качестве такого инструмента было предложено использовать процедуру бутстрэпа (bootstrap procedure). В этой работе бутстрэп был использован для оценок базовой модели DEA. Впоследствии применение бутстрэпа было распространено, в том числе, на двухшаговую процедуру DEA. Здесь процедура бутстрэпа должна быть применена дважды: первый раз на этапе расчета оценок эффективности (первый шаг двухшаговой процедуры DEA), второй раз на этапе расчета оценок коэффициентов регрессии (второй шаг двухшаговой процедуры DEA). Таким образом, бутстрэп позволяет получить скорректированные на смещение оценки эффективности, найти доверительные интервалы для этих оценок и сделать достоверные выводы в отношении факторов, объясняющих эффективность.

Подход с одновременным применением двухшаговой процедуры DEA и бутстрэпа был предложен в работе [Simar, Wilson, 2007] под названием Two-Stage Semi-parametric DEA. В контексте анализа эффективности университетов и ее детерминант такой подход ранее использовался в работах (см., например: [Wolszczak-Derlacz, Parteka, 2011; Agasisti, Wolszczak-Derlacz, 2015; Wolszczak-Derlacz, 2017]). Наш подход также основан на применении метода Two-Stage Semi-parametric DEA для анализа детерминант эффективности университетов в России.

9 Здесь и далее по тексту понятия «контекстные переменные», «детерминанты эффективности» и «факторы эффективности» мы используем как синонимы, что оправдано аналогичным подходом зарубежных исследований, посвященных анализу эффективности и ее детерминант.

Перейдем к более подробному описанию метода Симара и Вилсона (2007). Начнем сразу со второго шага, поскольку первый шаг этого метода уже рассмотрен выше на примере базовой модели (1)-(1-2). В рамках метода Two-Stage Semi-parametric DEA предполагается, что контекстные переменные влияют на показатели эффективности следующим образом:

(2) 0, =а+Zkр + % >1, k = 1,...,N,

где 0k - истинные значения показателей эффективности, оценка которых является целью двухшаговой процедуры Симара - Вилсона; Zk =(1,z1k,z2k,...,zrk) - вектор контекстных переменных, потенциально влияющих на эффективность через вектор параметров в = (P0,Pj,...,Pr) ; £k - случайная ошибка, отражающая влияние на значение 0k неучтенных дополнительных факторов. При этом предполагается, что контекстные переменные Zk скоррелированы с (Xk,Yk). Данная предпосылка создает проблемы при оценивании показателей эффективности с помощью базовой модели DEA, поскольку эта модель не учитывает контекстные переменные Zk . Это приводит к тому, что оценка, полученная с помощью стандартной модели DEA, оказывается смещенной. По этой причине мы будем различать 0k, оценку первого шага двухшаговой процедуры Симара -Вилсона, и 0k - истинное значение параметра эффективности, оценка которого является целью двухшаговой процедуры Симара - Вилсона.

Согласно работе [Simar, Wilson, 2007], модель второго шага метода Two-Stage Semi-parametric DEA задается в виде усеченной регрессии:

(3) 0k =а+Zkp + ^k, k = 1,k,N,

где 0k - оценки эффективности, полученные с помощью базовой модели DEA на первом шаге двухшаговой процедуры Симара - Вилсона; остальные обозначения соответствуют случаю в уравнении (2).

Проблема стандартной модели DEA состоит в смещенности ее оценки 0k 10. Для того чтобы получить несмещенную оценку эффективности в рамках метода Two-Stage Semi-parametric DEA, необходимо для 0k из уравнения (3) осуществить корректировку на смещение с помощью процедуры бутстрэпа. Используя оценку с учетом поправки на смещение, модель (3) может быть записана в следующем виде:

(4) 0k ~ а + Zk в + £ k, k = 1,K, N,

10 Доказательство состоятельности оценки базовой модели DEA представлено в работе [Kneip et al., 1998].

где 0, =01 - BIAS (0t) . Вычитаемое BIAS (0k) представляет собой корректировку на

смещение и может быть вычислено с помощью процедуры бутстрэпа в соответствии с алгоритмом, представленным в Приложении. В уравнении (4) предполагается, что ошибка

распределена как усеченное нормальное распределение ek ^ TN (0,а^), которое имеет

усечение сверху ek < 1 — ZkP, k = 1,...,N.

Симар и Вилсон показали, что ek имеет ненулевое математическое ожидание, а вычитаемое BIAS (0k) всегда отрицательно и также обладает ненулевым математическим

ожиданием. Боле того, в модели (2) вероятность того, что исследуемый объект окажется на границе производственных возможностей (где 0k в точности равна единице), является нулевой. Таким образом, асимптотически оценки эффективности, скорректированные на смещение с помощью процедуры бутстрэпа, будут отличаться от единицы. Это является результатом предположения о характере влияния контекстных переменных на эффективность.

Далее модель (4) оценивается с помощью метода максимального правдоподобия.

На основании полученных оценок регрессии (4) (в и аe с применением процедуры бут-стрэпа рассчитываются оценки, скорректированные на смещение, и доверительные интервалы для параметров модели в и ае.

Подробное описание алгоритма Two-Stage Semi-parametric DEA см. в Приложении.

3. Данные и ключевые переменные для анализа эффективности и ее детерминант

Для анализа эффективности университетов и выявления ее детерминант в работе используются данные Мониторинга эффективности деятельности организаций высшего образования11 за 2017 г. Выбор этого года обусловлен тем, что к рассматриваемому периоду полностью сложился текущий ландшафт высшего образования в России. Сформировалась группа ведущих вузов, а также университетов, имеющих автономный статус. Поскольку в предшествующие несколько лет не наблюдалось каких-либо институциональных шоков в системе высшего образования, а инструменты государственного регулирования, инициализированные прежде, уже дали свой эффект, то эти условия позволяют исследовать влияние факторов государственной политики в сфере высшего образования на эффективность университетов. Выборка исследования ограничена государственными головными (без филиалов) университетами России. Такое ограничение накладывается для того, чтобы снизить степень гетерогенности вузов с точки зрения их стратегических целей и моделей деятельности, что может обуславливать значительные различия в ис-

11 См.: www.miccedu.ru

пользуемых ресурсах и результатах деятельности12. Ограничение, наложенное на выборку исследования, не снижает ее репрезентативности, поскольку на долю негосударственных вузов приходится меньше 10% студенческого контингента России. Из анализа были исключены университеты, в которых наблюдалась аномально низкая численность профессорско-преподавательского состава (ППС) без учета совместителей и работающих по договорам гражданско-правового характера (ГПХ) (меньше пятого процентиля распределения численности ППС). Под данное ограничение попали наблюдения со средней численностью штатных ППС в 26 человек, являющиеся в нескольких случаях организациями, практически полностью ориентированными только на исследовательскую деятельность (исследовательские центры). Данное ограничение было наложено для того, чтобы при анализе эффективности избежать смещения оценок в сторону их завышения. Такое смещение могло быть вызвано тем, что исключенные из выборки университеты при более низком значении ресурса в лице штатных ППС могли достичь более высоких результатов деятельности. В то время как более высокие значения выпуска являлись бы показателем не более эффективного использования ресурсов, а показателем того, что такие результаты могли быть достигнуты с помощью сил совместителей и работающих по договорам ГПХ, которые не были учтены при расчетах. Итоговая выборка исследования составила 476 наблюдений по университетам13 и покрыла 62% от всей численности образовательных организаций высшего образования России14. В случае наличия пропусков пропущенные значения были восстановлены в программе R с помощью пакета mice с использованием алгоритма CART (Classification and Regression Tree). При помощи этой процедуры было восстановлено 0-1% значений.

Начнем с рассмотрения характеристик университетов, которые использовались для анализа эффективности. В данной работе расчет оценок эффективности является вспомогательным, но необходимым шагом для выявления детерминант эффективности. При анализе эффективности одним из основных шагов является выбор характеристик университетов, т.е. определение ресурсов и результатов деятельности вузов для решения задачи DEA (1)-(1-2). Основная сложность состоит в том, что система высшего образования, в особенности в России, характеризуется высоким уровнем дифференциации: разные группы университетов имеют различные миссии, цели и задачи. Например, группа университетов - участников проекта повышения глобальной конкурентоспособности «5-100» в большей степени стремится к достижению высоких значений показателей научной продуктивности и цитируемости. Группа университетов, имеющих статус «Опорные вузы», в большей степени концентрируются на подготовке кадров для регионального рынка труда и реализации НИОКР в интересах региональных предприятий. Факт высокой диффе-

12 Негосударственные вузы значительно отличаются от государственных с точки зрения законодательства, в соответствии с которым они действуют; политики финансирования; материально-технической базы; стратегий развития и т.д.

13 Более подробная информация о списке университетов, попавших в выборку настоящего исследования, может быть предоставлена по запросу.

14 Согласно Мониторингу эффективности деятельности организаций высшего образования, в 2017 г. число образовательных организаций высшего образования составило 769 вузов: из них 501 - государственные и муниципальные, 268 - частные (филиалы образовательных организаций высшего образования не учитывались).

ренциации университетов часто игнорируется в дискуссиях относительно развития системы высшего образования [Кузьминов и др., 2013] и, в частности, в дискуссиях относительно эффективности вузов, что может приводить к ошибочным суждениям. Для того чтобы в некоторой степени учесть высокую дифференцированность российских университетов, следуя работе [Абанкина и др. 2013], мы рассматриваем две спецификации модели DEA. Спецификация 1 предназначена для анализа эффективности университетов и ее детерминант с точки зрения образовательного потенциала вузов. Спецификация 2 оценивает эффективность и ее детерминанты с позиции результативности научно-учебной деятельности вузов. Каждая из спецификаций соответствует формулировке видов моделей из работы [Абанкина и др. 2013]. Однако в спецификацию 2 внесена корректировка: в силу появившихся в открытом доступе данных по общим объемам научно-исследовательских и опытно-конструкторских работ (НИОКР) данная характеристика была включена в модель DEA.

Рассмотрим спецификации Моделей 1 и 2 более подробно. Модель 1 в качестве ресурсов включает следующие характеристики университетов: доходы; общую численность ППС; долю ППС, имеющих ученые степени. Эти показатели отражают объем доступных финансовых ресурсов, объем кадровых ресурсов и их качество. Такой набор характеристик университетов в качестве ресурсов используется в большинстве эмпирических исследований, анализирующих эффективность высших учебных заведений (см., например: [Agasisti, Johnes, 2009; Agasisti, Perez-Esparrells, 2010; Agasisti, Perez-Esparrells, 2010; Aga-sisti, Pohl, 2012; Parteka, Wolszczak-Derlacz, 2011]). В качестве результатов деятельности университетов в Модель 1 были включены такие показатели, как общая численность студентов; средний балл ЕГЭ. В контексте российской системы высшего образования показатель общей численности студентов аппроксимирует численность выпускников, что является наиболее распространенной характеристикой, используемой при оценке эффективности образовательной деятельности вузов в зарубежных исследованиях (см., например: [Agasisti, Johnes, 2009; Bonaccorsi et al., 2007; Agasisti, Pohl, 2012]). Корректность такой аппроксимации обусловлена тем, что процент отсева (dropout ratio) в российских вузах сохраняется на достаточно низком уровне, что позволяет предполагать высокое значение корреляции между общей численностью студентов и количеством выпускников. Показатель среднего балла ЕГЭ отражает репутацию университета среди поступающих: как правило, более сильные и талантливые абитуриенты предпочитают поступать в лучшие вузы, гарантирующие более качественное образование. Данный показатель может рассматриваться как результат деятельности университета, поскольку высшее образование является доверительным благом, о качестве которого можно судить только после окончания обучения. А оценить качество обучения до его начала возможно лишь через репутацион-ные механизмы. Средний балл ЕГЭ является одним из таких механизмов, который формируется на основании массовых решений абитуриентов и их родителей.

Перейдем к обсуждению спецификации 2, предназначенной для анализа эффективности университетов с позиции результативности их научно-учебной деятельности. В качестве ресурсов были выбраны следующие характеристики: доходы, доля остепененных ППС и средний балл ЕГЭ. В Модели 2 средний балл ЕГЭ выступает в качестве ресурса университета, так как отражает качество человеческого капитала абитуриентов, которые впоследствии могут быть вовлечены в научно-исследовательскую деятельность. Вектор результатов деятельности университета в Модели 2 содержит такие показатели, как об-

щая численность студентов; доля молодых НПР; количество публикаций; общий объем НИОКР. Эти характеристики университетов отражают их научную продуктивность, а также их привлекательность для работы молодых исследователей, что в свою очередь является производной эффективности научно-исследовательской деятельности высших учебных заведений. Подробное описание характеристик университетов из Моделей 1 и 2 представлено в табл. П1 в Приложении. Рассмотренные спецификации 1 и 2 задают упрощенную модель функционирования университетов, включающую в себя ограниченный набор ресурсов и результатов их деятельности.

В табл. 1 представлены дескриптивные статистики характеристик университетов, которые используются в Моделях 1 и 2 для анализа эффективности.

Таблица 1.

Дескриптивные статистики характеристик университетов

Название Среднее Стандартное Минимум Максимум

переменной значение отклонение

Доходы 1378751 2054310 63627,2 23377539

Доля ППС со степенями 69,5 15,5 8,5 100

Численность ППС 466 479 43 5051

Средний балл ЕГЭ 67,2 9,8 47,0 96,8

Доля молодых НПР 15,3 7,3 0,2 65,9

Численность студентов 4789 4477 116 31585

Количество публикаций 277 216 0 1499

Объем НИОКР 176002,1 476642,2 0 6651331

Источник: расчеты авторов по данным Мониторинга эффективности деятельности образовательных организаций высшего образования.

Теперь рассмотрим контекстные переменные, которые используются на втором шаге метода Two-Stage Semi-parametric DEA для объяснения вариации оценок эффективности университетов. Напомним, что контекстные переменные - это такие факторы, которые не являются ресурсами социально-экономического объекта и не поддаются контролю политики его руководства [Fried et al., 1999]. К таким факторам, в том числе, относятся инструменты государственного регулирования [Ibid.]. В данной работе при анализе детерминант эффективности учитываются контекстные переменные, которые соотносятся с факторами государственной политики в сфере высшего образования. К таким переменным мы относим следующие показатели: наличие у вуза статуса автономного учреждения; принадлежность к группе «ведущих вузов»; подведомственность Министерству науки и высшего образования Российской Федерации; подведомственность региональным органам власти; общую площадь помещений университета. Такой набор контекстных переменных, в том числе, был определен наличием данных в открытом доступе.

Все бюджетные организации в России, в частности, государственные вузы, могут иметь статус казенных, бюджетных или автономных учреждений. Данные формы определяют степень независимости вузов в распоряжении финансовыми ресурсами: наиболее

самостоятельными являются автономные учреждения, наименее самостоятельными -казенные15. Так как менеджмент автономных учреждений имеет большую свободу по расходованию средств, мы ожидаем, что такие университеты могут быть более «эффективными». Переменная, отражающая принадлежность учебного заведения к группе «ведущих вузов» была включена ввиду того, что университеты - участники этой программы поддержки имеют ряд преимуществ. Например, повышенный норматив бюджетного финансирования в расчете на одного студента16. Направление эффекта данной характеристики университета на его уровень эффективности неоднозначно: знак влияния будет определяться тем, насколько эффективно ведущие вузы могут использовать предусмотренные для них дополнительные объемы финансирования. Дамми-переменные, отражающие подведомственность университетов Минобрнауки России и региональным органам власти, необходимы ввиду того, что учредитель имеет достаточно широкие полномочия по определению механизмов управления подведомственными учреждениями. В этой связи политика управления подведомственными организациями, принятая в Минобрнауки России, может существенно отличаться от политики, сложившейся в региональных органах власти. В такой конфигурации в качестве референтной группы на втором шаге Two-Stage Semi-parametric DEA метода выступают вузы, подведомственные федеральным органам исполнительной власти (за исключением Минобрнауки РФ): Министерству сельского хозяйства (54 вуза), Министерству здравоохранения (46 вузов), Министерству культуры (40 вузов), Министерству спорта (14 вузов) и др. Контролируя подведомственную принадлежность университетов и формируя референтную группу вышерассмотрен-ным образом, мы имплицитно контролируем специализацию вузов. Учет специализации особенно важен в Модели 2: университеты, у которых есть барьеры на пути к публикациям и НИОКР, могут иметь значимое и неоправданное снижение показателей их эффективности. Наконец, в качестве дополнительной контекстной переменной был выбран показатель общей площади помещений университета. Данный показатель может сильно коррелировать с характеристикой количества департаментов в университете, поэтому вузы с большей площадью помещений могут иметь более высокий уровень эффективности за счет экономии, обусловленной расширением сфер образовательной и исследовательской деятельностей. В данном случае более высокая эффективность университетов может также объясняться более рациональным использованием ресурсов за счет экономии на масштабе. С другой стороны, избыток зданий может приводить к дополнительным издержкам на содержание неиспользуемого имущества, что, в свою очередь, будет влечь за собой падение уровня эффективности. В России в среднем доля расходов вузов на содержание имущества в общем объеме расходов составляет порядка 10%17. При этом практика показывает, что почти всегда вопросы имущественного комплекса университета находятся в ведении его учредителя. Как правило, вузы не могут начать строительство, например, нового учебного корпуса, за счет средств, полученных от приносящей доход деятельности, из-за высокой стоимости таких проектов.

15 Для более подробного описания различий между тремя типами учреждений см. Федеральный закон № 83-Ф3 от 08.05.2010 г. «О внесении изменений в отдельные законодательные акты РФ в связи с совершенствованием правового положения государственных (муниципальных) учреждений».

16 Приказ Минобрнауки России № 1272 от 30.11.2015 г.

17 По данным Формы ВПО-2 (2016 г.) ЕИС Минобрнауки РФ.

В табл. 2 представлены дескриптивные статистики контекстных переменных, которые используются для объяснения вариации оценок эффективности университетов. В качестве типичного представителя выборки был выбран средний по всем характеристикам университет. Таким образом, типичным представителем выборки является вуз, не находящийся в статусе автономного учреждения (frequency (Автономный статус = 0) = 90,13%) со средней площадью зданий в 113787,4 м2 (Площадь помещений = 113787,4 ± Std.dev = = 124817,5) и не относящийся к категории «ведущих вузов» (frequency (Группа «ведущих вузов» = 0) = 90,55%). Вместе с тем типичный представитель выборки является подведомственным учреждением Министерства науки и высшего образования РФ (frequency (Подведомственность Минобрнауки = 1) = 51,47%). Более подробная информация о типичном представителе выборки приведена в табл. 2.

Таблица 2.

Дескриптивные статистики контекстных переменных

Название дамми-переменной

Frequency

%

Автономный статус Группа «ведущих вузов» Подведомственность Минобрнауки Подведомственность региональным органам власти

47 45 245 35

9,87 9,45 51,47 7,35

Переменная Площадь помещений (м2) имеет среднее значение - 113787,4; стандартное отклонение - 124817,5; минимум - 3937; максимум - 1353499.

Источник: расчеты авторов по данным Мониторинга эффективности деятельности образовательных организаций высшего образования.

4. Эмпирические оценки эффективности и влияния ее детерминант

Начнем с анализа эффективности университетов. В табл. 3 показаны дескриптивные статистики оценок эффективности, рассчитанные с помощью метода Two-Stage Semi-parametric DEA. Статистики для оценок эффективности приведены до и после применения процедуры бутстрэпа18. Оценки, представленные после применения процедуры бут-стрэпа, помимо корректировки на смещение учитывают влияние контекстных перемен-ных(!) государственного регулирования. Как видно из таблицы, оценки эффективности до применения бутстрэпа в среднем ниже на 6%. Это значит, что общий эффект влияния выбранных контекстных переменных на уровень эффективности университетов отрицательный. Эта закономерность характерна и для Модели 1, и для Модели 2. Причем в спецификации 1, предназначенной для анализа образовательного потенциала университе-

18 Поскольку процедура бутстрэпа является случайной, мы повторяем ее алгоритм 100 раз (см. шаг 3 из Two-Stage Semi-parametric DEA в Приложении). Согласно [Simar, Wilson, 2007], этого количества репликаций достаточно, чтобы усредненный показатель бутстрапированных оценок эффективности стабилизировался.

тов, отрицательное влияние выбранных контекстных переменных в среднем ниже на 20%. В табл. 3 минимальные значения оценок эффективности соответствуют университетам, которые являются «эффективными» и образуют границу производственных возможностей. Согласно базовой модели DEA (1)-(1-2), университет является «эффективным», если его оценка эффективности равна единице. Однако это условие сохраняется только для случая базовой модели DEA, которая не учитывает влияние контекстных переменных. После реализации бутстрэп-процедуры оценки «эффективных» университетов смещаются вправо. Это происходит потому, что в предположении о связи контекстных переменных с показателями эффективности в рамках Модели (2) на каждом шаге процедуры бут-стрэпа при генерации псевдовыборок на основании исходной выборки каждый университет, лежащий на производственной границе, имеет ненулевую вероятность оказаться вне ее. Подробное объяснение данного результата см. в разделе 2. В целом результаты показывают, что в среднем разница между «эффективными» университетами и «неэффективными» составляет 0,57 единиц. Другими словами, средняя оценка эффективности на уровне 1,57 означает то, что университеты, достигнув уровня «лучших практик», могли бы улучшить свои результаты на 57%, используя фактический набор ресурсов19.

Согласно оценкам эффективности из Моделей 1 и 2 (до применения бутстрэпа), среди первых 10 «эффективных» университетов не оказалось ни одного вуза, представленного в мировых рейтингах университетов. Результаты из спецификации 1 показывают, что среди 100 самых «эффективных» университетов оказались 31% вузов, вошедших в 2016 г. в рейтинг QS, 44% - в рейтинг THE, 60% - в рейтинг ARWU и 38% - в U.S.News. В случае оценок эффективности после применения бутстрэпа распределение университетов по уровню их эффективности почти не поменялось. В Модели 1 дополнительно 3% университетов из рейтинга QS и 8% из рейтинга THE улучшили свои результаты и вошли в наш список первых 100 «эффективных» университетов. Показатели по остальным рейтингам не изменились. Согласно оценкам из Модели 2 (до применения бутстрэпа), среди первых 100 «эффективных» университетов 45% вошли в рейтинг QS, 68% - в рейтинг THE, 40% - в рейтинг ARWU и 50% - в U.S.News. Оценки эффективности после применения бутстрэпа из Модели 2 показывают, что в категорию 100 самых «эффективных» университетов дополнительно вошли 2% вузов из рейтинга QS, 4% - из рейтинга THE и 13% - из U.S.News. В то время как вузы из рейтинга ARWU понизили свои позиции и выбыли из нашего списка 100 самых «эффективных» университетов.

На рис. 1 показаны графики кернел-функции плотности распределения оценок эффективности. Графики демонстрируют, что основные различия между распределениями оценок до и после применения процедуры бутстрэпа сосредоточены на правом конце распределений, т.е. среди «неэффективных» университетов. У оценок эффективности после применения бутстрэпа правый хвост распределения гораздо длиннее, чем у оценок до процедуры бутстрэпа. Это означает, что после реализации бутстрэпа появляется больше «неэффективных» вузов. Таким образом, риски попасть под влияние контекстных переменных у «неэффективных» университетов значительно выше, чем у «эффективных».

19 В рамках модели DEA, ориентированной на выпуск, «неэффективный» университет мог бы увеличить свой выпуск в ( -1)100% раз для того, чтобы достичь границы производственных

возможностей и стать «эффективным». При этом набор используемых ресурсов остался бы неизменным.

Данный результат также подтверждается с помощью значений 10-го и 90-го децилей распределения из табл. 3. Левые хвосты распределений достаточно близки, т.е. распределения «эффективных» университетов представлены достаточно пропорционально.

Таблица 3.

Дескриптивные статистики оценок эффективности

Оценки эффективности Среднее значение Стандартное отклонение Минимум Максимум D10 D90

Модель 1

До применения бутстрэпа 1,47 0,33 1,00 2,86 1,10 1,93

После применения бутстрэпа 1,56 0,37 1,04 3,20 1,18 2,09

Модель 2

До применения бутстрэпа 1,57 0,64 1,00 5,28 1,04 2,39

После применения бутстрэпа 1,69 0,71 1,04 5,64 1,13 2,57

Примечание: спецификация Модели 1 предназначена для анализа эффективности университетов и ее детерминант с точки зрения образовательного потенциала вузов. Спецификация Модели 2 оценивает эффективность и ее детерминанты с позиции результативности научно-учебной деятельности вузов.

Источник: расчеты авторов по данным Мониторинга эффективности деятельности образовательных организаций высшего образования.

-До бутстрэпа -После бутстрэпа -До бутстрэпа -После бутстрэпа

а) Модель 1 б) Модель 2

Рис. 1. Распределение оценок эффективности университетов

Источник: расчеты авторов по данным Мониторинга эффективности деятельности образовательных организаций высшего образования.

Расчет оценок эффективности университетов является вспомогательным шагом и не находится в основном фокусе настоящей работы, поэтому сконцентрируемся в большей степени на анализе детерминант эффективности. Для того чтобы объяснить вариа-

цию оценок эффективности, необходимо реализовать второй шаг метода Two-Stage Semi-parametric DEA: оценить модель усеченной регрессии (4). Результаты расчетов представлены в табл. 4. Первый столбец табл. 4 содержит оценки коэффициентов регрессоров с учетом поправки на смещение (т.е. после применения процедуры бутстрэпа20), остальные столбцы - доверительные интервалы, необходимые для проверки статистической значимости полученных оценок коэффициентов регрессии. В регрессии (4) в качестве зависимой переменной выступают оценки эффективности, изменяющиеся в диапазоне от единицы до бесконечности: чем дальше значение показателя эффективности от единицы, тем выше неэффективность. Другими словами, зависимая переменная в модели (4) отражает уровень неэффективности. Тогда, с учетом характера зависимой переменной, результаты табл. 4 необходимо интерпретировать следующим образом: положительный знак при оцененном коэффициенте указывает на более высокую неэффективность (более низкую эффективность), в то время как отрицательный знак - на более низкую неэффективность (более высокую эффективность).

Таблица 4.

Детерминанты эффективности университетов

Название Коэффициент 90% ДИ 95% ДИ 99% ДИ Предельный

переменной средний эффект

Модель 1

Constant 1,757*** [1,681, 1,832] [1,672, 1,836] [1,640, 1,862] -

Автономный статус 0,022 [-0,170, 0,210] [-0,207, 0,245] [-0,278, 0,316] 0,022

Группа «ведущих вузов» 0,260* [0,040, 0,480] [-0,010, 0,517] [-0,068, 0,597] 0,242

Подведомственность Минобрнауки -0,488*** [-0,589, -0,388] [-0,611, -0,373] [-0,653, -0,338] -0,581

Подведомственность

региональным органам власти -0,247** [-0,430, -0,075] [-0,455, -0,049] [-0,540, 0,010] -0,012

Площадь помещений -9,43E-07*** -1,5E-06, -4,7E-07] [-1,6E-06, -3,8E-07] [-1,8E-06, -1,9E-07] -0,152

Модель 2

Constant 1,558** [0,673, 2,167] [0,278, 2,246] [-0,489, 2,425] -

Автономный статус 0,270 [-1,171, 1,680] [-1,599, 2,095] [-2,394, 2,562] 0,270

Группа «ведущих вузов» 0,430 [-1,858, 2,555] [-2,499, 2,958] [-3,938, 4,007] 0,280

Подведомственность Минобрнауки -3,651*** [-5,519, -2,315] [-6,137, -2,169] [-7,840, -1,947] -3,854

Подведомственность

региональным органам власти -1,010 [-2,223, 0,011] [-2,711, 0,163] [-3,299, 0,390] -0,009

Площадь помещений -1,43E-05*** [-2,3E-05, -8,0E-06] [-2,6E-05, -7,0E-06] [-3,5E-05, -6,3E-06] -0,116

Примечание: * значимость на уровне 10, 5 и 1% соответственно.

Источник: расчеты авторов по данным Мониторинга эффективности деятельности образовательных организаций высшего образования.

20 Было реализовано 2000 повторений процедуры бутстрэпа. Такое количество репликаций алгоритма согласуется с рекомендациями из работы [Simar, Wilson, 2007].

В табл. 4 приведены результаты регрессионного анализа для спецификаций 1 и 2. Оценки коэффициента при переменных «Подведомственность» статистически значимы и отрицательны. Это означает, что учебные заведения, подведомственные Министерству науки и высшего образования РФ и региональным органам власти, более «эффективны». Содержательная интерпретация этого результата требует большой аккуратности. С одной стороны, это может означать, что одна группа университетов действительно «лучше», чем другая. С другой, следует иметь в виду, что не-минобровские университеты (из референтной группы) имеют свою отраслевую специфику, которая не схватывается едиными для всех критериями эффективности. Например, если для одних университетов среди ключевых критериев есть число публикаций в международных базах данных, то подготовка кадров для регионального хозяйственного комплекса может требовать совершенно других оценочных критериев. Аналогичным образом с сохранением знака при оценке коэффициента подтверждается статистическая значимость общей площади зданий университета. Отрицательный знак при данной переменной показывает, что университеты с большей площадью зданий имеют более низкие оценки неэффективности и являются более «эффективными». Здесь показатель общей площади помещений университета может выступать в качестве прокси-переменной для даты основания вуза. Поэтому университеты более раннего периода основания могут быть «эффективнее», чем «молодые». Подробное объяснение знака влияния переменной «Площадь университетских зданий» приведено в разделе 3. Результаты указывают на отрицательную и статистически значимую связь между принадлежностью к группе «ведущих вузов» и уровнем эффективности. Оценки такого влияния требуют осторожной интерпретации, но, по крайней мере, можно предположить, что представители «ведущих вузов» имеют доступ к большему объему ресурсов, как финансовых, так и человеческих, но доступность большего объема ресурсов не гарантирует их более эффективное использование. Таким образом, ведущие вузы могут показывать высокую результативность (performance), но при этом обладать достаточно низким уровнем эффективности. Полученный результат может объясняться и тем, что университеты - участники программы поддержки «ведущих вузов» могут нести дополнительные издержки, напрямую не связанные с включенными в модель DEA результатами. Кроме того, такой результат может свидетельствовать о том, что большинство российских вузов функционируют в условиях существенного недофинансирования, но при относительно низком объеме ресурсов могут достигать более высокого уровня эффективности. Поэтому в рамках решения задачи DEA при построении границы производственных возможностей по всем университетам вузы, располагающие относительно большим объемом ресурсов, например, ведущие, оказываются неэффективными. Статус автономного учреждения оказался статически незначимым в случае обеих Моделей 1 и 2. Такой результат может объясняться главным образом тем, что даже после перехода в статус автономного учреждения и приобретения автономности по расходованию средств университет продолжает действовать согласно стратегии, которой придерживался в статусе бюджетного учреждения. Это связано с тем, что собственный финансовый план использования средств требует продолжительного периода разработки. Вместе с тем с малой вероятностью он будет содержать существенно противоположные стратегии расходования средств, особенно в первоначальный период смены статуса.

В табл. 4 также представлены предельные средние эффекты по объясняющим факторам. Результаты показывают, что самое сильное влияние на уровень эффективности

университета оказывает его подведомственность Министерству науки и высшего образования РФ. Более слабым эффектом характеризуются такие переменные, как принадлежность к группе «ведущих вузов» и площадь помещений университета. Тем временем самый слабый эффект на уровень эффективности оказывает переменная подведомственности региональным органам власти.

5. Заключение

В настоящей работе на данных Мониторинга образовательных организаций высшего образования за 2017 г. изучаются детерминанты эффективности российских университетов. Мы сосредотачиваемся на факторах эффективности, соотносимых с политикой государственного регулирования в сфере высшего образования. Настоящая статья является первой среди отечественных работ, в которой приводятся количественные оценки детерминант эффективности, полученные с помощью метода двухшаговой процедуры DEA с одновременным применением бутстрэпа. В рамках этого метода с целью учесть высокую дифференцированность российских университетов мы используем две спецификации базовой модели DEA: с акцентом на образовательный потенциал вузов и на результативность их научно-учебной деятельности.

Согласно нашим оценкам, университеты, находящиеся в ведении Министерства науки и высшего образования и региональных органов власти, являются более «эффективными» по сравнению с вузами, подведомственными учреждениям федеральных органов исполнительной власти (Министерству здравоохранения, Министерству спорта, Министерству культуры и пр.). Данный результат говорит лишь о необходимости дополнительных исследований практик управления сетью подведомственных учреждений, принятых в этом ведомстве. Фактор подведомственности Минобрнауки РФ имеет самое сильное влияние (среди рассматриваемых детерминант) на уровень эффективности университетов. Наши оценки показывают положительную статистическую связи между общей площадью зданий университета и его уровнем эффективности. Это влияние можно объяснить либо с помощью экономии, обусловленной расширением сфер образовательной и исследовательской деятельностей университетов с большей площадью помещений, либо с помощью экономии на масштабе. Тем временем анализ указывает на отрицательную и статистически значимую связь между принадлежностью университетов к группе «ведущих вузов» и уровнем их эффективности. Мы связываем этот результат не только с недофинансированием системы высшего образования в России - большинство вузов достигает относительно высоких результатов, располагая низким объемом ресурсов, - но и с гетерогенностью университетов - участников группы «ведущих вузов». Проведенный анализ не выявил статистически значимого влияния автономного статуса учреждения на уровень эффективности российских университетов. С одной стороны, отсутствие влияния автономного статуса может быть связано с тем, что на практике автономный статус не дает такого количества свободы в управлении ресурсами, которое требуется для повышения уровня эффективности. С другой стороны, менеджеры автономных университетов могут не в полной мере использовать доступные им полномочия.

Необходимо признать некоторое ограничение настоящей работы, связанное со спецификацией базовой модели DEA. Такой недостаток является распространенным среди исследований, анализирующих эффективность и ее детерминанты. Выбор спецификации

модели DEA всегда являлся дискуссионным, поскольку выбор ресурсов и результатов деятельности университетов связан с сильной вариабельностью оценок эффективности [Johnes, 2006], а как следствие, и детерминант эффективности. Кроме того, количественный анализ в рамках модели DEA требует введения ряда предпосылок, значительно упрощающих модель жизнедеятельности университетов. В этой связи выведение из полученных результатов рекомендаций для государственной политики требует дополнительных исследований. Кроме того, при обсуждении результатов относительно факторов эффективности является проблематичной интерпретация строгой причинно-следственной связи. В первую очередь это связано с проблемой эндогенности, которая приводит к смещенности и несостоятельности оценок коэффициентов регрессии. В рамках данной работы эндогенность может возникать по следующим причинам: пропущенные существенные переменные, которые коррелируют с используемыми регрессорами, ошибки измерения регрессоров и одновременность уравнений. Пропуск существенных переменных может возникнуть по причине влияния на эффективность ненаблюдаемых характеристик окружающей среды, в которой функционирует университет.

Несмотря на ряд методологических недостатков, которым еще не нашли решение в рамках используемого подхода, мы считаем, что концепция эффективности и базирующийся на ее основании метод двухшаговой процедуры DEA с одновременным применением бутстрэпа являются хорошим дополнительным инструментом для анализа политики в сфере высшего образования в России.

Приложение

Two-Stage Semi-parametric DEA21

Согласно работе [Simar, Wilson, 2007], для того чтобы провести анализ эффективности и ее детерминант, необходимо реализовать следующую последовательность шагов.

1. Для всех университетов из выборки исследования рассчитать оценки эффективности 0k, k = N с помощью базовой модели DEA (1)-(1-2).

2. Для наблюдений с 0k > 1 с помощью метода максимального правдоподобия (ММП) оценить модель усеченной регрессии (3) с целью получить оценки (в и се параметров регрессии в и се соответственно.

3. Повторить шаги 3.1-3.4 L1 раз с целью получить N бутстрапированных рядов

данных с оценками эффективности Bk = {0^ } :

3.1. Для каждого университета k = 1,к,N сгенерировать £k из усеченного нормального распределения TN(0,с2) с усечением сверху (1 — Zk().

21 Исходное описание алгоритма Two-Stage Semi-parametric DEA см. в работе [Simar, Wilson, 2007].

3.2. Для каждого наблюдения к = 1,к,N рассчитать оценку эффективности следующим образом: 0* = Z* (3 + :*.

3.3. Для каждого университета к = 1,к,N задать набор ресурсов и выпуска в

* 0

следующем виде: X* = Хк и Y * = Yk . Такая корректировка релевантна для

0*

случая ориентированной на выпуск модели. Если рассматривается модель, ориен-

* 0 *

тированная на ресурсы, то условия корректировки меняются: X* = X* и Y* = Y*.

0*

3.4. Используя скорректированный набор ресурсов и выпуска, для каждого университета к = 1,...,N рассчитать оценку эффективности 0* с помощью базовой модели DEA (1)-(1-2).

4. На основе бутстрапированных оценок эффективности 0*, полученных на шаге 3, и оценок эффективности 0*, полученных на шаге 1, для каждого наблюдения к = 1,...,N

рассчитать оценки эффективности 0* с учетом поправки на смещение: 0* = 0* — BIAS(0*),

где BIAS(0* ) = 0* — 0* , = L2 0Ьк .

L b=1

5. С помощью ММП оценить модель усеченной регрессии (4), в которой в качестве зависимой переменной выбираются оценки эффективности с учетом поправки на смещение 0*, а в качестве объясняющих переменных - контекстные переменные Z* . Оценив модель (4), мы получим оценки (3 и сЕ регрессионных параметров Р и с: соответственно.

6. Для каждого университета к = 1,к,N повторить шаги 6.1-6.3 L раз с целью получить N бутстрапированных рядов данных с оценками регрессионных параметров

г,с: 1Г :

A j b=1

6.1. Для каждого университета к = 1,к,N сгенерировать :* из усеченного нормального распределения TN(о,с^) с усечением сверху — Z*(3j.

6.2. Для каждого наблюдения к = 1,к,N рассчитать оценку эффективности

следующим образом: 0* = Z*(3 + :* .

6.3. С помощью ММП оценить модель усеченной регрессии, в которой в качестве зависимой переменной выбираются оценки эффективности 0** , полученные на шаге 6.2, а в качестве объясняющих переменных - контекстные переменные Z .

Этот шаг расчетов позволяет получить оценки (3 и <3Е регрессионных параметров ß и Ge соответственно.

7. Для каждого наблюдения к = 1,к,N, используя бутстрапированные оценки ß ,

полученные на шаге 6, и оценки (3 с шага 5, рассчитать доверительные интервалы для каждого параметра ß согласно нижеприведенному алгоритму.

В работе [Simar, Wilson, 2007] непараметрический доверительный интервал для параметра ß строится с помощью квантилей распределения, сгенерированных на ос-

новании бутстрэп-значений ß . Пусть qa ид а соответственно I — I и Ii--

i 1—7 V2) \ 2 у

квантили распределения (вк — вк, где вк - истинное значение параметра. Тогда

<ßк "ßк <

i— 2 .

= 1 — а, или, что то же самое Р

ßк — gi—— <ßk <ßк —<

. 2

= 1 — а.

При использовании процедуры бутстрэпа не предполагается точная параметрическая спецификация распределения (вк — вк . Доверительные интервалы строятся, основываясь

на оценке этой разницы, с помощью бутстрэп-репликаций (вк — (вк . На основании псевдовыборок из репликаций бутстрэпа рассчитывается оценка доверительного интервала для

вк—вк: Р

<ßк — Рк <

i—

2

1 — а. Тогда доверительный интервал оценки пара-

метра вк с помощью процедуры бутстрэпа рассчитывается следующим образом:

Р

Р к

<вк <ßк

1 — а.

Таблица П1.

Описание характеристик университетов

Название переменной Описание переменной Единица измерения Модель DEA 1 Модель DEA 2

Доходы Доходы вуза из всех источников тыс. руб. Ресурс Ресурс

Доля ППС со степенями Удельный вес ППС, имеющих ученую степень кандидата и доктора наук, в общей численности ППС образовательной организации % Ресурс Ресурс

Численность ППС Общая численность ППС (без внешних совместителей и работающих по договорам ГПХ) человек Ресурс -

Средний балл ЕГЭ Средний балл ЕГЭ студентов, принятых по результатам ЕГЭ на обучение по очной форме по программам бакалавриата и спе-циалитета за счет средств соответствующих бюджетов бюджетной системы РФ балл Результат Ресурс

Численность студентов Общая численность студентов (приведенного контингента22) бакалавриата, специали-тета и магистратуры человек Результат Результат

Доля молодых НПР Удельный вес численности НПР без ученой степени - до 30 лет, кандидатов наук -до 35 лет, докторов наук - до 40 лет, в общей численности НПР % Результат

Количество публикаций Число публикаций организации, индексируемых в информационно-аналитических системах научного цитирования Web of Science, Scopus и РИНЦ, в расчете на 100 НПР ед. Результат

Объем НИОКР Общий объем научно-исследовательских и опытно-конструкторских работ (НИОКР) тыс. руб. - Результат

22 Приведенный контингент рассчитывается как сумма всех студентов со следующими весовыми коэффициентами: 1 - для численности студентов очной формы обучения, 0,25 - для численности студентов очно-заочной формы обучения и вес 0,1 - для численности студентов заочной формы обучения.

* * *

СПИСОК ЛИТЕРА ТУРЫ

Абанкина И.В., Алескеров Ф.Т., Белоусова В.Ю., Гохберг Л.М., Зиньковский К.В., Кисельгоф С.Г., Швыдун С.В. Типология и анализ научно-образовательной результативности российских вузов // Форсайт. 2013. Т. 7. № 3.

Алескеров Ф.Т., Белоусова В.Ю., Петрущенко В.В. Модели оболочечного анализа данных и анализа стохастической границы в задаче оценки эффективности деятельности университетов // Проблемы управления. 2015. № 5. С. 2-19.

КузьминовЯ.И., Семенов Д.С., Фрумин И.Д. Структура вузовской сети: от советского к российскому «мастер-плану» // Вопросы образования. 2013. № 4.

Abbott M., Doucouliagos C. The Efficiency of Australian Universities: A Data Envelopment Analysis // Economics of Education Review. 2003. Vol. 22. № 1. P. 89-97.

Agasisti T. Performances and Spending Efficiency in Higher Education: A European Comparison Through Nonparametric Approaches // Education Economics. 2011. Vol. 19. № 2. P. 199-224.

Agasisti T., Dal Bianco A. Data Envelopment Analysis to the Italian University System: Theoretical Issues and Policy Implications // International Journal of Business Performance Management. 2006. Vol. 8. № 4. P. 344-367.

Agasisti T., Johnes G. Beyond Frontiers: Comparing the Efficiency of Higher Education Decisionmaking Units across More than One Country // Education Economics. 2009. Vol. 17. № 1. P. 59-79.

Agasisti T., Pérez-Esparrells C. Comparing Efficiency in a Cross-country Perspective: The Case of Italian and Spanish State Universities // Higher Education. 2010. Vol. 59. № 1. P. 85-103.

Agasisti T., Pohl C. Comparing German and Italian Public Universities: Convergence or Divergence in the Higher Education Landscape? // Managerial and Decision Economics. 2012. Vol. 33. № 2. P. 71-85.

Agasisti T., Wolszczak-Derlacz J. Exploring Efficiency Differentials between Italian and Polish Universities, 2001-2011 // Science and Public Policy. 2015. Vol. 43. № 1. P. 128-142.

Athanassopoulos A.D., Shale E. Assessing the Comparative Efficiency of Higher Education Institutions in the UK by the Means of Data Envelopment Analysis // Education Economics. 1997. Vol. 5. № 2. P. 117-134.

Badunenko O., Mozharovskyi P. Nonparametric Frontier Analysis Using Stata // The Stata Journal. 2016. Vol. 16. № 3. P. 550-589.

Bolli T., Olivares M., Bonaccorsi A., Daraio C., Aracil A.G., Lepori B. The Differential Effects of Competitive Funding on the Production Frontier and the Efficiency of Universities // Economics of Education Review. 2016. Vol. 52. P. 91-104.

Bonaccorsi A., Daraio C., Lepori B., Slipersaeter S. Indicators on Individual Higher Education Institutions: Addressing Data Problems and Comparability Issues // Research Evaluation. 2007. Vol. 16. № 2. P. 66-78.

Bonaccorsi A., Colombo M.G., Guerini M., Rossi-Lamastra C. The Impact of Local and External University Knowledge on the Creation of Knowledge-intensive Firms: Evidence from the Italian Case // Small Business Economics. 2014. Vol. 43. № 2. P. 261-287.

Casu B., Molyneux P. A Comparative Study of Efficiency in European Banking // Applied Economics. 2003. Vol. 35. № 17. P. 1865-1876.

Charnes A., Cooper W.W., Rhodes E. Measuring the Efficiency of Decision Making Units // European Journal of Operational Research. 1978. Vol. 2. № 6. P. 429-444.

Coelli T.J., Rao D.S.P., O'Donnell C.J., Battese G.E. An Introduction to Efficiency and Productivity Analysis. Springer Science & Business Media, 2005.

Cooper W.W., Seiford L.M., Zhu J. Data Envelopment Analysis // Handbook on Data Envelopment Analysis. Boston, MA: Springer, 2004. P. 1-39.

De Witte K., Hudrlikova L. What about Excellence in Teaching? A Benevolent Ranking of Universities // Scientometrics. 2013. Vol. 96. № 1. P. 337-364.

Deprins D., Simar L. Estimating Technical Inefficiencies with Correction for Environmental Conditions: With an Application to Railway Companies // Annals of Public and Cooperative Economics. 1989. Vol. 60. № 1. P. 81-102.

Fare R., Grosskopf S. A Nonparametric Cost Approach to Scale Efficiency // The Scandinavian Journal of Economics. 1985. P. 594-604.

Farrell M.J. The Measurement of Productive Efficiency // Journal of the Royal Statistical Society Series a-General. 1957. Vol. 120. № 3. P. 253-290.

Ferlie E., Fitzgerald L., Pettigrew A. The New Public Management in Action. Oxford: Oxford University Press, 1996.

Flegg A.T., Allen D.O., Field K., Thurlow T.W. Measuring the Efficiency of British Universities: A Multi-period Data Envelopment Analysis // Education Economics. 2004. Vol. 12. № 3. P. 231-249.

Fried H.O., Schmidt S.S., Yaisawarng S. Incorporating the Operating Environment into a Nonparametric Measure of Technical Efficiency // Journal of Productivity Analysis. 1999. Vol. 12. № 3. P. 249-267.

GromovA. The Efficiency of Russian Higher Education Institutions and its Determinants. 2017.

Grosskopf S. Statistical Inference and Nonparametric Efficiency: A Selective Survey // Journal of Productivity Analysis. 1996. Vol. 7. № 2-3. P. 161-176.

Hazelkorn E. The Impact of League Tables and Ranking Systems on Higher Education Decision Making // Higher Education Management and Policy. 2007. Vol. 19. № 2. P. 1-24.

Johnes G., Johnes J. Measuring the Research Performance of UK Economics Departments: An Application of Data Envelopment Analysis // Oxford Economic Papers. 1993. P. 332-347.

Johnes J., Johnes G. Research Funding and Performance in UK University Departments of Economics: A Frontier Analysis // Economics of Education Review. 1995. Vol. 14. № 3. P. 301-314.

Johnes J. Data Envelopment Analysis and its Application to the Measurement of Efficiency in Higher Education // Economics of Education Review. 2006. Vol. 25. № 3. P. 273-288.

Jongbloed B., Kaiser F., van Vught F., Westerheijden D.F. Performance Agreements in Higher Education: A New Approach to Higher Education Funding // European Higher Education Area: The Impact of Past and Future Policies. Cham: Springer, 2018. P. 671-687.

Kneip A., Park B.U., Simar L. A Note on the Convergence of Nonparametric DEA Estimators for Production Efficiency Scores // Econometric Theory. 1998. Vol. 14. № 6. P. 783-793.

LiuJ.S., Lu L.Y., Lu W.M., Lin B.J. A Survey of DEA Applications // Omega. 2013. Vol. 41. № 5. P. 893-902.

Lovell C.A.K. Production Frontiers and Productive Efficiency // The Measurement of Productive Efficiency: Techniques and Applications / H.O. Fried, S.S. Schmidt, C.A.K. Lovell (eds.) Oxford University Press, 1993.

Parteka A, Wolszczak-Derlacz J. Dynamics of Productivity in Higher Education: Cross-European Evidence Based on Bootstrapped Malmquist Indices // Journal of Productivity Analysis. 2013. Vol. 40. № 1. P. 67-82.

RobstJ. Cost Efficiency in Public Higher Education Institutions // The Journal of Higher Education. 2001. Vol. 72. № 6. P. 730-750.

Salmi J. Excellence Strategies and the Creation of World-class Universities // Matching Visibility and Performance. Rotterdam: SensePublishers, 2016. P. 15-48.

Sav G.T. Effects of Financial Source Dependency on Public University Operating Efficiencies: Data Envelopment Single-stage and Tobit Two-stage Evaluations // Review of Economics & Finance. 2013. Vol. 3. № 1. P. 63-73.

Sav G.T. Stochastic Cost Frontier and Inefficiency Estimates of Public and Private Universities: Does Government Matter? // International Advances in Economic Research. 2012. Vol. 18. № 2. P. 187-198.

SeifordL.M. Data Envelopment Analysis: The Evolution of the State of the Art (1978-1995) // Journal of Productivity Analysis. 1996. Vol. 7. № 2-3. P. 99-137.

Seiford L.M., Thrall R.M. Recent Developments in DEA: The Mathematical Programming Approach to Frontier Analysis // Journal of Econometrics. 1990. Vol. 46. № 1-2. P. 7-38.

Simar L., Lovell C.A.K., van den Eeckaut P. Stochastic Frontiers Incorporating Exogenous Influences on Efficiency: Discussion Papers. 1994. Vol. 9403.

Simar L., Wilson P.W. Estimation and Inference in Two-stage, Semi-parametric Models of Production Processes // Journal of Econometrics. 2007. Vol. 136. № 1. P. 31-64.

Singh S. Global Trends in Higher Education Financing - 2013. 2013.

Wolszczak-Derlacz J. An Evaluation and Explanation of (in) Efficiency in Higher Education Institutions in Europe and the US with the Application of Two-stage Semi-parametric DEA // Research Policy. 2017. Vol. 46. № 9. P. 1595-1605.

Wolszczak-Derlacz J., Parteka A. Efficiency of European Public Higher Education Institutions: A Two-stage Multicountry Approach // Scientometrics. 2011. Vol. 89. № 3. P. 887.

Xue M., Harker P.T. Overcoming the Inherent Dependency of DEA Efficiency Scores: A Bootstrap Approach: Unpublished Working Paper. Wharton Financial Institutions Center, University of Pennsylvania, 1999.

Efficiency Modeling of Russian Universities

Daria Zinchenko1, Alexey Egorov2

1 National Research University Higher School of Economics,

4/2, Slavyanskya pl., Moscow, 103074, Russian Federation.

E-mail: [email protected]

2 National Research University Higher School of Economics, Building 10, 16, Potapovskiy Pereulok, Moscow, 101000, Russian Federation.

E-mail: [email protected]

The paper analyses determinants of efficiency of Russian universities. The analysis is based on the data from annual monitoring of performance of higher education institutions conducted by the Ministry of Education and Science. Special attention is paid to the factors that are associated with public policy in the sphere of higher education. In order to explain the variation of the efficiency scores we implement one of the most modern techniques for analysis of efficiency' determinants - Two-Stage Semi-parametric DEA. The high level of heterogeneity in Russian higher education sector is controlled for by considering two different specifications of DEA model: with the focus on educational activity and with the focus on scientific activity. The results show that relatively less efficient universities are more likely to be affected by the considered efficiency' determinants compared to efficient ones. Universities that are governed by the Ministry of Education and Science and by regional governments appeared to be relatively more efficient compared to the universities that are governed by another federal authorities except for the Ministry of Education and Science (Ministry of agriculture, Ministry of Healthcare, Ministry of Culture, Ministry of Sport and so on). Governance by the Ministry of Education and Science has the strongest effect on efficiency level among considered factors. Governance by regional authorities has the weakest effect. The total square of buildings available for the university appeared to be positively and statistically significantly related to efficiency level. While the autonomous status has no any effect.

Key words: higher education; determinants of efficiency; two-stage Semi-parametric DEA; bootstrap procedure.

JEL Classification: I23; C14.

* * *

References

Abankina I., Aleskerov F., Belousova V., Gokhberg L., Zinkovsky K., Kiselgof S., Shvydun S. (2013) Tipologiya i analiz nauchno-obrazovatel'noj rezul'tativnosti rossijskih vuzov [A Typology and Analysis of Russian Universities' Performance in Education and Research]. Foresight and STI Governance, 7, 3.

Aleskerov F., Belousova V., Petrushchenko V. (2015) Modeli obolochechnogo analiza dannyh i analiza stohasticheskoj granicy v zadache ocenki ehffektivnosti deyatel'nosti universitetov [Measuring Higher Education Institutions' Efficiency: Data Envelopment Analysis and Stochastic Frontier Approach]. Control Sciences, 5, pp. 2-19.

Kuzminov J., Semenov D., Froumin I. (2013) Struktura vuzovskoj seti: ot sovetskogo k rossi-jskomu «master-planu» [University Network Structure: From the Soviet to the Russian «Master Plan»]. Educational Studies, 4.

Abbott M., Doucouliagos C. (2003) The Efficiency of Australian Universities: A Data Envelopment Analysis. Economics of Education Review, 22, 1, pp. 89-97.

Agasisti T. (2011) Performances and Spending Efficiency in Higher Education: A European Comparison Through Nonparametric Approaches. Education Economics, 19, 2, pp. 199-224.

Agasisti T., Dal Bianco A. (2006) Data Envelopment Analysis to the Italian University System: Theoretical Issues and Policy Implications. International Journal of Business Performance Management, 8, 4, pp. 344-367.

Agasisti T., Johnes G. (2009) Beyond Frontiers: Comparing the Efficiency of Higher Education Decision-making Units across More than One Country. Education Economics, 17, 1, pp. 59-79.

Agasisti T., Perez-Esparrells C. (2010) Comparing Efficiency in a Cross-country Perspective: The Case of Italian and Spanish State Universities. Higher Education, 59, 1, pp. 85-103.

Agasisti T., Pohl C. (2012) Comparing German and Italian Public Universities: Convergence or Divergence in the Higher Education Landscape? Managerial and Decision Economics, 33, 2, pp. 71-85.

Agasisti T., Wolszczak-Derlacz J. (2015) Exploring Efficiency Differentials between Italian and Polish Universities, 2001-2011. Science and Public Policy, 43, 1, pp. 128-142.

Athanassopoulos A.D., Shale E. (1997) Assessing the Comparative Efficiency of Higher Education Institutions in the UK by the Means of Data Envelopment Analysis. Education Economics, 5, 2, pp. 117-134.

Badunenko O., Mozharovskyi P. (2016) Nonparametric Frontier Analysis Using Stata. The Stata Journal, 16, 3, pp. 550-589.

Bolli T., Olivares M., Bonaccorsi A., Daraio C., Aracil A.G., Lepori B. (2016) The Differential Effects of Competitive Funding on the Production Frontier and the Efficiency of Universities. Economics of Education Review, 52, pp. 91-104.

Bonaccorsi A., Daraio C., Lepori B., Slipersaeter S. (2007) Indicators on Individual Higher Education Institutions: Addressing Data Problems and Comparability Issues. Research Evaluation, 16, 2, pp. 66-78.

Bonaccorsi A., Colombo M.G., Guerini M., Rossi-Lamastra C. (2014) The Impact of Local and External University Knowledge on the Creation of Knowledge-intensive Firms: Evidence from the Italian Case. Small Business Economics, 43, 2, pp. 261-287.

Casu B., Molyneux P. (2003) A Comparative Study of Efficiency in European Banking. Applied Economics, 35, 17, pp. 1865-1876.

Charnes A., Cooper W.W., Rhodes E. (1978) Measuring the Efficiency of Decision Making Units. European Journal of Operational Research, 2, 6, pp. 429-444.

Coelli T.J., Rao D.S.P., O'Donnell C.J., Battese G.E. (2005) An Introduction to Efficiency and Productivity Analysis. Springer Science & Business Media.

Cooper W.W., Seiford L.M., Zhu J. (2004) Data Envelopment Analysis. Handbook on Data Envelopment Analysis. Boston, MA: Springer, pp. 1-39.

De Witte K., Hudrlikova L. (2013) What about Excellence in Teaching? A Benevolent Ranking of Universities. Scientometrics, 96, 1, pp. 337-364.

Deprins D., Simar L. (1989) Estimating Technical Inefficiencies with Correction for Environmental Conditions: With an Application to Railway Companies. Annals of Public and Cooperative Economics, 60, 1, pp. 81-102.

Fare R., Grosskopf S. (1985) A Nonparametric Cost Approach to Scale Efficiency. The Scandinavian Journal of Economics, pp. 594-604.

Farrell M.J. (1957) The Measurement of Productive Efficiency. Journal of the Royal Statistical Society Series a-General, 120, 3, pp. 253-290.

Ferlie E., Fitzgerald L., Pettigrew A. (1996) The New Public Management in Action. Oxford: Oxford University Press.

Flegg A.T., Allen D.O., Field K., Thurlow T.W. (2004) Measuring the Efficiency of British Universities: A Multi- period Data Envelopment Analysis. Education Economics, 12, 3, pp. 231-249.

Fried H.O., Schmidt S.S., Yaisawarng S. (1999) Incorporating the Operating Environment into a Nonparametric Measure of Technical Efficiency. Journal of Productivity Analysis, 12, 3, pp. 249-267.

Gromov A. (2017) The Efficiency of Russian Higher Education Institutions and its Determinants.

Grosskopf S. (1996) Statistical Inference and Nonparametric Efficiency: A Selective Survey. Journal of Productivity Analysis, 7, 2-3, pp. 161-176.

Hazelkorn E. (2007) The Impact of League Tables and Ranking Systems on Higher Education Decision Making. Higher Education Management and Policy, 19, 2, pp. 1-24.

Johnes G., Johnes J. (1993) Measuring the Research Performance of UK Economics Departments: An Application of Data Envelopment Analysis. Oxford Economic Papers, pp. 332-347.

Johnes J., Johnes G. (1995) Research Funding and Performance in UK University Departments of Economics: A Frontier Analysis. Economics of Education Review, 14, 3, pp. 301-314.

Johnes J. (2006) Data Envelopment Analysis and its Application to the Measurement of Efficiency in Higher Education. Economics of Education Review, 25, 3, pp. 273-288.

Jongbloed B., Kaiser F., van Vught F., Westerheijden D.F. (2018) Performance Agreements in Higher Education: A New Approach to Higher Education Funding. European Higher Education Area: The Impact of Past and Future Policies. Cham: Springer, pp. 671-687.

Kneip A., Park B.U., Simar L. (1998) A Note on the Convergence of Nonparametric DEA Estimators for Production Efficiency Scores. Econometric Theory, 14, 6, pp. 783-793.

Liu J.S., Lu L.Y., Lu W.M., Lin B.J. (2013) A Survey of DEA Applications. Omega, 41, 5, pp. 893-902.

Lovell C.A.K. (1993) Production Frontiers and Productive Efficiency. The Measurement of Productive Efficiency: Techniques and Applications (eds. H.O. Fried, S.S. Schmidt, C.A.K. Lovell). Oxford University Press.

Parteka A., Wolszczak-Derlacz J. (2013) Dynamics of Productivity in Higher Education: Cross-European Evidence Based on Bootstrapped Malmquist Indices. Journal of Productivity Analysis, 40, 1, pp. 67-82.

Robst J. (2001) Cost Efficiency in Public Higher Education Institutions. The Journal of Higher Education, 72, 6, pp. 730-750.

Salmi J. (2016) Excellence Strategies and the Creation of World-class Universities. Matching Visibility and Performance. Rotterdam: SensePublishers, pp. 15-48.

Sav G.T. (2013) Effects of Financial Source Dependency on Public University Operating Efficiencies: Data Envelopment Single-stage and Tobit Two-stage Evaluations. Review of Economics & Finance, 3, 1, pp. 63-73.

Sav G.T. (2012) Stochastic Cost Frontier and Inefficiency Estimates of Public and Private Universities: Does Government Matter? International Advances in Economic Research, 18, 2, pp. 187-198.

Seiford L.M. (1996) Data Envelopment Analysis: The Evolution of the State of the Art (1978-1995). Journal of Productivity Analysis, 7, 2-3, pp. 99-137.

Seiford L.M., Thrall R.M. (1990) Recent Developments in DEA: The Mathematical Programming Approach to Frontier Analysis. Journal of Econometrics, 46, 1-2, pp. 7-38.

Simar L., Lovell C.A.K., van den Eeckaut P. (1994) Stochastic Frontiers Incorporating Exogenous Influences on Efficiency. Discussion Papers, vol. 9403.

Simar L., Wilson P.W. (2007) Estimation and Inference in Two-stage, Semi-parametric Models of Production Processes. Journal of Econometrics, 136, 1, pp. 31-64.

Singh S. (2013) Global Trends in Higher Education Financing - 2013.

Wolszczak-Derlacz J. (2017) An Evaluation and Explanation of (in) Efficiency in Higher Education Institutions in Europe and the US with the Application of Two-stage Semi-parametric DEA. Research Policy, 46, 9, pp. 1595-1605.

Wolszczak-Derlacz J., Parteka A. (2011) Efficiency of European Public Higher Education Institutions: A Two-stage Multicountry Approach. Scientometrics, 89, 3, p. 887.

Xue M., Harker P.T. (1999) Overcoming the Inherent Dependency of DEA Efficiency Scores: A Bootstrap Approach. Unpublished Working Paper. Wharton Financial Institutions Center, University of Pennsylvania.