CC BY-NC-ND
70
Фиктивная эффективность:
что на самом деле оценивал Мониторинг эффективности образовательных организаций
К. С. Губа, М. М. Соколов, А. О. Цивинская Статья поступила
в редакцию в августе 2019 г.
Губа Катерина Сергеевна
кандидат социологических наук, директор Центра институционального анализа науки и образования Европейского университета в Санкт-Петербурге. E-mail: [email protected] Соколов Михаил Михайлович кандидат социологических наук, профессор Европейского университета в Санкт-Петербурге. E-mail: msoko-lov@eu . spb . ru
Цивинская Анжелика Олеговна
младший научный сотрудник Центра институционального анализа науки и образования Европейского университета в Санкт-Петербурге. E-mail: [email protected]
Адрес: 191187, Санкт-Петербург, ул. Га-гаринская, 6/1а.
Аннотация. Мониторинг эффективности образовательных организаций, проводимый в РФ с 2012 г., послужил одним из основных инструментов «оптимизации вузовской сети», которая привела к сокращению числа образовательных организаций в России более чем в 1,5 раза. Авторы анализируют показатели, учитываемые мониторингом, с тем чтобы оценить, к каким эффектам привело их использование в этом качестве. По их мнению, в основание мониторинга положено смешение двух разных пониманий эффек-
тивности — как способности организации достигать социально значимых целей (результативность) и как способности достигать эффекта с минимальными затратами (оптимальность). Результаты мониторинга используются в соответствии с пониманием эффективности как оптимальности (смена руководства, слияние), хотя статистический анализ показателей показывает, что шансы того или иного университета занять предпочтительную позицию в значительной степени определяются его структурными характеристиками — особенностями региона и группы вузов. Такой способ оценивания фактически привел к дискриминации вузов, которым не повезло обладать желательными «врожденными» свойствами. Эти выводы основаны на результатах применения логистической регрессии, оценивающей шансы вуза оказаться эффективным в 2014 г. по различным показателям, и модели пропорционального риска Кокса, анализирующей вероятность выживания вуза в 2013-2017 гг. Ключевые слова: оценки эффективности в образовании, высшее образование в России, эффективность организации, Мониторинг эффективности образовательных организаций.
РО!: 10.17323/1814-9545-2020-1-97-125
Между 2012 и 2017 гг. организационная популяция российских вузов сократилась более чем в 1,5 раза (с 2130 до 1314 органи-
Статья подготовлена в рамках НИР № АААА-А18-118060590091-8. Руководитель проекта — М. М. Соколов.
заций). Число филиалов упало в 2 раза — с 1229 до 5831. Исчезновение вузов обычно принимало форму отзыва лицензии после внеочередной проверки Рособрнадзором (для частных) и реорганизации в форме присоединения к другим вузам (для государственных). То, что, используя терминологию популяци-онной экологии организаций [Hannan, Freeman, 1977], можно назвать «массовым вымиранием вузов» [Marion, Bacon, 1999], стало результатом сознательной политики, направленной на сокращение количества университетов, предлагающих эрзац-образование. Основным инструментом в идентификации таковых должен был стать Мониторинг эффективности организаций, ведущих образовательную деятельность. Предназначение мониторинга — быть ориентиром при «оптимизации вузовской сети» — было эксплицитно сформулировано в постановлении Правительства РФ, конкретизирующем Майские указы 2012 г. 2 В этой статье мы попробуем оценить то, как мониторинг справлялся с возложенной на него задачей.
Наш основной тезис состоит в том, что при разработке мониторинга произошла концептуальная ошибка: смешение двух пониманий эффективности — эффективности как результативности и эффективности как оптимальности. В результате, хотя Мониторинг представляет собой спорный, но все-таки осмысленный инструмент оценки эффективности в одном понимании слова (как результативности), практически он использовался так, как если бы характеризовал эффективность в другом понимании слова (как оптимальность управления), а в этом качестве он был уже совершенно неадекватен, поскольку вместо оптимальности управления вузом он измерял наличие у него врожденных конкурентных преимуществ. Мы показываем далее, что основанная на мониторинге отбраковка «неэффективных» практически оказалась политикой наказания неудачников, которым не повезло обладать нужными «врожденными» свойствами.
Два понимания Слово «эффективность» используется для перевода на русский
эффективности двух английских терминов, которые, несмотря на происхождение от общего латинского корня, имеют разное значение — efficiency и effectiveness [Cameron, 1983; Witte, Lopez-Torres, 2017]. Их можно перевести сложносоставленными терминами «эффективность как оптимальность» и «эффективность как результативность». «Эффективность как оптимальность» (efficiency) — это отношение затраченных ресурсов (input) к полученным резуль-
1 Согласно данным сайта Главного информационно-вычислительного центра Минобрнауки. http://indicators.miccedu.ru/indicators/
2 Указ № 599 «О мерах по реализации государственной политики в области образования и науки». http://kremlin.ru/acts/bank/35263
татам (output). В этом смысле более эффективна та организация, которая производит больше при равных затратах (doing things right). Напротив, эффективность как результативность (effectiveness) есть достижение неких важных целей (doing the right things). Многие успешные организации являются эффективными одновременно в обоих смыслах, однако далеко не все [Ostroff, Schmitt, 1993]. Каждому пониманию эффективности соответствует своя научная литература. Эффективность как оптимальность для вузов исследовалась в экономике образования, в которой акцент делался на методах и статистическом анализе, необходимом для ее оценкиз. Эффективность как результативность была предметом изучения в организационной теории [Cameron, 1986]. Лишь в немногих исследованиях фигурирует эффективность в обоих смыслах [Powell, Gilleland, Pearson, 2012; Ostroff, Schmitt, 1993].
Выбор между двумя пониманиями эффективности неизбежно делается уже на стадии дизайна инструмента ее оценивания. В зависимости от того, должен ли данный инструмент измерять оптимальность или результативность, в него включаются те или иные показатели: входные условия (input) и/или результаты (output). Input-показатели есть качество ресурсов, которые получает вуз — например, средний балл абитуриентов, плата за обучение или публикации ученых, устраивающихся на работу. Output-показатели характеризуют результаты его работы, например трудоустройство выпускников или количество публикаций сотрудников, подготовленных во время работы в университете. Грань между этими группами показателей не всегда однозначна. Трудность начинается с определения того, что входит во входные условия, а что стоит считать результатами. Ясности нет даже с самыми распространенными метриками: качество студентов иногда рассматривают как input, но, с другой стороны, способность привлекать талантливых абитуриентов сама по себе может считаться результатом работы по их рекру-тингу, и в этом смысле представляет собой output [Edvardsen, F0rsund, Kittelsen, 2017].
Тем не менее разделение input и output и одновременное включение в анализ показателей и того и другого принципиально для оценки эффективности как оптимальности, поскольку
3 В исследованиях эффективности-как-оптимальности применительно к университетам чаще всего используют оболочечный анализ (DEA) в качестве основного подхода. Обзор моделей (input- и output-переменные), применяемых в разных странах, и две возможные модели для российского случая см. в [Абанкина и др., 2013]. В других работах данного направления рассматривается влияние Проекта «5-100» на эффективность университетов [Agasisti et al., 2018b], а также воздействие самих университетов на состояние региональной экономики [Agasisti et al., 2018a].
сам по себе output не позволяет судить о том, хорошую ли работу проделал собственно университет. Допустим, мы измерили средние зарплаты выпускников. Можно ли использовать их для оценки эффективности работы вуза? Ответ отрицательный: возможно, университет просто набрал талантливых студентов, которые позаботились о своем образовании, будучи предоставленными сами себе4. Там, где прямая оценка inputs затруднена, возможна их косвенная оценка через сравнение с университетами, занимающими ту же нишу.
Для эффективности как результативности более важны показатели outputs, поскольку именно они дают основания судить о том, реализует ли организация свою миссию. Показатели inputs могут быть включены, но только как способ косвенно оценить показатели outputs: скажем, не имея возможности определить качество исследований, проводимых в университете, оценщик учитывает объем НИОКР, рассуждая, что хорошие исследования стоят дорого, и поэтому дорогие исследования с большей вероятностью хорошие.
Выбранное понимание эффективности диктует и использование результатов оценки. Низкая оптимальность предполагает репрессивные меры против администраторов, плохо использующих наличные ресурсы. Низкая результативность не позволяет «назначить» виноватого, а только дает возможность определить «центры совершенства», в которые разумно инвестировать дополнительные средства. Примером инструмента, направленного именно на изучение результативности вуза, является Шанхайский рейтинг, который учитывает число цитирований и публикаций, но не контролирует число преподавателей, т. е. не придает значения средней производительности [Кинчарова, 2014]. Рейтинг, построенный таким образом, выявляет самые важные центры, но не позволяет судить о том, являются ли их успехи следствием высокой эффективности в распоряжении доступными ресурсами.
Создание Мониторинга эффективности организаций, ведущих образовательную деятельность, окутано некоторой тайной. Насколько известно авторам данной статьи, имена его архитекторов никогда не оглашались публично. Соответственно, сведений об их собственном понимании эффективности нет. Но даже не зная, как сами создатели мониторинга обосновали бы сделанные ими выборы, мы можем, тем не менее, исследовать его внутреннюю логику, анализируя, с одной стороны,
4 Обзор, в котором обобщаются исследования, показывающие, что окончание ведущих американских университетов фактически ничего не добавляет к зарплатам их выпускников, поскольку Гарвард набирает лучших из лучших, которые и так пробьются в жизни, см. в [Gerber, Cheung, 2008].
Таблица 1. Количество образовательных организаций высшего образования — участников мониторинга
Год мониторинга 2013 2014 2015 2016 2017
Вузы 901 959 901 830 769
Филиалы 1229 1234 1232 932 692
его конструкцию, с другой — способы его применения. И эти два пути приводят нас к противоположным выводам. То, как фактически использовались результаты мониторинга, показывает, что он воспринимался как мера эффективности какоптимально-сти. Действительно, самой распространенной реакцией на неэффективность государственного вуза было его присоединение к предположительно лучше управляемому — мера, которая осмысленна, только если мы интерпретируем низкие показатели как отражение проблем менеджмента5. В следующем разделе мы покажем, однако, что по своей конструкции мониторинг преимущественно состоит из /лр^-характеристик.
Количество организаций — участников Мониторинга эффектив- Как устроен ности организаций, ведущих образовательную деятельность, мониторинг представлено в табл. 1е. Число вузов, участвующих в мониторинге, меняется из года в год, в основном за счет организационной смертности. Так, по данным 2014 г. 18 вузов проходили слияние7, в 2015 г. число таких вузов возросло до 40, затем снизилось до 28 в 2016 г. и до 10 — в 2017 г. При этом не все неэффективные вузы были ликвидированы или реорганизованы. Некоторые вузы после признания неэффективными исчезали из мониторинга на год, а затем появлялись в нем вновь.
5 Исследование показало [Губа, Завадская, 2017], что исчезновение было далеко не автоматическим следствием «неэффективности»; тем не менее, как мы увидим, признание организации неэффективной сказывалось на ее шансах на выживание.
6 Важный для нашего исследования вопрос состоит в том, насколько полно мониторинг покрывает множество организаций высшего образования. Мы сравнили данные сборника «Регионы России» с данными мониторинга за разные годы и обнаружили наиболее заметное расхождение в 2013 г., однако далее покрытие вузов улучшается (расхождения в численности варьируют от 1 до 20%). Покрытие для филиалов хуже, чем для головных организаций.
7 Указано количество вузов, выбранных в качестве «реципиентов», к которым присоединяли другие вузы.
Мониторинг собирает информацию по нескольким десяткам показателей, которые объединены в восемь групп: 1) образовательная деятельность; 2) научно-исследовательская деятельность; 3) международная деятельность; 4) финансово-экономическая деятельность; 5) инфраструктура; 6) трудоустройство; 7) кадровый состав; 8) дополнительные характеристики. Каждая из групп представлена одним основным показателем (изменения числа переменных в каждой группе для мониторингов разных лет отражены в табл. 2). Основные показатели не представляют собой индексы, вычисляемые на основании нескольких переменных, относящихся к соответствующей группе. Вместо этого они основаны на одной-единственной переменной из группы. Так, основной показатель образовательной деятельности представляет собой средний балл ЕГЭ8. Показатель научно-исследовательской деятельности, несколько неожиданно, не учитывает публикационную активность и основан только на НИОКР в расчете на одного научно-педагогического работника (для творческих вузов — НИОКР и средств на творческие проекты). Финансово-экономическая деятельность — это доходы из всех источников в расчете на одного научно-педагогического работника. Успешность международной деятельности определяется долей иностранных студентов. За показателем «инфраструктура» скрывается общая площадь помещений в расчете на одного студента. Показатель трудоустройства — это доля не обратившихся за трудоустройством студентов и трудоустроенных из числа обратившихся за содействием. Дополнительный показатель рассчитывается в зависимости от направленности вуза. Для вузов без специфики (все вузы, кроме творческих, спортивных и военных) он определяется как численность профессорско-преподавательского состава с ученой степенью в расчете на 100 студентов.
Большинство основных показателей не характеризуют того, что можно однозначно считать самостоятельными достижениями: output- и outcome-переменными, оценивающими, что университет смог привнести в благополучие региона и страны. Исключение — число иностранных студентов, привлечение которых можно считать благом как форму экспорта образовательных услуг, и трудоустройство выпускников (по поводу валидности оценки которого есть большие сомнения). Скорее мониторинг строится на использовании input-переменных, что, однако, всегда сопряжено с риском, во-первых, переоценить организации, аккумулирующие значительные ресурсы, но неспособные ими эффективно распорядиться; во-вторых, переоценить ресур-
8 Для вузов творческой направленности учитываются результаты творческого конкурса, а для военных и спортивных вузов — результаты испытаний профессиональной направленности.
Таблица 2. Количество показателей деятельности вузов по основным группам
Группа показателей 2013 2014 2015-2017
Образовательная деятельность 8 11 15
Научная деятельность 8 16 16
Международная деятельность 6 12 13
Финансово-экономическая деятельность 4 3 4
Инфраструктура 4 8 8
Трудоустройство 3 3 1
Кадровый состав - 5 5
Дополнительные характеристики 16 16 59
сы, в действительности малозначимые для успеха организации (действительно ли площадь лабораторий является ключевым условием того, что вуз справится со своей задачей?); в-третьих (если эффективность понимается как оптимальность), не отличить то, что было собственной заслугой университета, от того, что было результатом обладания удачным набором внешних характеристик. Действительно, к началу кампании по закрытию неэффективных организаций российские вузы подошли, проделав длительную эволюцию и занимая определенную нишу, которая не была выбором текущего руководства. Более того, ниша во многом определялась «врожденными» чертами вузов, аналогом аскриптивных характеристик для индивидов, которые влияли на их положение в вузовской стратификации [Соколов, 2017].
За последнее десятилетие появилась значительная литература, посвященная факторам, определяющим траектории развития университета [Ramsden, 1999; Warning, 2004; Shin, 2009; Zhang, Patton, Kenney, 2013; Cataneo, Meoli, Signori, 2016; Boliver, 2015; Gómez et al., 2009]. В большинстве этих работ рассматривается влияние различных характеристик на научную деятельность университетов, тогда как образовательной деятельности уделяется меньше внимания. Соответственно в качестве зависимых переменных исследователи в основном используют библио-метрические показатели. В табл. 3 представлен ряд исследований по странам и факторы, которые рассматриваются в них как оказывающие влияние на эффективность вузов. Как видно из табл. 3, исследователи используют различные подходы к выделению групп университетов. При этом географические
Влияние аскриптивных
характеристик вуза на траекторию его развития
Таблица 3. Детерминанты деятельности университетов
Статья Страна Детерминанты Государственные программы
Cataneo, Meoli, Signori, 2016 Италия • Север — Центр — Юг • Частный/государственный • Размер (численность студентов) • Наличие медицинского или инженерного факультета • Легитимность (на основе анализа медиаисточников) VQR, VTR
Gomez et al., 2009 Испания • Экономическая развитость региона (GDP региона по сравнению со средним по EU-25) • Частный/государственный • Размер (численность студентов, численность преподавателей) • Специализация (исходя из распределения преподавателей со степенью по девяти областям знания) CEI programme
Warning, 2004 Германия • Численность населения в городе • Бывшая Восточная/Западная Германия • Размер (численность студентов) • Возраст • Университет с медицинской школой DFG excellence initiative
Boliver, 2015 Великобритания • Классические/политехнические университеты • Возраст RAE, REF
Ramsden, 1999 Австралия Сочетание профиля и возраста: • sandstone universities (традиционное академическое образование, образованы ранее 1987 г.) • universities of technology (прикладные исследования и фокус на трудоустройстве) — wannabee standstones (другая категория университетов, образованных ранее 1987 г.) • new universities (образованы после 1987 г.) ERA
Shin, 2009 Южная Корея Адаптация классификации Карнеги с учетом размера и специализации университета Brain 21 Project
Zhang, Patton, Kenney, 2013 Китай • Размер (численность сотрудников в университете) • Доход провинции 985 Project, 211 Project
и экономические детерминанты, а также эффекты различных государственных программ учитываются в той или иной форме в большинстве работ9.
9 Университеты в этих странах, так же как и российские вузы, испытывают воздействие различных государственных программ, призванных помочь им достичь совершенства (об этом последняя колонка таблицы). При анализе деятельности университетов исследователи (так же как и авторы этой статьи), используют данные, полученные по результатам этих программ.
Для примера рассмотрим более подробно результаты исследования итальянских университетов. Как структурные детерминанты влияют (и влияют ли вообще) на их статистические показатели? Для Италии значимость исторически сложившегося экономического разделения страны на Север и Юг была проверена в статье [Mateos-González, Boliver, 2019]. Авторы предлагают исследовать структурные факторы успеха организации так же, как социологи исследуют влияние экономического, социального и культурного капитала на достижения отдельных индивидов. Итальянская система высшего образования оказалась важным кейсом для исследования структурных детерминант — авторам удалось показать значение регионального фактора, отражающего разницу в социально-экономическом положении университетов Севера и Юга, для результативности исследовательской и образовательной деятельности университетов. Так, оказалось, что студенты северных университетов берут больше курсов и быстрее проходят программу обучения, а сами университеты обучают больше аспирантов; публикации их профессоров чаще появляются в международных изданиях, получая при этом больше ссылок.
М. Катанео и его коллеги [Cataneo, Meoli, Signori, 2016] рассматривают влияние характеристик университета на количество опубликованных его сотрудниками статей. Показано, что с внедрением системы финансирования на основе результативности сильнее увеличилось число публикаций ученых в более известных университетах—вероятно, потому, что для них наращивание публикационной массы не требовало больших усилий. Известность измерялась количеством статей в медиаисточниках, упоминающих университет. Как и в предыдущем исследовании, университеты на севере страны оказались более продуктивны. Кроме того, большие университеты производят больше публикаций, тогда как частные университеты менее ориентированы на исследования.
Исследовательский коллектив из НИУ ВШЭ высказывает несколько предположений о том, как принадлежность к отдельным «семействам» советских вузов (педагогическим, (политехническим — см. далее) определила выбор ими той или иной стратегии развития [Кузьминов, Семенов, Фрумин, 2013]. В другой работе способность вузов некоторого региона привлекать выпускников связывается с миграционной привлекательностью региона, однако анализ не доходит до уровня конкретного вуза [Абан-кина, Абанкина, Филатова, 2016]. Один из авторов этой статьи [Соколов, 2017] предпринимал попытку использовать логистическую регрессию для того, чтобы определить значимость фактора «семейства» для возникновения одного из типов вузовской экономики.
Без учета подобных контекстуальных факторов нельзя объяснить, почему вуз занял определенную нишу в экологии выс-
шего образования и, в частности, насколько конкретный вуз использовал все наличные возможности для роста. Соответственно, нельзя и сказать, насколько эффективным (в смысле оптимальности) было управление им. Так, чтобы оценить, насколько университет преуспел в превращении в ведущий исследовательский вуз, надо наравне с решениями менеджмента учитывать и ряд его «врожденных» характеристик объективного свойства, которые ставят университет в более или менее благоприятное положение по сравнению с конкурентами. Такими свойствами являются расположение в крупном городе с сильной академической средой, богатство региона, возраст вуза, профиль, обеспечивающий приток платежеспособных абитуриентов и/или связь с растущими секторами производства, исторически сложившаяся монополия на локальном рынке. Если не учитывать роль этих факторов в успехе университета, то распределение ресурсов на основании достигнутых результатов приведет к дальнейшей поляризации системы высшего образования [Абанкина, Абанкина, Филатова, 2016; Таловская, Лисют-кин, 2018] и к деградации тех, у кого изначально отсутствовали необходимые для высоких достижений «врожденные» характеристики.
Нельзя сказать, что министерство вовсе не понимало проблематичности применения показателей мониторинга как метрики эффективности какоптимальности. Учитывая влияние размера университета на простые численные характеристики продуктивности, установленное на примере американских университетов [Dundar, Lewis, 1998], для большинства показателей применялось нормирование путем деления на число научных сотрудников10. Филиалы вузов имеют специфический показатель «приведенный контингент студентов» вместо показателя трудоустройства. Кроме того, пороговые значения, которые министерство использует для определения эффективности по основным показателям, изменяются в зависимости от географического положения вузов (например, пороговые значения по образовательной деятельности различаются для Санкт-Петербурга и Москвы, пороговое значение по показателю трудоустройства учитывает федеральный округ). Однако способ
10 В этом смысле разработчики мониторинга не проявили особой изобретательности в дизайне основных показателей и следовали устоявшейся практике, хотя возможен и другой подход. Например, [Calabrese et al., 2018] предлагают использовать power law, а не линейную зависимость от размера. Они показывают на примере итальянских университетов, что данный подход при дизайне показателей результативности уменьшает эффект смещения показателей в связи с размером организации.
получения данных пороговых значений не является прозрачным, и соображения, стоявшие за их введением, остаются непонятными. Мы увидим далее, что их эффект является довольно спорным.
Далее в этой статье мы пробуем оценить, насколько показатели конкретного вуза в Мониторинге эффективности организаций, ведущих образовательную деятельность, были отражением эффективности управления им, а насколько — следствием влияния структурных факторов, делавших определенные ключевые ресурсы более или менее доступными. Мы сможем проанализировать, в какой мере оценка мониторингом эффективности управления вузами была искажена его неспособностью учесть влияние аскриптивных факторов. Соответственно, станет ясно, в какой мере основанная на мониторинге система «чисток» помогала избавиться именно от худших университетов.
Исследование строится на анализе основных показателей уни- Переменные верситетов, участвовавших в мониторинге11 2014 г. В этот год в мониторинге приняли участие наибольшее число вузов, при этом слияния и поглощения еще не привели к сокращению некоторых субпопуляций. Именно поэтому данные по 2014 г. наилучшим образом позволяют описать организационную популяцию постсоветских университетов во всем разнообразии^. Изначально выборка состояла из 1801 вуза^—822 головных институций и 979 филиалов. Однако при первичном анализе мы увидели статистически значимые различия между филиалами и головными университетами: по каждому из показателей меньше половины популяции филиалов признавались эффективными, что после расчета показателя эффективности в целом привело к тому, что только четверть филиалов была признана эффективными (табл. 4). При этом влияние некоторых независимых переменных не могло быть оценено для филиалов
11 Данные были извлечены с сайта Главного информационно-вычислительного центра Минобрнауки, где представлена развернутая информация по каждому вузу и филиалу. Вуз вводит запрашиваемую информацию в специальную форму под названием «Мониторинг по основным направлениям деятельности образовательной организации высшего образования (Форма № 1-Мониторинг)».
12 Расхождение количества головных вузов, указанных как принявшие участие в мониторинге 2014 г., с данными статистического справочника «Регионы России» составляет 1,1%.
13 Мы исключили вузы, находящиеся в состоянии реорганизации (по ним информация о показателях отсутствует), и вузы, к которым присоединяли другие, так как присоединение могло повлиять на их показатели, поэтому итоговая выборка меньше, чем число вузов, участвовавших в мониторинге 2014 г.
Таблица 4. Доли вузов, эффективных по основным показателям, среди филиалов и среди головных институций, % общего числа в каждой группе
Эффективный Головной Филиал
Образовательная деятельность 57,18 27,07
Научно-исследовательская деятельность 72,26 33,09
Международная деятельность 66,18 28,40
Финансово-экономическая деятельность 56,20 47,19
Инфраструктура 51,34 49,44
Трудоустройство 52,31 -
Приведенный контингент студентов - 45,86
Дополнительный показатель 65,94 38,61
В целом 71,53 25,23
(в частности, некоторые «семейства» не имели филиалов вовсе). Очевидно, анализ филиалов и головных вузов целесообразно производить по отдельности. Мы остановимся в данной статье на более подробном анализе головных университетов.
В качестве зависимых переменных в анализ включались переменные мониторинга, которые использовались при вынесении вердикта об эффективности вуза (см. их описание выше). Мы также использовали общую оценку эффективности, основанную на агрегации этих показателей (чтобы быть признанным эффективным, вуз должен был набрать оценку выше пороговой по четырем любым показателям). Основными независимыми переменными были аскриптивные характеристики организации — свойства, от которых она не может избавиться и которые определяют доступные ей ресурсы. Две группы этих свойств широко обсуждаются в литературе по высшему образованию: территориальная локализация и принадлежность к одному из «семейств».
Территориальная локализация, безусловно, аскриптивная переменная, поскольку Адыгейский государственный университет будет испытывать сложности с перемещением из Адыгеи. В понятие «территориальная локализация как аскриптивная переменная» входят и характеристики соответствующего региона. В качестве типологии регионов, характеризующей их относительное богатство, структуру экономики, миграционную привлекательность, мы использовали типологию социально-эконо-
мического развития субъектов Российской Федерации [Совет Федерации Федерального собрания РФ, 2007]. Эта типология делит регионы на семь категорий:
A. Регионы—локомотивы роста
1) мировые города
2) центры федерального значения
Б. Опорные регионы
3) сырьевые
4) старопромышленные
B. Депрессивные регионы
5) фоновые
6) кризисные
7) Особые регионы (спецтерритории — Чечня и Ингушетия).
Принадлежность к одному из «семейств» — педагогических вузов, университетов культуры и искусств [Соколов, 2017]). Концепция «семейства» требует некоторого пояснения. В советской картине мира вузы готовили кадры для определенных секторов государства и экономики. Они обычно прямо подчинялись соответствующему ведомству и носили соответствующее обозначение в своих названиях. Принадлежность к «семейству» в 1991 г. определяла дальнейшую судьбу вуза как минимум в двух смыслах. Во-первых, связка с нишей в экономике влияла на престиж и желание абитуриентов поступать в данный вуз. Во-вторых, она влияла на готовность государства выделять бюджетные места.
В строгом смысле слова «семейство» в этом понимании при-ложимо только к примерно 500 государственным вузам, которые существовали в советские времена. Новые вузы, в первую очередь негосударственные и муниципальные, не обязаны были называться по тому же шаблону и обычно пренебрегали им. Кроме того, некоторые старые «семейства» состояли из одного вуза, который должен был поставлять кадры для небольшого в численном отношении ведомства. К примеру, РГГУ в бытность свою Архивным институтом должен был готовить архивистов, МГИМО — дипломатов. Такие университеты нельзя было использовать в качестве категориальной переменной в статистическом анализе.
В итоге мы построили типологию, опираясь на характеристики, принципиально влияющие на восприятие вуза абитуриентом и министерством. Это, во-первых, учредитель: был вуз государственным, частным или муниципальным. Во-вторых, среди государственных вузов выделены категории в соответствии
с крупнейшими учредителями, возглавлявшими вузы определенного профиля с советских времен, — это Минкульт, Мин-сельхоз и Минздрав. В-третьих, среди вузов, подведомственных Минобру, мы обособили две большие категории, имеющие стандартные и широко распространенные названия — педагогические и «классические», (называвшиеся по формуле «Н-ский государственный университет»). Все остальные государственные вузы мы разделили на три широкие категории: социально-гуманитарные (если в названии имелось указание на соответствующий профиль), технические и силовые/спортивные. В результате мы получили следующую классификацию:
1) аграрные;
2) культуры и искусств;
3) медицинские;
4) педагогические;
5) классические;
6) силовые и спортивные;
7) технические;
8) социально-гуманитарные;
9) муниципальные;
10) частные.
Результаты Сначала покажем, как влияет расположение университета в столице региона на основные показатели эффективности (табл. 5).
По всем показателям, кроме финансово-экономической деятельности, вузы, расположенные в столице региона, отличаются от размещенных в обычном городе, но статистически значимыми являются различия только по образовательной деятельности и инфраструктуре. Вузы, находящиеся не в региональных центрах, менее успешны по показателю образовательной деятельности (вероятно, вследствие большего престижа образования в центральном городе по сравнению с образованием на периферии), но при этом чаще признаются эффективными по показателю инфраструктуры (вероятно, вследствие большего дефицита площадей в столичных городах).
Данные, приведенные в табл. 6, позволяют проследить зависимости между типом региона и долей вузов, эффективных по тем или иным ключевым показателям. На первый взгляд неожиданно самые низкие средние показатели демонстрируют «мировые города» Москва и Санкт-Петербург. Мы полагаем, что пороги для этих городов были завышены. Другие регионы-локомотивы продемонстрировали высокие показатели, однако характеристики, связанные с образовательной деятельностью (средние баллы ЕГЭ), оказались ниже всего в богатых сырьевых регионах, возможно, за счет миграции в «мировые города».
Таблица 5. Доли вузов, эффективных по основным показателям, среди расположенных в столице региона и в обычном городе,
% общего числа в каждой группе
Эффективный Обычный город Столица региона
Образовательная деятельность 40,71 59,80
Научно-исследовательская деятельность 79,65 71,09
Международная деятельность 69,03 65,73
Финансово-экономическая деятельность 55,75 56,28
Инфраструктура 68,14 48,66
Трудоустройство 47,79 53,03
Дополнительный показатель 76,99 64,17
В целом 76,99 70,66
Таблица 6. Доли эффективных по основным показателям головных вузов в разных группах регионов, % общего числа в каждой группе
Показатели Мировые | города Федеральные | центры Сырьевые Старопромышленные Фоновые ! Кризисные Особые
Образовательная деятельность 51,19 70 50 55 59,26 59,02 60
Научно-исследовательская деятельность 52,78 86,15 78,13 78,89 80,86 78,69 60
Международная деятельность 53,97 69,23 43,75 79,44 72,84 68,85 20
Финансово-экономическая деятельность 52,78 60 84,38 60 52,47 47,54 40
Инфраструктура 52,78 46,15 59,38 46,11 55,56 59,02 20
Трудоустройство 56,47 61,60 50 57,31 52,26 43,10 80
Дополнительный показатель 50,79 73,85 78,13 71,11 69,75 78,69 80
В целом 54,37 84,62 75 77,78 79,63 75,41 40
Сырьевые регионы провалились по показателям интернационализации, но выиграли по финансово-экономической деятельности, которая в целом зависит от экономического состояния региона и, естественно, проседает в кризисных регионах^. По-
14 Развернутый анализ результативности научно-исследовательской и фи-
Таблица 7. Доли эффективных по основным показателям вузов в разных «семействах», % общего числа в каждой группе
Образовательная деятельность Научно-исследовательская деятельность Международная деятельность Финансово-экономическая деятельность Инфраструктура Трудоустройство Дополнительный показатель В целом
Аграрные 17,65 90,2 49,02 60,78 72,55 35,29 82,35 80,39
Культуры и искусств 98,11 69,81 81,13 39,62 69,81 71,7 54,72 88,68
Технические 60 90 77,14 70,71 53,57 52,86 84,29 85
Социально-гуманитарные 88,64 59,09 68,18 63,64 29,55 50 77,27 77,27
Медицинские 100 50,00 82,61 54,35 60,87 100 50 93,48
Педагогические 87,50 87,5 75,00 37,5 15,63 53,13 96,88 87,5
Классические 82,56 88,37 74,42 76,74 41,86 44,19 97,67 93,02
Силовые и спортивные 70 55 40 85 90 80 60 95
Муниципальные 65,31 63,27 30,61 65,31 65,31 57,14 67,35 71,43
Частные 31,56 63,12 62,79 43,52 46,84 52,57 45,18 47,18
хожая ситуация с трудоустройством; лишь в отношении инфраструктуры кризисные регионы находятся в лучшем положении, возможно, в связи с меньшим спросом на недвижимость в них.
Число эффективных в образовательной деятельности вузов различается в зависимости от «семейства» (табл. 7): больше всего эффективных среди вузов медицинских, культуры и искусств, социально-гуманитарных и педагогических. Ниже качество приема в аграрных вузах и частных вузах (в силу отсутствия бюджетного набора по ЕГЭ, из-за которого часть вузов получили 0 по этому параметру). По показателю «научно-исследовательская деятельность», который измеряется по НИОКР, соот-
нансово-экономической деятельности вузов должен был бы учитывать различия в уровне цен и покупательной способности рубля в разных регионах, которые достигают двукратного размера [Литвинцева, Воронкова, Стукаленко, 2007]. Мы благодарны рецензенту «Вопросов образования», который обратил внимание на это обстоятельство. На данный момент, однако, учет этих различий является одним из направлений для дальнейшей работы.
ношения складываются иначе. К примеру, если аграрные вузы редко показывают высокий балл ЕГЭ и соответственно редко признаются эффективными по образовательной деятельности, то по объемам НИОКР они гораздо чаще набирают достаточное количество баллов. Медицинские вузы и вузы культуры и искусств, высокоэффективные по образованию, менее эффективны в научной работе.
Нет ни одного «семейства» вузов, которое было бы полностью эффективным по показателю международной деятельности. В каждом «семействе» встречаются неэффективные вузы, однако их доля варьирует от 17% среди вузов культуры и искусств до 70% в категории муниципальных вузов. Силовым и спортивным вузам так же редко удается привлекать международных студентов и преподавателей, как и аграрным вузам — половина вузов в этой категории не набирает достаточное количество баллов по международной деятельности. Классические, педагогические и технические вузы показывают схожие результаты: около четверти вузов признаются неэффективными.
Наиболее финансово успешные вузы — это силовые и спортивные: не больше 15% вузов в этих категориях получают статус неэффективных по финансово-экономической деятельности. Вузы всех остальных категорий гораздо чаще не набирают достаточного количества баллов. Особенно неуспешны вузы культуры и искусств, частные и педагогические. По показателю инфраструктуры среди отстающих по площадям лабораторий в расчете на студента — социально-экономические и педагогические, которые в силу общественно-научного профиля, вообще говоря, мало в них нуждаются. Наиболее благополучны силовые и спортивные вузы, часто признаваемые неэффективными по остальным показателям (видимо, за счет площадей в виде спортивных залов и стадионов). По показателю трудоустройства только в одном «семействе» все вузы признаются эффективными — это медицинские вузы. В остальных категориях число неэффективных довольно значительно, от 20% среди силовых и спортивных до половины технических, социально-гуманитарных и частных вузов. Чаще всего не достигают порогового уровня аграрные вузы — 65% вузов этой категории признаются неэффективными. Если брать общие оценки, то наименее эффективными являются частные университеты: только 47% из них были признаны эффективными. Самая высокая доля эф-фективных—среди силовых и спортивных университетов: 95%.
Следующим шагом нашего исследования была оценка влияния различных структурных факторов на показатели эффективности университетов при контроле по остальным факторам. В качестве метода мы выбрали бинарную логистическую регрессию. Зависимая переменная — признание вуза эффектив-
Таблица 8. Предельные эффекты
Образовательная деятельность Научно-исследовательская деятельность Международная деятельность
Константа 0,251 (4,738) 0,170** (0,068) 0,055 (0,068)
Семейство
Аграрные -0,665* (0,383) 0,030 (0,097) -0,288*** (0,093)
Культуры и искусств 0,204 (4,856) -0,168 (0,112) 0,141* (0,072)
Технические -0,236 (3,135) 0,090 (0,066) 0,079 (0,067)
Социально-гуманитарные 0,068 (1,418) -0,244** (0,120) 0,016 (0,094)
Медицинские 0,389*** (0,025) -0,470*** (0,099) 0,101 (0,084)
Педагогические 0,044 (0,898) -0,010 (0,119) 0,000 (0,109)
Силовые и спортивные -0,176 (2,370) -0,433*** (0,132) -0,350*** (0,121)
Муниципальные -0,206 (2,652) -0,329*** (0,114) -0,425*** (0,084)
Частные -0,455 (5,164) -0,215*** (0,076) -0,061 (0,067)
Тип региона
Центры федерального значения 0,119 (2,522) 0,230*** (0,025) 0,169*** (0,040)
Сырьевые -0,099 (1,574) 0,148*** (0,043) -0,040 (0,095)
Старопромышленные -0,017 (0,310) 0,172*** (0,029) 0,243*** (0,035)
Фоновые 0,009 (0,182) 0,184*** (0,030) 0,196*** (0,039)
Кризисные 0,019 (0,370) 0,129*** (0,041) 0,148*** (0,052)
Особые -0,076 (1,270) -0,079 (0,209) -0,395* (0,234)
N 822 822 822
Доля корректно предсказанных 0,746 0,758 0,697
Псевдо-Д2 МакФаддена 0,263 0,151 0,109
ным, а независимые переменные—характеристики, являющиеся структурными детерминантами (табл. 8).
В целом результаты бинарной логистической регрессии согласуются с представленными выше данными описательной статистики. Вероятность признания вуза эффективным по основным показателям варьирует как по типу региона, так и по «семействам» университетов. Для отдельных «семейств» проседание по одному показателю отчасти компенсируется выигрышными позициями по другим, однако по сравнению с классическими университетами — самой благополучной категорией вузов — частные, муниципальные, а также аграрные и, похо-
Финансово-экономическая деятельность Инфраструктура Трудоустройство Дополнительный показатель В целом
0,349*** (0,076) -0,069 (0,070) -0,020 (0,360) 0,636*** (0,128) 0,349*** (0,079)
-0,209** (0,093) 0,291*** (0,067) -0,075 (1,179) -0,500*** (0,152) -0,295** (0,138)
-0,416*** (0,064) 0,277*** (0,069) 0,147 (3,260) -0,671*** (0,079) -0,076 (0,132)
-0,123 (0,082) 0,131* (0,068) 0,046 (0,880) -0,438*** (0,161) -0,150 (0,111)
-0,214** (0,100) -0,121 (0,100) 0,018 (0,337) -0,507*** (0,150) -0,245* (0,144)
-0,284*** (0,086) 0,194** (0,081) 0,475*** (0,019) -0,693*** (0,066) -0,005 (0,134)
-0,402*** (0,072) -0,288*** (0,099) 0,041 (0,801) -0,058 (0,273) -0,149 (0,164)
0,077 (0,157) 0,434*** (0,052) 0,180 (4,266) -0,652*** (0,080) 0,040 (0,173)
-0,211** (0,096) 0,239*** (0,075) 0,074 (1,498) -0,629*** (0,098) -0,404*** (0,128)
-0,395*** (0,064) 0,064 (0,065) 0,040 (0,736) -0,720*** (0,089) -0,517*** (0,083)
0,048 (0,055) -0,102* (0,057) 0,029 (0,543) 0,163*** (0,036) 0,199*** (0,028)
0,252*** (0,081) 0,004 (0,101) -0,064 (1,022) 0,142** (0,060) 0,072 (0,065)
0,020 (0,051) -0,076 (0,052) 0,005 (0,105) 0,111*** (0,038) 0,135*** (0,032)
-0,087 (0,056) 0,020 (0,056) -0,035 (0,603) 0,068 (0,044) 0,128*** (0,035)
-0,177** (0,077) 0,055 (0,077) -0,092 (1,408) 0,125** (0,053) 0,074 (0,051)
-0,266 (0,213) -0,258 (0,221) 0,165 (3,890) -0,004 (0,279) -0,389 (0,242)
822 822 774 882 882
0,641 0,623 0,624 0,719 0,766
0,079 0,068 0,082 0,180 0,201
Примечание: Базовые категории: семейство — классический, регион — мировые города.
*** р < 0,01; ** р < 0,05; * р < 0,1.
же, социально-гуманитарные заведомо находятся в менее выгодном положении. В разрезе региона удивительным образом дискриминированными оказываются столицы, положение вузов в которых хуже, чем в федеральных центрах, старопромышленных и фоновых регионах.
Таким образом, признание вуза эффективным или неэффектив- К чему привели ным в соответствии с критериями Мониторинга эффективности реформы организаций, ведущих образовательную деятельность, во многом является производным от его аскриптивных характеристик.
Таблица 9. Оценка риска университета быть закрытым согласно модели пропорционального риска Кокса
Примечание: Базовые категории: семейство — классический, регион — мировые города.
*** р < 0,01; ** р < 0,05; * р < 0,1.
Переменные Модель 1 Отношение рисков/ Hazard ratio Модель 2 Отношение рисков/ Hazard ratio
Эффективный 0,1434 (0,09459; 0,2174)***
Конкурентность 1,006 (0,9994; 1,012) 1,005 (0,9994; 1,011)
Семейство
Аграрные 0,0 (0,0; 0,0)*** 0,0 (0,0; 0,0)***
Культуры и искусств 0,0 (0,0; 0,0)*** 0,0 (0,0; 0,0)***
Технические 5,269 (1,17; 23,73)* 5,159 (1,166; 22,83)*
Социально-гуманитарные 6,902 (1,348; 35,33)* 6,433 (1,304; 31,73)*
Медицинские 0,0 (0,0; 0,0)*** 0,0 (0,0; 0,0)***
Педагогические 2,216 (0,2991; 16,42) 2,135 (0,3076; 14,82)
Силовые и спортивные 6,53 (1,21; 35,23)* 6,361 (1,206; 33,56)*
Муниципальные 4,593 (0,8982; 23,48) 4,057 (0,8229; 20)
Частные 15,13 (3,534; 64,78)*** 11,98 (2,834; 50,63)***
Тип региона
Центры федерального значения 1,632 (0,7471; 3,566) 1,894 (0,883; 4,063)
Сырьевые 1,684 (0,3587; 7,911) 1,796 (0,4081; 7,908)
Старопромышленные 2,35 (0,8795; 6,277) 2,554 (0,9744; 6,692)
Фоновые 1,829 (0,6247; 5,355) 2,004 (0,7039; 5,707)
Кризисные 2,855 (0,9101; 8,959) 2,85 (0,936; 8,677)
Особые 0,0 (0,0; 0,0)*** 0,0 (0,0; 0,0)***
Д2 0,102 0,134
И это признание означало для вуза выживание (способность миновать период 2013-2017 гг. без закрытия или поглощения) или смерть. Для оценки масштабов этого риска использовалась модель пропорционального риска Кокса. В отличие от логистической регрессии модель пропорционального риска учитывает временную составляющую, т. е. влияние учитываемых факторов на протяжении времени. В качестве зависимой переменной рассматривалось наступление события закрытия университета, его слияния или ликвидации. Независимые переменные — структурные факторы, а также в модель была включена зависящая от времени ковариата эффективности (табл. 9). Мы, кроме
Рис. 1. Сравнение кривых выживаемости частных и государственных вузов на основе оценки Каплана — Мейера
Вероятность выживания
1,00 -1..................................;...................................;..................................V
0,75
0,50
0,25
0,00 •!..................................:..................................;..................................;..................................;
2013 2014 2015 2016 2017
того, добавили в анализ экологическую переменную, характеризующую конкурентность на локальном образовательном рынке, исходя из интуитивно правдоподобного предположения, что университеты, существующие в жесткой конкуренции при обширном миграционном притоке, будут эволюционировать иначе, чем монополисты на стагнирующем рынке образовательных услуг в депрессивном регионе.
Признание вуза эффективным — главный фактор, определяющий его шансы на выживание. Риск быть закрытыми^ для эффективных университетов в 7 раз ниже, чем для неэффективных. Другие факторы остаются значимыми, даже когда влияние эффективности контролируется.
15 Необходимо различать три понятия: hazard, risk (на русский hazard тоже переводят как риск) и odds (шанс). Риск — это отношение вероятности быть закрытым к вероятности всех возможных исходов, шанс — это вероятность быть закрытым по сравнению с вероятностью быть не закрытым. Различие между hazard и risk состоит в том, что risk постоянен, а hazard меняется со временем. В модели Кокса рассчитывается отношение рисков между группами в конкретный момент времени, хотя риск быть закрытым для каждой группы может изменяться со временем, но само отношение постоянно между группами. То есть вне зависимости от момента времени, в который мы сравниваем группы, риск быть закрытыми для частных вузов в 7 раз выше, чем для государственных, хотя со временем риск для отдельных групп изменяется.
I-f
--------- Государственн
Частные
p < 0,0001
Влияние «семейства» сокращается, когда мы включаем в уравнение эффективность, но сохраняется и на этом этапе — например, риск быть закрытыми для частных вузов выше, чем для классических университетов, даже если частные вузы признаются эффективными. Напротив, медицинские, аграрные университеты и вузы культуры и искусств почти не подвержены риску быть закрытыми, даже если их признают неэффективными (возможно, потому, что для государственного вуза закрытие обычно означает слияние, а слияние вузов, имеющих учредителями разные министерства, представляет собой значительную трудность). Социально-экономическое развитие региона не влияло на закрытие вузов, за исключением особых регионов, в которых вузы не закрывали вовсе. Конкурентность образовательного рынка не оказывает значимого влияния на выживаемость университета.
Таким образом, непосредственным результатом реформ в области оценки эффективности было сокращение числа вузов «неудачливых» категорий. Так, на рис. 1 представлено сравнение кривых выживаемости для двух групп вузов — частных и государственных. Мы видим статистически значимые различия в кривых выживаемости. В период между 2013 и 2017 гг. с каждым годом риск быть закрытыми для частных вузов только возрастал.
Дискуссия Таким образом, опасения, которые связаны с использовании выводы ем /лри^показателей в оценке эффективности деятельности российских университетов, оказались обоснованными. Шансы вуза преодолеть пороговое значение показателя эффективности по отдельным направлениям деятельности в значительной мере обусловлены его структурными характеристиками. Причем если для головных государственных вузов сильные и слабые «врожденные» характеристики отчасти компенсировали друг друга, то филиалы и частные вузы обречены были оказаться в проигрыше. Такая предопределенность оценки могла бы быть оправданной, если бы измеренная мониторингом эффективность понималась как результативность, а цель министерства заключалась бы в том, чтобы просто закрыть слабые вузы и оставить сильные. В этом случае применение мониторинга представляло бы собой «выпалывание» вузов, которые меньше других походили на образцовый исследовательский университет, привлекающий студентов из России и из-за рубежа, получающий большое исследовательское финансирование, располагающий обширными лабораториями и платящий преподавателям высокие зарплаты, — вне зависимости от того, в силу каких причин они не соответствуют этому идеалу. Оставляя в стороне обсуждение оправданности такого подхода
к оцениванию16, мы можем констатировать, что результаты мониторинга не использовались таким образом. Слабые государственные вузы не закрывались—они, со всеми их проблемами, вливались в сильные. Опять же, такая мера была бы оправданной, если бы мониторинг измерял эффективность какоптималь-ность и была бы надежда, что более эффективный менеджмент уцелевших вузов сможет разгрести проблемы, накопившиеся в слабых. Однако, как показывают наши данные, эффективный менеджмент мог играть в лидерстве отдельных вузов куда меньшую роль, чем их руководство, наверное, хотело бы думать. Некоторые вузы находились в заведомо более благоприятных условиях, и их высокие показатели отражали преимущества их «семейной» принадлежности и пространственной локализации, а не успешное лидерство.
Что можно было бы изменить в мониторинге, если бы эксперимент с ним начинался заново, а целью было бы получить именно мониторинг эффективности как оптимальности, показывающий, насколько удачно вуз использовал наличные возможности для выживания и развития? Основная проблема с оценкой оптимальности, разумеется, состоит в том, что необходимо измерить и доступные на входе ресурсы, и полученные на выходе результаты. Здесь есть два возможных пути. Первый представляет собой сравнение показателей по периодам. Данный вуз можно сравнивать с самим собой (если он не пережил слияния или иной трансформации), и тогда прирост какого-то показателя на 20% в определенный период будет означать значительное улучшение. Сравнивать можно также с приростом других вузов за аналогичный период (с необходимыми предосторожностями в отношении временного лага, волатильности показателей для небольших вузов" и т. д.). Та-
16 С точки зрения авторов, он не был бы оправдан вовсе, поскольку такой шаг отрицает множественность миссий современных университетов. По отношению к этим миссиям конкретный показатель будет иметь разную релевантность. Возьмем зарплаты выпускников. Педагогический вуз, все выпускники которого устраиваются работать в школы, может быть признан исключительно успешным в реализации своей миссии. Он прививает своим студентам убежденность в важности их призвания, которая заставляет их соглашаться на учительский труд, несмотря на низкую оплату. Однако финансовый институт, 100% выпускников которого окажутся школьными учителями обществознания, может быть заподозрен в том, что он готовит людей, не способных найти работу по специальности. На данный момент в рамках мониторинга вузу предлагается выполнить четыре любых показателя. Более рациональной процедурой, однако, было бы сформулировать некоторое количество миссий, связанных с профилем и ресурсной обеспеченностью вуза, и обозначить целевые показатели для них.
17 Волатильность показателей мониторинга для небольших вузов является существенной проблемой для интерпретации его результатов. Многие
кие метрики могут служить способом оценки руководства вуза.
Второй путь связан с введением более эффективной системы порогов, учитывающей конкурентные преимущества отдельных категорий вузов. Вместо введения порогов для столичных городов, реализованных сейчас, можно рассчитать ожидаемые результаты для вузов, обладающих данным сочетанием характеристик (статус головного или филиала, регион, «семейство» и т. д.), и оценивать вузы по тому, насколько выше или ниже ожидания оказался их результат. Так, в порядке эксперимента, используя коэффициенты, полученные в нашей логистической регрессии, мы рассчитали на основании данных 2014 г. шансы вузов быть признанными эффективным и выделили те из них, которые оказались таковым, вопреки всякой вероятности, и те, кто оказался неэффективным, несмотря на то что как будто имел для этого все шансы. Наименьшие шансы (33,4%) преодолеть порог среди тех, кто его все-таки преодолел, были у 45 частных вузов в Москве и Санкт-Петербурге. Большая их часть (29 вузов) продолжала функционировать и в 2017 г., и с данной точки зрения именно они должны считаться самыми эффективно управляемыми вузами России18.
Литература 1. Абанкина И. В., Абанкина Т. В., Филатова Л. М. (2016) Ловушки дифференциации в финансировании российских вузов // Актуальные проблемы экономики и права. Т. 10. № 2. С. 38-58.
2. Абанкина И. В., Алескеров Ф. Т., Белоусова В. Ю., Зиньковский К. В., Петрущенко В. В. (2013) Оценка результативности университетов с помощью оболочечного анализа данных // Вопросы образования/Educational Studies Moscow. № 2. С. 5-38.
3. Губа К., Завадская М. (2017) Лучше быть неэффективным, чем негосударственным: как Рособрнадзор наказывает вузы. СПб.: ИПП ЕУСПб.
4. Кинчарова А. В. (2014) Методология мировых рейтингов университетов. Анализ и критика // Университетское управление. № 2. С. 70-80.
5. Кузьминов Я., Семенов Д., Фрумин И. (2013) Структура вузовской сети: от советского к российскому мастер-плану // Вопросы образования/Educational Studies Moscow. № 4. С. 8-69.
6. Литвинцева Г. П., Воронкова О. В., Стукаленко Е. А. (2007) Региональное неравенство доходов и уровень бедности населения России: анализ с учетом покупательной способности рубля // Проблемы прогнозирования. № 6. С. 119-131.
показатели, особенно связанные со средними по Парето-распреде-ленным признакам (число цитирований на 100 преподавателей), часто оказываются запредельными для небольших вузов.
18 Самыми неэффективно управляемыми вузами России в 2014 г. с точки зрения этого подхода могли считаться Казанский государственный университет культуры и искусств и Дальневосточная государственная академия физической культуры. Они признаны неэффективными, хотя их шансы оказаться выше порога оценивались в 95,83 и 95,73% соответственно. Оба существуют по сей день.
7. Соколов М. (2017) Миф об университетской стратегии. Экономические ниши и организационные карьеры российских вузов // Вопросы образования/Educational Studies Moscow. № 2. C. 36-73. doi:10.17323/1814-9545-2017-2-36-73.
8. Совет Федерации Федерального собрания РФ (2007) Социальное развитие регионов России: проблемы и пути их решения. http://coun-cil.gov.ru/activity/analytics/analytical_bulletins/25808/
9. Таловская Б. М., Лисюткин М. А. (2018) О ресурсной стратификации российских университетов // Университетское управление: практика и анализ. № 6. C. 24-35.
10. Agasisti T., Egorov A., Zinchenko D., Leshukov O. (2018a) Universities' Efficiency and Regional Economic Short-run Growth: Empirical Evidence from Russia. Moscow: HSE.
11. Agasisti T., Shibanova E., Platonova D., Lisyutkin M. (2018b) The Russian Excellence Initiative for Higher Education: An Econometric Evaluation of Short-Term Results. Moscow: HSE.
12. Boliver V. (2015) Are There Distinctive Clusters of Higher and Lower Status Universities in the UK? // Oxford Review of Education. Vol. 41. No 5. P. 608-627.
13. Calabrese A., Capece G., Costa R., Di Pillo F., Giuffrida S. (2018) A «Power Law» Based Method to Reduce Size-Related Bias in Indicators of Knowledge Performance: An Application to University Research Assessment // Journal of Informetrics. Vol. 12. No 4. P. 1263-1281.
14. Cameron K. (1983) Strategic Responses to Conditions of Decline: Higher Education and the Private Sector // The Journal of Higher Education. Vol. 54. No 4. P. 359-380.
15. Cameron K. S. (1986) Effectiveness as Paradox: Consensus and Conflict in Conceptions of Organizational Effectiveness // Management Science. Vol. 32. No 5. P. 539-553.
16. Cattaneo M., Meoli M., Signori A. (2016) Performance-Based Funding and University Research Productivity: The Moderating Effect of University Legitimacy // The Journal of Technology Transfer. Vol. 41. No 1. P. 85-104.
17. Dundar H., Lewis D. R. (1998) Determinants of Research Productivity in Higher Education // Research in Higher Education. Vol. 39. No 6. P. 607-631.
18. Edvardsen D. F., F0rsund F.R, Kittelsen S. A.C. (2017) Productivity Development of Norwegian Institutions of Higher Education 2004-2013 // Journal of the Operational Research Society. Vol. 68. No 4. P. 399-415.
19. Gerber T. P., Cheung S. Y. (2008) Horizontal Stratification in Postseconda-ry Education: Forms, Explanations, and Implications // Annual Review of Sociology. Vol. 34. P. 299-318.
20. Gómez I., Bordons M., Fernández M., Morillo F. (2008) Structure and Research Performance of Spanish Universities // Scientometrics. Vol. 79. No 1. P. 131-146.
21. Hannan M. T., Freeman J. (1977) The Population Ecology of Organizations // American Journal of Sociology. Vol. 82. No 5. P. 929-964.
22. Marion R., Bacon J. (1999) Organizational Extinction and Complex Systems // Emergence. Vol. 1. No 4. P. 71-96.
23. Mateos-González J. L., Boliver V. (2019) Performance-based University Funding and the Drive towards 'Institutional Meritocracy' in Italy // British Journal of Sociology of Education. Vol. 40. No 2. P. 145-158.
24. Ostroff C., Schmitt N. (1993) Configurations of Organizational Effectiveness and Efficiency // Academy of Management Journal. Vol. 36. No 6. P. 1345-1361.
25. Powell B. A., Gilleland D. S., Pearson L. C. (2012) Expenditures, Efficiency, and Effectiveness in US Undergraduate Higher Education: A National Benchmark Model // The Journal of Higher Education. Vol. 83. No 1. P. 102-127.
26. Ramsden P. (1999) Predicting Institutional Research Performance from Published Indicators: A Test of a Classification of Australian University Types // Higher Education. Vol. 37. No 4. P. 341-358.
27. Shin J. C. (2009) Classifying Higher Education Institutions in Korea: A Performance-Based Approach // Higher Education. Vol. 57. No 2. P. 247-266.
28. Warning S. (2004) Performance Differences in German Higher Education: Empirical Analysis of Strategic Groups // Review of Industrial Organization. Vol. 24. No 4. P. 393-408.
29. Witte K. D., Lopez-Torres L. (2017) Efficiency in Education: A Review of Literature and a Way Forward // Journal of the Operational Research Society. Vol. 68. No 4. P. 339-363.
30. Zhang H., Patton D., Kenney M. (2013) Building Global-Class Universities: Assessing the Impact of the 985 Project // Research Policy. Vol. 42. No 3. P. 765-775.
Fictitious Efficiency: What the Russian Survey of Performance of Higher Education Institutions Actually Assessed
Mikhail Sokolov Authors
Candidate of Sciences in Sociology, Professor, European University at St. Petersburg. Address: 6/1 a Gagarinskaya Str., 191187 St. Petersburg, Russian Federation. E-mail: [email protected]
Katerina Guba
Candidate of Sciences in Sociology, Director of the Center for Institutional Analysis of Science & Education, European University at St. Petersburg. Address: 6/1 a Gagarinskaya Str., 191187 St. Petersburg, Russian Federation. E-mail: [email protected]
Angelika Tsivinskaya
junior researcher at the Center for Institutional Analysis of Science & Education, European University at St. Petersburg. Address: 6/1a Gagarinskaya Str., 191187 St. Petersburg, Russian Federation. E-mail: [email protected]
Annual Survey of Performance of Higher Education Institutions, conducted Abstract in Russia since 2012, was used to identify "inefficient" universities, subject to measures including closure or merging with other schools. As a result of these policies, the number of Russian universities has decreased more than 1.5 times since 2013. In this article, we analyze the consequences of implementing the appraisal system invented by the Russian Ministry. We argue that the use of the Survey reflects a conceptual confusion between effectiveness (the organization's ability to achieve socially significant goals) and efficiency (the ability to achieve goals with minimal cost). The Ministry has made managerial decisions based on the Survey results (like merging a public university with an allegedly better performing HEI), which indicates understanding of the Survey as an assessment of efficiency. At the same time, statistical analysis of the performance indicators demonstrates that structural characteristics of universities (region and belonging to an institutionalized category, e. g. a pedagogical or an agrarian university) explain the significant part of the variance in the university's performance. This led to discrimination against certain "unlucky" categories of universities. The methods used include logistic regression to estimate the odds of being labeled as an effective organization in 2014 and the Cox proportional hazards model to estimate the university's chances of survival between 2013 and 2017.
performance assessment, organizational efficiency, higher education in Rus- Keywords sia, Survey of Performance of Higher Education Institutions.
Abankina I., Abankina T., Filatova L. (2016) Lovushki differentsiatsii v finansirova- References nii rossiyskikh vuzov [The Pitfalls of Differentiation in the Financing of Russian Universities]. Aktualnye problemy ekonomiki i prava/Actual Problems of Economics and Law, vol. 10, no 2, pp. 38-58. Abankina I., Aleskerov F., Belousova V., Zinkovsky K., Petrushchenko S. (2013) Otsenka rezultativnosti universitetov s pomoshchyu obolochechnogo analiza dannykh [Evaluating Performance of Universities Using Data Envelopment Analysis]. Voprosy obrazovaniya/Educational Studies Moscow, no 2, pp. 15-48.
Agasisti T., Egorov A., Zinchenko D., Leshukov O. (2018a) Universities' Efficiency and Regional Economic Short-run Growth: Empirical Evidence from Russia. Moscow: HSE.
Agasisti T., Shibanova E., Platonova D., Lisyutkin M. (2018b) The Russian Excellence Initiative For Higher Education: An Econometric Evaluation Of Short-Term Results. Moscow: HSE.
Boliver V. (2015) Are There Distinctive Clusters of Higher and Lower Status Universities in the UK? Oxford Review of Education, vol. 41, no 5, pp. 608-627.
Calabrese A., Capece G., Costa R., Di Pillo F., Giuffrida S. (2018) A 'Power Law' Based Method to Reduce Size-Related Bias in Indicators of Knowledge Performance: an Application to University Research Assessment. Journal of Informetrics, vol. 12, no 4, pp. 1263-1281.
Cameron K. (1983) Strategic Responses to Conditions of Decline: Higher Education and the Private Sector. The Journal of Higher Education, vol. 54, no 4, pp. 359-380.
Cameron K. S. (1986) Effectiveness as Paradox: Consensus and Conflict in Conceptions of Organizational Effectiveness. Management Science, vol. 32, no 5, pp. 539-553.
Cattaneo M., Meoli M., Signori A. (2016) Performance-Based Funding and University Research Productivity: The Moderating Effect of University Legitimacy. The Journal of Technology Transfer, vol. 41, no 1, pp. 85-104.
Dundar H., Lewis D. R. (1998) Determinants of Research Productivity in Higher Education. Research in Higher Education, vol. 39, no 6, pp. 607-631.
Edvardsen D. F., F0rsund F.R, Kittelsen S. A.C. (2017) Productivity Development of Norwegian Institutions of Higher Education 2004-2013. Journal of the Operational Research Society, vol. 68, no 4, pp. 399-415.
Federation Council of the Federal Assembly of Russia (2007) Sotsialnoe razvitie regionov Rossii: problemy i puti ikh resheniya [Social Development in Regions of Russia: Problems and Ways to Solve Them]. Available at: http:// council.gov.ru/activity/analytics/analytical_bulletins/25808/ (accessed 10 January 2020).
Gerber T. P., Cheung S. Y. (2008) Horizontal Stratification in Postsecondary Education: Forms, Explanations, and Implications. Annual Review of Sociology, vol. 34, pp. 299-318.
Gómez I., Bordons M., Fernández M., Morillo F. (2009) Structure and Research Performance of Spanish Universities. Scientometrics, vol. 79, no 1, pp. 131146.
Guba K., Zavadskaya M. (2017) Luchshe byt neeffektivnym, chem negosudarst-vennym: kak Rosobrnadzor nakazyvaet vuzy [Better Ineffective than Private: How Universities Are Penalized by Roskomnadzor]. St. Petersburg: The Institute for the Rule of Law, European University at Saint Petersburg.
Hannan M. T., Freeman J. (1977) The Population Ecology of Organizations. American Journal of Sociology, vol. 82, no 5, pp. 929-964.
Kincharova A. (2014) Metodologiya mirovykh rejtingov universitetov. Analiz i kri-tika [Methodology of International University Rankings: Analysis and Criticism]. Universitetskoe upravlenie: praktika i analiz/University Management: Practice and Analysis, no 2, pp. 70-80.
Kuzminov Y., Semyonov D., Froumin I. (2013) Struktura vuzovskoy seti: ot so-vetskogo k rossiyskomu "master-planu" [University Network Structure: From the Soviet to the Russian "Master Plan"]. Voprosy obrazovaniya/Edu-cational Studies Moscow, no 4, pp. 8-69.
Litvintseva G., Voronkova O., Stukalenko E. (2007) Regionalnoe neravenst-vo dokhodov i uroven bednosti naseleniya Rossii: analiz s uchetom poku-patelnoy sposobnosti rublya [Regional Income Inequality and Poverty in
Russia: Analysis with Regard to the Purchasing Power of the Ruble]. Pro-blemy prognozirovaniya/Studies on Russian Economic Development, no 6, pp. 119-131.
Marion R., Bacon J. (1999) Organizational Extinction and Complex Systems. Emergence, vol. 1, no 4, pp. 71-96.
Mateos-González J. L., Boliver V. (2019) Performance-based University Funding and the Drive towards 'Institutional Meritocracy' in Italy. British Journal of Sociology of Education, vol. 40, no 2, pp. 145-158.
Ostroff C., Schmitt N. (1993) Configurations of Organizational Effectiveness and Efficiency. Academy of Management Journal, vol. 36, no 6, pp. 1345-1361.
Powell B. A., Gilleland D. S., Pearson L. C. (2012) Expenditures, Efficiency, and Effectiveness in US Undergraduate Higher Education: A National Benchmark Model. The Journal of Higher Education, vol. 83, no 1, pp. 102-127.
Ramsden P. (1999) Predicting Institutional Research Performance from Published Indicators: A Test of a Classification of Australian University Types. Higher Education, vol. 37, no 4, pp. 341-358.
Shin J. C. (2009) Classifying Higher Education Institutions in Korea: A Performance-Based Approach. Higher Education, vol. 57, no 2, pp. 247-266.
Sokolov S. (2017) Mif ob universitetskoy strategii. Ekonomicheskie nishi i or-ganizatsionnye karery rossiyskikh vuzov [The Myth of University Strategy. Market Niches and Organizational Careers of Russian Universities]. Voprosy obrazovaniya/Educational Studies Moscow, no 2, pp. 36-73. doi:10.17323/1814-9545-2017-2-36-73.
Talovskaya B., Lisyutkin M. (2018) O resursnoy stratifikatsii rossijskikh universi-tetov [On the Resource Stratification of Russian Universities]. Universitets-koe upravlenie: praktika i analiz/University Management: Practice and Analysis, no 6, pp. 24-35.
Warning S. (2004) Performance Differences in German Higher Education: Empirical Analysis of Strategic Groups. Review of Industrial Organization, vol. 24, no 4, pp. 393-408.
Witte K. D., López-Torres L. (2017) Efficiency in Education: A Review of Literature and a Way Forward. Journal of the Operational Research Society, vol. 68, no 4, pp. 339-363.
Zhang H., Patton D., Kenney M. (2013) Building Global-Class Universities: Assessing the Impact of the 985 Project. Research Policy, vol. 42, no 3, pp. 765-775.
