CC BY
38ISSN 1999-6640 (print) ISSN 1999-6659 (online)
DOI 10.15826/umpa.2020.03.024
http://umj.ru
ПРОЕКТ «5-100»: ОЦЕНКА ЕГО ВОЗДЕЙСТВИЯ НА ПУБЛИКАЦИОННУЮ АКТИВНОСТЬ УНИВЕРСИТЕТА
Д.Ю. Руденко" "
" Тюменский государственный университет Россия. 625003. Тюмень, ул. Володарского. 6: d.y.rudenko@utmn.ru ''Национальный исследовательский университет «Высшая школа экономики» Россия. 194100. Санкт-Петербург, ул. Кантемировская. За
Аннотация. В данной исследовательской статье оценивается воздействие государственной программы повышения конкурентоспособности российских университетов (Проект «5-100») на публикационную активность Тюменского государственного университета. Публикационная активность измеряется количеством статей, опубликованных в журналах, индексируемых базой данных Web of Science. Гипотеза исследования заключалась в том, что между количеством опубликованных сотрудниками ТюмГУ статей и участием вуза в Проекте «5-100» наблюдается положительная причинно-следственная связь. Поскольку в рамках проведенного исследования ТюмГУ являлся единственным университетом - участником Проекта «5-100», влияние последнего на публикационную активность данного вуза оценивалось экспериментальным путем: ТюмГУ выступал объектом воздействия, а группа других вузов использовалась в качестве контрольной. В контрольную группу были включены классические высшие учебные заведения России (всего 31 вуз). Используя контрфактические сценарии, автор устанавливает количество статей, которые сотрудники ТюмГУ опубликовали бы, не войди он в Проект «5-100». Полученные результаты показали, что несмотря на невыполнение Тюменским государственным университетом задачи вхождения в 200 лучших университетов мира по предметному рейтингу на стыке экологии и сельскохозяйственной биологии, участие данного вуза в Проекте «5-100» оказывает благотворное воздействие на публикационную активность этой образовательной организации: количество опубликованных статей, особенно в журналах первого и второго квартиля, в ТюмГУ растет быстрее, чем в контрольной группе вузов.
Ключевые слова: ведущие университеты, публикационная активность, наукометрия, контрфактический анализ, проект 5-100, Web of Science.
Благодарность. Автор выражает благодарность рецензентам за ценные комментарии, которые позволили значительно улучшить качество настоящей статьи.
Для цитирования: Руденко Д. Ю. Проект «5-100»: оценка его воздействия на публикационную активность университета//Университетское управление: практика и анализ. 2020. Т. 24, № З.С. 27-45. DOI: 10.15826/umpa.2020.03.024.
DOI 10.15826/umpa.2020.03.024
THE EFFECT OF PROJECT 5-100 ON THE UNIVERSITY'S PUBLICATION ACTIVITY
D. Yu. Rudenko 1
a University of Tyumen 6 Volodarskogo St., Tyumen, 625003, Russian Federation: d.y.rudenko@utmn.ru bNational Research University Higher School of Economics Russia, 194100, St. Petersburg, 3a Kantemirovskaya str.
Abstract. The aim of the study is to estimate the effect of the Russian academic excellence project (Project 5-100) on the publication activity of the University of Tyumen, measured by the number of articles published in journals indexed in the Web of Science database. The hypothesis of the research is that there is a positive causal relationship between the number of published articles and the University's participation in Project 5-100. This impact was estimated empirically for the University of Tyumen while the other university participants (31 universities) were taken as a control group. Counterfac-tual scenarios are used to find the number of articles that the university employees would have published in the absence of Project 5-100. Thus, it is shown that, despite the failure to meet the goal of entering the top 200 of world universities
in the ranking for ecology and agricultural biology, the University of Tyumen benefited from its participation in Project 5-100: its number of publications, especially in journals of the first and second quartile, has been growing faster than in the control group of universities.
Keywords: leading universities, publication activity, scientometrics, counterfactual analysis, Project 5-100, Web of Science Acknowledgements. The authors thank anonymous reviewers for their valuable comments, which helped us to improve the article.
For citation: Rudenko D. Yu. The Effect of Project 5-100 on the University's Publication Activity. University Management: Practice and Analysis, 2020; 24 (3): pp. 27-45. DOI: 10.15826/umpa.2020.03.024. (In Russ.).
Введение
В последние десятилетия национальная и международная конкуренция высших учебных заведений значительно возросла, и не только потому что усилилась глобализация, но и потому, что современные университеты стали рыночно ориентированными, изменились требования к качеству образования и экономические условия деятельности [1]. Университеты все чаще сталкиваются с давлением со стороны стейкхолдеров (государственных органов, бизнеса, студентов) и вынуждены демонстрировать им свою эффективность. Тенденция к сравнению вузов на основе разнообразных показателей привела к появлению глобальных рейтингов университетов, таких как Academic Ranking of World Universities (ARWU Shanghai Jiao Tong University), Top University Rankings Quacquarelli Symonds (QS), World University Ranking Times Higher Education (THE) [2, 3]. Признание того, что международная конкурентоспособность и экономический рост все больше и больше обуславливаются накоплением человеческого капитала и что университеты могут играть ключевую роль в этом контексте [4, 5], побуждает государства разрабатывать различные программы и инициативы по реструктуризации национальных систем высшего образования, драйвером развития которых должны стать университеты мирового класса [6-8]. Ключевыми атрибутами университетов мирового класса, отличающими их от обычных университетов, являются: высокая концентрация талантов (и преподавателей, и студентов); превосходство в исследованиях, которые признаются коллегами и раздвигают границы знания; значительные ресурсы (высокий уровень государственного и негосударственного финансирования); академическая свобода и автономное управление (для поощрения стратегического видения и инноваций) [9]. Научно-исследовательская деятельность университета становится определяющей в достижении задачи глобального его позиционирования и узнаваемости в мире [10]. Именно поэтому почти все правительственные инициативы, различаясь по срокам и объемам финансирования,
направлены на повышение публикационной активности вузов [11].
Инициативы создания университетов с международным статусом в России не новы. Поступательные реформы Министерства образования и науки РФ были направлены на создание федеральных университетов, выделение национальных исследовательских университетов и, наконец, университетов мирового класса. Проект «5-100», цель которого - обеспечить к 2020 году вхождение не менее пяти отечественных университетов в первую сотню ведущих мировых вузов согласно рейтингам ARWU, QS или THE, был инициирован в 2012 году как инструмент выполнения Указа Президента Российской Федерации от 7 мая 2012 года № 599 «О мерах по реализации государственной политики в области образования и науки»1. По результатам открытого конкурса в 2013 году были отобраны 15 университетов2, а в 2015 году к ним присоединились еще 6 вузов3, в том числе и Тюменский государственный университет.
'См.: Указ Президента Российской Федерации от 7 мая 2012 года № 599 «О мерах по реализации государственной политики в области образования и науки» // Гарант : справочно-пра-вовая система. URL: https://base.garant.ru/70170946/ (дата обращения: 25. 03.2020).
-Дальневосточный федеральный университет (ДВФУ), Национальный исследовательский университет «Высшая школа экономики» (НИУ ВШЭ), Университет ИТМО (ИТМО), Санкт-Петербургский государственный электротехнический университет «ЛЭТИ» имени В. И. Ульянова (Ленина) (СПбГЭТУ «ЛЭТИ»), Казанский федеральный университет (КФУ), Московский физико-технический институт (МФТИ), Национальный исследовательский технологический университет «МИСиС» (НИТУ «МИСиС»), Национальный исследовательский ядерный университет «МИФИ» (НПЯУ МИФИ), Новосибирский национальный исследовательский государственный университет (НГУ), Национальный исследовательский Нижегородский государственный университет имени Н. И. Лобачевского (Университет Лобачевского), Самарский национальный исследовательский университет имени академика С. П. Королева (Самарский университет), Санкт-Петербургский политехнический университет Петра Великого (СПбПУ), Национальный исследовательский Томский государственный университет (ТГУ), Национальный исследовательский Томский политехнический университет (ТПУ), Уральский федеральный университет имени первого Президента России Б. Н. Ельцина (УрФУ).
3 Балтийский федеральный университет имени Иммануила Канта (БФУ им. И. Канта), Первый МГМУ имени М. Сеченова (Сеченовский университет), Сибирский федеральный университет (СФУ), Южно-Уральский государственный университет (ЮУрГУ), Российский университет дружбы народов (РУДН), Тюменский государственный университет (ТюмГУ).
На достижение целей проекта было выделено беспрецедентное для сферы отечественного высшего образования финансирование - более 70 млрд рублей (1,13 млрд евро) за период с 2013 года по 2019 год включительно. Размер финансирования каждого вуза-участника «Проекта 5-100» определялся на конкурсной основе ежегодно в зависимости от достижения таких показателей эффективности, как4:
-позиция в ведущих мировых рейтингах (общая и предметная);
-количество публикаций всех типов в научных базах данных (БД) Web of Science и Scopus (исключая дублирование) на одного научно-педагогического работника (НПР) за три предыдущих года включая отчетный год;
-средний показатель цитируемости на 1 НПР, рассчитанный по совокупности публикаций в БД Web of Science и Scopus за пять предыдущих лет включая отчетный год;
-доля зарубежных преподавателей и исследователей в общей численности НПР включая граждан России, имеющих степень PhD зарубежных университетов;
-доля иностранных студентов в общей численности обучающихся;
-средний балл ЕГЭ студентов вуза, принятых для обучения в очной форме за счет средств федерального бюджета по программам бакалавриата и специалитета;
-доля доходов из внебюджетных источников в структуре доходов вуза;
-численность аспирантов, обучающихся по очной форме обучения, в расчете на 100 студентов, обучающихся по основным образовательным программам высшего образования;
-доля публикаций, выполненных в международной коллаборации;
-объем НПОКР в расчете на 1 НПР
И хотя формальная цель проекта уже выполнена (пять российских университетов вошли в топ-100 мировых предметных рейтингов), вопрос эффективности использования предоставляемых правительством ресурсов остается очень противоречивым.
Страны, принявшие программы продвижения университетов мирового уровня, добились ощутимых успехов в быстром увеличении
4См.: Постановление Правительства Российской Федерации от 16 марта 2013 года № 211 «О мерах государственной поддержки ведущих университетов Российской Федерации в целях повышения их конкурентоспособности среди ведущих мировых научно-образовательных центров» (в ред. от 5 октября.2018 года) // Гарант : спра-вочно-правовая система. URL: https://base.garant.ru/70336756/ (дата обращения: 25. 03.2020).
публикационной активности сотрудников целевых университетов. Тем не менее исследований, оценивающих эффект от таких программ, проведено сравнительно мало. В одном из первых исследований использовался метод прерванного временного ряда (interrupted time-series design) для сравнения публикационной активности южно-корейских университетов до и после их участия в программе Brain Korea 21 (ВК 21) [12]. Поскольку к указанной программе присоединились все исследовательские университеты Южной Кореи, в контрольную группу были включены университеты из США, Японии и Китая. Результаты исследования показали, что программа ВК 21 позволила укрепить позиции исследовательских университетов внутри страны, однако она не помогла корейским вузам конкурировать с ведущими глобальными университетами. Согласно результатам исследования влияния китайского Проекта 985 на публикационную активность 24 университетов-участников его реализация привела к росту публикационной активности данных вузов в международных журналах, однако сам показатель роста варьировался в широких пределах [13]. Аналогичные результаты были получены при применении метода разности разностей (difference-in-difference) для сравнения участников Проекта 985 с участниками Проекта 211 [14]. Оценка воздействия на публикационную активность университетов программы World Class University Project в Тайване привела к неожиданным результатам: в контрольной группе число опубликованных научных статей увеличивалось более быстрыми темпами, чем в группе воздействия, состоящей из вузов, получающих в рамках данной программы значительное финансирование [11]. Библиометрический анализ свидетельствовал о положительном влиянии программы German Excellence Initiative на публикационную активность немецких университетов [15].
Исследования, проведенные в России, показывают, что не существует единых методов оценки воздействия программ в сфере высшего образования и науки на показатели деятельности университетов - участников этих программ. Сравнение темпов роста общего числа публикаций в БД Scopus и их цитируемости у университетов-участников Проекта «5-100» и университетов контрольной группы до и после 2013 года выявило положительное воздействие данного проекта на публикационную активность вузов [16]. Часто результаты Проекта «5-100» оцениваются лишь применительно к его участникам. Так, исследование [17] классифицирует
29
паттерны развития вузов-участников Проекта «5-100», а в работе [18] дается анализ проиндексированных в БД Scopus российских публикаций за 2010-2016 годы, имеющих хотя бы одну аффи-лиацию вуза из Проекта «5-100», и классифицируются стратегии повышения публикационной активности участников данного проекта. Наличие, однако, большого числа факторов, оказывающих влияние на публикационную активность российских университетов, снижает объективность таких описательных оценок.
Квазиэкспериментальный дизайн исследований позволяет учитывать при анализе результатов Проекта «5-100» влияние сопутствующих переменных [19, 20]. Благодаря применению метода разности разностей при анализе данных за 2010-2015 годы доказано значимое положительное воздействие Проекта «5-100» на количество и качество публикаций уже в первые годы его реализации [19]. Тем не менее в данной работе не учитывалась разнородность вузов по объему и значимости получаемого в рамках проекта финансирования, а также не отделялся эффект воздействия Проекта «5-100» от эффекта воздействия других программ, в которых университеты принимали одновременное участие, например в конкурсе мегагрантов по Постановлению № 2205.
Еще одна проблема в оценке воздействия Проекта «5-100» на публикационную активность участников первой волны его реализации состоит в том, что отобранные вузы являлись лучшими исследовательскими университетами в стране, и поэтому даже в отсутствие Проекта «5-100» можно было ожидать, что их публикационная активность будет выше. Оценка воздействия данного проекта на публикационную активность вуза второй волны, а именно Тюменского государственного университета, позволит устранить такие различия, поскольку на начало 2015 года ТюмГУ был региональным университетом, который выживал, а не развивался6. Исследование
5См.: Постановление Правительства Российской Федерации от 9 апреля 2010 года № 220 «О мерах по привлечению ведущих ученых в российские образовательные организации высшего образования, научные учреждения, подведомственные федеральному агентству научных организаций, и государственные научные центры Российской Федерации в рамках подпрограммы «Институциональное развитие научно-исследовательского сектора» государственной программы Российской Федерации «Развитие науки и технологий» на 2013-2020 годы» (ред. от 29 ноября 2018 года // Гарант : справочно-правовая система. URL: https://base.garant. ru/77668437/ (дата обращения:25.01.2020). На конец 2015 года объем финансирования по данному проекту составлял почти 22 млрд руб.
6См.: Из провинциального в число лучших в мире: путь преобразования Университета Тюмени //Тюменскийгосударственный университет : официальный сайт. URL: https://www.utmn.ru/presse/ ekspertnoe-mnenie/213405/ (дата обращения: 04.04.2020).
30
влияния Проекта «5-100» на публикационную активность отдельного его участника, причем участника второй волны, проводится впервые.
Гипотеза исследования заключалась в том, что между количеством опубликованных сотрудниками ТюмГУ статей и участием вуза в Проекте «5-100» наблюдается положительная причинно-следственная связь, при этом наибольшее воздействие участие в Проекте «5-100» оказывает на размещение статей в журналах первого и второго квартиля. Поскольку в нашем исследовании ТюмГУ рассматривался как единственный университет-участник Проекта «5-100», для проверки данной гипотезы был проведен эксперимент, в котором ТюмГУ выступал объектом воздействия, а группа других вузов использовалась в качестве контрольной.
ТюмГУ: опыт участия в Проекте «5-100»
Как и большинство других классических университетов России, ТюмГУ следовал традиционной модели, где преподавание было основной миссией, а исследования выполняли в деятельности вуза роль второстепенную [21]. В 2013 году ТюмГУ решается на проведение качественной трансформации, чтобы перейти из разряда региональных университетов в разряд лидеров национальной системы высшего образования и одновременно занять устойчивую позицию на международном рынке исследований [22].
В октябре 2015 года ТюмГУ становится участником Проекта «5-100» второй волны. Предпосылками для успешной защиты дорожной карты по повышению конкурентоспособности и, как следствие, инициации финансирования выступили следующие факторы:
-поддержка проекта губернатором Тюменской области7 и главами ведущих российских компаний, их готовность финансировать реализацию отдельных мероприятий программы развития;
-наличие в университете исследовательских групп мирового уровня по нескольким направлениям (акарология, фотоника, качество пресных вод и композитные материалы);
-наличие молодой управленческой команды ректора, нацеленной на глубокие преобразования в университете;
- высокая доля доходов университета (69 %) из внебюджетных источников.
Губернатор Тюменской области В. В. Якушев лично приехал во Владивосток на защиту дорожной карты развития университета перед Советом по повышению конкурентоспособности ведущих университетов России.
ТюмГУ ставит перед собой стратегическую цель стать университетом нового поколения на основе трансформации кадровой политики, базовых видов деятельности (образовательной, исследовательской, инновационной), институциональной среды и опережающего обновления инфраструктуры.
Точками роста для университета с 2015 года выступали стратегические академические единицы (CAE), созданные по Проекту «5-100»: Школа перспективных исследований (SAS) и Институт экологической и сельскохозяйственной биологии (Х-ВЮ). В SAS удалось привлечь команду преподавателей и исследователей - выпускников PhD-программ лучших вузов мира, входящих втоп-100 глобальных рейтингов. Х-ВЮ обеспечивает целенаправленную концентрацию ресурсов по естественно-научным и инженерным направлениям в области экологической и сельскохозяйственной биологии, SAS - по социальным и гуманитарным наукам. Принципами работы CAE выступают междисциплинарность и высокий уровень стандартов исследований: публикации в журналах первого и второго квартиля, участие в проектах по грантам международных и федеральных фондов в тесной коллаборации с ведущими отечественными и зарубежными научными центрами.
За период с 2014 года по 2019 год включительно университету удалось добиться значимых результатов в приоритетных направлениях научных исследований и существенно усилить публикационную активность сотрудников.
В ТюмГУ возросли следующие ключевые показатели публикационной активности:
-общее количество цитирований в БД Scopus (с 383 в 2013 году до 1304 в 2017 году);
-взвешенное по области знания цитирование (Field-Weighted Citation Impact) (с 0,69 до 1,04);
-число опубликованных статей в индексируемых БД Scopus изданиях (с 98 до 332);
-число опубликованных статей в топ-25% по SJR журналах (с 5 до 83);
-число публикаций в топ-10 % наиболее цитируемых публикаций в мире (с 5 до 34);
-число статей в журналах, которые входят в первый или второй квартиль (Q1 или Q2) в БД Web of Science (с 23 до 108);
-число публикаций в научных журналах из Nature Index (с 0 до 23).
В 2020 году, имея в своем арсенале не менее 150 индексируемых в БД Scopus публикаций за пять предыдущих лет, ТюмГУ претендует впервые попасть в общий глобальный рейтинг университетов по версии THE (Times Higher
Education). Ожидается рост позиций в предметном рейтинге U. S. News & World Report, в котором в 2019 году ТюмГУ впервые вошел в топ-500 в предметной области «Науки о растениях и животных» [23]. Однако заявленные в программе Проекта «5-100» позиции топ-200 в предметных рейтингах «Сельское хозяйство и лесоведение» и «Биологические науки» по итогам 2019 года ТюмГУ не были достигнуты.
На рис. 1 и 2 представлены динамика и структура публикационной активности ТюмГУ в БД Web of Science и Scopus за период с 2000 года по 2019 год включительно. Как следует из приведенных данных, повышается и общее количество публикаций, и их качество. Количество статей первого квартиля увеличивается и в абсолютном, и в относительном выражении. Публикационная активность ТюмГУ начали расти и до его участия в Проекте «5-100», уже с 2013 года, что может объясняться усилением требований к публикационной активности университетов на федеральном уровне, а также подготовкой к конкурсному отбору в данный проект.
Начиная с 2016 года стала увеличиваться доля публикаций в сборниках конференций (особенно российских и заочных) и в журналах без импакт-фактора (преимущественно индексируемых в Emerging SCI). В 2016-2018 годах на долю таких работ приходилось больше половины публикаций ТюмГУ в БД Web of Science. Многие статьи были опубликованы по стратегии привлеченного автора, то есть авторы публикаций имели внешнюю аффилиацию до участия ТюмГУ в Проекте «5-100» [18]. Статьи в журналах первого квартиля есть лишь у нескольких исследовательских групп по ограниченному числу направлений (акарология, фотоника, качество пресных вод, композитные материалы). В публикационной активности университета наблюдается преобладание работ по сельскохозяйственным и биологическим наукам: из 802 статей в БД Web of Science за 2014-2019 годы 422 статьи приходится всего на три области: энтомологию (234 статьи), зоологию (151 статья) и биологию (37 статей). Университет активно привлекает внешних исследователей, быстро наращивая публикационную активность. Так, только в области биологических наук 330 статей, или 78%, приходится всего на двух ученых: С. Ермилова (258 статей) и А. Хаустова (96 статей).
С 2014 года ТюмГУ ввел систему стимулирования работников за достигнутые научные результаты, вследствие чего начало расти количество тезисов и статей, опубликованных в журналах
31
Количество публикаций, ед. I 100 200 300 400 lili
2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 3 2010 о 2011 2012 2013 2014 2015 2016 2017 2018 2019
i
__■ ■■■■■■iiil
OT-CMCOTfirxONtOOOi-NOTfintON Годы 00 О) I SÜ 20 40 60 80 100 Доля, %
Статьи в Q1 WoS СС Статьи в 02 WoS СС 1 Прочие статьи в WoS СС Статьи в Emerging SCI Прочие публикации в WoS СС
а б
Рис. 1. Общее количество публикаций Тюменского государственного университета, проиндексированных в Web of Science Core Collection (а), и их структура (б) Fig. 1. Number (a) and structure (b) of WoS publications of the University of Tyumen
а б
Рис. 2. Общее количество публикаций Тюменского государственного университета, проиндексированных в Scopus (а), и их структура (б) Fig. 2. Number (a) and structure (Ь) of Scopus publications of the University of Tyumen
без импакт-фактора (см. рис. 1), особенно в «хищнических» (Mediterranean Journal of Social Sciences, Indian Journal of Science and Technology, International Review of Management and Marketing, Man in India и др.). В сентябре 2015 года инструменты стимулирования были скорректированы, однако критерии отнесения того или иного издания к числу «мусорных» отсутствовали, и число публикаций в таких журналах продолжало увеличиваться. После вхождения в Проект «5-100» ТюмГУ меняет процедуру конкурсного отбора при трудоустройстве, вводит квалификационные требования для сотрудников, а показатели эффективности включает в трудовой договор с каждым научно-педагогическим работником. Не имея больше стимулов размещать работы в «хищнических» журналах, сотрудники ТюмГУ начинают публиковать статьи в изданиях «невысокого качества, характеризующихся быстрым публикационным циклом и относительно низкими требованиями к принимаемым для публикации рукописям» [19, 20]. В конце 2018 года политика стимулирования публикационной активности вновь меняется. С этого времени в университете действует квалификационная надбавка - ежемесячная фиксированная надбавка в зависимости от соответствия установленным в университете специальным требованиям.
Методология исследования
В настоящем исследовании используются материалы открытых ресурсов и баз данных. Панельные данные агрегированы из двух источников, связанных с входными (независимыми) и выходными (зависимыми) переменными, охватывающими 32 университета за период с 2013 года по 2017 год включительно. В качестве показателей публикационной активности университетов принято использовать такие индикаторы, как общее количество всех публикаций; число опубликованных статей (только тип документа article); число высокоцитируемых публикаций; число (доля) публикаций в научных журналах уровня Q0, Nature Index; число цитирований для всех публикаций и отдельно - для статей (тип документа article); взвешенное по области знания цитирование (Field-Weighted Citation Impact) [16]. Публикационная активность университета в нашем исследовании измерялась количеством статей (тип документа article), опубликованных сотрудниками университета в календарном году и проиндексированных в библиографической базе Web of Science Core Collection. При этом следует
отметить, что поскольку у журналов, входящих только в Arts and Humanities Citation Index или Emerging Sources Citation Index, нет импакт-фак-торов и квартилей, список данных периодических изданий был ограничен лишь теми, которые индексируются в Science Citation Index Expanded и Social Sciences Citation Index. Используется полный метод подсчета публикаций, когда каждой организации, упомянутой в списке аффилиаций той или иной статьи, статья засчитывается полностью, вне зависимости от общего числа аффилиаций [19].
Как показатель качества публикаций использовалось число статей, размещенных в журналах первого и второго квартиля (Q1 и Q2), под которыми в данном случае понимаются журналы, входящие в верхние квартили по величине импакт-фактора Thomson Reuters 2018 года хотя бы в одной из предметных областей.
В качестве стандартных предикторов научно-исследовательской деятельности университета в литературе используются такие показатели, как число НПР, число аспирантов, число иностранных студентов, финансирование НИР и др. [14]. Данные об объеме научно-исследовательских и опытно-конструкторских работ, общей численности ППС (без внешних совместителей и работающих по договорам ГПХ)8, численности аспирантов вуза, а также научно-педагогических работников с научной степенью были получены из информационно-аналитических материалов по результатам проведения мониторинга эффективности деятельности образовательных организаций высшего образования России.
Чтобы оценить влияние Проекта «5-100» на университет-его участник, необходимо измерить количество и качество публикаций и этого университета, и вузов, в данном проекте не участвующих. Поскольку невозможно оценить гипотетическую альтернативную ситуацию или ситуацию, которая могла бы сложиться при условии неучастия университета в указанном проекте, используется статистическая методология, известная как «предположение от обратного» (determining the counterfactual), или контрфактический анализ [24].
Цель контрфактического анализа - выявить причинно-следственную связь между конкретным вмешательством и полученными в результате этого вмешательства результатами, используя
8Общая численность ППС без внешних совместителей не позволяет учитывать тот факт, что внешние совместители, особенно представители зарубежных университетов, зачастую могут вносить значимый вклад в прирост количества опубликованных статей, однако показатель численности ППС с учетом внешних совместителей в официальной статистике отсутствует.
33
контрфактические сценарии для оценки количества и качества статей, которые работники ТюмГУ опубликовали бы в отсутствие Проекта «5-100». Для определения гипотетического альтернативного сценария необходимо отделить эффект воздействия от других факторов. Анализ осуществляется путем выбора групп сравнения, которые не участвуют в проекте «5-100» и обеспечивают подходящие контрфактические исходные условия, представляющие гипотетическую ситуацию без вмешательства данного проекта. Затем контрольная группа сравнивается с группой воздействия.
Рассматриваются два контрфактических сценария. В первом сценарии применяется метод регрессии с переключением режимов, предложенный в работе [25]. Во втором сценария используются методы синтетической контрольной группы [26].
В первом контрфактическом анализе число статей в БД Web of Science, которые были бы опубликованы ТюмГУ, если бы он не участвовал в Проекте «5-100», оценивается как предполагаемое с учетом тренда публикационной активности и поправки на изменение, произошедшее после 2015 года и связанное с факторами вне Проекта «5-100» (с бумом в России публикационной активности [27], с ростом доходов в Тюменской области и др.). Поправка на изменение тренда рассчитывается по изменению публикационной активности Тюменского индустриального университета (далее -ТИУ). Во-первых, ТИУ тоже расположен в Тюмени, поэтому он может быть подвержен влиянию тех же самых внутрирегиональных факторов (рост доходов населения, изменения в демографической структуре), что и ТюмГУ. Во-вторых, оба университета на начало участия ТюмГУ в Проекте «5-100» были сопоставимы между собой по ключевым показателям развития, таким как численность работников и объем расходов на НИОКР. Хотя ТИУ формально и относится к группе технических университетов, в анализируемый период он осуществлял подготовку кадров в области социальных и гуманитарных наук, экономики и управления.
Для составления прогнозов используется следующее уравнение:
In(Y,) = Д + Дtrend + е„ (1)
где J30 и fix - константа и коэффициенты регрессии; In(Yt) - натуральный логарифм числа статей в ТюмГУ в году, t\ trend- линейный тренд; е, — ошибка.
Затем применяется та же процедура, но с использованием данных ТИУ, позволяющая
34
получить прогнозы соответствующего количества публикаций за тот же период времени. Вышеупомянутая корректировка изменения тренда рассчитывается для каждого года (с 2015-го по 2019-й включительно) следующим образом: д(7то) _ — j}i(YliP'"JÍ'clL'dTIU)y (2)
где А\ш,) - коррекция на изменение тренда; ln(Y¡obSLTrL'mu)) и in{Y¡p"''^mu))-натуральные логарифмы наблюдаемого и прогнозируемого количества статей в ТИУ в год 1 соответственно.
Наконец, предполагаемое влияние Проекта «5-100» на количество публикаций в ТюмГУ в 2015-2019 годах рассчитывается как разница между наблюдаемым числом публикаций в ТюмГУ и прогнозируемыми значениями (включая корректировку) следующим образом:
т j. TrOlisei veJUT /1 , д TIU\ , , 1/¡'miirii d11 ,
Impact, = Yl - (1 + A, ) x Yl , (3)
где Y"hs"rcJÜT- наблюдаемое количество статей в ТюмГУ в году t\ YlPr"Jl'cll'JLíT - прогнозируемое количество статей в ТюмГУ в году t, полученное из (1); Л™ - коррекция на изменение тренда, полученная в (2).
Первый сценарий не учитывает проблему наличия потенциальных побочных эффектов, возникающих, когда контрольная группа тоже может косвенно подвергаться воздействию. Например, участие ТюмГУ в Проекте «5-100» могло повлиять на ТИУ. Подтверждением наличия положительного косвенного эффекта выступает рост научной коллаборации университетов, что проявляется в повышении числа совместно опубликованных статей: в БД Scopus с 5 в 2015 году до 34 в 2017-м, в БД Web of Science (SCI Expanded и SSCI) с 2 в 2015 году до 14 в 2018-м. Таким образом,
¿C = А,+ Spillover™, (4)
где А,-изменение тенденции публикационной активности в ТИУ, которое произойдет без каких-либо побочных эффектов; Spillover™-побочный эффект, вызванный влиянием возросшей публикационной активности в ТюмГУ.
Чтобы изолировать этот побочный эффект, необходимо сравнить ТюмГУ с университетом, удаленным от Тюмени и при этом не являющимся университетом-участником Проекта «5-100». Предполагается, что в этом случае Spillover™ = 0. В контексте данного исследования можно выделить достаточно много потенциальных университетов из контрольной группы. Можно использовать стандартный анализ с фиксированными эффектами (который фактически предполагает, что
каждый университет одинаково хорош в качестве контрольного). Однако здесь может не выполняться условие параллельности трендов до воздействия Проекта «5-100», и такой анализ не позволит дать точную оценку эффекта, производимого данным проектом. Базируясь на методе разности разностей, метод синтетических контрольных групп отходит от использования одной контрольной группы или простого среднего значения контрольных групп и вместо этого предлагает выбор взвешенного среднего потенциальных контрольных групп [26]. Другими словами, вместо выбора между Тюменским индустриальным университетом, Башкирским государственным университетом или, к примеру, Иркутским государственным университетом метод синтетических контрольных групп предполагает выбор веса для каждого из этих трех университетов, чтобы средневзвешенное значение было к ТюмГУ ближе, чем к любому отдельно взятому университету или к простому среднему значению результатов перечисленных вузов.
Применение метода синтетических контрольных групп требует определенного алгоритма для выбора весов. В оригинальной работе [26] используется подход с минимальным расстоянием в сочетании с ограничением на то, что полученные веса неотрицательны и в сумме дают единицу Такой подход часто приводит к уникальному набору весов. Однако если определенный объект находится на краю распределения, то учет весов, которые суммируются до числа, отличного от единицы, или учет отрицательных весов могут подбор улучшить. Эффект от участия в Проекте «5-100» в нашем случае будет оцениваться следующим образом:
а^-ВД и>х„ (5)
где Yи - исход [общее число статей в журналах с импакт-фактором БД Web of Science (SCI Expanded и SSCI) либо количество статей в журналах первого и второго квартиля] для университета i в период t, так что 1 е {Г0 +1,..., Т}; i— 1 -объект, подверженный воздействию после периода Т„ ( \ <Т„< Т)\ /-возможные контрольные группы, индексируемые как {2,...,/+1}; w¡—неотрицательные веса, в сумме дающие единицу
Пусть х; - наблюдаемые регрессоры для объекта i (объем НИОКР, общая численность НПР, численность аспирантов, а также доля НПР с научной степенью). Выбор весов происходит таким образом, что в результате минимизируется расстояние между (Yu, х^ и Х^1, (адиВД w.(7.2,.ï.),..., ОМиВД'WjlY^Xj).
Оптимальные веса (те, что различаются в зависимости от определения расстояния) дают синтетическую контрольную группу, чьи исходы в период до участия в Проекте «5-100» и регрессоры в период участия в нем наиболее близки [28].
Как указывается в работе [26], даже если существует синтетическая контрольная группа, которая обеспечивает соответствие группе воздействия, смещение оценок может быть большим, если простая линейная модель не распространяется на весь набор контрольных групп в какой-либо конкретной выборке. Для решения этой проблемы можно ограничить пул доноров лишь объектами с характеристиками, аналогичными характеристикам объекта, подверженного воздействию. В качестве критериев для университетов контрольной группы использовались схожий с ТюмГУ профиль (классический университет, значительную часть выпускников которого составляют специалисты в области естественных, гуманитарных и социально-экономических наук) и сопоставимость по ключевым показателям (число научных статей, объем НИОКР, численность сотрудников). Из документа «Рейтинг востребованности вузов в РФ-2015: классические университеты» [29] в качестве контрольной группы были выбраны 30 классических университетов.
Описательные статистики
На рис. 3 отражена динамика изменения количества статей, опубликованных сотрудниками ТюмГУ и ТИУ. Оба университета до 2013 года имели низкие показатели публикационной активности. Однако после 2013 года число публикаций стало увеличиваться в каждом из этих университетов. В качестве причины роста публикационной активности можно предположить желание вузов выполнить требования мониторинга эффективности деятельности организаций высшего образования. ТИУ удалось быстро нарастить публикационную активность в индексируемых БД Scopus изданиях, но сделано это было за счет прочих публикаций, преимущественно тезисов конференций. Как указывается в работе [18], такая стратегия не может быть достоверным индикатором повышения уровня научных исследований. Если же отбросить доминирующую стратегию ТИУ, то его результат окажется сопоставимым с результатом ТюмГУ: по общему числу статей только в научных журналах оба университета почти не различаются. Тем не менее и здесь увеличение числа опубликованных сотрудниками ТИУ статей происходит в основном за счет их
35
размещения в сегменте низкоцитируемых журналов или даже в откровенно недобросовестных, «мусорных» изданиях.
Поскольку рост числа потенциально недобросовестных изданий был отмечен прежде всего в БД Scopus [19], в нашем исследовании под публикационной активностью будут пониматься статьи в журналах, индексируемых БД Web of Science и имеющих импакт-фактор. Так, в структуре публикаций ТИУ преобладают тезисы конференций, а также статьи в журналах без импакт-фактора. По статьям только в журналах с им-пакт-фактором (SCI Expanded и SSCI) ТИУ явно уступает ТюмГУ в росте публикационной активности (см. рис. 3). Проект «5-100» эффективно воздействует не только на рост общего числа опубликованных статей, но и на улучшение их качества. Так, по числу статей в журналах первого и второго квартиля ТюмГУ значительно опережает ТИУ, и данный разрыв, отмечающийся с 2016 года, продолжает нарастать.
Па рис. 4 представлены тренды публикационной активности в ТюмГУ и в контрольной
группе университетов; как следует из приведенных данных, эти тренды различаются. Поскольку не выполняется условие параллельности трендов до вступления ТюмГУ в Проект «5-100», метод разности разностей не позволяет дать точные и объективные оценки эффекта воздействия этого проекта.
Поскольку университеты из контрольной группы не обеспечивают подходящих контрфактических исходных условий, был сформирован синтетический университет, который отражает значения предикторов и результирующих показателей в ТюмГУ перед его входом в Проект «5-100». Синтетический университет построен как средневзвешенное весов потенциальных университетов с весами контрольными, при этом веса выбираются таким образом, чтобы полученный в результате синтетический университет наилучшим образом воспроизводил значения набора предикторов и результирующих показателей в ТюмГУ до его входа в Проект «5-100». В табл. 1 приведены описательные статистики этих переменных.
Рис. 3. Количество статей (тип документа article)* в Тюменском государственном университете (ТюмГУ) и Тюменском индустриальном университете (ТИУ): а-статьи в Web of Science (Science Citation Index
Expanded и Social Sciences Citation Index); б-статьи в Scopus Fig. 3. Publication activity of the University of Tyumen (UT) and Tyumen Industrial University (TIU): a - WoS publications (Science Citation Index Expanded and Social Sciences Citation Index); b - Scopus publications
*Мы учитываем лишь количество статей (только тип документа article), опубликованных сотрудниками университетов в календарном году и проиндексированных в БД Web of Science Core Collection или БД Scopus. Список журналов БД Web of Science ограничен лишь индексируемыми в Science Citation Index Expanded и Social Sciences Citation Index.
Рис. 4. Публикационная активность ТюмГУ и контрольной группы вузов: а-общее количество статей в Web of Science (Science Citation Index Expanded и Social Sciences Citation Index); б-только в журналах
первого и второго квартиля БД Web of Science Fig. 4. Publication activity of the University of Tyumen and the control group of universities: a - total number of WoS publications (Science Citation Index Expanded and Social Sciences Citation Index); b - WoS publications
only in Q1 and Q2 journals
Таблица 1
Средние значения предикторов и результирующих показателей в ТюмГУ реальном и синтетическом и в университетах контрольной группы
Table 1
Average values of indicators: (1) dependent variable - the total number of articles, (2) dependent variable - the number of articles published in Q1 and Q2 journals
Переменная ТюмГУ Среднее значение для 31 университета контрольной группы
реальный синтетический
(1) (2)
Общий объем научно-исследовательских и опытно-конструкторских работ, тыс. руб. Численность аспирантов вуза в расчете на 100 студентов (приведенного контингента), чел. 167 711,4 4,5O 167 6O7,8 4,5O 168 444,5 4,5O 187 264,7 3,99
Общая численность ППС (без внешних совместителей и работающих по договорам ГПХ), чел. 856,O 856,6 859,1 946,7
Удельный вес НПР, имеющих ученую степень кандидата и доктора наук, в общей численности ППС вуза, % 69,O 69,O 69,З 81,6
Количество статей в 2013 году, ед. 45,OO 5O,3O - 49,29
Количество статей в 2014 году, ед. 67,O 58,7 - 55,7
Количество статей в 2015 году, ед. 1O5,O 94,O - 90,2
Количество статей 01 и 02 в 2013 году, ед. 5, OO 9,86 14,70
Количество статей 01 и 02 в 2014 году, ед. 11, OO 12,57 15,00
Количество статей 01 и 02 в 2015 году, ед. 2O,O 2O,4 21,1
Примечания
1. Зависимые переменные: (1)-общее число статей; (2)-число статей, вышедших в журналах первого и второго квартиля (Q1 и Q2).
2. Все переменные, за исключением показателей публикационной активности, усреднены за двухлетний период (2013 и 2014 годы).
Согласно приведенным в табл. 1 данным в среднем университеты, которые не участвовали в Проекте «5-100», не обеспечивают подходящей контрольной группы для ТюмГУ. В частности, до 2015 года эти университеты были в среднем крупнее (в них работало больше сотрудников, и эти университеты выполняли больше НИОКР). Более того, до начала реализации Проекта «5-100» доля сотрудников с научной степенью была в среднем значительно выше в 31 университете из контрольной группы. В противоположность этому синтетический ТюмГУ точно воспроизводит значения ТюмГУ реального.
Результаты оценки воздействия Проекта «5-100» на публикационную активность ТюмГУ
Результаты оценок для первого сценария представлены на рис. 5. Прогноз количества опубликованных ТюмГУ статей до входа в Проект «5-100» в сценарии 1 основан на информации за 20002014 годы и учитывает тренд публикационной активности в Тюменском индустриальном университете. Как следует из приведенных на рис. 5 данных, разница в оценочном числе статей в ТюмГУ значительна. Расстояние между пиками
сплошной линии и пунктирной (сценарий 1) соответствует разнице в 140 статей за первые 2 года (2016 и 2017); в итоге-330. В отношении количества опубликованных статей в журналах первого и второго квартиля эффект еще более значимый - 89 статей за первые 2 года и 234 в итоге; это позволяет говорить о том, что рост публикационной активности ТюмГУ происходил в основном благодаря публикациям в высокорейтинговых журналах. Полученные результаты отражают тот факт, что без Проекта «5-100» публикационная активность ТюмГУ была бы намного ниже.
Согласно второму сценарию влияние Проекта «5-100» оценивается как разница между количеством статей, опубликованных ТюмГУ и его синтетической версией в период после 2015 года. В табл. 2 приведены веса каждого университета из контрольной группы для расчета взвешенного среднего: синтетического ТюмГУ. Веса показывают, что публикационная активность ТюмГУ (общее количество статей) до его входа в Проект «5-100» лучше всего воспроизводится комбинацией из почти всех университетов, за исключением Алтайского, Мордовского, Пензенского, Пермского, Саратовского, Северо-Восточного и Южного, которым в пуле доноров присваиваются нулевые веса.
На рис. 6 представлено количество опубликованных статей в ТюмГУ синтетическом и в ТюмГУ
а б
Рис. 5. Прогноз количества опубликованных статей согласно сценарию 1: а-общее количество статей в БД Web of Science (Science Citation Index Expanded и Social Sciences Citation Index); б-только в журналах первого и второго квартиля Fig. 5. Results for Scenario 1 (a - the total number of WoS articles and b - articles in Q1 and Q2 journals)
Таблица 2
Весовые значения университетов контрольной группы
Table 2
University weights in the synthetic University of Tyumen: (1) dependent variable - total number of articles, (2) dependent variable - number of articles published in Q1 and Q2 journals
Университет Вес
(1) (2)
Алтайский государственный университет 0 0,001
Астраханский государственный университет 0,018 0,012
Башкирский государственный университет 0,289 0,020
Брянский государственный университет имени академика И. Г. Петровского 0,016 0,007
Воронежский государственный университет 0,01 0,01
Дагестанский государственный университет 0,006 0,008
Иркутский государственный университет 0,006 0,003
Кабардино-Балкарский государственный университет имени X. М. Бербекова 0,008 0,013
Кемеровский государственный университет 0,050 0,242
Кубанский государственный университет 0,01 0,01
Курский государственный университет 0,017 0,003
Марийский государственный университет 0,007 0,006
Национальный исследовательский Мордовский государственный университет имени Н. П. Огарева 0,00 0,01
Орловский государственный университет имени И. С. Тургенева 0,022 0,011
Пензенский государственный университет 0,000 0,199
Пермский государственный национальный исследовательский университет 0,000 0,013
Петрозаводский государственный университет 0,009 0,010
Рязанский государственный университет имени С. А. Есенина 0,011 0,001
Саратовский национальный исследовательский государственный университет имени Н. Г. Чернышевского 0,000 0,011
Северный (Арктический) федеральный университет имени М. В. Ломоносова 0,033 0,012
Северо-Восточный федеральный университет имени М. К. Аммосова 0 0,013
Северо-Кавказский федеральный университет 0,035 0,014
Тверской государственный университет 0,012 0,008
Тихоокеанский государственный университет 0,085 0,030
Тульский государственный университет 0,019 0,012
Тюменский индустриальный университет 0,024 0,012
Удмуртский государственный университет 0,014 0,011
Ульяновский государственный университет 0,213 0,058
Челябинский государственный университет 0,039 0,019
Юго-Западный государственный университет Южный федеральный университет 0,047 0,000 0,214 0,009
Примечание. Зависимые переменные: (1)-общее число статей; (2)-число статей, вышедших в журналах первого и второго квартиля (С>1 и (22).
реальном. Тренды до 2015 года практически идентичны, что означает, что ошибка подгонки в нашем случае мала. Однако ошибка прогноза становится гораздо более очевидной после 2015 года: количество статей в ТюмГУ реальном с каждым годом растет быстрее, чем в ТюмГУ синтетическом.
Как следует из приведенных на рис. 7 данных, разрывы в публикационной активности реального ТюмГУ и ТюмГУ синтетического наблюдались с 2015 года по 2017 год включительно. Проект «5-100» увеличил публикационную активность реального ТюмГУ, при этом наибольший эффект наблюдался в 2017 году. Сценарии 1 и 2 (см. рис. 5 и 7) демонстрируют похожие результаты: 140 публикаций и 164 публикации соответственно за первые 2 года участия в проекте. Более того, из 164 дополнительно опубликованных статей 78 приходится на журналы первого и второго квартиля, и именно в этом результате мы видим основную ценность Проекта «5-100» для ТюмГУ-в университете происходят видимые качественные изменения. Для ТюмГУ эффект Проекта «5-100» оказывается значимее, чем средний эффект данного проекта для вузов первой волны. Так, ожидаемые показатели общего числа статей, на которые можно было бы рассчитывать без финансовой поддержки со стороны Проекта «5-100»,
выросли на 36 и 120 % в первые два года соответственно против 27 и 47 % в среднем для вузов первой волны [19]. Кроме того, количество публикаций в журналах первого и второго квартиля опережает публикационный тренд контрфактического сценария почти в два раза в 2016 году и более чем в 4 раза в 2017 году. Такой впечатляющий результат ТюмГУ в краткосрочном периоде можно объяснить эффектом низкой базы. В этом отношении наши результаты похожи на результаты программы формирования университетов мирового класса в Тайване, где вузы, получившие меньшее финансирование, показали лучшие результаты прироста публикационной активности [30].
Для проверки устойчивости результатов выполняется серия плацебо-тестов, где ТюмГУ переводится в контрольную группу, а метод синтетической контрольной группы многократно применяется для каждого университета из контрольной группы. На каждой итерации получены оценки гипотетических эффектов воздействия для каждого университета из пула доноров. Таким способом можно сравнить, является ли оценка эффекта воздействия существенно больше оценки этого эффекта при случайном выборе университета из контрольной группы.
На рис. 8 представлено распределение эффектов воздействия Проекта «5-100» для всех
Рис. 6. Публикационная активность ТюмГУ реального и ТюмГУ синтетического: а-общее количество статей в Web of Science (Science Citation Index Expanded и Social Sciences Citation Index); б-только в журналах первого и второго квартиля Fig. 6. Trends in the research output of the University of Tyumen and the synthetic University of Tyumen: a - number of WoS publications; b - WoS publications only in Q1 and Q2 journals
а б
Рис. 7. Разрыв в публикационной активности ТюмГУ реального и ТюмГУ синтетического: а-общее количество статей в Web of Science (Science Citation Index Expanded и Social Sciences Citation Index); б-только в журналах первого и второго квартиля Fig. 7. Research output gap between the University of Tyumen and the synthetic University of Tyumen: a - number of WoS publications; b - WoS publications only in Ql and Q2 journals
а б
Рис. 8. Результаты плацебо-тестов: а-общее количество статей в БД Web of Science (Science Citation Index Expanded и Social Sciences Citation Index); б-только в журналах первого и второго квартиля Fig. 8. Results of placebo tests: a - number of WoS publications; b - WoS publications only in Q1 and Q2 journals
32 университетов. Ошибка прогнозирования для ТюмГУ отличается от ошибок прогнозирования для других вузов до 2015 года незначимо, но она становится больше после входа университета в данный проект. Рост публикационной активности в большинстве университетов контрольной группы оказывается не таким значимым, как в ТюмГУ. Более того, ошибки прогнозирования в некоторых вузах являются отрицательными, то есть публикационная активность под воздействием Проекта «5-100» гипотетически могла снижаться.
Заключение
В силу неоднородности участников Проекта «5-100» по размерам, структуре деятельности, объемам финансирования, специализации и приоритетам развития необходим детальный анализ воздействия этого проекта на публикационную активность каждого отдельного вуза.
Представленная нами работа-одна из первых, где дается количественная оценка воздействия программы повышения конкурентоспособности на публикационную активность отдельно взятого университета. С помощью метода синтетических контрольных групп на примере ТюмГУ продемонстрировано, что в условиях повышенной активности Проект «5-100» позволяет вузам-участникам наращивать свою публикационную активность. Наибольший эффект достигается не сразу, а спустя несколько лет после входа в проект. Полученные результаты свидетельствуют, что ожидаемые показатели общего числа статей, на которые можно было бы рассчитывать без финансовой поддержки со стороны программы, растут ускоренными темпами. Похожий вывод был получен в работе [12] для группы южно-корейских исследовательских университетов. Хотя у университета и может быть соблазн достигать быстрых результатов, стимулируя лишь рост общего количества публикаций, ТюмГУ меняется качественно, на что указывает ускоренный рост числа статей в журналах первого и второго квартиля.
В проведенном исследовании использовался полный метод подсчета публикаций, когда каждой организации, упомянутой в перечне аффилиаций той или иной статьи, публикация засчиты-вается полностью, вне зависимости от общего их числа. Используемый метод подвержен «двойному счету» и не позволяет исключить «бумажного» роста публикационной активности, который происходит из-за включения своих аффилиаций в чужие работы [19]. В то же самое время рост доли
42
внешних соавторов, особенно из ведущих мировых университетов или отраслевых научных организаций, должен рассматриваться как позитивная тенденция, поскольку он отражает усиление включенности сотрудников отечественных университетов в глобальное научное пространство. На следующем шаге, для проверки устойчивости полученных результатов, исследование может быть дополнено подсчетом публикаций методом фракционного счета [19]. В таком случае на каждую публикацию в базе цитирования выделяется один балл, который распределяется между всеми упомянутыми в статье организациями пропорционально числу авторов.
Развитие университета в рамках Проекта «5-100» заключается не только в достижении высоких показателей публикационной активности и цитируемости. В процессе оценки эффектов от участия в указанном проекте необходимо учитывать целый комплекс показателей развития университетов. Данная статья не была нацелена на рассмотрение взаимосвязи между финансовой поддержкой, оказываемой в рамках Проекта «5-100», и индикаторами продвижения в глобальных рейтингах (доля иностранных студентов и преподавателей, узнаваемость и репутация университетов, исследования, выполненные в международной коллаборации). Поэтому еще одним возможным продолжением проведенного нами исследования является дополнение индикаторов публикационной активности университета прочими показателями повышения его глобальной конкурентоспособности.
Список литературы
1. Broecke S. University rankings: do they matter in the UK? // Education Economics. 2015. Vol. 23, no 2. P. 137-161. DOI: 10.1080/09645292.2012.729328.
2. Hazelkorn E. Reflections on a Decade of Global Rankings: what we've learned and outstanding issues // European Journal of Education. 2014. Vol. 49, no 1. P. 12-28. DOI: 10.1111/ejed.12059.
3. Douglass J. A. How Rankings Came to Determine World Class. The New Flagship University. New York : Palgrave Macmillan, 2016. P. 9-29. DOI: 10.1057/9781137500496 1.
4. Schultz T. W. The economic importance of human capital in modernization // Education economics. 1993. Vol. 1, no 1. P. 13-19. DOI: 10.1080/09645299300000003.
5. Sahlberg P. Education reform for raising economic competitiveness // Journal of Educational Change. 2006. Vol. 7, no 4. P. 259-287. DOI: 10.1007/sl0833-005-4884-6.
6. Салми Дж., Фрумин И. Д. Как государства добиваются международной конкурентоспособности университетов: уроки для России / перевод Н. Микшина // Вопросы образования. 2013. № 1. С. 25-68.
7. Hazelkorn E. Reflections on a Decade of Global Rankings: what we've learned and outstanding issues // European Journal of Education. 2014. Vol. 49, no 1. P. 12-28. DOI: 10.1111/ejed.12059.
8. Lee J., Liu K., Wu Y. Does the Asian catch-up model of world-class universities work? Revisiting the zero-sum game of global university rankings and government policies // Educational Research for Policy and Practice. 2020. P. 1-25. DOI: 10.1007/s10671-020-09261-x.
9. Salmi J. The challenge of establishing world class universities. Washington D. C. : The World Bank, 2009. 136 p. DOI: 10.1596/978-0-8213-7865-6.
10. Altbach P. The costs and benefits of world-class universities // International higher education. 2003. No 33. P. 5-8. DOI: 10.6017/ihe.2003.33.7381.
11. Fu Y. C., Baker D. P., Zhang L. Engineering a World Class University? The Impact of Taiwan's World Class University Project on Scientific Productivity // Higher Education Policy. 2020. Vol. 33, no 3. P. 555-570. DOI: 10.1057/s41307-018-0110-z.
12. Shin J. C. Building world-class research university: The Brain Korea 21 project // Higher Education. 2009. Vol. 58, no 5. P. 669-688. DOI: 10.1007/s10734-009-9219-8.
13. Zhang H., Patton D., Kenney M. Building global-class universities: Assessing the impact of the 985 Project // Research Policy. 2013. Vol. 42, no 3. P. 765-775. DOI: 10.1016/j.respol.2012.10.003.
14. Zong X., Zhang W. Establishing world-class universities in China: deploying a quasi-experimental design to evaluate the net effects of Project 985 // Studies in Higher Education. 2019. Vol. 44, no 3. P. 417-431. DOI: 10.1080/03075079.2017.1368475.
15. Mdller Т., Schmidt M., Hornbostel S. Assessing the effects of the German Excellence Initiative with bibliometric methods // Scientometrics. 2016. Vol. 109, no 3. P. 2217-2239. DOI: 10.1007/s11192-016-2090-3.
16. Influence of the program «5-top 100» on the publication activity of Russian universities / T. Turko, G. Bakhturin, V. Bagan [et al.] // Scientometrics. 2016. Vol. 109, no 2. P. 769-782. DOI: 10.1007/sl 1192-016-2060-9.
17. Шибанова Е.Ю., Платонова Д. П., Лисюткин М. А. Проект «5-100»: динамика и паттерны развития университетов // Университетское управление: практика и анализ. 2018. Т. 22, № 3 (115). С. 32-48. DOI: 10.15826/ umpa.2018.03.025.
18. Guskov A. E., Kosyakov D. V., Selivanova I. V. Boosting research productivity in top Russian universities: the circumstances of breakthrough // Scientometrics. 2018. Vol. 117, no 2. P. 1053-1080. DOI: 10.1007/slll92-018-2890-8.
19. Публикационная активность вузов: эффект проекта «5-100» /О.В. Польдин, Н.Н. Матвеева, И. А. Стерлингов, М.М. Юдкевич // Вопросы образования. 2017. №2. С. 10-35. DOI: 10.17323/1814-9545-2017-2-10-35.
20. The Russian Excellence Initiative for higher education: a nonparametric evaluation of shortterm results / T. Agasisti, E. Shibanova, D. Platonova, M. Lisyutkin // International Transactions in Operational Research. 2019. Vol. 27, no 4. P. 1911-1929. DOI: 10.2139/ssrn.3272809.
21. Кузъминов Я.И., Семенов Д. С., Фрумин И. Д. Структура вузовской сети: от советского к российскому
«мастер-плану» // Вопросы образования. 2013. Т. 4. С. 8-69. DOI: 10.17323/1814-9545-2013-4-8-69.
22. Rudenko D., Pogodaeva T., Golubev E. Transition towards an entrepreneurial university: a case study of the Tyumen State University // International journal of business and globalization. 2017. Vol. 18, no 1. P. 96-111. DOI: 10.1504/ IJBG.2017.081026.
23. Best Global Universities Rankings // US News. URL: https://www.usnews.com/education/best-global-universities/tyumen-state-university-529665 (дата обращения: 10.04.2020).
24. Khandker S., Koolwal B. G., Samad H. Handbook on impact evaluation: quantitative methods and practices. Washington D. C. : The World Bank, 2009. 262 p. DOI: 10.1596/978-0-8213-8028-4.
25. On nature's shoulders: Riding the big waves in Nazar6 / M. A. Cunha-e-Sa, R. Freitas, L. C. Nunes, V. Otrachshenko // Tourism Economics. Vol. 24, no 4. P. 369-385. DOI: 10.1177/1354816617731195.
26. Abadie A., Diamond A., Hainmueller J. Synthetic control methods for comparative case studies: Estimating the effect of California's tobacco control program // Journal of the American statistical Association. 2010. Vol. 105, no 490. P. 493-505. DOI: 10.1198/jasa.2009.ap08746.
27. MoedH. F., Markusova V., Akoev M. Trends in Russian research output indexed in Scopus and Web of Science // Scientometrics. 2018. Vol. 116, no 2. P. 1153-1180. DOI: 10.1007/sl 1192-018-2769-8.
28. Вулдридж Д. M. Оценивание методом разность разностей // Квантиль. 2009. Т. 6. С. 26-47.
29. Рейтинг востребованности вузов в РФ -2015: классические университеты // РИА Новости. URL: http://vidl. rian.ru/ig/ratings/Rating_uni_2015_klass_l.htm (дата обращения: 10.12.2019).
30. An evaluation of the dynamics of the plan to develop first-class universities and top-level research centers in Taiwan / D. F. Chang, C. T. Wu, G. S. Ching, C.W. Tang // Asia Pacific Education Review. 2009. Vol. 10, no 1. P. 47-57. DOI: 10.1007/s12564-009-9010-7.
References
1. Broecke S. University Rankings: Do they Matter in the UK? Education Economics, 2015, vol. 23, no 2, pp. 137-161. DOI: 10.1080/09645292.2012.729328. (In Eng.).
2. Hazelkorn E. Reflections on a Decade of Global Rankings: What We've Learned and Outstanding Issues. European Journal of Education, 2014, vol. 49, no 1, pp. 12-28. DOI: 10.1111/ejed.12059. (In Eng.).
3. Douglass J. A. How Rankings Came to Determine World Class. The New Flagship University. Palgrave Macmillan, New York, 2016. Pp. 9-29. DOI: 10.1057/97811 37500496 1. (In Eng.).
4. Schultz T. W. The Economic Importance of Human Capital in Modernization. Education Economics, 1993, vol. 1, no 1, pp. 13-19. DOI: 10.1080/09645299300000003. (In Eng.).
5. Sahlberg P. Education Reform for Raising Economic Competitiveness. Journal of Educational Change, 2006, vol. 7, no 4, pp. 259-287. DOI: 10.1007/ s10833-005-4884-6. (In Eng.).
43
6. Salmi J., Frumin I. D. Kak gosudarstva dobivaiutsia mejdunarodnoi konkurentosposobnosti universitetov: uroki dlia Rossii [How States Achieve International University Competitiveness: Lessons for Russia]. Voprosy obrazovania, 2013, vol. 1, pp. 25-68. (In Russ.).
7. Hazelkorn E. Reflections on a Decade of Global Rankings: What We've Learned and Outstanding Issues. European Journal of Education, 2014, vol. 49, no 1, pp. 12-28. DOI: 10.1111/ejed.12059. (In Eng.).
8. Lee J., Liu K., Wu Y. Does the Asian Catch-up Model of World-Class Universities Work? Revisiting the Zero-Sum Game of Global University Rankings and Government Policies. Educational Research for Policy and Practice, 2020, pp. 1-25. DOI: 10.1007/s10671-020-09261-x. (In Eng.).
9. Salmi J. The Challenge of Establishing World Class Universities. Washington D. C., The World Bank, 2009. 136 p. DOI: 10.1596/978-0-8213-7865-6. (In Eng.).
10. Altbach P. The Costs and Benefits of World-Class Universities. International Higher Education, 2003, no 33, pp. 5-8. DOI: 10.6017/ihe.2003.33.7381. (In Eng.).
11. Fu Y. C., Baker D. P., Zhang L. Engineering a World Class University? The Impact of Taiwan's World Class University Project on Scientific Productivity. Higher Education Policy, 2018, vol. 33, no 3, pp. 1-16. DOI: 10.1057/ s41307-018-0110-z. (In Eng.).
12. Shin J. C. Building World-Class Research University: The Brain Korea 21 Project Higher Education. 2009, vol. 58, no 5, pp. 669-688. DOI: 10.1007/ s10734-009-9219-8. (In Eng.).
13. Zhang H., Patton D., Kenney M. Building Global-Class Universities: Assessing the Impact of the 985 Project. Research Policy, 2013, vol. 42, no 3, pp. 765-775. DOI: 10.1016/j.respol.2012.10.003. (In Eng.).
14. Zong X., Zhang W. Establishing World-Class Universities in China: Deploying a Quasi-Experimental Design to Evaluate the Net Effects of Project 985. Studies in Higher Education, 2019, vol. 44, no 3, pp. 417-431. DOI: 10.1080/03075079.2017.1368475. (In Eng.).
15. Moller T., Schmidt M., Hornbostel S. Assessing the Effects of the German Excellence Initiative with Bibliometric Methods. Scientometrics, 2016, vol. 109, no 3, pp. 2217-2239. DOI: 10.1007/s11192-016-2090-3. (In Eng.).
16. Turko T., Bakhturin G., Bagan V., Poloskov S., Gudym D. Influence of the Program «5-Top 100» on the Publication Activity of Russian Universities. Scientometrics, 2016, vol. 109, no 2, pp. 769-782. DOI: 10.1007/ s11192-016-2060-9. (In Eng.).
17. Shibanova E. Yu., Platonova D. P., Lisyutkin M. A. Proyekt «5-100»: dinamika i patterny razvitiya universitetov [Project 5-100: Dynamics and Development Patterns of Universities]. University Management: Practice and Analysis, 2018, vol. 22, no 3, pp. 32-48. DOI: 10.15826/ umpa.2018.03.025. (In Russ.).
18. Guskov A. E., Kosyakov D. V., Selivanova I. V. Boosting Research Productivity in Top Russian Universities: the Circumstances of Breakthrough. Scientometrics, 2018, vol. 117, no 2, pp. 1053-1080. DOI: 10.1007/ s11192-018-2890-8. (In Eng.).
44
19. Poldin O., Matveeva N., Sterligov I., Yudkevich M. Publikatsionnaya aktivnost' vuzov: effekt proyekta «5-100» [Publication Activities of Russian Universities: The Effects of Project 5-100]. Voprosy obrazovania, 2017, vol. 2, pp. 10-35. DOI: 10.17323/1814-9545-2017-2-10-35 (In Russ.).
20. Agasisti T., Shibanova E., Platonova D., Lisyutkin M. The Russian Excellence Initiative for Higher Education: a Nonparametric Evaluation of Short-Term Results. International Transactions in Operational Research, 2019, vol. 27, no 4, pp. 1911-1929. DOI: 10.2139/ssrn.3272809. (In Eng.).
21. Kuzminov Ya. I., Semenov D. S., Froumin I. D. Struktura vuzovskoy seti ot sovetskogo k rossiyskomu «masterplanu» [The Structure of the University Network: from Soviet to Russian «Master Plan»]. Voprosy obrazovania, 2013, vol. 4, pp. 8-69. DOI: 10.17323/1814-9545-2013-4-869. (In Russ.).
22. Rudenko D., Pogodaeva, T., Golubev, E. Transition towards an Entrepreneurial University: A Case Study of the Tyumen State University. International Journal of Business and Globalisation, 2017, vol. 18, no 1, pp. 96-111. DOI: 10.1504/IJBG.2017.081026. (In Eng.).
23. Best Global Universities Rankings. US News. Available at: https://www.usnews.com/education/best-global-universities/tyumen-state-university-529665 (accessed 10.04.2020). (In Eng.).
24. Khandker S., Koolwal B. G., Samad H. Handbook on Impact Evaluation: Quantitative Methods and Practices. Washington D. C., The World Bank, 2009. 262 p. DOI: 10.15 96/978-0-8213-8028-4. (In Eng.).
25. Cunha-e-Sa M. A., Freitas R., Nunes L. C., Otrachshenko V. On Nature's Shoulders: Riding the Big Waves in Nazaré, Tourism Economics, vol. 24, no 4, pp. 369-385. DOI: 10.1177/1354816617731195. (In Eng.).
26. Abadie A., Diamond A., Hainmueller J. Synthetic Control Methods for Comparative Case Studies: Estimating the Effect of California's Tobacco Control Program. Journal of the American statistical Association, 2010, vol. 105, no 490, pp. 493-505. DOI: 10.1198/jasa.2009. ap08746. (In Eng.).
27. Moed H. F., Markusova V., Akoev M. Trends in Russian Research Output Indexed in Scopus and Web of Science. Scientometrics, 2018, vol. 116, no 2, pp. 1153-1180. DOI: 10.1007/s11192-018-2769-8. (In Eng.).
28. Wooldridge D. M. Otsenivaniye metodom raznost' raznostey [Estimation by Difference-in-Difference Method]. Kvantil' [Quantile], 2009, vol. 6, pp. 26-47. (In Russ.).
29. Reyting vostrebovannosti vuzov v RF - 2015: klassicheskiye universitety [Ranking the Demand for Universities in the Russian Federation - 2015: Classical Universities]. RIA Novosti. Available at: http://vid1.rian. ru/ig/ratings/Rating_uni_2015_klass_1.htm (accessed 10.12.2019). (In Russ.).
30. Chang D. F., Wu C. T., Ching G. S., Tang C. W. An Evaluation of the Dynamics of the Plan to Develop First-Class Universities and Top-Level Research Centers in Taiwan. Asia Pacific Education Review, 2009, vol. 10, no 1, pp. 47-57. DOI: 10.1007/s12564-009-9010-7. (In Eng.).
Рукопись поступила в редакцию 20.04.2020 Принята к публикации 03.08.2020
Submitted on 20.04.2020 Accepted on 03.08.2020
Информация об авторе/ Information about the author
Руденко Дмитрий Юрьевич - кандидат экономических наук, доцент, доцент кафедры экономики и финансов Тюменского государственного университета, доцент департамента экономики Санкт-Петербургского филиала Национального исследовательского университета «Высшая школа экономики»; +7 961 211-16-61; d.y.rudenko@utmn.ru.
Dmitry Yu. Rudenko - PhD (Economics), Associate Professor, Department of Economics and Finance, University of Tyumen, Department of Economics, National Research University Higher School of Economics in Saint Petersburg; +7 961 211-16-61; d. y.rudenko@utmn.ru.
