CC BY-NC-ND
176
Памяти Олега Польдина
В октябре 2016 г. после тяжелой болезни не стало нашего коллеги и друга Олега Польдина. Ушел из жизни один из самых ярких российских исследователей высшего образования, успевший за свою короткую жизнь сделать очень многое для развития экономики высшего образования как полноценного направления отечественной науки.
Олег Польдин начал сотрудничество с журналом «Вопросы образования» в 2011 г., опубликовав статью «Сравнение образовательных программ по результатам ЕГЭ зачисленных студентов». В 2009 г. Единый государственный экзамен из эксперимента стал повсеместной практикой и тут же встал вопрос о том, в какой степени результаты ЕГЭ предсказывают успеваемость студента в вузе. Упомянутая работа Олега стала одной из первых попыток ответить на этот вопрос на основании эконометри-ческого анализа эмпирических данных.
Четыре публикации Олега в журнале в 2011-2016 гг. посвящены роли социальных сетей в образовательном контексте. Они положили начало эмпирическому исследованию российскими учеными эффектов сообучения в университетской среде и количественной оценке их вклада в образовательные достижения студентов, а также привлекли внимание к тем возможностям анализа, которые открываются на микроданных о социальных взаимодействиях различного характера.
Сотрудничество Олега с «Вопросами образования» не ограничивалось авторством статей. Олег много участвовал в работе журнала в качестве рецензента, и его рецензии всегда отличались не только вдумчивым и детальным анализом сильных и слабых сторон работы, не только конструктивными комментариями, направленными на максимальную помощь автору в доработке статьи, но и неизменной доброжелательностью даже в случае самой жесткой критики.
Олег постоянно искал интересные темы, думал о задачах в смежных областях, об использовании самых современных данных для постановки и решения новых исследовательских вопросов. Был требовательным научным руководителем, готовым, вместе с тем, изучать новые сюжеты вместе с молодыми
коллегами. В последнее время его внимание привлекли задачи, связанные с оценкой продуктивности научной деятельности и программ, направленных на повышение этой продуктивности, на уровне индивидов и организаций. Работа, которая опубликована в этом номере журнала, посвящена как раз этой теме — в ней делается попытка количественно оценить первые результаты Программы повышения конкурентоспособности российских университетов («5-100») в контексте ее влияния на количественные и качественные параметры публикационной результативности университетов.
Работать с Олегом было и человеческим, и интеллектуальным удовольствием. Он был очень щедр на идеи, в его публикациях содержатся и замыслы дальнейшего развития полученных результатов, и вопросы для будущих исследований. Мы надеемся, что ответы на эти открытые вопросы обязательно найдутся в работах его коллег, учителей и тех ученых, которые работают в сфере количественных исследований высшего образования.
Мария Юдкевич
Публикационная активность вузов: эффект проекта «5-100»
О. В. Польдин, Н. Н. Матвеева, И. А. Стерлигов, М. М. Юдкевич
Статья поступила Польдин Олег Викторович
в редакцию кандидат физико-математических наук, в январе 2017 г. старший научный сотрудник Международной научно-учебной лаборатории институционального анализа экономических реформ НИУ ВШЭ Матвеева Наталия Николаевна аспирант НИУ ВШЭ, стажер-исследователь Института институциональных исследований НИУ ВШЭ. Адрес: Нижний Новгород, 603155, ул. Б. Печерская, 25/12. E-mail: nmatveeva@hse.ru Стерлигов Иван Андреевич директор Наукометрического центра НИУ ВШЭ. Адрес: Москва, 101000, ул. Мясницкая, 24. E-mail: isterligov@ hse.ru
Юдкевич Мария Марковна
кандидат экономических наук, проректор НИУ ВШЭ, директор Института институциональных исследований НИУ ВШЭ, заведующая Международной научно-учебной лабораторией институционального анализа экономических реформ НИУ ВШЭ. Адрес: Москва, 101000, ул. Мясницкая, 20. E-mail: yudkevich@hse.ru
Аннотация. В работе оценивается эффект влияния государственной про-
граммы повышения конкурентоспособности российских университетов (Программа «5-100») на публикационную активность вузов. В исследовании используются данные о финансировании, количестве публикаций в Web of Science, численности сотрудников 14 вузов, являющихся участниками Программы «5-100» с 2013 г., и 13 вузов контрольной группы. Регрессионный анализ лонги-тюдных данных с 2010 по 2015 г. показывает, что значимый эффект достигается уже в первые годы реализации программы: на фоне общего тренда усиления публикационной активности российских вузов показатели по публикациям вузов—участников Программы «5-100» растут опережающими темпами. Кроме того, у участвующих в программе вузов после старта программы наблюдается рост числа публикаций на одного сотрудника в высокоцити-руемых журналах.
Ключевые слова: исследовательские университеты, ведущие университеты, исследовательский потенциал университетов, наукометрия, публикационная активность.
DOI: 10.17323/1814-9545-2017-2-10-35
В последние десятилетия ряд стран прилагают усилия по продвижению национальных университетов до уровня мирового класса. В десятилетие с 2005 по 2014 г. в разных странах и регионах реализовано в общей сложности 37 программ по повышению конкурентоспособности университетов, 19 из них—в странах Европы
[Salmi, 2015]. Очевидно, что достижение такого статуса для большого числа национальных университетов невозможно [Coates et al., 2009], поэтому представляется взвешенной стратегия таких стран, как Германия, Франция, Япония, Корея, Китай, Тайвань, которые сосредоточили имеющиеся ресурсы на поддержке ограниченного числа вузов [Shin, Kehm, 2013] или даже отдельных проектов вузов и вузовских партнерств [Moller, Schmidt, Hornbostel, 2016]. При этом финансовые средства обычно распределяются с помощью конкурсных механизмов на основании представляемых вузами проектов развития.
Российская программа поддержки ведущих вузов, стартовавшая в 2013 г, предполагает финансирование программ развития ряда университетов, ежегодно выделяемое на конкурсной основе с учетом достижения промежуточных значений целевых показателей. Публикации в рецензируемых международных журналах и их цитируемость входят в число ключевых показателей, ориентируя вузы на увеличение количества публикаций как в краткосрочной, так и в долгосрочной перспективе.
В какой степени можно говорить о наличии значительных эффектов программы? Как выделить эти эффекты на фоне общего тренда повышения важности научных исследований в российской системе высшего образования, приводящего к росту публикационной активности вузов? Рассмотрению этих вопросов посвящена данная работа.
Анализ реализации Программы «5-100» имеет большую практическую значимость, определяемую существенными по российским меркам объемами финансирования и важностью поставленных стратегических целей. В краткосрочном периоде об эффективности программы можно говорить, оценив, как данный способ поддержки вузов влияет на количество и качество публикаций вузов — участников программы и вузов, не участвующих в данном проекте. В отличие от имеющихся исследований, посвященных анализу эффективности Программы «5-100», в представленной работе используется регрессионный анализ лонгитюдных данных для выделения эффекта Программы «5100» из других факторов, влияющих на публикационную активность вузов, таких как общий объем финансирования (включая гранты разных видов) и количество сотрудников университета.
Статья построена следующим образом. В первой части обсуждается опыт программ поддержки ведущих вузов, осуществлявшихся в разных странах, и рассматриваются работы, содержащие количественные оценки влияния таких программ на публикационную активность университетов. Во второй части представлена эмпирическая модель оценки влияния Программы «5-100» на публикационную активность вузов-участников и описаны ее результаты. В заключительной части содержится обсуждение ограничений данной модели и границ ее примени-
мости, перечисляются открытые вопросы, которые представляют интерес в контексте государственной политики и рассмотрение которых может стать предметом будущих исследований.
1. Государственные программы поддержки ведущих университетов: мировой опыт
Стимулирование национальной системы высшего образования является общемировой практикой, однако не всегда государственные программы, направленные на поддержку высшего образования, приводят к одинаковым результатам.
Корейская государственная программа 2 Project проводилась в 1995-2005 гг. Установлено, что после запуска программы наблюдался рост числа публикаций в Web of Science (WoS), однако такое же увеличение количества публикаций наблюдалось в США и Японии, а рост числа публикаций в данный период в Китае был даже выше, чем в Корее [Shin, 2009]. Анализ влияния китайской государственной программы 985 Project на публикационную активность университетов-участников показал, что после вступления в данную программу в целом наблюдается рост числа публикаций университетов в международных журналах, однако публикационная активность участников программы существенно различается [Zhang, Patton, Kenney, 2013]. Исследование аналогичной немецкой программы German Excellence Initiative [Möller, Schmidt, Hornbostel, 2016] свидетельствует о том, что данная программа не только положительно влияет на количество публикаций высокого уровня, но и способствует взаимодействию университетов с неуниверситетской академической средой.
В 2013 г. программа повышения конкурентоспособности ведущих вузов1 была запущена и в России. В рамках этой программы Министерством образования и науки было отобрано 15 вузов (в конце 2015 г. к ним присоединились еще 6 вузов), перед которыми была выдвинута цель существенно продвинуться в глобальных университетских рейтингах. Поскольку указ президента, подписанный весной 2012 г., ставит задачу «попадания по меньшей мере 5 российских университетов в топ-100 мировых университетских рейтингов», программа получила название «5-100». Для ее реализации в поставленные короткие сроки (предполагается, что вузы должны войти в первую сотню мировых рейтингов уже к 2020 г.) государство выделяет этим вузам дополнительную финансовую поддержку. Эти деньги вузы используют для открытия новых научных центров, наем исследователей на международном рынке труда, создание инфраструктуры и т. д. Из 21 вуза — участника программы 9 находятся в Москве и Санкт-Петербурге.
В настоящее время опубликовано всего несколько работ, содержащих количественные оценки влияния Программы «5-100»
http://5top100.ru
на показатели деятельности вузов—участников программы. Так, в статье Т. Турко с соавторами выявлен положительный эффект Программы«5-100» на публикационную активность вузов [Tur-ko et al., 2016]. Однако данной работе присущ ряд существенных ограничений: не учитывается размер вузов (нет нормировки на количество сотрудников), при этом контрольная группа включает всего пять университетов. Наукометрические данные получены весной 2015 г., т. е. отражают ранний этап проекта «5-100». Кроме того, в отличие от настоящей работы, используемые показатели получены из базы Scopus, индексирующей существенное число потенциально недобросовестных журналов, активно используемых в России и ряде других стран для искусственного увеличения публикационных индикаторов [Sterligov, Savina, 2016].
В работе заместителя президента Российской академии наук В. В. Иванова с соавторами, посвященной вкладу РАН в рост публикационной активности вузов России, используется база Web of Science [Ivanov, Markusova, Mindeli, 2016]. В частности, приводятся сводные данные по динамике доли работ, содержащих одновременно аффилиации РАН и аффилиации вузов первой волны Программы «5-100», в общем числе работ с аффилиациями этих вузов (о кооперации вузов и институтов РАН в период до начала действия программы см. [Pislyakov, Shukshina, 2014]).
Таким образом, российская Программа «5-100» является важным примером внедрения и реализации государственной политики в сфере высшего образования, и анализ ее результатов будет полезен для нахождения наиболее эффективных способов поддержки и стимулирования вузов.
Для оценки изменения публикационной активности вузов, уча- 2. Методология ствующих в проекте «5-100», до и после старта программы были 2.1. Данные использованы методы регрессионного анализа лонгитюдных данных. В выборку вошли 14 вузов2, являющихся участниками
2 Дальневосточный федеральный университет (ДВФУ), Казанский федеральный университет (К(П)ФУ), Московский физико-технический институт (МФТИ), Национальный исследовательский технологический университет (МИСИС), Национальный исследовательский Томский государственный университет (ТГУ), Национальный исследовательский Томский политехнический университет (ТПУ), Национальный исследовательский ядерный университет (МИФИ), Нижегородский государственный университет им. Н. И. Лобачевского (ННГУ), Новосибирский национальный исследовательский государственный университет (НГУ), Самарский государственный аэрокосмический университет им. академика С. П. Королева (СГАУ), Санкт-Петербургский государственный политехнический университет (СПбГПУ), Санкт-Петербургский государственный электротехнический университет (ЛЭТИ), Санкт-Петербургский национальный исследовательский университет информаци-
Программы «5-100» с 2013 г., и 13 вузов контрольной группь^, период наблюдения — с 2010 по 2015 г. В контрольную группу выбирались вузы, подведомственные Министерству образования и науки России, данные о численности и финансировании которых доступны в справочных материалах министерства. Были определены следующие критерии для вузов контрольной группы: 1) сопоставимое с участниками Программы «5-100» число публикаций; 2) наличие публикаций в журналах первого квартиля4 Q1 индексов Science Citation Index Expanded (SCIE) и/или Social Sciences Citation Index системы WoS (SSCI) (см. ниже); 3) схожие с вузами «5-100» профили (классический, федеральный, технический).
Таким образом, в контрольную группу вошли университеты, на момент начала Программы «5-100» относительно сопоставимые с вузами—участниками этой программы по ряду ключевых показателей. Поэтому неудивительно, что 5 вузов контрольной группы были включены в программу во второй волне, когда в конце 2015 г. к первоначально отобранной группе вузов присоединились еще 6 университетов5. Вместе с тем мы считаем возможным включить 5 вузов второй волны «5-100» в контрольную группу, поскольку первое финансирование было получено ими не раньше
онных технологий механики и оптики (ИТМО), Уральский федеральный университет (УрФУ).
3 Балтийский федеральный университет (БФУ), Северо-Восточный федеральный университет (СВФУ), Российский университет дружбы народов (РУДН), Сибирский федеральный университет (СФУ), Тюменский государственный университет (ТюГУ), Южно-Уральский государственный университет (Ю-УГУ), Московский авиационный институт (МАИ), Пермский национальный исследовательский политехнический университет (ПГТУ), Саратовский государственный университет (СГУ), Южный федеральный университет (ЮФУ), Московский государственный технический университет (МГТУ), Воронежский государственный университет (ВГУ), Уфимский государственный авиационный технический университет (УГАТУ).
4 Журналы, которые входят в верхнюю четверть отранжированного по величине импакт-фактора 2015 г. списка журналов хотя бы в одной из тематических областей Web of Science. Такой способ выделения ведущих журналов предпочтительнее отсечки по абсолютному значению импакт-фактора, так как учитывает серьезные различия в средней ци-тируемости в различных тематических областях Web of Science. При этом следует отметить, что у журналов, входящих только в индекс Arts and Humanities Citation Index, нет импакт-факторов и квартилей, поэтому при расчете соответствующих метрик публикации в таких журналах не учитываются.
5 Балтийский федеральный университет им. Иммануила Канта, Российский университет дружбы народов, Сибирский федеральный университет, Тюменский государственный университет, Южно-Уральский государственный университет.
мая 2016 г.6 и, таким образом, нельзя говорить о системном эффекте программы на эти вузы в рассматриваемый период.
Публикационная активность вуза измерялась количеством статей (типы документов article и review), опубликованных научно-педагогическими работниками (преподавателями и научными сотрудниками) вуза в данном календарном году и проиндексированных в библиографической базе Web of Science (индексы Science Citation Index Expanded, Social Sciences Citation Index). Использован традиционный «полный» метод подсчета публикаций, когда каждой организации, упомянутой в списке аффилиа-ций той или иной статьи, статья засчитывается полностью, вне зависимости от общего числа аффилиаций.
Данные об объеме финансирования, в том числе Программы «5-100», и количестве научных сотрудников были получены из информационно-аналитических сборников Министерства образования и науки РФ.
Как показатель качества публикаций используется доля журнальных публикаций по естественным и общественным наукам, вышедших в журналах первого квартиля (Q1), под которыми в данном случае понимаются журналы, входящие в верхний квартиль по величине импакт-фактора Thomson Reuters 2014 г. хотя бы в одной из предметных областей (WoS Subject Categories). Такой показатель позволяет опосредованно оценить ожидаемую цитируемость публикаций, вышедших в недавние годы, пока необходимые для непосредственного анализа показатели цитирования еще не успели накопиться. Из-за неравномерности распределения цитирований по публикациям его использование неприемлемо на уровне отдельных публикаций и авторов [Seglen, 1997], но он является ценным и фактически не имеющим альтернатив инструментом оценки среднего уровня достаточно больших наборов свежих публикаций, в частности наборов публикаций вузов «5-100».
Динамика публикационной активности вузов—участников «5100» в период с 2010 по 2015 г. представлена на рис. 1а, 1б. Так как количество публикаций вузов различается на порядки, здесь и далее для наглядности представления используется логарифмическая шкала, позволяющая уменьшить визуальный разброс. Как видно на рис. 1а и 1б, наблюдается рост общего числа публикаций, а также увеличение числа публикаций в расчете на одного сотрудника. Рост числа публикаций в расчете на одного ученого позволяет сделать предположение об увеличении публикацион-
6 Постановление Правительства от 19 мая 2016 г. № 960-р «О распределении субсидий, предоставляемых в 2016 г. из федерального бюджета на государственную поддержку ведущих университетов Российской Федерации в целях повышения их конкурентоспособности».
Рис. 1
а. Общее число публикаций вузов — участников Программы
«5-100», логарифмическая шкала
б. Число публикаций в расчете на одного сотрудника для вузов — участников Программы «5-100», логарифмическая шкала
Рис. 2
а. Общее число публикаций вузов контрольной группы,
логарифмическая шкала
1000 .........................................;.........................................;........................................!........................................5........
1 '!.........................................:........................................1.........................................:........................................!........................................:
2010 2011 2012 2013 2014 2015
б. Число публикаций в расчете на одного сотрудника для вузов контрольной группы, логарифмическая шкала
• НГУ О СГУ □ МФТИ О МИФИ УрФУ О ИТМО £3 СВФУ Ф ТГУ — ЮФУ
.....•.....СПбГПУ
—■-- К(П)ФУ -■♦— МИСИС ННГУ
.....+ - СФУ
.....«■■■■ РУДН
■■■■*■■■ ТПУ —ВГУ
.....О.....УГАТУ
--□— ДВФУ -о~ ЛЭТИ СГАУ
.....О- МГТУ
■■■■О-- - БФУ -■Ф- МАИ
-ПГТУ
....................ТюГУ
.............Ю-УГУ
Рис. 3
а. Число публикаций в журналах квартиля Q1 для вузов «5-100»
2007 2008 2009 2010 2011 2012 2013 2014 2015
б. Число публикаций в журналах квартиля Q1 для вузов контрольной группы
Рис. 4
а. Число публикаций в журналах квартиля Q1 в расчете на одного сотрудника для вузов «5-100», логарифмическая шкала
б. Число публикаций в журналах квартиля Q1 в расчете на одного сотрудника для вузов контрольной группы,
логарифмическая шкала
• НГУ О СГУ □ МФТИ О МИФИ УрФУ О ИТМО £3 СВФУ Ф ТГУ — ЮФУ
.....•.....СПбГПУ
—■-- К(П)ФУ -■♦— МИСИС ННГУ
.....+ - СФУ
.....«■■■■ РУДН
■■■■*■■■ ТПУ —ВГУ
.....О.....УГАТУ
--□— ДВФУ -о~ ЛЭТИ СГАУ
.....О- МГТУ
■■■■О-- - БФУ ■■■■«!>■■■ МАИ
-ПГТУ
....................ТюГУ
.............Ю-УГУ
ной активности сотрудников. Кроме того, согласно диаграммам, скорость роста числа публикаций у большинства вузов увеличивается с 2013 г., о чем свидетельствует увеличение угла наклона соответствующих кривых. Количество публикаций с 2014 г. снижается только у одного вуза—ЛЭТИ.
Публикационная активность вузов контрольной группы с 2010 по 2015 г. равномерно возрастает (рис. 2а, 2б). Однако рост числа публикаций после 2013 г. (после старта программы) у вузов контрольной группы ниже, чем у участников «5-100».
Рост числа публикаций далеко не всегда сопровождается повышением их качества. Более того, в случае, когда администрация вуза ставит задачу масштабного и быстрого увеличения количества публикаций, возникают риски появления публикаций в журналах невысокого качества, характеризующихся быстрым публикационным циклом и относительно низкими требованиями к принимаемым для публикации рукописям. Поэтому в контексте данного исследования представляется важным вопрос, как изменилось после присоединения вузов к Программе «5-100» число публикаций первого квартиля.
На рис. 3а и 3б представлена динамика количества публикаций первого квартиля для вузов «5-100» и вузов контрольной группы в 2010-2015 гг. В данный период у вузов—участников программы наблюдается рост количества публикаций в Q1, причем для большинства вузов — с 2013 г. Несколько вузов контрольной группы также увеличили количество публикаций в Q1. В абсолютном выражении количество публикаций в Q1 между вузами-участниками и неучастниками заметно различается. Количество публикаций первого квартиля в расчете на одного сотрудника у вузов контрольной группы меньше по величине (рис. 4а, 4б).
Таким образом, мы формулируем для последующей проверки две гипотезы:
1) о статистической связи количества публикаций вуза (в суммарном выражении и из расчета на одного научно-педагогического работника) и его участия в Программе «5-100»;
2) о наличии статистической связи между увеличением количества публикаций сотрудников вуза (в суммарном выражении и из расчета на одного научно-педагогического работника) в журналах первого квартиля ^1) и участием вуза в Программе «5-100».
2.2. Переменные Для проверки гипотезы о статистической связи количества публикаций и участия в программе были рассмотрены спецификации модели со смешанными эффектами, в которых в качестве зависимой переменной выступали либо общее количество публикаций, либо количество публикаций в расчете на одного научно-педагогического сотрудника. Публикации, привязанные
к профилю организации, включают статьи и обзоры, опубликованные в журналах, вошедших в индексы SCIE и SSCI системы Wo S.
Соответственно, в первой спецификации численность сотрудников (ППС и научные работники) выступала в роли объясняющего фактора. Эмпирически в линейной модели эффект воздействия программы измеряется коэффициентом при бинарной переменной — индикаторе участия вуза в Программе «5-100» в конкретном году. Для наблюдений до 2015 г. включительно доступны данные об объеме финансирования научных исследований и разработок в вузе, поэтому также рассматривались спецификации регрессии с включением объема финансирования в состав объясняющих переменных.
Для проверки гипотезы о наличии статистической связи между увеличением количества публикаций первого квартиля и участием в программе использовались спецификации модели, в которых зависимыми переменными являлись или логарифм количества публикаций в Q1 (IF 2014 SCIE и SSCI), или логарифм количества публикаций в Q1 в расчете на одного человека. Объясняющими переменными в первом случае выступали количество научных сотрудников и финансирование, во втором — финансирование. Эффект программы также измерялся коэффициентом при бинарной переменной — индикаторе участия вуза в проекте «5-100» в данном году.
В табл. 1 представлены средние значения и стандартные откло- 2.3. Описательные нения зависимых и объясняющих переменных по годам наблю- статистики даемого периода. И у вузов «5-100», и у вузов контрольной группы наблюдается рост числа публикаций, однако общее число публикаций у вузов контрольной группы значительно ниже, причем с 2010 по 2015 г. разрыв увеличился. В среднем в вузах контрольной группы число сотрудников больше, чем в вузах «5-100», а число публикаций в расчете на одного сотрудника значительно меньше, но динамика данного показателя для обеих групп положительна. Публикаций в первом квартиле у вузов «5-100» больше, чем у вузов контрольной группы; кроме того, у большинства вузов контрольной группы наблюдается снижение данного показателя в 2015 г. С 2013 г. разрыв в объемах финансирования в расчете на одного человека между вузами «5-100» и вузами контрольной группы нарастает.
В качестве статистического инструмента были использованы мо- 2.4. Эмпирические дели со смешанными эффектами (mixedmodels), которые позво- модели ляют учесть различия динамики публикационной продуктивности в разных университетах. В данных моделях объясняющие переменные, сгруппированные по определенным критериям, характеризуют различное влияние факторов на зависимую переменную.
Таблица 1. Характеристики вузов: описательные статистики
2010 2011 2012 2013 2014 2015
Число публикаций
Вузы «5-100» 221,79 (134,38) 257,21 (148,53) 292,50 (181,37) 376,64 (244,94) 548,50 (324,03) 752,86 (439,19)
Контрольная группа 87,08 (80,55) 98,00 (86,20) 95,38 (83,02) 114,62 (90,40) 128,54 (97,02) 153,69 (108,30)
Численность ППС и научных работников (человек)
Вузы «5-100» 1339 1657 1640 1588 1591 1616
Контрольная группа 1812 1776 1732 1740 1722 1729
Число публикаций в расчете на одного человека
Вузы «5-100» 0,166 (0,305) 0,155 (0,347) 0,178 (0,413) 0,237 (0,531) 0,345 (0,655) 0,466 (0,839)
Контрольная группа 0,048 (0,035) 0,055 (0,038) 0,055 (0,038) 0,066 (0,041) 0,075 (0,042) 0,089 (0,049)
Число публикаций в 01
Вузы «5-100» 41,38 (33,05) 55,85 (43,41) 81,38 (82,01) 117,38 (108,55) 201,85 (141,49) 287,23 (193,09)
Контрольная группа 27,77 (58,73) 27,00 (44,27) 28,38 (47,61) 36,62 (52,66) 39,92 (53,58) 31,62 (27,64)
Число публикаций в 01 в расчете на одного человека
Вузы «5-100» 0,046 (0,069) 0,057 (0,082) 0,091 (0,167) 0,136 (0,223) 0,200 (0,283) 0,281 (0,370)
Контрольная группа 0,013 (0,026) 0,014 (0,022) 0,016 (0,025) 0,021 (0,029) 0,023 (0,029) 0,020 (0,018)
Финансирование НИР с учетом «5-100» (тыс. руб.)
Вузы «5-100» 471784,17 (256127,95) 868861,34 (509603,71) 877 613,54 (512156,55) 1560 652,71 (591883,62) 2134 904,14 (748362,81) 2154 886,12 (804851,69)
Контрольная группа 418731,49 (458555,09) 585238,77 (637795,19) 757792,50 (961531,71) 953655,60 (1368470,91) 913029,69 (1236670,84) 907259,81 (1075387,19)
Финансирование НИР с учетом «5-100» в расчете на одного человека (тыс. руб.)
Вузы «5-100» 439,35 (272,94) 720,84 (465,61) 758,54 (551,86) 1327,23 (789,43) 1754,32 (1021,32) 1660,92 (985,59)
Контрольная группа 211,37 (165,27) 294,99 (224,36) 398,76 (367,88) 501,23 (549,28) 487,62 (487,13) 494,77 (447,55)
В ячейках таблицы приведены средние значения и стандартные отклонения (в скобках).
Линейные модели со смешанными эффектами представляют собой расширение линейной регрессионной модели путем включения в нее фиксированных и случайных факторов [West, Galecki, Welch, 2014. P. 1]. Коэффициент регрессии при фиксированных переменных отражает связь факторов с зависимой переменной, одинаковую для всех единиц наблюдения. В свою очередь, коэффициент при случайных переменных характеризует изменение фактора у конкретных единиц наблюдения. Данная модель предполагает, что наблюдения взаимосвязаны и их количество должно быть больше, чем число случайных факторов. Также для данной модели справедливы предпосылки модели линейной регрессии: линейная зависимость параметров, факторы модели независимы, остатки регрессии имеют нормальное распределение с одинаковой дисперсией.
Базовая модель без ковариатов имеет вид:
1п(публикации);, = а0 + а,. + (ß0 + ß,) • (год), + A, + eft + (1)
+ б2014 • (год=2014), • соучастник 5-100),. + + б2015 • (год=2015)f • Соучастник 5-100),. , t = 2010, ..., 2015, i = 1, ..., N,
где а,. и ß,. — константа и коэффициенты регрессии для случайных факторов;
а0 и ß0—константа и коэффициенты регрессии для фиксированных факторов;
(год), — временной тренд (.,-2,-1, 0, 1, 2,.); At—фиктивная переменная для времени (для учета контрольной группы);
б — средний эффект воздействия (ATE), эффект программы; С,— фиктивная переменная для 2014 и 2015 гг.; С: — фиктивная переменная для участников программы; £it — коэффициент ошибки.
Коэффициенты а, и ß,, трактуются как случайные возмущения и не оцениваются в качестве параметров модели в отличие от по-пуляционных эффектов а0 и ß0. Коэффициенты б измеряют по-пуляционный средний эффект воздействия (average treatment effect, ATE). В зависимости от спецификации модели ковариатами выступают либо число сотрудников и финансирование, либо финансирование.
Модель допускает существование индивидуальных траекторий роста — индивидуальных трендов количества публикаций для каждого вуза в выборке. Как видно из рис. 1 и 2, в среднем наблюдается положительный тренд как общего количества публикаций, так и числа публикаций в расчете на одного научно-педагогического сотрудника, но существуют индивидуальные различия в динамике.
Поскольку индивидуальные динамики публикаций вузов могут коррелировать, также рассматривалась модель с коррелированным случайным трендом [ШооИпЬде, 2010. Р. 374], базовая спецификация которой имеет вид:
(2) 1п(публикации)й = а,. + в,. • (год), + А, + ея + б2014 • d (год=2014), х х d (участник 5-100),. + б2015 • d (год = 2015), • d (участник 5-100),. , г = 2010, ..., 2015, / =1, ..., N.
Модель (2), в отличие от (1), допускает корреляцию параметров индивидуальных трендов количества публикаций с другими переменными в правой части.
3. Результаты В табл. 2 представлены оценки различных спецификаций модели со смешанными эффектами, в которых зависимой переменной является логарифм общего числа публикаций. В табл. 3 зависимая переменная—логарифм числа публикаций в расчете на одного сотрудника. В спецификациях 1 и 2 представлены результаты для полной выборки, спецификации 3 и 4 включают только вузы, участвующие в Программе «5-100». Оценки приведены в экспоненциальной форме. Например, коэффициент 1,122 при переменной «год = 2014 х участник программы» в столбце 1 таблицы 2 означает, что в данной спецификации модели число публикаций вуза—участника Программы «5-100» в 2014 г. в среднем превышает уровень тренда на 12,2%. Если значение коэффициента меньше единицы, то рост фактора связан с сокращением зависимой переменной.
Как видно из оценок, участие в программе положительно сказывается на числе публикаций. Эффект 2015 г. больше по величине, чем эффект 2014 г., поскольку отдача от программы может иметь временную задержку по аналогии с программами в других странах [Shin, 2009]. При учете финансирования (включая суммы, выделенные по Программе «5-100») в качестве объясняющей переменной можно считать, что оцениваемый эффект воздействия измеряет дополнительные нефинансовые эффекты от участия в программе, такие как, например, улучшение управления в вузе, нематериальное стимулирование. Как следует из оценок в столбцах 2 и 4, такого рода эффекты существуют. Объем финансирования НИР положительно коррелирует с количеством публикаций, однако в модели без учета корреляции индивидуальных трендов эффект незначим.
Оценки модели с коррелированным случайным трендом (2) приведены в табл. 4 и 5. Эффект участия в проекте положителен, его величина и значимость варьируют в зависимости от года, учета влияния финансирования и сравнения с контрольной группой. При сопоставлении с контрольной группой эффект воздей-
Таблица 2. Регрессионные оценки смешанной модели в экспоненциальной форме. Зависимая переменная—логарифм числа публикаций
(1) (2) (3) (4)
Год = 2014 х участник программы 1,122** (0,059) 1,122** (0,059) 1,287*** (0,071) 1,271*** (0,073)
Год = 2015 х участник программы 1,266*** (0,080) 1,269*** (0,081) 1,488*** (0,101) 1,477*** (0,101)
Численность научно-педагогических сотрудников (тыс. человек) 1,089 (0,079) 1,088 (0,079) 0,983 (0,057) 0,979 (0,057)
Год (во) 1,181*** (0,032) 1,177*** (0,034) 1,174*** (0,023) 1,161*** (0,027)
Финансирование НИР (млрд руб.) 1,020 ; (0,063) | 1,077 (0,087)
Контрольная группа Да Да Нет Нет
Фиксированные эффекты для времени Да Да Нет Нет
N 162 162 84 84
В скобках указаны стандартные погрешности оценок. *р < 0,1; **р < 0,05; ***р < 0,01.
Таблица 3. Регрессионные оценки смешанной модели в экспоненциальной форме. Зависимая переменная—логарифм числа публикаций в расчете на одного сотрудника
(1) (2) | (3) (4)
Год = 2014 х участник программы 1,122* (0,067) 1,122* | 1,350*** (0,067) | (0,114) 1,349*** (0,116)
Год = 2015 х участник программы 1,259*** (0,091) 1,257*** | 1,564*** (0,092) | (0,160) 1,564*** (0,161)
Год (во) 1,168*** (0,033) 1,170*** ! 1,133*** (0,036) ; (0,032) 1,132*** (0,039)
Финансирование НИР в расчете на одного сотрудника (млн руб.) 0,989 | (0,069) | 1,004 (0,121)
Контрольная группа Да Да | Нет Нет
Фиксированные эффекты для времени Да Да | Нет Нет
N 162 162 ! 84 84
В скобках указаны стандартные погрешности оценок. *р < 0,1; **р < 0,05; ***р < 0,01.
ствия сокращается по величине, что может быть объяснено ростом публикационной активности и вузов контрольной группы. В отличие от модели (1) финансирование НИР значимо коррелирует с числом публикаций в расчете на одного человека. Это объясняется тем, что модели со смешанными эффектами также анализируют индивидуальную динамику вузов.
Данные модели не позволили выявить статистическую связь между численностью сотрудников и числом публикаций. Возможной причиной является изменение динамики численности сотрудников в наблюдаемый период: до 2013 г. наблюдается увеличение данного показателя, а после—снижение, при этом показатели общего количества публикаций и числа публикаций в расчете на одного человека увеличивались.
В табл. 6 и 7 представлены результаты оценки модели, где зависимой переменной является число публикаций в журналах первого квартиля 01, индексируемых в Шо Б. В табл. 8 и 9 зависимой переменной выступает количество публикаций в 01 в расчете на одного человека. Спецификации модели (1, 2 и 3) различаются набором объясняющих переменных: добавляются численность сотрудников и финансирование НИР для учета возможной корреляции между данными переменными. Для общего числа публикаций в 01 эффект программы в 2014 г. значим (на 10%-ном уровне) в двух спецификациях из трех, в 2015 г. эффект не выявлен. Это может быть объяснено тем, что отсутствие нормировки на численность сотрудников увеличивает дисперсию общего числа публикаций в 01.
В табл. 7 и 9 представлены результаты оценки для нормированного количества публикаций первого квартиля. Эффект программы значим как в 2014-м, так и в 2015 г., причем по величине в 2015 г. эффект больше. Число публикаций первого квартиля в расчете на одного сотрудника вуза — участника Программы «5-100» в 2014 г. в среднем превышает общий тренд на 25,2%, а в 2015 г. — на 29,5%.
В модели с коррелированным случайным трендом эффект программы составляет 25,6 и 30,5% соответственно. Объем финансирования НИР значимо связан с количеством публикаций в 01. Согласно оценкам модели с коррелированным индивидуальным трендом, численность ППС и научных работников значимо (на 10%-ном уровне) коррелирует с числом публикаций первого квартиля в одной спецификации из трех.
Таким образом, приведенные выше оценки подтверждают гипотезы о статистической связи количества публикаций и участия в Программе «5-100» и о наличии статистической связи между увеличением числа публикаций в журналах первого квартиля и участием в Программе «5-100».
Таблица 4. Регрессионные оценки модели с коррелированным случайным трендом в экспоненциальной форме. Зависимая переменная — логарифм числа публикаций
(1) (2) (3) (4)
Год = 2014 х участник программы 1,122** (0,059) 1,122** (0,056) 1,284*** (0,082) 1,273*** (0,077)
Год = 2015 х участник программы 1,266*** (0,080) 1,270*** (0,115) 1,484*** (0,161) 1,476*** (0,157)
Численность научно-педагогических сотрудников (тыс. человек) 1,089 (0,079) 1,085 (0,073) 0,972 (0,031) 0,969 (0,029)
Год (во) 1,181*** (0,032) 1,177*** (0,045) 1,175*** (0,032) 1,165*** (0,038)
Финансирование НИР (млрд руб.) 1,024 (0,100) 1,057 (0,082)
Контрольная группа Да Да Нет Нет
Фиксированные эффекты для времени Да Да Нет Нет
N 162 162 84 84
В скобках указаны стандартные погрешности оценок. *р < 0,1; **р < 0,05; ***р < 0,01.
Таблица 5. Регрессионные оценки модели с коррелированным случайным трендом в экспоненциальной форме. Зависимая переменная — логарифм числа публикаций в расчете на одного сотрудника
(1) (2) (3) (4)
Год = 2014 х участник программы 1,122** (0,063) 1,122** (0,058) 1,350*** (0,117) 1,309*** (0,098)
Год = 2015 х участник программы 1,259*** (0,112) 1,306*** (0,113) 1,564*** (0,197) 1,592*** (0,161)
Год (во) 1,168*** (0,039) 1,125*** (0,043) 1,133*** (0,031) 1,079*** (0,029)
Финансирование НИР в расчете на одного сотрудника (млн руб.) 1,373** (0,209) 1,447*** (0,180)
Контрольная группа Да Да Нет Нет
Фиксированные эффекты для времени Да Да Нет Нет
N 162 162 84 84
А2
В скобках указаны стандартные погрешности оценок. *р < 0,1; **р < 0,05; ***р < 0,01.
Таблица 6. Регрессионные оценки смешанной модели в экспоненциальной форме. Зависимая переменная — логарифм числа публикаций в журналах первого квартиля
1 (1) (2) (3)
Год = 2014 х участник программы ! 1,217* | (0,122) 1,200* (0,119) 1,130 (0,115)
Год = 2015 х участник программы | 1,216 ; (0,150) 1,188 (0,146) 1,159 (0,144)
Численность научно-педагогических сотрудников (тыс. человек) ! 1,375*** | (0,050) 1,384*** (0,051) 1,275*** (0,045)
Год (во) 0,862 (0,100) 0,845 (0,091)
Финансирование НИР (млрд руб.) 1,850*** (0,230)
N | 104 104 104
В скобках указаны стандартные погрешности оценок. *р < 0,1; **р < 0,05; ***р < 0,01.
Таблица 7. Регрессионные оценки смешанной модели в экспоненциальной форме. Зависимая переменная — логарифм числа публикаций в журналах первого квартиля в расчете на одного сотрудника
I (1) (2)
Год = 2014 х участник программы | 1,252* | (0,148) 1,225* (0,143)
Год = 2015 х участник программы ; 1,295* | (0,187) 1,339** (0,191)
Год (во) | 1,345*** | (0,054) 1,236*** (0,048)
Финансирование НИР в расчете на одного сотрудника (млн руб.) 2,146*** (0,321)
N ! 104 104
В скобках указаны стандартные погрешности оценок. *р < 0,1; **р < 0,05; ***р < 0,01.
Таблица 8. Регрессионные оценки модели с коррелированным случайным трендом в экспоненциальной форме. Зависимая переменная — логарифм числа публикаций в журналах первого квартиля
(1) (2) (3)
Год = 2014 х участник программы 1,223* (0,126) 1,207* (0,124) 1,135 (0,103)
Год = 2015 х участник программы 1,228 (0,157) 1,200 (0,153) 1,165 (0,142)
Численность научно-педагогических сотрудников (тыс. человек) 1,369*** (0,035) 1,378*** (0,037) 1,276*** (0,038)
Год (во) 0,869 (0,093) 0,847* (0,085)
Финансирование НИР (млрд руб.) 1,808*** (0,216)
N 104 104 104
В скобках указаны стандартные погрешности оценок. *р < 0,1; **р < 0,05; ***р < 0,01.
Таблица 9. Регрессионные оценки модели с коррелированным случайным трендом в экспоненциальной форме. Зависимая переменная — логарифм числа публикаций в журналах первого квартиля в расчете на одного сотрудника
(1) (2)
Год = 2014 х участник программы 1,256* (0,153) 1,226* (0,128)
Год = 2015 х участник программы 1,305* (0,211) 1,340** (0,184)
Год (во) 1,341*** (0,049) 1,236*** (0,043)
Финансирование НИР в расчете на одного сотрудника (млн руб.) 2,129*** (0,332)
N 104 104
В скобках указаны стандартные погрешности оценок. *р < 0,1; **р < 0,05; ***р < 0,01.
4. Заключение Дизайн программы повышения конкурентоспособности ориентирует вузы на увеличение показателей количества публикаций. Поскольку и факт участия в программе, и объем выделяемого ежегодного финансирования зависят от показателей, которых вуз добился в предыдущем году, участники проекта должны уделять особое внимание именно тем результатам, которые можно продемонстрировать относительно быстро. Этот эффект подтверждают и наши эмпирические оценки. Динамика общего числа публикаций у вузов — участников Программы «5-100» на 12,2% опережает общий публикационный тренд вузов в 2014 г. и на 26,6% — в 2015 г. При этом свои собственные ожидаемые показатели общего числа публикаций, на которые можно было рассчитывать без поддержки со стороны программы, данные вузы превзошли более чем на 27 и 47% в 2014 и 2015 г. соответственно. После вступления в программу у вузов также увеличилось число публикаций в расчете на одного сотрудника. Кроме того, количество публикаций в расчете на одного сотрудника в журналах первого квартиля у вузов—участников программы опережает общий публикационный тренд более чем на 20% в 2014 г. и более чем на 30% в 2015 г. В этом отношении первые годы реализации программы сходны по результатам с первыми итогами программ, реализующихся в других странах [Shin, 2009; Zhang, Patton, Kenney, 2013].
Данная статья является одной из первых работ, в которых дается эмпирическая оценка влияния Программы «5-100» на публикационную активность вузов, и целый ряд вопросов, важных, в том числе, в контексте государственной политики, пока остаются открытыми. Так, относительно низкие показатели публикационной активности, с которой начинали большинство вузов — участников программы, а также ее ярко выраженный мобилизационный характер приводят к ожидаемо быстрому начальному росту публикаций. В какой степени такой тренд будет сохраняться в дальнейшем? Какой характер будут носить изменения результативности вузов в долгосрочной перспективе? На этот вопрос можно будет ответить только спустя некоторое время после начала реализации программы.
Вместе с тем ряд вопросов может стать предметом анализа уже в ближайшей перспективе. Так, например, в нашей работе показано, что программа дает эффект как в плане увеличения общего количества публикаций, так и в плане повышения их качества: заметен опережающий рост в сегменте публикаций первого квартиля. И хотя программа создает стимулы к повышению качества публикаций (в силу того, что уровень цитирования закреплен как один из ключевых показателей эффективности вузов), рост их количества многие рассматривают как основной критерий в оценке результативности исследований. В этом контексте не вызывает удивления увеличение числа публикаций
в потенциально недобросовестных журналах, отмеченный прежде всего в БД Scopus. В отношении таких журналов существуют обоснованные сомнения в качестве редакционного процесса и серьезности рецензирования [Sterligov, Savina, 2016]. При этом неизученной остается динамика публикаций в сегменте слабых, хотя и не являющихся недобросовестными, журналов, в то время как они составляют заметную долю от общего числа публикаций.
Далее, учитывая существенные различия между дисциплинами как в плане стоимости научных исследований (например, в силу критической зависимости от дорогого оборудования в целом ряде из них), так и в плане публикационных паттернов [Piro, Aksnes, R0rstad, 2013], можно ожидать, что и влияние программы на прирост публикаций в разных дисциплинах будет разным. Такое ожидание усиливается и в силу того, что вузы в последнее время обращают больше внимания на предметные рейтинги. Осознавая тщетность попыток высоко продвинуться в общеуниверситетских рейтингах, многие из них начинают фокусироваться на рейтингах отдельных дисциплин и инвестировать ресурсы в продвижение в них. Наконец, достичь краткосрочного роста публикаций можно за счет разных стратегий. Две из них—содержательная интеграция в международные исследования и прямая «покупка» публикаций за счет заключения контрактов с высокопродуктивными исследователями из других (как правило, зарубежных) университетов, указывающих аффилиацию университета на своих работах, но реально не интегрированных в работу вуза, — характеризуются ростом публикаций с международным участием, однако сильно отличаются друг от друга по сути. Оценить, в какой степени в вузах — участниках программы используются эти стратегии, является отдельной важной задачей, существенной и для понимания характера влияния программы на системные изменения внутри вуза.
Первые результаты программы, выраженные в росте количества и повышении качества публикаций, являются беспрецедентными для России с учетом небольшого срока реализации программы и продолжительности современного научно-публикационного цикла. Средний срок между подачей рукописи и ее опубликованием в общественных науках может достигать 18 месяцев, в естественных он составляет около года [Bjork, Solomon, 2013], и это без учета времени, необходимого на поиск финансирования, проведение самого исследования и подготовку рукописи. Это дает основания предположить, что по крайней мере часть новых публикаций вузов первой волны «5-100» на деле подготовлена раньше и на другие средства, а вузы эти научились демонстрировать «бумажный» рост показателей за счет включения своих аффилиаций в работы.
Поэтому еще одним из наиболее актуальных направлений продолжения анализа является дополнение «полного» подсче-
та числа публикаций «дробным» подсчетом, при котором на каждую публикацию в системе учета выделяется один балл, который делится между всеми упомянутыми в ней организациями пропорционально числу авторов из данной организации. Такой метод позволит точнее оценить, например, вклад РАН, иностранных соавторов или международных мегапроектов (ЦЕРН и др.), прямо не связанных с проектом «5-100», но приносящих вузам множество публикаций, в том числе в высокоцитируемых журналах. В частности, уместно предположить, что, по крайней мере для части вузов «5-100», прирост числа публикаций сочетается с падением их средней доли в числе соавторов этих публикаций и увеличением среднего числа аффилиаций на одного соавтора.
Все перечисленные вопросы могут стать предметом дальнейших исследований и заслуживают пристального внимания как исследовательского сообщества, так и лиц, принимающих решения в сфере развития высшего образования.
Литература 1. Björk B.-C., Solomon D. (2013) The Publishing Delay in Scholarly Peer-Reviewed Journals //Journal of Informetrics. Vol. 7. No 4. P. 914-923.
2. Coates H., Dobson I., Edwards D., Friedman T., Goedegebuure L., Meek L. (2009) The Attractiveness of the Australian Academic Profession: A Comparative Analysis. Melbourne: LH Martin Institute.
3. Ivanov V. V., Markusova V. A., Mindeli L. E. (2016) Government Investments and the Publishing Activity of Higher Educational Institutions: Bibliomet-ric Analysis // Herald of the Russian Academy of Sciences. Vol. 86. No 4. P. 314-321.
4. McCulloch C. E., Neuhaus J. M. (2013) Generalized Linear Mixed Models. Hoboken, NJ: John Wiley & Sons.
5. Möller T., Schmidt M., Hornbostel S. (2016) Assessing the Effects of the German Excellence Initiative with Bibliometric Methods // Scientometrics. Vol. 109. No 3. P. 2217-2239.
6. Piro F. N., Aksnes D. W., R0rstad K. (2013) A Macro Analysis of Productivity Differences across Fields: Challenges in the Measurement of Scientific Publishing // Journal of the American Society for Information Science and Technology. Vol. 64. No 2. P. 307-320.
7. Pislyakov V., Shukshina E. (2014) Measuring Excellence in Russia: Highly Cited Papers, Leading Institutions, Patterns of National and International Collaboration // Journal of the Association for Information Science and Technology. Vol. 65. No 11. P. 2321-2330.
8. Salmi J. (2015) Excellence Initiatives and World-Class Universities. Paper presented on the 6th International Conference on World-Class Universities, 1-4 November, Shanghai, China. http://www.shanghairanking.com/ wcu/wcu6/3.pdf
9. Seglen P. O. (1997) Why the Impact Factor of Journals Should Not Be Used for Evaluating Research // BMJ: British Medical Journal. Vol. 314. No 7079. P. 498.
10. Shin J. C. (2009) Building World-Class Research University: The Brain Korea 21 project // Higher Education. Vol. 58. No 5. P. 669.
11. Shin J. C., Kehm B. M. (2013) The World-Class University in Different Systems and Contexts // Shin J.C., Kehm B. M. (eds) Institutionalization of
World-Class University in Global Competition. Dordrecht: Springer Netherlands. P. 1-13.
12. Sterligov I., Savina T. (2016) Riding with the Metric Tide: 'Predatoryjournals in Scopus // Higher Education in Russia and Beyond. Vol. 1. No 7. P. 9-12.
13. Turko T., Bakhturin G., Bagan V., Poloskov S., Gudym D. (2016) Influence of the Program «5-top 100» on the Publication Activity of Russian Universities // Scientometrics. Vol. 109. No 2. P. 769-782.
14. West B. T., Galecki A. T., Welch K. B. (2014) Linear Mixed Models. Boca Raton, FL: CRC Press.
15. Wooldridge J. M. (2010) Econometric Analysis of Cross Section and Panel Data. Cambridge; London: MIT Press.
16. Zhang H., Patton D., Kenney M. (2013) Building Global-Class Universities: Assessing the Impact of the 985 Project // Research Policy. Vol. 42. No 3. P. 765-775.
Publication Activities of Russian Universities: The Effects of Project 5-100
Authors Oleg Poldin
PhD, Senior Researcher at the Center for Institutional Studies, National Research University Higher School of Economics.
Nataliya Matveeva
Doctoral Student, National Research University Higher School of Economics; Junior Researcher, Center for Institutional Studies, National Research University Higher School of Economics. Address: 25/12 Bolshaya Pecherskaya St., 603155 Nizhny Novgorod, Russian Federation. E-mail: nmatveeva@hse.ru
Ivan Sterligov
Director of the Scientometrics Center, National Research University Higher School of Economics. Address: 20 Myasnitskaya St., 101000 Moscow, Russian Federation. E-mail: isterligov@hse.ru
Maria Yudkevich
PhD, Vice-Rector, National Research University Higher School of Economics; Di-rectorof the Center for Institutional Studies, National Research University Higher School of Economics. Address: 20 Myasnitskaya St., 101000 Moscow, Russian Federation. E-mail: yudkevich@hse.ru
Abstract We estimate the effects of the Russian University excellence program (Project 5-100) initiated by the Government in 2013 (Project 5-100) on the research performance of those leading Russian universities that received, on the competitive basis, substantial financial support within this program. While the publication output of Russian universities in general has increased in recent years, we estimate whether there is significant added value from the Program, that is, whether the extra increase in productivity takes place in selected universities. We use econometric analysis of longitudinal data applying the linear growth model with mixed effects, with the number of publications (total number, per capita, and publications in high-quality journals) as a dependent variable. We demonstrate that there is a positive significant effect of the Program that appears from the very first years of its implementation — that is, universities that received financial support demonstrate a substantial steady increase in publications measured in both total numbers and per capita (including publications in the top-25% of journals) when compared to universities from the control group.
Keywords research universities, leading universities, university research performance, scientometrics, publication output.
References Bjork B.-C., Solomon D. (2013) The Publishing Delay in Scholarly Peer-Reviewed Journals. Journal of Informetrics, vol. 7, no 4, pp. 914-923. Coates H., Dobson I., Edwards D., Friedman T., Goedegebuure L., Meek L. (2009) The Attractiveness of the Australian Academic Profession: A Comparative Analysis. Melbourne: LH Martin Institute. Ivanov V. V., Markusova V. A., Mindeli L. E. (2016) Government Investments and the Publishing Activity of Higher Educational Institutions: Bibliometric Analysis. Herald of the Russian Academy of Sciences, vol. 86, no 4, pp. 314-321. McCulloch C. E., Neuhaus J. M. (2013) Generalized Linear Mixed Models. Ho-boken, NJ: John Wiley & Sons.
Möller T., Schmidt M., Hornbostel S. (2016) Assessing the Effects of the German Excellence Initiative with Bibliometric Methods. Scientometrics, vol. 109, no 3, pp. 2217-2239.
Piro F. N., Aksnes D. W., R0rstad K. (2013) A Macro Analysis of Productivity Differences across Fields: Challenges in the Measurement of Scientific Publishing. Journal of the American Society for Information Science and Technology, vol. 64, no 2, pp. 307-320.
Pislyakov V., Shukshina E. (2014) Measuring Excellence in Russia: Highly Cited Papers, Leading Institutions, Patterns of National and International Collaboration. Journal of the Association for Information Science and Technology, vol. 65, no 11, pp. 2321-2330.
Salmi J. (2015) Excellence Initiatives and World-Class Universities. Paper presented on the 6th International Conference on World-Class Universities, 1-4 November, Shanghai, China. Available at: http://www.shanghairanking. com/wcu/wcu6/3.pdf (accessed 10 April 2017).
Seglen P. O. (1997) Why the Impact Factor of Journals Should Not Be Used for Evaluating Research. BMJ: British Medical Journal, vol. 314, no 7079, pp. 498.
Shin J. C. (2009) Building World-Class Research University: The Brain Korea 21 Project. Higher Education, vol. 58, no 5, pp. 669.
Shin J. C., Kehm B. M. (2013) The World-Class University in Different Systems and Contexts. Institutionalization of World-Class University in Global Competition (eds J.C Shin, B. M. Kehm), Dordrecht: Springer Netherlands, pp. 1-13.
Sterligov I., Savina T. (2016) Riding with the Metric Tide: 'Predatoryjournals in Scopus. Higher Education in Russia and Beyond, vol. 1, no 7, pp. 9-12.
Turko T., Bakhturin G., Bagan V., Poloskov S., Gudym D. (2016) Influence of the Program "5-top 100" on the Publication Activity of Russian Universities. Scientometrics, vol. 109, no 2, pp. 769-782.
West B. T., Galecki A. T., Welch K. B. (2014) Linear Mixed Models. Boca Raton, FL: CRC Press.
Wooldridge J. M. (2010) Econometric Analysis of Cross Section and Panel Data. Cambridge; London: MIT Press.
Zhang H., Patton D., Kenney M. (2013) Building Global-Class Universities: Assessing the Impact of the 985 Project. Research Policy, vol. 42, no 3, pp. 765-775.
