CC BY
84
ПРОБЛЕМЫ ОБРАЗОВАНИЯ
DOI: 10.17323/1811-038Х-2022-31-1-49-73
Наукометрические показатели
в оценке российских университетов: обзор исследований
К С. ГУБА*
*Катерина Сергеевна Губа - кандидат социологических наук, директор Центра институционального анализа науки и образования, Европейский университет в Санкт-Петербурге, Санкт-Петербург, Россия, [email protected], https://orcid.org/0000-0002-4677-5050
Цитирование: Губа К.С. (2022) Наукометрические показатели в оценке российских университетов: обзор исследований // Мир России. Т. 31. № 1. С. 49-73. DOI: 10.17323/1811-038Х-2022-31-1-49-73
Аннотация
В российской науке количественные показатели применяются для решения многих управленческих задач. По мере широкого внедрения показателей исследователи стали анализировать большие массивы публикаций с тем, чтобы оценить эффекты от их применения. В этой статье анализируется: а) для решения каких задач вводились метрики, б) какие изменения они обусловили в университетском найме и продвижении, в) какие стратегии публикационного роста оказались доминирующими. Обзор эмпирических исследований позволяет не только задокументировать рост научной результативности российских университетов, но также выявить основные стратегии этого роста - увеличение кол-лабораций, включая множественные аффилиации, и статьи в хищнических журналах. В статье перечисляются лакуны, которые могут стать фокусом внимания исследователей. Количественные данные будут полезны не только для оценки результативности, но и для понимания изменений во внутренних процессах университетов. Фокус только на цифрах о научной результативности не вполне достаточен, чтобы ответить на вопрос, произошла ли трансформация академических организаций. Другое возможное направление - применение продвинутых инструментов анализа цитатных данных с тем, чтобы более точно интерпретировать обнаруженные паттерны. Наконец, гораздо меньше известно об эффектах применения показателей за пределами оценки университетов, так как исследователи в основном анализируют результативность Проекта 5-100.
Ключевые слова: наукометрия, научная политика, Проект 5-100, продуктивность университетов, хищнические журналы, Россия
Исследование выполнено за счет гранта РНФ № 21-18-00519.
Статья опубликована в рамках проекта НИУ ВШЭ по поддержке публикаций авторов российских образовательных и научных организаций «Университетское партнерство».
Статья поступила в редакцию в августе 2021 г.
Введение
Новый менеджериализм в науке предполагает переоценку традиционного механизма распределения ресурсов, при котором их финансовый и организационный объем не зависит от показателей эффективности [Ferlie et al. 2008]. Ожидалось, что новый механизм, при котором учитываются предшествующие научные достижения, приведет к более эффективным результатам: так, во многих странах дополнительное финансирование институций стало обуславливаться степенью продуктивности исследователей [Hicks 2012]. Самим ученым обычно несложно оценить заслуги друг друга, особенно если они занимаются сходными темами. Однако это становится трудной задачей для неспециалистов в этом направлении, и тем более это сложно для управленцев, которые отвечают за распределение средств на науку. Управленческие задачи требуют простого, прозрачного и, желательно, относительно малозатратного в применении механизма оценки научных заслуг. Опора на количественные индикаторы научной продуктивности стала самым распространенным решением в управлении наукой [Ferlie et al. 2008; Auranen, Nieminen 2010; Espeland, Sauder 2016].
Российская наука - один из самых ярких примеров широкого применения метрик. Наукометрические показатели учитываются при оценке университетов и отдельных ученых, они используются в конкурсных процедурах при отборе заявок на гранты и даже при формировании диссертационных советов. Без преувеличения можно утверждать, что количественные индикаторы привели к возможно наиболее серьезной трансформации российских академических институтов. Результатом стал значительный рост российских публикаций, индексируемых международными цитатными базами [Moed et al. 2018]. Этот рост подробно анализируется исследователями: российская наукометрия уже имеет значимый задел по анализу больших массивов публикаций [Гуськов 2015]. В статье представлен обзор эмпирических исследований, изучающих механику публикационного роста. В обзоре мы рассмотрим новые стимулы преподавателей, которые появились вместе с метриками, а также обратим внимание на то, как изменились их публикационные практики. В заключении представлены основные лакуны в исследованиях, которые еще ждут своего внимания.
Наукометрические показатели в управлении российской наукой
Согласно Диане Хикс, национальные системы оценки научной результативности описываются по следующим характеристикам: на национальном уровне достижения в виде публикаций рассматриваются постфактум, при этом результаты анализа влияют на финансирование [Hicks 2012]; оцениваться могут как отдельные ученые, так и университеты или научные институты и их подразделения. В российской научной политике, хотя и отсутствуют системы оценки, которые отвечали бы всем этим критериям, наблюдаются отдельные важные инициативы по оценке научной результативности. Их появление в первую очередь связано с новыми мерами поддержки науки в университетах: до недавнего времени университетам вменялась
главным образом образовательная функция, тогда как научным институтам - исследовательская. Такое разделение нашло свое отражение в научной результативности. В сравнении с вузами доля работ сотрудников РАН за 2000-2009 гг. заметно превалировала по большинству научных областей по базе Web of Science (WoS): науки о Земле (74%), науки о растениях и животных (68%), биология/биохимия (67%), молекулярная биология и генетика (63%), микробиология (62%) [Мохначе-ва,Харыбина 2011, с. 1066].
Меры поддержки университетской науки проводились через политику дифференциации: избранные университеты получили специальный статус, обеспечивающий финансирование в обмен на улучшение ключевых показателей1. В 2006 г. были созданы девять федеральных университетов путем слияния региональных университетов. В 2008-2009 гг. статус национального исследовательского университета был присвоен 29 вузам, и все они получали специальное государственное финансирование до 2013 г. [Semyonov 2014]. Помимо этого, также предусматривалось отдельное финансирование для развития кооперации российских вузов, научных учреждений и производственных предприятий, для поддержки инновационной инфраструктуры и международного сотрудничества вузов и научных организаций с учеными мирового уровня2 [Semyonov 2014].
Особенно заметные ресурсы университеты получили в рамках Проекта 5-100 - российской версии программы превосходства, которая должна была трансформировать российские университеты в университеты мирового уровня. Такие программы превосходства запускались разными странами с целью улучшения позиций университетов в международных рейтингах [Фрумин, Салми 2007]. Проект 5-100 означал отказ от логики финансирования «раздать всем ресурсы равномерно» и переход к «стратегии приоритетной поддержки лучших и наиболее перспективных образовательных организаций» [Кузьминов, Юдкевич 2021, с. 551]3. Отличие Проекта 5-100 заключается в привязке заметной доли финансирования к научным достижениям университетов, что отличает программу от привычных схем, когда финансирование вузов привязывалось к затратам на подготовку студентов и выплатам зарплат. До принятия Проекта 5-100 университетам не нужно было конкурировать за ресурсы, соответственно, отсутствовали стимулы превосходить всех остальных, особенно в научной репутации; по большей части присутствовали заинтересованность в развитии образовательных программ для привлечения студентов и запрос на предоставление большего количества бюджетных мест. Сейчас же избранные университеты получили значительные ресурсы в обмен на улучшение позиций в рейтингах и рост релевантных показателей. Важным пунктом оказалось увеличение количества публикаций и цитирований, индексируемых в международных базах данных.
Дорожные карты университетов показывают, что между 2016 и 2020 г. университеты планировали значительно увеличить количество индексируемых
1 Для контекста также важен указ президента 2012 г. о том, что доля российских публикаций в базе WoS должна составить 2,44% к 2015 г. [Иностранные хищные журналы в Scopus и WoS 2020]. Этому предшествовали очень скромные показатели российской науки по сравнению с ростом показателей других стран: в 1999-2013 гг. общее количество статей и обзоров в WoS выросло на 80%, Китай - на 821%, Германия - на 51%, а Россия - только на 6% [Sterligov 2014].
2 См. подробнее постановления правительства № 218, 219 и 220.
3
С рецензией на указанный источник можно ознакомиться в этом выпуске журнала «Мир России» на стр. 203-209.
статей (таблица 1). Особо высокую планку поставил перед собой Казанский федеральный университет в количестве ссылок на статьи: так, в 2013 г. университет ожидал, что средняя цитируемость на одного сотрудника за пять лет составит 5,7, а в 2020 г. - уже 50. Самые высокие показатели цитируемости планировали достичь профильные университеты - МИСИС (41) и МИФИ (80); по другим наукометрическим показателям КФУ также планировал подняться в тройку лидеров.
Таблица 1. Плановые показатели университетов*
Университет Среднее N цитируемости за пять лет (2013) Среднее N цитируемости за пять лет (2020) Среднее N публикаций за три года (2013) Среднее N публикаций за три года (2020)
МФТИ 3 10,5 1,1 1,17
Нижегородский государственный университет 0,6 2 0,12 0,45
Казанский федеральный университет 5,7 50 0,5 4
Новосибирский государственный университет 2,38 7,01 1,29 2
Дальневосточный федеральный университет 0,2 6,3 0,2 1,7
Уральский федеральный университет 0,6 10,5 0,5 3,4
МИФИ 21 80 1,1 6
МИСИС 1,77 41 0,95 6,2
Высшая школа экономики 0,45 4 0,35 2
Томский политехнический университет 2,4 11,1 0,6 4,7
ИТМО 0,65 3 0,3 2
ЛЭТИ 4,2 15 0,51 2,55
* приведены средние показатели на одного НПР по двум базам без дублирования.
В таблице 2 для примера представлены три показателя и показано, во сколько раз университеты запланировали повысить показатели за 2016-2020 гг. За исключением университета ИТМО (в 1,5 раза), вузы предполагали увеличить в разы параметры, связанные с цитированием статей. При этом размах между разными университетами различался весьма значительно: особенно заметный рост запланированных цитирований характерен для Тюменского государственного университета, Медицинского университета им. И.М. Сеченова и Южно-Уральского госуниверситета, руководство которого предполагало нарастить показатель средней цитируемости на одного научно-педагогического работника (НПР) по базе Scopus в 22,7 раза.
Таблица 2. Три плановых показателя*
Университет Средняя цитируемость на 1 НПР в WoS Средняя цитируемость на 1 НПР в Scopus Средняя цитируемость на 1 НПР (WoS и Scopus за 5 лет)
Нижегородский госуниверситет им. Н.И. Лобачевского 1,8 3,3
Новосибирский госуниверситет 1,8 2 3
ИТМО 1,5 1,5 4,6
МИФИ 3,8
Казанский федеральный университет 5,4 5,4 8,8
Томский политехнический университет 5 4 4,6
РУДН 3,3 3,7
Балтийский федеральный университет им. И. Канта 3 3,3
Сибирский федеральный университет 7 7
Тюменский госуниверситет 11,7 12
Первый московский государственный медицинский университет им. И.М. Сеченова 22,5 13,2
Дальневосточный федеральный университет 5,6 4,2 31,5
МИСИС 5,1 5,4 23,1
Южно-Уральский государственный университет 22,7 17,7
*Указано, во сколько раз университеты планировали повысить показатель за 2016-2020 гг.
При этом данные демонстрируют, что университетам зачастую было свойственно давать завышенные обещания о своих публикационных достижениях. На это указывают результаты сравнения реального прироста количества публикаций в 2019 г. с цифрами, которые вузы планировали достигнуть согласно дорожным картам (таблица 3). Данные Мониторинга эффективности образовательных организаций (Мониторинг) содержат информацию о количестве публикаций в базах Scopus и WoS на 100 НПР. В дорожных картах руководство ряда университетов указывало, какое количество публикаций в базах Scopus и WoS на одного НПР они планируют достичь. Для сравнения показатели из Мониторинга были переведены в расчете на одного НПР. Таблица 3 показывает, что между 2016 и 2019 г. все университеты повысили реальный показатель количества публикаций, однако в полной мере им это не удалось сделать: по показателю публикаций в WoS 6 университетов из 11 не достигли планового увеличения, по базе Scopus - 5 университетов. Очевидно, что не достигли плановых показателей университеты, декларировавшие завышенные планы и обещавшие повысить количество публикаций более чем в 2 раза.
Таблица 3. Сравнение реальных и плановых показателей прироста количества публикаций в базах Scopus и WoS для университетов - участников Проекта 5-100
Университет (1) WoS реальный (2) WoS плановый (3) Scopus реальный (4) Scopus плановый
МИСИС 1,8 2,1 2,2* 0,9
МФТИ 1,5* 1,2 1,6* 1,3
Нижегородский госуниверситет им. Н.И. Лобачевского 1,3 1,4 1,1 1,3
Новосибирский государственный университет 1,4* 1,3 1,4* 0,9
ИТМО 1,0 1,8 1,2 1,5
Санкт-Петербургский политехнический университет Петра Великого 1,6* 1,3 2,0* 0,6
ЛЭТИ 1,4* 1,1 2,1* 1,3
Самарский университет им. С.П. Королева 1,6* 1,1 1,5* 1,1
Томский политехнический университет 1,1 2,1 0,9 2,3
Казанский федеральный университет 1,7 2,2 1,2 1,8
Дальневосточный федеральный университет 1,2 3,4 1,2 2,9
(1) Отношения показателя количества публикаций в WoS на одного НПР 20204 г. к 2017 г. (по данным Мониторинга).
(2) Отношения показателя количества публикаций в WoS на одного НПР 2019 г. к 2016 г. (плановый показатель).
(3) Отношения показателя количества публикаций в Scopus на одного НПР 2020 г. к 2017 г. (по данным Мониторинга).
(4) Отношения показателя количества публикаций в Scopus на одного НПР 2019 г. к 2016 г. (плановый показатель). * Указывает, превышает ли прирост реального показателя плановые значения.
Несмотря на то, что формальная оценка научной результативности в России главным образом направлена на организации, государственные меры все же меняют поведение ученых. Происходит то, что называют «протечкой метрик» [Стерлигов 2021], - ситуация, когда индикаторы разрабатываются для экспертизы организаций, однако организации, чтобы их выполнить, начинают создавать формальные схемы для оценки своих сотрудников. Такими мерами стало сочетание практики эффективных контрактов и премирования за публикации [Denisova-Schmidt 2021; Кузьминов, Юдкевич 2021]. Университеты, по всей видимости, различаются в том, какие именно финансовые инструменты применяются для стимулирования сотрудников к увеличению публикаций: это могут быть ежегодные премии, единоразовые выплаты и доплаты к основному окладу. Отличия есть и в том, какие именно научные результаты вознаграждаются и каков размер выплат.
4 Показатели Мониторинга взяты за 2020 г., однако фактически они демонстрируют данные за 2019 г., что позволяет сравнить их с плановыми показателями 2019 г. Данные Мониторинга за 2017 г. содержат информацию о показателях за 2016 г. Цифры по планам взяты из доступных дорожных карт университета.
Таблица 4. Характеристики премирования за публикации в университетах - участниках Проекта 5-100 за 2013-2021 гг.*
Университет Сумма Метрики журнала
МФТИ5 до 300 тыс. руб. за статью (2021 г.) Квартиль, SJR
Нижегородский государственный университет им. Н.И. Лобачевского6 до 150 тыс. руб. за статью (2020 г.) JCR
Новосибирский государственный университет (экономический факультет)7 до 130 тыс. руб. за статью (2019 г.) Квартиль, CiteScore
Дальневосточный федеральный университет8 определяется специальным указом JCR, CiteScore, про-центиль журнала
Уральский федеральный университет9 15-240 тыс. руб. (за 2020 г.) JCR, квартиль
МИСИС10 до 130 тыс. руб. за статью (2013 г.) JCR, SJR
Томский государственный университет11 2,5-50 тыс. руб. (2019 г.) Квартиль
Высшая школа экономики12 до 100 тыс. руб. в месяц (2021 г.) за надбавку 3-го уровня Квартиль
Российский университет дружбы народов13 до 150 тыс. руб. за статью (2020 г.) Квартиль, SJR
Тюменский государственный университет14 10-200 тыс. руб. за статью (2015 г.) JCR
Балтийский федеральный университет им. И. Канта15 применяется формула Квартиль
ИТМО16 до 70 тыс. руб. за статью (2018 г.) JCR, ИФ по Scopus
ЛЭТИ17 до 90 тыс. руб. за статью (2018 г.) Квартиль
Сибирский федеральный университет18 до 60 тыс. руб. за статью (2020 г.) Квартиль
*Согласно официальным документам на сайте университета.
5 https://mipt.ru/science/5top100/staff/publications/renumeration.php
6 https://disk.yandex.ru/i/N9Z2viO3dtKe4Q
7 https://disk.yandex.ru/i/OwXSknxCzZI1Pw
8 https://disk.yandex.ru/i/RFebRDL_9GO3RA
9 https://disk.yandex.ru/i/SmH8rkJapBnZDg
10 https://misis.ru/university/news/5-100/2014-06/1890/
11 https://disk.yandex.ru/i/6hEhJsBtFv4ouA
12 https://disk.yandex.ru/i/rTuaX_-VQSt5eg
13 https://www.rudn.ru/media/news/nauka/publikacionnaya-aktivnost-v-rudn-mery-po-podderjke-nauchno-pedagogicheskih-rabotnikov
14 https://disk.yandex.ru/i/t7LfhNd74Q2m1Q
15 https://kantiana.ru/nauka-i-innovatsii/tsentr-razvitiya-publikatsionnoy-aktivnosti/wos-scopus/
16 https://disk.yandex.ru/i/pur1dIaKQsZ2pw
17 https://disk.yandex.ru/i/mX0NlKH3XgttPA
18 https://disk.yandex.ru/i/gGpuUcOqDgZyqQ
В России временные контракты продлеваются относительно автоматически, однако для соблюдения формальных процедур сотруднику необходимо предъявить некоторое количество публикаций. Поэтому до недавнего времени преподаватели могли начать думать о публикациях ближе к концу контракта. Сейчас же в связи с эффективными контрактами информация о публикациях стала играть более заметную роль. Как показывает практика, по условиям эффективного контракта часть зарплаты сотрудника определяется набранными баллами, а поскольку ситуация в университетах различается в том, какой размер дохода определяется стимулирующей выплатой, величина переменной части может составлять от 20 до 200% [Кузьминов, Юдкевич 2021, с. 422]. Баллы можно получить не только за публикации, однако для многих университетов именно они обеспечивают самые высокие показатели. При этом статьи в журналах обладают разным весом в зависимости от позиции издания в рейтингах. Как правило, меньше всего «стоит» публикация в журналах, индексируемых РИНЦ, выше всего ценятся статьи в изданиях, индексируемых в Scopus и Web of Science.
Помимо эффективного контракта стимулы преподавателей к публикации статей поддерживаются практикой премирования. Изначально при учете публикаций было достаточно, чтобы они появились в индексируемых журналах, но со временем университеты стали использовать более тонкие расчеты (во многом в ответ на недобросовестные практики ученых19). Например, премия для преподавателей и научных сотрудников экономического факультета Новосибирского госуниверситета варьируется между 20 и 130 тыс. руб. в зависимости от квартиля журнала в базе Scopus. Большим размером премии отличается Уральский федеральный университет - от 40 до 200 тыс. руб. Кроме того, в Уральском федеральном университете также учитывается импакт-фактор журнала: можно получить 240 тыс. руб., если этот показатель больше 10 (таблица 4).
Источники данных
для наукометрических исследований
Наукометрические исследования опираются на два типа данных - базы цитирований и административные данные. Международные цитатные базы главным образом представлены Scopus и Web of Science и различаются политикой отбора журналов для индексации: WoS выдвигает более высокие требования, поэтому в их основную коллекцию входит меньше журналов в сравнении со Scopus [Sterligov 2017]. Это различие во многом определяет результаты исследования: было показано, что подсчеты о состоянии российской науки сильно зависят от выбора цитатной базы [Moed et al. 2018]. Это особенно заметно по базе Scopus, в которой, помимо научных журналов, широко представлены сборники по итогам конференций и русскоязычные издания. В то время как с 2006 по 2016 г. доля русскоязычных статей в WoS снизилась с 6,5 до 3%, в Scopus она выросла с 4,8 до 14,8% [Moed et al. 2018, р. 18]: три четверти журналов, которые индексировались в Scopus в 2016 г., в 2012 г. там еще не были представлены. Для конференций характерны чисто рос-
19 Здесь мы можем показать только несколько примеров, которые удалось собрать с сайтов университетов -участников Проекта 5-100 (см. таблицу 4).
сийские сборники, при этом цитатный импакт публикаций из сборников конференций равен нулю [Moed et al. 2018].
Для анализа цитатных данных важно ознакомиться с техническими нюансами, которые подробно рассматриваются на примере базы Scopus в [Kosyakov, Guskov 2019a]: отсутствием аффилиаций, множественными аффилиациями, множественными профилями авторов и организаций, ошибками в географической принадлежности. Более того, Д.В. Косяков и А.Е. Гуськов показали, что около 20% международных соавторств по базе Scopus квалифицировались ошибочно, поскольку в статьях авторы указывали и российскую, и иностранную аффилиации, что в системе определялось как соавторство.
Заметно меньше существует исследований с использованием Российского индекса научного цитирования (РИНЦ), особенностью которого является широкий диапазон охвата журналов и других форматов научного текста [Moskaleva et al. 2018]. В базе можно встретить ошибки и неточности при размещении и обновлении информации: например, если автор не обновляет свой профиль публикаций, ему могут быть приписаны статьи его однофамильца. Однако в базе все же существуют возможности для улучшения точности информации, если над профилем организации работают ее представители (или сам автор). Вместе с тем локальные базы публикаций являются хорошим источником данных для поиска эмпирических закономерностей и тестирования гипотез, объясняющих паттерны публикационного поведения для широкой популяции ученых. Также преимуществом РИНЦ является спектр показателей, которые рассчитываются для авторов, организаций и журналов. Однако препятствием для многих исследователей может стать отсутствие удобной системы выгрузки данных.
Помимо вышеперечисленного, источником для анализа могут служить административные данные из информационных баз учета, которые разработаны для управленческих целей и зачастую доступны для исследователей. Министерство науки и высшего образования регулярно запрашивает у руководства университетов информацию о разных аспектах деятельности: итогах приемной кампании, научных достижениях, финансовой отчетности и др. Исследователям при работе с административными данными необходимо провести предварительный анализ для оценки их валидности: например, анализ Мониторинга эффективности показал, что некоторые вузы предоставили нереалистичные данные о публикациях, что, по всей видимости, объясняется ошибками при заполнении или неверно истолкованными инструкциями [Цивинская, Губа 2020]. Схожие проблемы характерны и для административных данных научных институтов, например, при заполнении отчета о численности работников, поскольку различные категории научных работников могут идентифицироваться в отдельно взятых учреждениях по-разному [Гуськов, Косяков 2019]. А.Е. Гуськов и Д.В. Косяков дают свои рекомендации, как должен выглядеть мониторинг для проведения анализа эффектов реформ в научной политике: в частности, ситуацию мог бы улучшить реестр активных российских исследователей, который содержит актуальный цифровой след ученого20.
Большим шагом стало появление открытого реестра научных организаций России [Sterligov, Lutay 2021].
Результаты исследований
Исследования показывают, что государственные меры действительно привели к значительному росту публикаций российских университетов21 в международных цитатных базах: с 1998 г. университеты увеличили долю публикаций с 30 до 58%, а научный сектор снизил свои показатели с 47 до 27% [Kosyakov, Guskov 2019b, р. 67]. Особое внимание исследователей привлекла результативность университетов, участвующих в Проекте 5-100. В работе [Turko et al. 2016] анализируются публикационные данные университетов до начала Проекта 5-100 и год спустя. Было отмечено, что прирост среди университетов-участников был весьма заметен уже в первый год; в 30 ведущих вузах в 2014 и 2015 гг. темпы прироста публикаций вузов значительно опережали общероссийские и общемировые показатели. Кроме этого, подсчеты по базе Web of Science демонстрируют, что доля публикаций университетов - участников Проекта 5-100 в общем числе российских публикаций выросла вдвое - с 17,4% в 2012 г. до 33,3% в 2019 г.; заметно увеличилась доля публикаций университетов - участников Проекта 5-100 в пуле статей, опубликованных в журналах 1-го квартиля - с 19,7 до 47,7% [Отчет о результатах 2021, с. 7].
Для оценки влияния Проекта 5-100 на публикационную активность университетов в статье Н. Матвеевой, И. Стерлигова и М. Юдкевич The Effect of Russian University Excellence Initiative on Publications and Collaboration Patterns были использованы лонгитюдные данные [Matveeva et al. 2021]. Авторы показали, что университеты стали публиковать заметно больше статей в престижных журналах, но со временем эффект от проекта начал ослабевать. Исследователи предполагают, что скорость и темпы прироста публикаций указывают на подготовку большинства рукописей еще до начала Проекта 5-100: после его запуска они были опубликованы достаточно быстро [Matveeva et al. 2021]. Замедление темпов роста может быть связано и с тем, что продуктивность вуза зависит не только от политики университета, но и от внешнего регулятора: в 2018 г. судьба проекта была весьма неясной [Дежина 2020, с. 19]. При этом за время проекта выросла продуктивность и тех университетов, которые не входят в категорию 5-100 [Lovakov et al. 2021].
Новые контракты и наем
По всей видимости, публикационный рост во многом объясняется политикой стимулирования научной продуктивности, взятой на вооружение российскими университетами. И.Г. Дежина в недавнем обзоре подчеркнула роль введения системы контрактов с требованиями к результативности научных исследований [Дежина 2020]. Публикации в индексируемых журналах действительно вносят значимый вклад в доходы, тогда как наличие международных публикаций в неиндекси-руемых журналах не дает такой связи [Prakhov, Rudakov 2021]. Международные
О результатах по росту позиций в рейтингах см. [Трубникова 2020; Отчет о результатах 2021]. Для того, чтобы правильно интерпретировать результаты, нужно располагать информацией о том, какой подход доминировал в оценке эффективности Проекта 5-100 [Witte, Lopez-Torres 2017].
публикации конкурируют по значимости вклада в доходы преподавателей с доходом от административной позиции. Важно, что для исследовательских университетов и вузов - участников Проекта 5-100 публикации в престижных журналах имеют более значимый вклад в доходы преподавателей; помимо этого, в данных университетах зарплаты в среднем выше, чем в других вузах - 51,7 тыс. руб. против 37,3 тыс. руб. [Prakhov, Rudakov 2021, р. 12]. Возможно, имеет значение и размер выплат: Л.В. Антосик и Е.С. Шевченко показали, что контракт может не иметь влияния на публикационную активность, если баллы за публикации не дают существенной доли или сами его требования минимальны [Антосик, Шевченко 2018]. С другой стороны, если размер стимулирующих выплат «превышает оклад, то это чревато искажениями в мотивации: публикационная активность становится способом заработка, формой бизнеса, что может в долгосрочной перспективе привести к эрозии в науке системы ценности» [Дежина 2020, с. 18].
Требования повысить исследовательскую продуктивность университетов повлияли на публикационную активность преподавателей высшей школы, ранее гораздо меньше занимавшихся исследованиями. Опираясь на новые ресурсы и со-гласуя свои действия с новыми условиями контракта, университеты должны были перенаправить усилия ранее не публиковавшихся сотрудников. Российские данные были основаны на показателях трех факультетов одного университета [Kotsemir, Shashnov 2017]22. Для исследуемого университета наблюдается рост публикаций даже у тех, кто прежде не публиковался. Кроме того, новая политика университета подтолкнула давно работавших сотрудников к более интенсивным международным коллаборациям [Kotsemir, Shashnov 2017].
На более обширных данных эффект новых стимулов показан в исследовании публикационных стратегий университетов за 2013-2016 гг.: университетскими преподавателями были опубликованы только 15% статей - это те статьи, для написания которых не привлекались авторы из научных институтов или зарубежных организаций. Именно в подобного рода публикациях заключается прямой эффект воздействия со стороны университета на своих преподавателей и исследователей, поскольку остальные стратегии подразумевают или сомнительные публикации, или публикации с авторами из внешних институций. При этом из 21 университета только у 4 вузов доля таких статей превысила 25% от всех новых публикаций; для 13 университетов она составила не более 15% [Guskov et al. 2018, р. 61].
Университеты не ограничились только стимулами для уже нанятых преподавателей: институции обновлялись за счет найма новых преподавателей и исследователей, способных внести вклад в повышение показателей. В исследовании трех факультетов одного из университетов показано, что после реорганизации вуза в 2012 г. произошел почти двукратный рост публикационной активности [Kotsemir, Shashnov 2017, р. 1667], при этом во многом он объясняется «выбросами» - наличием двух новых ученых с чрезвычайно высоким уровнем интеграции в международное сотрудничество, которые демонстрировали гораздо более высокую результативность, чем преподаватели с продолжительным стажем работы. Статьи новых сотрудников гораздо чаще цитировались зарубежными исследователями (доля «чисто иностранных» цитирующих публикаций составляет 49,7% для новых преподавателей против 12,8% для сотрудников с продолжительным стажем работы) [Kotsemir, Shashnov 2017, р. 1672].
22
Название университета авторами не указывается.
Тренд на коллаборации
Важной тенденцией стал тренд на коллаборации, когда заметно выросли и доля публикаций, написанных в соавторстве, и численность статей с множественными аффилиациями. Согласно О.В. Польдину с соавторами, для некоторых вузов -участников Проекта 5-100 прирост количества публикаций сочетается с уменьшением их доли в числе соавторов публикаций и увеличением среднего числа аффилиаций на одного соавтора [Польдин и др. 2017]. Н.Н. Матвеева проанализировала изменение числа работ с одним автором и их долю от общего числа публикаций в 30 ведущих вузах: если в 2010 г. 14,6% всех работ были написаны одним автором, то в 2018 г. доля соло-статей23 уменьшилась в 2 раза - до 6,8% [Матвеева 2020, с. 32]. Хотя доля работ с одним автором в общем массиве публикаций варьируется в зависимости от научной области, тем не менее она снижется во всех областях без исключения. В то же время увеличилось количество соавторов на статью: в 2010 г. для физиков медиана количества авторов составляла 3, в 2018 г. - 5, для социальных наук медиана увеличилась с 2 до 3 авторов. Выросло и число статей в мегаколлаборациях: в физике средние показатели в 2010 г. составляли 21, в 2018 г. - 69 [Матвеева 2020, с. 31].
Тренд на коллаборации включает в себя два процесса: публикацию работ совместно с международными исследователями, которые печатаются в наиболее селективных журналах, и статьи с национальным соавторством, которые издаются в журналах нижних квартилей. Наукометрические данные показывают, что в 2018 г. только 3% статей, опубликованных в журналах 1-го квартиля, были написаны соло-авторами [Матвеева 2020, с. 38], а международное соавторство увеличилось с 33% в 2012 г. до 44% в 2016 г. После 2013 г. в университетах - участниках Проекта 5-100 количество публикаций, написанных в соавторстве с зарубежными организациями, стало даже больше числа статей по итогам только российских кол-лабораций [Matveeva, Ferligoj 2020]. Расчеты по данным Web of Science указывают на заметное увеличение количества статей, подготовленных в соавторстве с зарубежными исследователями - с 1836 в 2012 г. до 9857 в 2019 г. [Отчет о результатах 2021, с. 25].
Международное соавторство - это один из способов появления статей в селективных журналах. В 2018 г. доля публикаций в изданиях 1-го квартиля, написанных в соавторстве с представителями зарубежных организаций, составляла 44%, доля совместных публикаций с сотрудниками других российских организаций была значительно ниже - 14% [Матвеева 2020, с. 38]. До начала проекта только 8% высокоцитируемых публикаций были написаны российскими авторами без международной коллаборации. В других странах высокоцитируемые материалы также пишутся по итогам международного сотрудничества, однако именно в России это практически единственный шанс написать высокоцитируемую статью [Pislyakov, Shukshina 2014]. До 2010 г. ученые с российской и иностранной аф-филиацией были чаще всего представителями диаспоры, которые сохранили связи с российскими университетами и институтами [Kosyakov, Guskov 2019a], а в пери-
23 Рост коллабораций наблюдается не только в вузах-участниках Проекта 5-100, но и в других академических организациях [Гуськов, Косяков 2020], что можно связать с практикой стимулирующих контрактов, по условиям которых количество соавторов не снижает размер премии.
од с 2010 по 2014 г. появились иностранные ученые без предшествующей истории отношений с российскими организациями. Возникает вопрос, действительно ли такие ученые вкладываются в сотрудничество или это только покупка престижной аффилиации [Kosyakov, Guskov 2019a].
Внутренние коллаборации чаще всего выстраиваются с институтами РАН. И. Стерлигов приводит статистику за 2013 г. по доли индексируемых публикаций университетов, опубликованных по результатам совместных исследований с РАН, которая варьируется от 28% у МИСИС до 92% у Новосибирского госуниверситета [Sterligov 2014, р. 13]. С началом Проекта 5-100 коллаборации университетов с РАН увеличились: по данным В.В. Иванова с соавторами, доля статей в коллаборации составляла 40% «домашних» публикаций в естественных науках [Ivanov et al. 2016]. Н.А. Мазов и В.Н. Гуреев показали, что число публикаций Новосибирского университета без коллабораций с другими институциями упала с 24% в 2000 г. до 5% в 2015 г. [Mazov, Gureev 2017, р. 447]. Для университетов -участников Проекта 5-100 уже в 2014 г. доля совместных публикаций с РАН стала составлять 53,6% [Ivanov et al. 2016, р. 318]. Сотрудничество университетов проекта с РАН увеличивается как для журналов 1-го, так и 4-го квартиля, при этом в рамках этого сотрудничества чаще публикуются статьи в журналах 4-го квартиля [Matveeva, Ferligoj 2020].
Участие в проекте побудило университеты активизировать сотрудничество не только с институтами РАН, но и друг с другом. До начала Проекта 5-100 в сегменте высокоцитируемых статей сотрудники университетов чаще писали совместно с представителями институтов РАН, между университетами наблюдалось сравнительно мало коллабораций [Pislyakov, Shukshina 2014]. Исследование сетей соавторства показало, что до 2013 г. в ядро коллаборирующих университетов входили два крупных университета из контрольной группы и лишь несколько университетов проекта [Matveeva, Ferligoj 2020]; в 2016 г. в ядро вошли пять университетов-участников Проекта 5-100 и МГУ. Это повлияло и на географический паттерн: в 2010 г. университеты в каждом кластере чаще были расположены в одном регионе, а в 2016 г. основные университеты с большим количеством совместных работ оказались «рассеяны» по территории РФ.
В связи с изменением паттерна национального соавторства возникает вопрос интерпретации результатов. Тренд на коллаборации может свидетельствовать как об объективных процессах, связанных с развитием коллабораций и междисциплинарными исследованиями, так и о расширении практик недобросовестного соавторства [Гуськов, Косяков 2020; Иностранные хищные журналы в Scopus и WoS 2020]. Также проблематична ситуация с множественными аффилиациями авторов статей: произошло значительное увеличение доли статей с множественными аффилиациями - с 9% в 1996 г. до 30% в 2017 г. [Kosyakov, Guskov 2019b, p. 69]. Если в 2010 г. около 40% всех публикаций имели аффилиацию одного вуза, то в 2018 г. доля таких публикаций сократилась до 17% [Матвеева 2020, с. 34]. Основной прирост публикаций с множественными аффилиациями произошел за счет двойных аффилиаций; доля статей с тройными аффилиациями составила в 2017 г. 4,5%. При этом в университетах - участниках Проекта 5-100 количество сольных публикаций с двойными аффилиациями оказалось намного выше, чем в контрольной группе [Matveeva, Ferligoj 2020]. В период 2012-2016 гг. число сольных публикаций с зарубежной аффилиацией среди университетов - участников
проекта увеличилось в 4 раза [Kosyakov, Guskov 2019a, р. 1323]. Такую стратегию исследователи называют стратегией привлеченной статьи: благодаря ей университеты - участники Проекта 5-100 в 2014-2016 гг. увеличили число публикаций на 24% по сравнению с 2010-2012 гг. [Guskov et al. 2018, р. 67]. Возможно, эти коллаборации не всегда создавались из содержательной повестки, скорее, эта стратегия направлена на достижение количественных показателей, когда одна публикация закрывает отчетность для нескольких организаций [Трубникова 2021].
Хищнические журналы
Опора на метрики для решения управленческих задач была встречена критикой: основным посылом явилось предположение, что метрики подвержены манипуляциям и накруткам цитирований [Rijcke et al. 2016]. За последние несколько лет появились исследования, документирующие изменения в поведении ученых, вызванные внедрением количественных параметров оценки научной работы. При этом особо заметно меняется поведение ученых в странах, где английский язык не является доминирующим языком науки [Pajic 2015]. Сильное публикационное давление может спровоцировать выбор недобросовестных академических практик, к которым в российском контексте следует отнести плагиат, самоплагиат, имитацию текстов или авторства [Кулешова, Подвойский 2018; Абалкина 2019].
Хорошо описанной практикой оказалась ориентация на менее престижные журналы. Впервые она была задокументирована Линдой Батлер на данных о публикациях австралийских ученых: после введения формальной системы оценки ученые начали публиковаться в изданиях с низким рейтингом, что привело к меньшему цитированию опубликованных статей [Butler 2003]. Выбор российских ученых пал на менее селективные хищнические журналы, в которых зачастую полностью отсутствует практика рецензирования. Во многом это стало возможным из-за инициатив со стороны самих хищнических издательств [Beall 2012; Kurt 2018], предлагавших (и предлагающих) опубликовать за плату практически любой текст24. Российский автор может выбирать из широкого набора предложений -за меньшую плату публикации в РИНЦ или за большую сумму публикации в Scopus. Для таких «всеядных» журналов главное - найти автора, согласного оплатить публикацию, а сама рукопись не только едва ли пройдет рецензирование, но и вряд ли будет вообще прочитана редактором журнала.
В исследовании недобросовестных российских социологических журналов показано, что они делятся на два типа изданий, ориентированных на удовлетворение спроса на публикации, - университетские вестники и «всеядные» частные журналы [Губа 2018]. Отличие между ними - завязанность на одной организации, если речь идет о вестниках: посторонним в вестниках либо отказывали, либо требовали оплату [Sokolov 2021]. Российские хищнические журналы открыты для всех и едва ли следуют какому-либо стандарту качества; статьи, опубликованные в них, не приносят много баллов в эффективном контракте, но в силу того, что никто в таких изданиях не проверяет тексты, один и тот же материал с минимальными
24 Подробнее о механике бизнеса по посредническим услугам смотрите в отчете Комиссии РАН [Иностранные хищные журналы в Scopus и WoS 2020].
изменениями может появиться в нескольких журналах. Помимо «всеядных» российских журналов широким спросом пользуются зарубежные издания-хищники. Это стало возможным ввиду отсутствия гарантии высокого качества индексируемых журналов со стороны базы Scopus: в 2013 г. доля российских публикаций в потенциально недобросовестных изданиях составила 3,6%, в 2016 г. - уже 8,4% [Marina, Sterligov 2021, р. 5033]. Хотя ситуация не сравнима с Казахстаном (30%) и Индонезией (26%), но ставит Россию рядом с такими странами, как Китай, Эфиопия, Филиппины, Таиланд и Пакистан.
Более всего доступны данные о наличии стратегии хищнических публикаций для университетов - участников Проекта 5-100: в 2014-2016 гг. в сравнении с 2010-2012 гг. прирост статей в журналах-хищниках составил 11% [Guskov et al. 2018, р. 67]. При этом университеты заметно различаются в распространенности стратегии публикации в хищнических журналах: она менее очевидна в технических университетах (1-3% подобного рода публикаций25) и более выявлена в гуманитарных вузах ввиду сложностей с публикацией в англоязычных изданиях. Абсолютным рекордсменом оказался Казанский федеральный университет, у которого 49% прироста приходится на публикации в «мусорных» журналах. Несмотря на то что публикации в хищнических изданиях способны продемонстрировать увеличение индексируемых публикаций, в то же время они серьезно снижают научный авторитет вузов: так, один из ведущих российских университетов, опубликовавший более 1500 статей в журналах списка Дж. Билла, заметно снизил свою долю в списке высокоцитируемых публикаций - она стала ниже среднего российского уровня (2,5% в сравнении с 7,6 % по России [Sterligov, Savina 2016, р. 12]).
До недавнего времени факт публикации в журналах-хищниках мог означать не только осознанное стремление обыграть систему, но и относительную некомпетентность в вопросах публикационного процесса, принятого международными изданиями, и для многих, кто раньше не публиковался на иностранных языках, платная публикация казалась самым естественным решением [Sterligov, Savina 2016]. В настоящее время эта проблема активно обсуждается и в медиа, и в специализированных изданиях, поэтому можно утверждать, что выбор авторами таких журналов указывает на их научную недобросовестность. Это также показывают и интервью с исследователями [Дежина 2020]: сами ученые при обсуждении использования показателей в оценке называют такие характеристики, как «имитация», «профанация», «жульничество», «плагиат», «мошенничество». Эксперты признают, что наблюдаются разрушение научных коллективов и замена их группами в интересах публикации научных статей, приводящие к кризису среды производства научного знания.
Решением может стать внедрение списков, определяющих журналы для публикации, которые будут учитываться в эффективном контракте или при премировании. Примером является Нигерия, где вместе с введением списка Дж. Билла в качестве официального черного списка журналов доля публикаций в хищнических журналах снизилась с 24-30% в 2010 г. до 14% в 2013 г. [Sterligov, Savina 2016, р. 10]. В настоящее время отдельные университеты вводят подобные списки, также используется ориентация на квартиль журнала (например, премии можно получить только за 1-й квартиль). Для российских журналов существует список изданий,
25 Цифры по конкретным вузам смотрите в [Guskov et al. 2018, р. 67].
который входит в Russian Science Citation Index - список, разрабатываемый РИНЦ, где журналы проходят сложную процедуру отбора. Существует мнение, что журналы ядра РИНЦ можно считать самыми сильными российскими журналами, но даже в этом списке есть издания, которые замечены в нарушении академической этики [Kassian, Melikhova 2019].
Возможно ли сократить нежелательные последствия? Радикальный шаг в этом направлении состоял бы в тщательной ревизии подхода к оценке научных результатов в пользу экспертных мнений. В то же время экспертиза требует сильного научного сообщества с работающими механизмами кооптации своих членов. Если же репутационные сигналы не работают и статус эксперта можно получить без подтверждения значимыми научными достижениями, то вызывает сомнение, что экспертные оценки будут легитимны [Гельман 2020]. Возможным решением может стать привлечение специалистов из числа публикующихся ученых. На этом этапе следует с осторожностью полагаться на избранные наукометрические показатели для формирования списков экспертов. Этот путь требует определенного уровня доверия как внутри самого научного сообщества, так и доверия к ученым со стороны государства. Вместе с тем недавний эксперимент с публикационным давлением и ростом сомнительных практик обнаружил, что у государства не так много оснований для такого доверия. Остается еще риск, что авторитетные ученые будут также преследовать собственные интересы при отборе заявок. Исследования последних лет действительно поставили под сомнение эффективность экспертной оценки, подтвердив, что она может добавить нулевую или даже отрицательную ценность, если рецензенты предвзяты или сосредоточены на других целях [Li, Agha 2014; Györffy et al. 2020].
Количественные показатели в целом и наукометрические инструменты в частности еще долго будут служить альтернативой экспертным оценкам, однако такой сценарий нуждается в существенной модификации. Становится очевидным, насколько важна спецификация индикаторов для различных научных организаций. Университеты производят не только публикации, и акцентирование на них внимания в качестве основных показателей будет иметь далеко идущие негативные последствия. Ожидания должны быть реалистичными с учетом особенностей и доступных ресурсов организаций. Этот необходимый шаг способен снизить вероятность ответной реакции в виде этически сомнительных практик.
Заключение
Обзор эмпирических исследований показывает, что в фокусе внимания исследователей оказались в основном университеты - участники Проекта 5-100. Во многом это можно объяснить амбициозностью проекта, целью которого провозглашалось создание университетов мирового класса. Исследователи детально проанализировали результативность проекта, поднимая не только вопросы о выполнении университетами своих обязательств по плановым показателям или об их вхождении в мировые рейтинги, но и изучая изменения пула публикаций российских ученых. В приросте публикаций оказались особенно заметны два тренда: во-первых, увеличение сегмента качественных публикаций, преимущественно за счет стратегии
коллабораций с иностранными учеными и РАН; во-вторых, одновременное увеличение публикаций низкого качества с многочисленными примерами нарушений научной этики.
Важно отметить, что для одних университетов оказались более характерны сомнительные стратегии, в других произошло качественное улучшение публикаций. Такие различия можно объяснить не только нюансами системы стимулирования публикаций, но и количеством и качеством ресурсов для проведения исследований, значимых для международной науки. Важнейшим ресурсом являются сами ученые, знакомые с публикационными международными нормами и практиками. Исследование социальных наук на академической полупериферии показало, что университеты улучшают свои научные результаты, если на момент финансовой поддержки в университете присутствовали исследователи с зарубежным опытом [Onder, Kasapoglu-Onder 2011], и ситуация в российских университетах подтверждают это наблюдение. По всей видимости, если до участия в проекте за англоязычные публикации в университете отвечали в основном естественные науки и именно на них университет сделал ставку для достижения публикационного роста, то и впоследствии явного роста за счет сомнительных практик произойти не могло. С другой стороны, призывы публиковаться в международных журналах, обращенные к преподавателям без такого опыта, вызвали ответную реакцию в виде выбора хищнических журналов.
Свои результаты может принести использование более тонких инструментов анализа наукометрической информации для более точной интерпретации обнаруженных паттернов: например, исследования показали, что в настоящее время статьи зачастую пишутся в соавторстве, однако остается вопрос, что скрывается за этим соавторством - действительно ли продуктивное сотрудничество или просто добавление автора без участия в совместной работе? На этот вопрос можно ответить, если обратиться к более сложным инструментам анализа: известны примеры исследований больших массивов цитирований для определения вклада в научную статью со стороны каждого автора. Х. Шен и А. Барабаши предлагают опереться на интуицию: поскольку признание распределяют другие ученые, следовательно, нужно анализировать цитирование всех статей, которые написаны соавторами, и если цитируются чаще статьи какого-либо одного автора, значит, главная роль принадлежит ему [Shen, Barabasi 2014].
Другая лакуна состоит в ответе на вопрос об авторитетности публикаций, количество которых после 2015 г. заметно выросло. Какое значение имеют новые научные результаты для мировой науки? Привели ли масштабные государственные меры к увеличению интереса к российским исследованиям? Ответы на эти вопросы особенно важны для социальных наук, где значимую роль всегда играли локальные академические круги. Простые наукометрические показатели не всегда позволяют оценить характер научного импакта: например, увеличение цитируе-мости может быть связано с расширением базы Scopus за счет локальных источников. Следует уточнить, что большинство цитирований русскоязычных статей появляются в других русскоязычных публикациях, и до тех пор, пока в Scopus и WoS насчитывались единицы русскоязычных журналов, они не учитывались. Однако по мере того как новые русскоязычные журналы включаются в базы, логично ожидать увеличения числа цитирований статей; такие предположения можно проверить, если проанализировать структуру цитирований работ.
В контексте анализа эффектов от государственных инициатив вполне понятен исследовательский фокус, направленный на публикационные результаты. Вместе с тем вектор внимания, сосредоточенный только на количественных результатах, не позволяет приблизиться к пониманию, изменились ли внутренние процессы, необходимые для перестройки университетов. Пример такого изменения - успешный академический наем, в результате которого повышаются шансы университета стать научным лидером \Bonaccorsi гХ а1. 2017; АЬгато гХ а1. 2016]. При успешной работе механизмов конкуренции должны появиться университеты со звездным преподавательским составом, в противном случае улучшение ситуации не произойдет. Другими словами, эффективность работы ученых в лучших университетах должна быть примерно одинаковой, хотя она и будет отличаться от средней результативности по стране. Однако, несмотря на различные эмпирические проекты по анализу публикаций, такой анализ продуктивности ученых российских университетов в рамках отдельных научных областей до настоящего времени не проводился.
Наконец, необходимо отметить, что исследования в основном сосредоточены на изучении эффектов оценки университетов, однако метрики в российском контексте имеют более широкое применение. Наукометрические показатели должны предоставлять и члены диссертационных советов, и члены редколлегии журналов; руководители грантов обязаны предъявлять публикации для заявки на грант. В этих случаях метрики используются в качестве проверки экспертного мнения ученых. Такие примеры использования наукометрии характерны для российского академического сообщества, но все же редко попадают в поле внимания исследователей. Анализ применения наукометрических инструментов для подтверждения статуса ученого помог бы ответить на вопрос, действительно ли использование наукометрической информации приводит к более верным решениям.
Список источников
Абалкина А.А. (2019) Толерантность к плагиату в российском научном сообществе // Управление наукой: теория и практика. № 1. С. 164-176. DOI: 10.19181/smtp.2019.1.2.10 Антосик Л.В., Шевченко Е.С. (2018) Оценка влияния эффективного контракта на публикационную активность преподавателей // Вопросы образования. № 3. С. 247-267. DOI: 10.17323/1814-9545-2018-3-247-267 Гельман В. (2020) Не квартилем единым // Троицкий вариант. 20 октября 2020 //
https://trv-science.ru/2020/10/ne-kvartilem-edinym/, дата обращения 15.11.2021. Губа К. (2018) Ресурсная зависимость научных журналов: авторские vs читательские журналы // Экономическая социология. № 4. С. 73-100. DOI: 10.17323/1726-3247-2018-4-73-100 Губа К., Соколов М., Цивинская А. (2020) Фиктивная эффективность: что на самом деле оценивал Мониторинг эффективности образовательных организаций // Вопросы образования. № 1. С. 97-125. DOI: 10.17323/1814-9545-2020-1-97-125 Гуськов А. (2015) Российская наукометрия: обзор исследований // Библиосфера. № 3. С. 75-86. Гуськов А., Косяков Д. (2019) Проблемы мониторинга научных кадров // Труды ГПНТБ
СО РАН. № 1. С. 55-61. DOI: 10.20913/2618-7515-2019-1-55-61 Гуськов А., Косяков Д. (2020) Национальный фракционный счет и оценка научной результативности организаций // Научные и технические библиотеки. № 9. С. 15-42. DOI: 10.33186/1027-3689-2020-9-15-42
Дежина И.Г. (2020) Научная политика в ведущих российских университетах: эффекты «нового менеджериализма» // Университетское управление: практика и анализ. № 3. С. 13-26. DOI: 10.15826/umpa.2020.03.023 Иностранные хищные журналы в Scopus и WoS: переводной плагиат и российские недобросовестные авторы (2020) // Российская академия наук. Комиссия РАН по противодействию фальсификации научных исследований // http://www.ras.ru/news/shownews.aspx?id=24971447-ebfb-47b5-a3c2-9d26d467dac1, дата обращения 15.11.2021. Кузьминов Я., Юдкевич М. (2021) Университеты в России: как это работает. М.: ВШЭ. Кулешова А.В., Подвойский Д.Г. (2018) Парадоксы публикационной активности в поле современной российской науки: генезис, диагноз, тренды // Мониторинг общественного мнения: Экономические и социальные перемены. № 4. С. 169-210. DOI: 10.14515/monitoring.2018.4.10 Матвеева Н.Н. (2020) Библиометрический анализ взаимодействия ученых в российских вузах: кооперация vs индивидуальная продуктивность // Университетское управление: практика и анализ. № 2. С. 26-43. DOI: 10.15826/umpa.2020.02.012 Мохначева Ю., Харыбина Т. (2011) Научная продуктивность учреждений ран и вузов: сравнительный библиометрический анализ // Вестник Российской академии наук. № 12. С. 1065-1070. DOI: 10.1134/S1019331611060104 Отчет о результатах экспертно-аналитического мероприятия (2021) // Бюллетень Счетной палаты Российской Федерации. № 2. С. 6-63 // https://www.sptulobl.ru/law/methodic/Bulleten-2-2021.pdf, дата обращения 15.11.2021. Польдин В.Я., Матвеева Н.Н., Стерлигов И.А., Юдкевич М.М. (2017) Публикационная активность вузов: эффект проекта «5-100» // Вопросы образования. № 2. С. 10-35.
DOI: 10.17323/1814-9545-2017-2-10-35 Стерлигов И. (2021) Библиометрия в оценке университетов: мировой опыт. Elsevier. Трубникова Е.И. (2020) Проект 5-100: взгляд через призму теории институциональной коррупции // Мир России. Т. 29. № 2. С. 72-91. DOI: 10.17323/1811-038X-2020-29-2-72-91 Трубникова Е.И. (2021) Академическая мобильность или networking по-русски? // Вопросы экономики. № 3. C. 139-151. DOI: 10.32609/0042-8736-2021-3-139-151 Фрумин И., Салми Д. (2007) Российские вузы в конкуренции университетов мирового
класса // Вопросы образования. № 3. С. 5-45. Цивинская А.О., Губа К.С. (2020) Мониторинг эффективности образовательных организаций как источник данных о российском высшем образовании // Университетское управление: практика и анализ. № 2. С. 121-130. DOI: 10.15826/umpa.2020.02.018 Abramo G., D'Angelo C., Soldatenkova A. (2016) The Ratio of Top Scientists to the Academic Staff as an Indicator of the Competitive Strength of Universities // Journal of Informetrics, vol. 10, no 2, pp. 596-605. DOI: 10.1016/j.joi.2016.04.013 Auranen O., Nieminen M. (2010) University Research Funding and Publication Performance — an International Comparison // Research Policy, vol. 39, no 6, pp. 822-834. DOI: 10.1016/j.respol.2010.03.003 Beall J. (2012) Predatory Publishers are Corrupting Open Access // Nature, no 489, p. 179. DOI: 10.1038/489179a
Bonaccorsi A., Haddawy P., Cicero T., Hassan S. (2017) The Solitude of Stars. An Analysis of the Distributed Excellence Model of European Universities // Journal of Informetrics, vol. 11, no 2, pp. 435-4454. DOI: 10.1016/j.joi.2017.02.003 Butler L. (2003) Modifying Publication Practices in Response to Funding Formulas // Research
Evaluation, vol. 12, no 1, pp. 39-46. DOI: 10.3152/147154403781776780 Denisova-Schmidt E. (2021) Responses to the Challenges of Training and Retaining Scholars in Russian Academia // Mir Rossii, vol. 30, no 3, pp. 174-187. DOI: 10.17323/1811-038X-2021-30-3-174-187 Espeland W.N., Sauder M. (2016) Engines of Anxiety: Academic Rankings, Reputation, and Accountability, Russell Sage Foundation.
Ferlie E., Musselin C., Andresani G. (2008) The Steering of Higher Education Systems: A Public Management Perspective // Higher Education, vol. 56, no 3, pp. 325-350. DOI: 10.1007/s10734-008-9125-5 Guskov A., Kosyakov D., Selivanova I. (2018) Boosting Research Productivity in Top Russian Universities: the Circumstances of Breakthrough // Scientometrics, vol. 11, no 2, pp. 1053-1080. DOI: 10.1007/s11192-018-2890-8 Gyorffy B., Herman P., Szabó I. (2020) Research Funding: Past Performance Is a Stronger Predictor of Future Scientific Output than Reviewer Scores // Journal of Informetrics, vol. 14, no 3, pp. 101050. DOI: 10/gg2jbz Hicks D. (2012) Performance-based University Research Funding Systems // Research Policy,
vol. 41, no 2, pp. 251-261. DOI: 10.1016/j.respol.2011.09.007 Ivanov V.V., Markusova V.A., Mindeli L.E. (2016) Government Investments and the Publishing Activity of Higher Educational Institutions: Bibliometric Analysis // Herald of the Russian Academy of Sciences, vol. 86, no 4, pp. 314-321. DOI: 10.1134/S1019331616040031 Kassian A., Melikhova L. (2019) Russian Science Citation Index on the WoS Platform: A Critical Assessment // Journal of Documentation, vol. 25, no 5, pp. 1162-1168. DOI: 10.1108/JD-02-2019-0033 Kosyakov D., Guskov A. (2019a) Synchronous Scientific Mobility and International Collaboration: Case
of Russia // 17th International Conference on Scientometrics & Informetrics, pp. 1319-1328. Kosyakov D., Guskov A. (2019b) Impact of National Science Policy on Academic Migration and Research Productivity in Russia // Procedia Computer Science, no 146, pp. 60-71. DOI: 10.1016/j.procs.2019.01.080 Kotsemir M., Shashnov S. (2017) Measuring, Analysis and Visualization of Research Capacity of University at the Level of Departments and Staff Members // Scientometrics, vol. 112, no 3, pp. 1659-1689. DOI: 10.1007/s11192-017-2450-7 Kurt S. (2018) Why do Authors Publish in Predatory Journals? // Learned Publishing, vol. 31,
no 2, pp. 141-147. DOI: 10.1002/leap.1150 Li D., Agha L. (2015) Big Names or Big Ideas: Do Peer-Review Panels Select the Best Science
Proposals? // Science, vol. 348, no 6233, pp. 434-438. DOI: 10/f69j3s Lovakov A., Panova A., Sterligov I., Yudkevich M. (2021) Does Government Support of a Few Leading Universities Have a Broader Impact on the Higher Education System? Evaluation of the Russian University Excellence Initiative // Research Evaluation, rvab006. DOI: 10.1093/reseval/rvab006 Marina T., Sterligov I. (2021) Prevalence of Potentially Predatory Publishing in Scopus on the Country Level // Scientometrics, vol. 126, no 6, pp. 5019-5077. DOI: 10.1007/s11192-021-03899-x Matveeva N., Ferligoj A. (2020) Scientific Collaboration in Russian Universities Before and After the Excellence Initiative Project 5-100 // Scientometrics, vol. 124, no 3, pp. 2383-2407. DOI: 10.1007/s11192-020-03602-6 Matveeva N., Sterligov I., Yudkevich M. (2021) The Effect of Russian University Excellence Initiative on Publications and Collaboration Patterns // Journal of Informetrics, vol. 15, no 1, p. 101110. DOI: 10.1016/j.joi.2020.101110 Mazov N.A., Gureev V.N. (2017) Bibliometric Analysis of the Flow of Publications by Novosibirsk State University in Collaboration with the RAS Siberian Branch // Herald of the Russian Academy of Sciences, vol. 87, no 5, pp. 445-453. DOI: 10.1134/S1019331617050057 Moed H.F., Markusova V., Akoev M. (2018) Trends in Russian Research Output Indexed in Scopus and Web of Science // Scientometrics, vol. 116, no 2, pp. 1153-1180. DOI: 10.1007/s11192-018-2769-8 Moskaleva O., Pislyakov V., Sterligov I., Akoev M., Shabanova S. (2018) Russian Index of Science Citation. Overview and Review // Scientometrics, vol. 116, no 1, pp. 449-462. DOI: 10.1007/s11192-018-2758-y Onder C., Kasapoglu-Onder R. (2011) Resource Endowments and Responses to Regulatory Pressure: Publications of Economics, Management, and Political Science Departments of Turkish Universities in Indexed Journals, 2000-2008 // Higher Education, vol. 64, no 1, pp. 463-481. DOI: 10.1007/s10734-010-9341-7
Pajic D. (2015) Globalization of the Social Sciences in Eastern Europe: Genuine Breakthrough or a Slippery Slope of the Research Evaluation Practice? // Scientometrics, vol. 102, no 3, pp. 2131-2150. DOI: 10.1007/s11192-014-1510-5 Pislyakov V., Shukshina E. (2014) Measuring Excellence in Russia: Highly Cited Papers, Leading Institutions, Patterns of National and International Collaboration // Journal of the Association for Information Science and Technology, vol. 65, no 11, pp. 2321-2330. DOI: 10.1002/asi.23093 Prakhov I., Rudakov V. (2021) The Determinants of Faculty Pay in Russian Universities: Incentive Contracts // European Journal of Higher Education, vol. 11, no 4, pp. 408-431. DOI: 10.1080/21568235.2020.1870243 Rijcke S.D., Wouters P.F., Rushforth A.D., Franssen T.P., Hammarfelt B. (2016) Evaluation Practices and Effects of Indicator Use—a Literature Review // Research Evaluation, vol. 25, no 2, pp. 161-169. DOI: 10.1093/reseval/rvv038 Semyonov D. (2014) Russian Excellence Initiative in the Post-Soviet Context // Higher Education
in Russia and Beyond, no 1, pp. 15-17. Shen H., Barabasi A. (2014) Collective Credit Allocation in Science // Proceedings of the National Academy of Sciences, vol. 111, no 34, pp. 12325-12330. DOI: 10.1073/pnas.1401992111 Sokolov M. (2021) Can the Russian Research Policy be Called Neo-Liberal? A Study in the Comparative Sociology of Quantification // Europe-Asia Studies, vol. 73, no 6, pp. 989-1009. DOI: 10.1080/09668136.2021.1902945 Sterligov I. (2014) Leading Russian Universities: A Scientometric Perspective // Higher Education
in Russia and Beyond, no 1, pp. 11-14. Sterligov I. (2017) The Monster Ten You Have Never Heard of: Top Russian Scholarly
Megajournals // Higher Education in Russia and Beyond, no 11, pp. 11-13. Sterligov I., Lutay A. (2021) Russian Index of the Research Organizations (RIRO), Zenodo. Sterligov I., Savina T. (2016) Riding with the Metric Tide: 'Predatory' Journals in Scopus //
Higher Education in Russia and Beyond, no 7, pp. 9-12. Turko T., Bakhturin G., Bagan V., Poloskov S. Gudym D. (2016) Influence of the Program "5-Top 100" on the Publication Activity of Russian Universities // Scientometrics, vol. 109, no 2, pp. 769-782. DOI: 10.1007/s11192-016-2060-9 Witte K.D., Lopez-Torres L. (2017) Efficiency in Education: A Review of Literature and a Way Forward // Journal of the Operational Research Society, vol. 68, no 4, pp. 339-363. DOI: 10.1057/jors.2015.92
Scientometric Indicators in the Evaluation of Russian Universities: A Literature Review
KS. GUBA*
*Katerina S. Guba - PhD in Sociology, Head, Center for Institutional Analysis of Science and Education, European University at Saint Petersburg, Saint Petersburg, Russian Federation, [email protected], https://orcid.org/0000-0002-4677-5050
Citation: Guba K.S. (2022) Scientometric Indicators in the Evaluation of Russian Universities: a Literature Review. Mir Rossii, vol. 31, no 1, pp. 49-73 (in Russian). DOI: 10.17323/1811-038X-2022-31-1-49-73
The research was supported by the Russian Science Foundation, grant № 21-18-00519.
The article was published as part of the HSE University project "University Partnership", to support publications by authors of Russian educational and scientific organizations.
The article was received in August 2021.
Abstract
Quantitative metrics are adopted to address many problems in the governance of Russian science. With the widespread adoption of metrics, researchers have begun to analyze large volumes of publications to study the effects of their implementation. Based on a review of empirical research, I discuss the goals of the implementation of metrics; changes this caused in university recruitment and promotion; and prevailing strategies of to increase publication. I document the growth of the scientific performance of Russian universities and identify the main strategies for this growth: increased collaborations, multiple affiliations, and publications in predatory journals. I also highlight gaps that may become the focus offuture research. The use of quantitative data can extend beyond assessing academic performance to understand changes in the internal processes of universities. A focus on scientific performance alone does not suffice to show whether there has been a transformation in academia. Another possible direction is using more advanced tools for citation data analysis. We still know very little about the effects of scientometrics outside university assessment, as researchers tend to evaluate only one specific program, i.e., Project 5-100.
Keywords: scientometrics, research policy, 5-100, university performance, research collaboration, predatory journals, Russia
References
Abalkina A.A. (2019) Tolerance to Plagiarism in the Russian Scientific Community. Management of Science: Theory and Practice, no 1, pp. 164-176 (in Russian). DOI: 10.19181/smtp.2019.1.2.10 Abramo G., D'Angelo C., Soldatenkova A. (2016) The Ratio of Top Scientists to the Academic Staff as an Indicator of the Competitive Strength of Universities. Journal of Informetrics, vol. 10, no 2, pp. 596-605. DOI: 10.1016/j.joi.2016.04.013 Antosik L., Shevchenko E. (2018) Assessment of the Impact of an Effective Contract. Introduction on the Publication Activity of a University Faculty: The Case of a Regional University. Voprosy obrazovaniya / Educational Studies Moscow, no 3, pp. 247-267 (in Russian). DOI: 10.17323/1814-9545-2018-3-247-267 Auranen O., Nieminen M. (2010) University Research Funding and Publication Performance — an International Comparison. Research Policy, vol. 39, no 6, pp. 822-834. DOI: 10.1016/j.respol.2010.03.003 Beall J. (2012) Predatory Publishers are Corrupting Open Access. Nature, no 489, p. 179. DOI: 10.1038/489179a
Bonaccorsi A., Haddawy P., Cicero T., Hassan S. (2017) The Solitude of Stars. An Analysis of the Distributed Excellence Model of European Universities. Journal of Informetrics, vol. 11, no 2, pp. 435-4454. DOI: 10.1016/j.joi.2017.02.003 Butler L. (2003) Modifying Publication Practices in Response to Funding Formulas. Research
Evaluation, vol. 12, no 1, pp. 39-46. DOI: 10.3152/147154403781776780 Denisova-Schmidt E. (2021) Responses to the Challenges of Training and Retaining Scholars in Russian Academia. Mir Rossii, vol. 30, no 3, pp. 174-187. DOI: 10.17323/1811-038X-2021-30-3-174-187 Dezhina I.G. (2020) Research Policy in Leading Russian Universities: Effects of 'New Managerialism'. University Management: Practice and Analysis, vol. 24, no 3, pp. 13-26 (in Russian). DOI: 10.15826/umpa.2020.03.023 Espeland W.N., Sauder M. (2016) Engines of Anxiety: Academic Rankings, Reputation, and Accountability, Russell Sage Foundation.
Ferlie E., Musselin C., Andresani G. (2008) The Steering of Higher Education Systems: A Public Management Perspective. Higher Education, vol. 56, no 3, pp. 325-350. DOI: 10.1007/s10734-008-9125-5 Foreign Predatory Journals in Scopus and WoS: Translated Plagiarism and Russian Unscrupulous Authors (2020). Russian Academy of Science. Available at: http://www.ras.ru/news/shownews.aspx?id=24971447-ebfb-47b5-a3c2-9d26d467dac1, accessed 15.11.2021 (in Russian). Frumin I., Salmi D. (2007) Russian Colleges in the Competition of Leading World Universities.
Voprosy obrazovaniya /Educational Studies Moscow, no 3, pp. 5-45 (in Russian). Gelman V. (2020) Not a Single Quartile. Troitskiy Variant, October 20, 2020. Available at:
https://trv-science.ru/2020/10/ne-kvartilem-edinym/, accessed 15.11.2021 (in Russian). Guba K. (2018) Resource Dependence Theory Applied to the Population of Academic Journals. Journal of Economic Sociology, vol. 19, no 4, pp. 73-100 (in Russian). DOI: 10.17323/1726-3247-2018-4-73-100 Guba K., Sokolov M., Tsivinskaya A. (2020) Fictitious Efficiency: What the Russian Survey of Performance of Higher Education Institutions Actually Assessed. Voprosy obrazovaniya / Educational Studies Moscow, no 1, pp. 97-125 (in Russian). DOI: 10.17323/1814-9545-2020-1-97-125 Guskov A. (2015) Russian Scientometrics: a Review of Researches. Bibliosphere, no 3, pp. 75-86 (in Russian).
Guskov A.E., Kosyakov D.V (2019) Problems of Monitoring of Research Personnel. Proceedings of SPSTL SB RAS, no 1, pp. 55-61 (in Russian). DOI: 10.20913/2618-7515-2019-1-55-61 Guskov A.E., Kosyakov D.V. (2020) National Fractional Calculations and Evaluating Organization's Science Efficiency. Scientific and Technical Libraries, vol. 1, no 9, pp. 15-42 (in Russian). DOI: 10.33186/1027-3689-2020-9-15-42 Guskov A., Kosyakov D., Selivanova I. (2018) Boosting Research Productivity in Top Russian Universities: the Circumstances of Breakthrough. Scientometrics, vol. 11, no 2, pp. 1053-1080. DOI: 10.1007/s11192-018-2890-8 Györffy B., Herman P., Szabó I. (2020) Research Funding: Past Performance Is a Stronger Predictor of Future Scientific Output than Reviewer Scores. Journal of Informetrics, vol. 14, no 3, p. 101050. DOI: 10/gg2jbz Hicks D. (2012) Performance-based University Research Funding Systems. Research Policy,
vol. 41, no 2, pp. 251-261. DOI: 10.1016/j.respol.2011.09.007 Ivanov V.V., Markusova V.A., Mindeli L.E. (2016) Government Investments and the Publishing Activity of Higher Educational Institutions: Bibliometric Analysis. Herald of the Russian Academy of Sciences, vol. 86, no 4, pp. 314-321. DOI: 10.1134/S1019331616040031 Kassian A., Melikhova L. (2019) Russian Science Citation Index on the WoS Platform: A Critical Assessment. Journal of Documentation, vol. 25, no 5, pp. 1162-1168. DOI: 10.1108/JD-02-2019-0033 Kosyakov D., Guskov A. (2019a) Synchronous Scientific Mobility and International Collaboration: Case ofRussia. 17th International Conference on Scientometrics & Informetrics, pp. 1319-1328. Kosyakov D., Guskov A. (2019b) Impact of National Science Policy on Academic Migration and Research Productivity in Russia. Procedia Computer Science, no 146, pp. 60-71. DOI: 10.1016/j.procs.2019.01.080 Kotsemir M., Shashmv S. (2017) Measuring, Analysis and Visualization of Research Capacity of University at the Level of Departments and Staff Members. Scientometrics, vol. 112, no 3, pp. 1659-1689. DOI: 10.1007/s11192-017-2450-7 Kuleshova A.V, Podvoyskiy D.G. (2018) Paradoxes of Publication Activity in the Field of Contemporary Russian Science: Genesis, Diagnosis, Trends. Monitoring of Public Opinion: Economic and Social Changes, no 4, pp. 169-210 (in Russian). DOI: 10.14515/monitoring.2018.4.10 Kurt S. (2018) Why do Authors Publish in Predatory Journals? Learned Publishing, vol. 31, no 2,
pp. 141-147. DOI: 10.1002/leap.1150 Kuzminov Y., Yudkevich M. (2021) Universities in Russia: How It Works, Moscow: HSE (in Russian).
Li D., Agha L. (2015) Big Names or Big Ideas: Do Peer-Review Panels Select the Best Science
Proposals? Science, vol. 348, no 6233, pp. 434-438. DOI: 10/f69j3s Lovakov A., Panova A., Sterligov I., Yudkevich M. (2021) Does Government Support of a Few Leading Universities Have a Broader Impact on the Higher Education System? Evaluation of the Russian University Excellence Initiative. Research Evaluation, rvab006. DOI: 10.1093/reseval/rvab006 Marina T., Sterligov I. (2021) Prevalence of Potentially Predatory Publishing in Scopus on the Country Level. Scientometrics, vol. 126, no 6, pp. 5019-5077. DOI: 10.1007/s11192-021-03899-x Matveeva N.N. (2020) Bibliometric Analysis of Scientific Collaboration in Russian Universities: Cooperation vs Individual Productivity. University Management: Practice and Analysis, vol. 24, no 2, pp. 26-43 (in Russian). DOI: 10.15826/umpa.2020.02.012 Matveeva N., Ferligoj A. (2020) Scientific Collaboration in Russian Universities Before and After the Excellence Initiative Project 5-100. Scientometrics, vol. 124, no 3, pp. 2383-2407. DOI: 10.1007/s11192-020-03602-6 Matveeva N., Sterligov I., Yudkevich M. (2021) The Effect of Russian University Excellence Initiative on Publications and Collaboration Patterns. Journal of Informetrics, vol. 15, no 1, p. 101110. DOI: 10.1016/j.joi.2020.101110 Mazov N.A., Gureev V.N. (2017) Bibliometric Analysis of the Flow of Publications by Novosibirsk State University in Collaboration with the RAS Siberian Branch. Herald of the Russian Academy of Sciences, vol. 87, no 5, pp. 445-453. DOI: 10.1134/S1019331617050057 Moed H.F., Markusova V., Akoev M. (2018) Trends in Russian Research Output Indexed in Scopus and Web of Science. Scientometrics, vol. 116, no 2, pp. 1153-1180. DOI: 10.1007/s11192-018-2769-8 Mokhnacheva Yu., Kharybina T. (2011) Research Performance of RAS Institutions and Russian Universities: A Comparative Bibliometric Analysis. Herald of the Russian Academy of Sciences, no 12, pp. 1065-1070 (in Russian). DOI: 10.1134/S1019331611060104 Moskaleva O., Pislyakov V., Sterligov I., Akoev M., Shabanova S. (2018) Russian Index of Science Citation. Overview and Review. Scientometrics, vol. 116, no 1, pp. 449-462. DOI: 10.1007/s11192-018-2758-y Önder C., Kasapoglu-Önder R. (2011) Resource Endowments and Responses to Regulatory Pressure: Publications of Economics, Management, and Political Science Departments of Turkish Universities in Indexed Journals, 2000-2008. Higher Education, vol. 64, no 1, pp. 463-481. DOI: 10.1007/s10734-010-9341-7 Pajic D. (2015) Globalization of the Social Sciences in Eastern Europe: Genuine Breakthrough or a Slippery Slope of the Research Evaluation Practice? Scientometrics, vol. 102, no 3, pp. 2131-2150. DOI: 10.1007/s11192-014-1510-5 Pislyakov V., Shukshina E. (2014) Measuring Excellence in Russia: Highly Cited Papers, Leading Institutions, Patterns of National and International Collaboration. Journal of the Association for Information Science and Technology, vol. 65, no 11, pp. 2321-2330. DOI: 10.1002/asi.23093
Poldin V.Ya., Matveyeva N.N., Sterligov I.A., Yudkevich M.M. (2017) Publication Activities of Russian Universities: The Effects of Project 5-100. Voprosy obrazovaniya / Educational Studies Moscow, no 2, pp. 10-35 (in Russian). DOI: 10.17323/1814-9545-2017-2-10-35 Prakhov I., Rudakov V (2021) The Determinants of Faculty Pay in Russian Universities: Incentive Contracts. European Journal of Higher Education, vol. 11, no 4, pp. 408-431. DOI: 10.1080/21568235.2020.1870243 Report on the Results of the Expert-Analytical Event (2021). Bulletin of Accounts Chamber of the Russian Federation, no 2, pp. 6-63. Available at: https://www.sptulobl.ru/law/methodic/Bulleten-2-2021.pdf, accessed 15.11.2021 (in Russian). Rijcke S.D., Wouters P.F., Rushforth A.D., Franssen T.P., Hammarfelt B. (2016) Evaluation Practices and Effects of Indicator Use—a Literature Review. Research Evaluation, vol. 25, no 2, pp. 161-169. DOI: 10.1093/reseval/rvv038 Semyonov D. (2014) Russian Excellence Initiative in the Post-Soviet Context. Higher Education in Russia and Beyond, no 1, pp. 15-17.
Shen H., Barabasi A. (2014) Collective Credit Allocation in Science. Proceedings of the National
Academy of Sciences, vol. 111, no 34, pp. 12325-12330. DOI: 10.1073/pnas.1401992111 Sokolov M. (2021) Can the Russian Research Policy be Called Neo-Liberal? A Study in the Comparative Sociology of Quantification. Europe-Asia Studies, vol. 73, no 6, pp. 989-1009. DOI: 10.1080/09668136.2021.1902945 Sterligov I. (2014) Leading Russian Universities: A Scientometric Perspective. Higher Education
in Russia and Beyond, no 1, pp. 11-14. Sterligov I. (2017) The Monster Ten You Have Never Heard of: Top Russian Scholarly
Megajournals. Higher Education in Russia and Beyond, no 11, pp. 11-13. Sterligov I. (2021) Bibliometrics in University Assessment: World Experience, Elsevier (in Russian).
Sterligov I., Lutay A. (2021) Russian Index of the Research Organizations (RIRO), Zenodo. Sterligov I., Savina T. (2016) Riding with the Metric Tide: 'Predatory' Journals in Scopus. Higher
Education in Russia and Beyond, no 7, pp. 9-12. Trubnikova E.I. (2020) Project 5-100: A View through the Prism of the Theory of Institutional Corruption. Mir Rossii, vol. 29, no 2, pp. 72-91 (in Russian). DOI: 10.17323/1811-038X-2020-29-2-72-91 Trubnikova E.I. (2021) Academic Mobility or the Russian Style Networking? Voprosy ekonomiki,
no 3, pp. 139-151 (in Russian). DOI: 10.32609/0042-8736-2021-3-139-151 Tsivinskaya A.O., Guba K.S. (2020) The Survey of HEIs Performance as a Data Source on Higher Education in Russia. University Management: Practice and Analysis, no 2, pp. 121-130 (in Russian). DOI: 10.15826/umpa.2020.02.018 Turko T., Bakhturin G., Bagan V., Poloskov S. Gudym D. (2016) Influence of the Program "5-Top 100" on the Publication Activity of Russian Universities. Scientometrics, vol. 109, no 2, pp. 769-782. DOI: 10.1007/s11192-016-2060-9 Witte K.D., Lopez-Torres L. (2017) Efficiency in Education: A Review of Literature and a Way Forward. Journal of the Operational Research Society, vol. 68, no 4, pp. 339-363. DOI: 10.1057/jors.2015.92
