CC BY
6
Высшее образование в России
Vysshee obrazovanie v Rossii = Higher Education in Russia
ISSN 0869-3617 (Print), ISSN 2072-0459 (Online) http://vovr.elpub.ru
Роль наукометрии при оценке конкурсных заявок на научные гранты
Научная статья
DOI: 10.31992/0869-3617-2023-32-10-57-75
Губа Катерина Сергеевна - канд. социол. наук, директор Центра институционального анализа науки и образования (ЦИАНО), ORCID: 0000-0002-4677-5050, Researcher ID: 0-5801-2014, kguba@eu.spb.ru
Железнов Алексей Михайлович - научный сотрудник Центра институционального анализа науки и образования (ЦИАНО), ORCID: 0000-0002-5381-4599, Researcher ID: E-3426-2013, azheleznov@eu.spb.ru
Чечик Елена Александровна - младший научный сотрудник Центра институционального анализа науки и образования (ЦИАНО), ORCID: 0000-0002-2277-0490, echechik@eu.spb.ru Европейский Университет в Санкт-Петербурге, Санкт-Петербург, Российская Федерация Адрес: 191187, Санкт-Петербург, Гагаринская ул., д. 6/1, А
Аннотация. В статье анализируется эффект внедрения наукометрических барьеров при распределении грантов Российского научного фонда в рамках ежегодного конкурса научных групп на примере сравнения победителей 2014 и 2017 годов. Можно ли считать перемены в процедуре отбора заявок, связанные с анализом предшествующих научных достижений учёных, шагом к поддержке более продуктивных руководителей грантов? Полезно ли внимание к наукометрическим показателям исследователей? Изменилась ли доля руководителей грантов, которые входили в число авторов самых высокоцитируемых публикаций в своих областях? Различаются ли результаты для учёных из области физики и социально-гуманитарных наук? Авторы ответили на эти вопросы, проанализировав по базе Scopus данные о научных публикациях руководителей грантов РНФ, получавших финансовую поддержку фонда. В анализ были включены две группы учёных - победители по направлению «физика и науки о космосе» и победители в области социально-гуманитарных наук. Для того, чтобы глубже оценить научные результаты руководителей авторы сравнили их публикации с выборкой высокоцитируемых публикаций в соответствующих областях. Было обнаружено, что отбор среди физиков уже в первый период был эффективным, поскольку получателями грантов стали продуктивные исследователи, среди которых присутствовали авторы вы-сокоцитируемых статей. Гуманитарии заметно реже публикуются в международных изданиях, но и в их случае во втором периоде отбор фонда дал лучшие результаты в отношении присуждения грантов более плодовитым авторам, как с точки зрения количества, так и качества публикаций.
Ключевые слова.: гранты, научные фонды, научная политика, финансирование науки, наукометрия, публикационная активность, конкурсный отбор
Контент доступен под лицензией Creative Commons Attribution 4.0 License. This work is licensed under a Creative Commons Attribution 4.0 License. © Губа К.С., Железнов А.М., Чечик Е.А., 2023.
И]
Для цитирования: Губа К.С, Железнов А.М, Чечик Е.А. Роль наукометрии при оценке конкурсных заявок на научные гранты // Высшее образование в России. 2023. Т. 32. № 10. С. 57-75. DOI: 10.31992/0869-3617-2023-32-10-57-75
The Role of Scientometric Thresholds for the Evaluation of Grant Applications
Original article
DOI: 10.31992/0869-3617-2023-32-10-57-75
Katerina S. Guba - Cand. Sci. (Sociology), Director of the Center for Institutional Analysis of Science and Education, ORCID: 0000-0002-4677-5050, Researcher ID: 0-5801-2014, kguba@eu.spb.ru Alexey M. Zheleznov - Researcher of the Center for Institutional Analysis of Science and Education, ORCID: 0000-0002-5381-4599, Researcher ID: E-3426-2013, azheleznov@eu.spb.ru Elena A. Chechik - Junior Researcher of the Center for Institutional Analysis of Science and Education, ORCID: 0000-0002-2277-0490, echechik@eu.spb.ru European University at Saint Petersburg, Saint Petersburg, Russian Federation Address: 6/1, A, Gagarinskaya str., 191187, Saint Petersburg, Russian Federation
Abstract. The present study focuses on data from the Russian Science Foundation (RSF). The authors analyze the effect of using quantitative indicators in grant allocation by using the natural experiment with the increasing publication threshold for principal investigators between two waves of grant selections in 2014 and 2017. The authors selected the relatively new RSF as our case study due to its policy to establish a publication threshold for grants' principal investigators. The policy change provides the authors with the opportunity to study whether reliance on bibliometric indicators brings better results in the project evaluation process. This analysis included two groups of researchers: 1) physicists and 2) social sciences and humanities scholars. Scopus was sourced to collect bibliographic data, while the foundation's website was used to check data on the funded projects. The following questions are explored in detail: whether the policy affected the distribution of funds to researchers with a better publication record, the strategies of increasing publications by individual researchers, and the differences, if any, in policy effects between disciplines. The authors found that the selection among physicists in the first wave was already effective as the grant recipients are prolific authors who publish many highly cited papers before 2014. In addition, the results indicated that the group of research leaders in physics did not significantly change between the two selected waves of competitions (from 2014 to 2017). Although social scientists demonstrated a relatively weak ability to publish internationally, the increase in scientometric expectations has improved the publication record regarding the quantity and quality of publications.
Keywords: grants, research funding, research policy, university research funding
Cite as: Guba, K.S., Zheleznov, A.M., Chechik, E.A. (2023). The Role of Scientometric Thresholds for the Evaluation of Grant Applications. Vysshee obrazovanie v Rossii = Higher Education in Russia. Vol. 32, no. 10, pp. 57-75, doi: 10.31992/0869-3617-2023-32-10-57-75 (In Russ., abstract in Eng.).
Введение
Исследования показывают, что грантовая поддержка способствует появлению более заметных научных результатов. В соответ-
ствии с принципом эффекта Матфея, известному благодаря классической работе Роберта Мёртона [1], с получением гранта у исследователя может происходить воз-
растание вероятности новых побед и рост цитирования опубликованных результатов [2]. Отказ же в финансировании в свою очередь уменьшает мотивацию для дальнейшего участия в конкурентных соревнованиях [3]. Для России характерна высокая роль государства в организации конкурсного финансирования, направленного на поддержку отдельных учёных, научных коллективов и организаций. В год десятилетия Российского научного фонда (далее — РНФ) уместно оглянуться назад и критично оценить правильность подходов, которые были выбраны его командой для организации поддержки научных групп страны. Если сейчас данный фонд выделяется как главный распределитель средств среди российских исследователей, то к моменту объявления первого отбора в 2014 г. конкурсное финансирование только начинало развиваться как активная мера поддержки научных исследований [4]. Инструменты, предшествующие государственным научным фондам, выступали в качестве общеизвестной, но лишь дополнительной поддержки небольших коллективов учёных [5]. Среди новшеств того времени - гранто-вая поддержка проектов, направленных на «подталкивание» университетов к взаимодействию с бизнесом в научно-технологической сфере [6].
Однако действительно ли гранты являются эффективным механизмом достижения высоких научных результатов? Эмпирические исследования в основном отвечали на этот вопрос на основе анализа научных достижений по итогам поддержанных заявок. Анализ российских конкурсов показывает, что гранты не всегда повышают результативность научных исследований, а если и повышают, то эффект сравнительно небольшой. Это справедливо, например, в части невысокой результативности грантов правительства [7] и президента [1; 8] Российской Федерации. Такие результаты требуют переместить фокус с анализа итогов проектов на анализ процедуры отбора за-
явок. Можно ли улучшить процедуру оценки заявок так, чтобы гранты получали более способные учёные? Какую роль в процедуре отбора должны играть наукометрические показатели исследователей? Авторы отвечают на эти вопросы, проанализировав данные о научной результативности руководителей проектов, получавших финансовую поддержку от РНФ (далее - руководители грантов).
Роль количественных показателей в отборе заявок в дополнение или даже противовес экспертным оценкам активно обсуждается в научной литературе. Исследования показывают, что именно высокопродуктивным учёным удаётся показывать заметные результаты, если они получают финансирование [9-11]. Шансы достичь результатов ниже у тех, кто до получения гранта не показывал высокие результаты. Если наукометрические показатели позволяют прогнозировать последующую эффективность проекта, то, возможно, именно на них главным образом нужно полагаться при оценке заявок? Для подтверждения этого тезиса, важного для организации финансовой поддержки науки, необходимы дополнительные эмпирические доказательства. Однако исследования в большей степени фокусируются на анализе итогов грантов, а не заявок на этапе их оценки. Анализ данных о российских учёных, которые руководили грантами РНФ, позволит внести вклад в дискуссию о роли количественных показателей в процедуре оценки заявок.
Российский случай особенно показателен тем, что наукометрические способы всё больше применяются для оценки результативности российской науки - под-считываются показатели университетов, метрики включаются при разработке эффективного контракта и т. д. При оценке заявок на финансирование в конкурсах также используется информация о наукометрических показателях руководителей грантов. Более того, в практике РНФ планка «входного билета» для руководи-
телей грантов неуклонно поднималась. Если для конкурса 2014 г. руководителю гранта в естественных науках нужно было иметь не меньше трёх статей за три года в изданиях, индексируемых в Scopus или Web of Science, то в 2017 г. их нужно было иметь уже пять за пять лет, а в 2021-м - восемь. Для социально-гуманитарных направлений изменения оказались более заметными, так как с каждым годом требования к ним выравнивались относительно других областей наук, в частности в выборе баз данных для учёта публикаций.
Следует иметь ввиду, что количество публикаций учитывается при подаче заявок на получение финансирования, однако после происходит их оценка экспертами фонда. Процесс оценки заявок является закрытым - эксперты оценивают заявки анонимно, а рецензии не публикуются в открытых источниках. Соответственно, можно проанализировать только предполагаемый эффект от изменения минимальных требований к количеству публикаций, тогда как этап экспертной оценки остаётся вне исследовательского внимания. Однако, в данной работе полагается, что между 2014 и 2017 гг. существенных изменений в проведении экспертизы не происходило, поэтому можно вынести экспертную оценку за рамки анализа.
Вопрос о роли наукометрии особенно актуален в контексте управления российской наукой. Следствием недавних реформ в России стали всё чаще звучащие опасения по поводу роста наукометрических показателей, что приведёт к ухудшению качества научных работ и даже росту академической нечест-ности1. На основе данных о публикациях руководителей грантов можно проверить, действительно ли большая роль метрик в процедуре отбора проектов способствовала появлению недобросовестных практик среди российских учёных.
Были собраны публикации руководителей грантов, которые были поддержаны в конкурсах научных групп на проведение фундаментальных научных исследований и поисковых научных исследований 2014 и 2017 гг. за пять предшествующих конкурсам лет (используя базу Scopus). Хотя наиболее значимые изменения в количестве публикаций наблюдались между стартовым годом и недавним периодом, авторы полагают, что изменения могут быть видимыми уже в 2017 г. - в частности, с этого года публикации учёных в сфере социально-гуманитарных наук стали учитываться только по международным базам данных. По мнению авторов, это изменение могло оказать существенный эффект для исследователей социально-гуманитарных дисциплин, так как они редко публиковали результаты исследований в зарубежных журналах. В рамках данного исследования авторы стремились проанализировать именно начало библиоме-трического давления в период своеобразной конкуренции между крупными научными фондами. В последующие годы РНФ занял роль главного распределителя грантов, что уже существенно отличается от рассматриваемого периода, в котором у потенциальных заявителей был больший выбор возможных источников поддержки.
В анализ были включены две автономные группы учёных - победители в физике и науках о космосе и победители в гуманитарных и социальных науках. С помощью наукометрических инструментов проанализированы научные достижения лидеров этих коллективов. Для того чтобы глубже оценить научные результаты руководителей грантов, авторы сравнили публикаций руководителей с выборкой высокоцитиру-емых статей внутри соответствующих областей. Учитывая значение социальных и гуманитарных наук скорее внутри страны,
1 Самое известное - это обращение Совета старейшин РАН, куда входят 18 известнейших российских академиков. Подробнее об этом обращении: https://www.mk.ru/science/2019/05/2l/naukometriya-v-nauke-krupnyy-mezhdunarodnyy-biznes.html (дата обращения: 10.06.2023).
чем на глобальном уровне, характерном для физических наук, выбор столь различных направлений может проиллюстрировать разницу в стратегическом поведении в отношении публикации статей.
Обзор литературы
В оценке эффективности грантового финансирования доминируют исследования, в ходе которых анализируются качество и количество публикаций по итогам поддержанных научных проектов. Научные работы различаются по типу сбора эмпирических данных - исследователи опираются или на данные о работе отдельных фондов или анализируют большой массив, сравнивая статьи с финансовой поддержкой и без неё. В изучении эффективности работы отдельных фондов распространённым подходом является сравнение результативности научной работы учёных, которые получили гранты, с группой сходных авторов без гранта. В работе профессоров Массачусетского технологического института [12] такой подход сопоставляется с клиническими испытаниями у медиков, при которых проходящие лечение пациенты сравниваются с контрольной группой.
Эмпирические работы по отдельным фондам показывают противоречивые результаты - положительный эффект наблюдается далеко не во всех случаях. Так, согласно исследованию итальянских учёных [13], получатели гранта не показали большую продуктивность в сравнении с теми, кто этот грант не получил. Анализ публикаций гран-тозаявителей в Новой Зеландии показал рост количества публикаций на 3-15% и цитирований на 5-26% в зависимости от вида финансовой поддержки [14]. По данным об эффективности турецкого фонда, гранто-вое финансирование может не иметь явного эффекта на рост количества публикаций и их последующего цитирования [15]. Тот же результат был получен по итогам оценки результативности молодых учёных-медиков, получателей грантов президента РФ [8] или
Немецкого научно-исследовательского сообщества [16].
На уровне вузов, а не отдельных исследователей, была найдена связь между объёмами финансовой поддержки проектов и количеством высокоцитируемых публикаций, особенно в странах с развитой системой экспертизы [17]. Интересный эффект «потолка» был обнаружен на примере грантов для создания центров превосходства в скандинавских странах: хотя междисципли-нарность исследований действительно возросла, продуктивность учёных осталась на том же уровне, а публикационный рост произошёл скорее за счёт новых перспективных коллективов [18]. Для российских реалий эта ситуация сравнивается в работе [19] по сведениям конкурса мегагрантов и не в пользу последнего.
Таким образом, исследования показывают, что результативность грантового финансирования далеко не всегда оказывается высокой [9]. Если эффект гранта и присутствует, то он зачастую сравнительно небольшой [20; 21]. Это может объясняться особенностями конкретных фондов, которые различаются процедурами отбора и общей политикой в отношении характера поддерживаемых проектов. К примеру, сравнительное исследование обнаружило, что работа с китайскими фондами приводит к более заметному количеству публикаций по итогам грантов, тогда как гранты Евросоюза менее результативны, что можно связать с их акцентом на социальных эффектах проекта [22]. С другой стороны, возможно, что процедуры отбора не являются меритократиче-скими - финансирование уходит не самым лучшим учёным. Это предположение проверялось в нескольких исследованиях.
Меритократия в процедуре отбора заявок означает, что ресурсы попадают к тем, кто уже показывал высокие достижения [13]. Исследователи [9] собрали данные о научных достижениях тех, кто получил дополнительные финансовые ресурсы, и тех, кто не получил их, контролируя по важным
параметрам. Сравнение показало, что финансирование привело к повышению результативности, однако прирост в публикациях (очень скромный) зависел от предыдущих заслуг учёных. Профессор Копенгагенской бизнес-школы К. Гримпе [23] показал, что даже самым значимым конкурсам не всегда удаётся привлечь лучших учёных.
В этой связи всё чаще поддержку находит мнение, что лучше стремиться к концентрации ресурсов в руках высокопродуктивных учёных, ведь именно тогда можно ожидать высокой отдачи от вложений в науку [13]. Особенно это важно с учётом многочисленных подтверждений «эффекта Матфея» в научном финансировании [6; 24]. Проблема, по мнению исследователей, заключается в том, что объективные показатели не являются основными критериями при решении о распределении грантов - решения в своей сути носят субъективный характер. Возможно, стоит начать в большей степени опираться на количественные показатели результативности при принятии решений о том, какой проект должен получить финансирование [9]. В этой работе авторы настоящей статьи анализируют предшествующую научную результативность руководителей грантов, чтобы ответить на вопрос о том, действительно ли повышение требований к наукометрическим показателям привело к улучшению пула руководителей. В представляемом исследовании авторы принимают во внимание, что наукометрические показатели для оценки научных достижений могут играть различную роль в социальных и естественных науках, как показано, например, в работе [25]. Для этого проведено сравнение отдельно групп руководителей грантов внутри двух направлений - в физических и в социально-гуманитарных науках.
Авторы предполагают, что ориентир на наукометрические показатели можно оценивать позитивно, если вместе с увеличением требований к публикациям руководителей гранты стали выигрывать более сильные учёные. Выбор двух периодов для
анализа позволит рассмотреть, изменилось ли количество и качество публикаций руководителей грантов вместе с повышением наукометрических требований при подаче заявки на конкурс. Научные достижения руководителя будут анализироваться наукометрическими инструментами: а) соотношение англоязычных и российских публикаций; б) качество журналов по квартилям; в) цитируемость научных публикаций. Представляемый анализ будет строиться не только на анализе научных достижений победителей конкурсов, но также будут сопоставлены публикации руководителей грантов с выборкой высокоцитируемых публикаций за два периода. Такое сравнение позволит ответить на вопрос, получают ли гранты те учёные, которые проводят исследования, по итогам которых публикуются самые важные научные работы.
Методология
Результаты всех конкурсов РНФ доступны на портале фонда. Эти сведения не размещены в универсальном машиночитаемом виде и не позволяют узнать списки всех заявителей и полученные победителями суммы, однако часть информации открыта: имя и организация руководителя гранта, аннотация проекта и опубликованные результаты за каждый год его реализации. Были собраны публикации руководителей грантов, которые победили в конкурсах на проведение фундаментальных и поисковых научных исследований отдельными научными группами 2014 и 2017 гг., используя базу Scopus за пять предшествующих конкурсам лет.
В анализ были включены две группы учёных - победители по физике и науках о космосе и победители в социально-гуманитарных науках. Исследуемые данные состояли, таким образом, из 209 победителей 2014 г., опубликовавших 5701 работ за так называемый 1-й период с 2009 по 2013 гг., и 122 победителей 2017 г., опубликовавших 3466 работ за 2-й период с 2012 по 2016 гг. Важно отметить, что четыре физика и один социо-
лог вместо получения продления проектов 2014 г. выиграли и по аналогичному гранту в 2017 г.
Требования к наличию публикаций у руководителей научных групп были опубликованы на сайте фонда в сети Интернет2. В 2014 г. «Руководитель проекта для участия в конкурсе за три года, предшествующие конкурсу, должен иметь: а) для отраслей знания 01-07, указанных в пункте 3 настоящей конкурсной документации, - не менее трёх публикаций в рецензируемых российских и зарубежных научных изданиях, индексируемых в базах данных Web of Science или Scopus-, б) для отрасли знания 08 - не менее трёх публикаций в рецензируемых российских и зарубежных научных изданиях, индексируемых в базах данных Web of Science, Scopus или РИНЦ, либо рецензируемую монографию»3. В 2017 г. «Руководитель проекта должен иметь следующее количество публикаций по тематике проекта в рецензируемых российских и зарубежных научных изданиях, индексируемых в базах данных Web of Science Core Collection или Scopus, опубликованных в период с 1 января 2012 г. до даты подачи заявки: а) для отраслей знания 01-07, 09, указанных в пункте 3 настоящей конкурсной документации, - не менее пяти различных публикаций; б) для отрасли знания 08 - не менее трёх различных публикаций»4.
Дополнительно для указанных временных периодов были собраны выборки 5% самых цитируемых публикаций по платформе Scopus, в которых как минимум у одного из соавторов указана российская аффилиация. Выборки собирались отдельно для физики и социально-гуманитарных наук. Хотя очевидно, что классификаторы РНФ и Scopus не тождественны и существенно различаются, в каждом из них есть категория по физике
и науках о космосе и категория по гуманитарным и общественным наукам. Пятилетний период считается достаточно обширным временным окном [26; 27], чтобы изучать совокупность цитируемых работ. Авторы учли, что у публикаций разных лет выпуска будут разные шансы получить ссылки, поэтому отбор проходил для каждого года в отдельности. Для каждой области были выбраны все публикации за год с российской аффилиацией, далее они сортировались по количеству цитирований и из них отбирались 5% самых цитируемых работ. В итоге пороговое значение для каждого года различалось. Далее в этих выборках самых цитируемых публикаций идентифицировали все публикации учёных, которые в будущем получат грант РНФ. Учитывая, что 1-й и 2-й периоды идут внахлёст (2009-2013 и 2012-2016), то важно отметить наличие публикаций, которые попадают в оба периода. В частности, из 2166 публикаций по гуманитарным и общественным наукам, которые рассматриваются за оба периода, 259 учтены и в первом, и во втором.
Результаты
Научные результаты руководителей грантов
Первый конкурс 2014 г. при предполагаемом большом количестве заявителей отличался и большим количеством поддержанных проектов. В конкурсе 2017 г. было поддержано заметно меньше проектов: для физики число грантов уменьшилось с 115 до 82, для социально-гуманитарных наук с 94 до 41 гранта. В процентном соотношении от общего числа победителей доля физиков даже возросла с 13,1 до 19,2%, тогда как доля социально-гуманитарных проектов несколько уменьшилась, с 10,7 до 9,6%. В последующие годы фонд выровнял эти показатели, к тому же начиная с 2017 г. фонд уже сформировал постоянную
2 Российский научный фонд. URL: www.рнф.рф; URL: www.rscf.ru (дата обращения: 10.06.2023).
3 Цитата из пункта 4 по файлу документации конкурса. URL: https://rscf.ru/upload/iblock/66b/66bc585 56eb04820a2d0bad2c1c071d9.pdf (дата обращения: 10.06.2023).
4 Цитата из пункта 9 по файлу документации конкурса. URL: https://rscf.ru/upload/iblock/b65/b6536a8 2b73eba755d3c9c7e0e56a7d5.pdf (дата обращения: 10.06.2023).
Таблица 1
Описательные характеристики количества публикаций руководителей грантов, которые проиндексированы в базе Scopus в разрезе выбранных периодов и отраслей классификатора РНФ
Table 1
Descriptive characteristics of the number of publications by grant directors, which are indexed in the Scopus database in the context of selected periods and industries of the RSF classifier
Область наук Период Кол-во грантов РНФ Руководители с публикациями Scopus до получения гранта РНФ (в скобках %) Кол-во статей руководителей за 5 лет до получения гранта Описательные статистики
Среднее Медиана Макс. Мин.
Физика и науки о космосе Период 1 115 115 (100%) 4776 42 25 466 2
Период 2 82 79 (96,3%) 2742 35 25 304 2
Гуманитарные и социальные науки Период 1 94 51 (54,3%) 244 5 3 29 1
Период 2 41 38 (92,7%) 206 5 4 27 1
линейку из нескольких регулярных доступных конкурсов. Причины асимметрии в гран-товой поддержке же конкретно конкурса научных групп проанализированы на данных всего массива заявок 2014 г. в работе Ю.В. Си-мачева с соавторами [28].
Описательные статистики количества публикаций, индексируемых в Scopus, приведены в таблице 1. Первое, на что обратили внимание исследователи это на то, что в первом периоде далеко не всем руководителям-гуманитариям необходимо было иметь такие публикации - если в 1-м периоде только 51 человек из 94 имел такие публикации, то во 2-м периоде уже почти все руководители грантов публиковали результаты в источниках, индексируемых в Scopus5. Об изменениях в количестве публикаций можно судить по среднему значению и медиане - для физиков они не сильно изменились между двумя периодами (медиана осталась прежней - 25 публикаций). Изменение в среднем значении отражает наличие в первом пери-
оде руководителей грантов с очень большим количеством публикаций (в основном по итогам мегаколлабораций). Для учёных социально-гуманитарного профиля авторы увидели положительную динамику по количеству публикаций.
Минимальная активность в среде физиков встречается крайне редко (каждый руководитель опубликовал только по две публикации в каждый из периодов). В социально-гуманитарной среде это более распространённое явление. Минимум по одной публикации в 1-м периоде у 7 человек из 51 (13,73%) и во 2-м периоде у 3 человек из 38 (7,89%).
Важно отметить, что для 2-го периода выросла значимость научных статей в сравнении с докладами конференций - таблица 2 показывает уменьшение доли конференцией в массиве публикаций руководителей грантов для обеих областей. При этом для гуманитариев уменьшилось число и других работ (главы в книгах, обзоры и другое). В конкурсе 2017 г. победили учёные-гуманитарии,
5 Меньшее количество руководителей грантов с необходимым количеством публикаций в первый период, скорее всего, объясняется тем, что в 2014 году для претендентов из сферы социально-гуманитарных наук ещё учитывались публикации в РИНЦ. Кроме того, согласно конкурсной документации, претенденты на получение грантов должны были иметь публикации в изданиях, индексируемых либо в Scopus, либо в Web of Science. Данный анализ покрывает только публикации в изданиях, индексируемых базой Scoprus.
Таблица 2
Типы публикаций в Scopus руководителей грантов до получения финансирования РНФ
Table 2
Types ofpublications in Scopus by grant directors before receiving RSF funding
Средняя доля публикаций по типам Физика и науки о космосе Гуманитарные и социальные науки
Период 1 Период 2 Период 1 Период 2
Научные статьи, % 82 93 74 95
Доклады конференций, % 15 5 7 1
Остальные виды публикаций (review, letter, note и пр.), % 3 2 19 4
Таблица 3
Распределение научных статей по квартилям6 журналов (Q1-Q4) в Scopus руководителей грантов до
получения финансирования РНФ
Table 3
Distribution of scientific articles by quartiles of journals (Q1-Q4) in Scopus of grant directors before
receiving RSF funding
Количество статей в журналах по квартилям Физика и науки о космосе Гуманитарные и социальные науки
Период 1 Период 2 Период 1 Период 2
Q1, шт. (%) 2563 (53,7) 1437 (52,4) 30 (12,3) 50 (24,3)
Q2, шт. (%) 710 (14,9) 452 (16,5) 13 (5,4) 30 (14,6)
Q3, шт. (%) 800 (16,7) 600 (21,9) 57 (23,4) 65 (31,5)
Q4, шт. (%) 703 (14,7) 253 (9,2) 144 (59) 61 (29,6)
Всего 4776 (100) 2742(100) 244 (100) 206 (100)
Примечание: Сумма по столбцам с погрешностью округления ±1% Note: Column sums with rounding error ±1%
которые в категории индексируемых публикаций Scopus в основном публикуют статьи в журналах.
Далее была использована информация о статьях, опубликованных в научных журналах по квартилям, что помогло получить приблизительную оценку характеристик статей. Данные в таблице 3 показывают, что в сравнении с 1-м периодом во 2-м периоде грант получили учёные, у которых значительная доля статей выходит в изданиях более высоких квартилей (результаты статистически значимы - для физики Pearson chi2 - 26,6, для социальных и гуманитарных наук 47, p < 0,0001). В обеих областях заметно «перетекание» из более низких квартилей в более
высокие. При этом если у физиков увеличилась доля третьего квартиля в сравнении с четвёртым, то у гуманитариев изменение произошло за счёт повышения долей в более высоких квартилях6. Это может объясняться ростом квартилей самих журналов, в которых публикуются учёные, изменением предпочтений учёных и их выбором журналов с более высоким квартилем. Другое предположение состоит в том, что гранты стали выигрывать более продуктивные учёные.
Рассмотрим далее непосредственно метрики журналов, в которых опубликованы работы - по показателю CiteScore и по показателю Percentile. Показатель CiteScore рассчитывается так же, как классический
6 Информация о квартилях была взята из базы Scopus (по показателю CiteScore). Если журнал принадлежал нескольких категориям, то квартиль учитывался по той категории, в которой он был наивысшим.
Таблица 4
Показатели CiteScore и Percentile журналов для научных статей руководителей грантов
Table 4
CiteScore and Journal Percentile metrics for research articles by grant directors
Область наук Период Среднее значение CiteScore Среднее значение Percentile
Физика и науки о космосе Период 1 3 67
Период 2 3 67
Гуманитарные и социальные науки Период 1 0 30
Период 2 1 46
Таблица 5
Статьи, опубликованные руководителями гранто в российских и зарубежных журналах до получения финансирования РНФ
Table 5
Articles published by grant directors in Russian and foreign journals before receiving RSF funding
Физика и науки о космосе Гуманитарные и социальные науки
Период 1 Период 2 Период 1 Период 2
Среднее
Российские журналы, шт. 8 6 3 2
Зарубежные журналы, шт. 33 28 2 4
Медиана
Российские журналы, шт. 5 3 2 1
Зарубежные журналы, шт. 19 19 1 3
Средняя доля статей в зарубежных журналах от всех публикаций руководителя, %7 73% 80% 41% 59%
Примечание: N - количество публикаций.
импакт-фактор c окном цитирования за три года, на его основе можно рассчитать показатель Percentile, указывающий на положение журнала в научной области [26]. Данные в таблице 4 свидетельствуют, что Percentile и показатель CiteScore для работ физиков выше, но при этом для гуманитариев более заметна позитивная динамика по показателю Percentile, который изменился на треть (результаты значимы Wilcoxon test, p = 3.3e-0.8).
Кроме того, согласно данным таблицы 5, во 2-м периоде доля статей в зарубежных журналах растёт для обеих областей7. У руководителей грантов по физике 1-го периода в среднем 73% статей были опубликованы в зарубежных изданиях, а во 2-м периоде уже 80% (рост на 7 п.п.). Для руководителей
грантов по социально-гуманитарным наукам рост ещё выше - с 41 до 59% (на 18 п.п.).
Важно отметить, что с ростом публикационного давления многие российские учёные всё чаще получают предложения опубликовать работы в мультидисциплинарных журналах, например, из Венесуэлы или Индии, авторитет редакционных коллегий которых вызывает вопросы. Данные таблицы 6 показывают снижение доли обнаруженных статей в потенциально хищнических журналах у физиков при существенном росте у гуманитариев. В то же время такие публикации скорее выступают исключением, хотя и преобладают у одного из физиков в 1-м периоде и одного из гуманитариев во 2-м.
Таким образом, уровень победителей конкурсов по физике не изменился - эта
7 Информация о месте издания журнала доступна в базе Scopus.
Таблица 6
Доля научных статей руководителей грантов в потенциально хищнических журналах9
Table 6
Proportion of grant directors' scientific articles in potentially predatory journals
Область наук Период Всего публикаций Число статей в хищнических журналах Доля хищнических статей
Физика и науки о космосе Период 1 4776 17 0,36
Период 2 2742 3 0,11
Гуманитарные и социальные науки Период 1 244 4 1,64
Период 2 206 11 5,34
Таблица 7
Описательные характеристики выборки высокоцитируемых публикаций по годам и областям наук
Table 7
Descriptive characteristics of the sample ofhighly cited publications by year and field of science
Физика и науки о космосе, 1-й период
2009 (N=652) 2010 (N=709) 2011 (N=781) 2012 (N=777) 2013 (N=809) Всего (N=3728)
Среднее 132 (158) 133 (239) 122(165) 139 (426) 112 (141) 127 (251)
Медиана (мин.; макс.) 89,5 (59; 2970) 85 (55; 5240) 77 (51; 2460) 80 (53; 6980) 75 (50; 2650) 81 (50; 6980)
Физика и науки о космосе 2-й период
2012 (N=777) 2013 (N=809) 2014 (N=905) 2015 (N=1025) 2016 (N=1197) Всего (N=4713)
Среднее 139 (426) 112 (141) 108(275) 82,9 (94,2) 93,2 (309) 105 (273)
Медиана (мин.; макс.) 80 (53; 6980) 75 (50; 2650) 66 (43; 6660) 57 (38; 1380) 48 (31; 6770) 64 (31; 6980)
Социально-гуманита рные науки 1-й период
2009 (N=78) 2010 (N=75) 2011 (N=97) 2012 (N=144) 2013 (N=155) Всего (N=549)
Среднее 59,9 (49,1) 73,2 (72,9) 59,2 (50,4) 60,7 (93,4) 44,2 (32,5) 57,4 (64,5)
Медиана (мин.; макс.) 41,5 (26; 253) 45 (27; 501) 41 (24; 378) 33 (20; 928) 32 (19; 245) 37 (19; 928)
Социально-гуманитарные науки 2-й период
2012 (N=144) 2013 (N=155) 2014 (N=236) 2015 (N=412) 2016 (N=546) Всего (N=1493)
Среднее 60,7 (93,4) 44,2 (32,5) 39,3 (35,8) 28,1 (16,8) 27,6 (23,7) 34,5 (39,2)
Медиана (мин.; макс.) 33 (20; 928) 32 (19; 245) 28 (18; 310) 23 (15; 144) 21 (14; 309) 24 (14; 928)
Примечание: N - количество публикаций.
группа учёных отличалась высокими публикационными результатами даже в тот8 период, когда публикационное давление было менее заметным. Тогда как по всем показателям среди руководителей грантов по социально-гуманитарным наукам мы видим улучшение научных результатов. Это увели-
чение не может объясняться одним только фактом увеличения числа российских журналов в базе Scopus - увеличение произошло за счёт публикаций в первом и втором квартиле, где редко присутствуют российские социально-гуманитарные журналы. Кроме того, увеличилась доля зарубежных статей и
8 Для определения журнала как недобросовестного, мы использовали список из 665 изданий (который был представлен в докладе [34] и препринтах данных авторов).
Таблица 8
Руководители грантов с опытом высокоцитируемых публикаций
Table 8
Grant directors with experience in highly cited publications
Область наук Период Кол-во грантов РНФ Руководители грантов с публикациями в топ 5% Scopus Доля руководителей грантов с наличием высокоцитируемых публикаций, % Кол-во статей руководителей грантов в выборке 5%
Физика и науки о космосе Период 1 115 70 60,9 510
Период 2 82 48 58,5 294
Гуманитарные и социальные науки Период 1 94 12 12,8 17
Период 2 41 8 19,5 14
уменьшилась доля публикаций в конференциях. Далее сравниваются публикации руководителей грантов с наиболее признанными научными результатами по отраслям отдельно за два периода.
Научные результаты руководителей грантов в контексте лучших достижений
Основной способ оценить эффективность экспертизы - это сравнить научные достижения победителей и тех, чьи заявки не были поддержаны (например, обзор результатов [29]). Однако доступ к информации о не-поддержанных заявках отсутствует, поэтому была выбрана иная стратегия анализа и сравнили победителей с авторами лучших статей в той же области.
Сначала рассмотрены выборки высокоци-тируемых публикаций для двух научных областей по годам (табл. 7). Закономерно, что более поздние публикации имеют в среднем меньше цитирований в сравнении с ранними статьями, у которых было больше времени получить цитирования. В 1-м периоде для попадания в 5% публикаций по физике нужно было 50 цитирований, во 2-м периоде попали публикации с минимум 31 цитированием. Для социально-гуманитарных наук в 1-м периоде для попадания в топ нужно было 19 цитирований, во 2-м - 14.
Сравнение двух массивов публикаций -руководителей грантов и выборки высо-коцитируемых публикаций - показывает, что руководители нередко публиковали результаты исследований, которые получали
большое количество ссылок (табл. 8). При этом доля руководителей грантов с опытом участия в высокоцитируемых публикациях Scopus в физике заметно выше, чем у гуманитариев. Почти две трети руководителей-физиков имели среди своих опубликованных работ хотя бы одну высокоцитируемую публикацию - эта доля стала немного меньше во 2-й период. Среди руководителей-гуманитариев заметно реже встречаются авторы самых значимых публикаций, при этом наблюдается положительная динамика по двум периодам (в 1-м периоде 12,8% руководителей имели опыт участия в высокоци-тируемых публикациях, во 2-м уже 19,5%), сами значения невелики.
В таблице 9 представлено распределение высокоцитируемых научных статей по квартилям журналов для обоих областей за два периода. Были рассмотрены основные показатели для нескольких отдельных групп: группа А - это все статьи руководителей грантов; группа B - это все высокоцитиру-емые статьи; группа C - это статьи руководителей грантов, которые вошли в список высокоцитируемых статей (пересечение A и B); группа D - это высокоцитируемые статьи за исключением статей руководителей грантов (B-C). Такая группировка даёт возможность проводить сравнения с разными целями. Во-первых, сравним пул высокоци-тируемых статей и пул статей руководителей грантов (группы А и B). Как, и следовало ожидать, для обеих областей заметна разни-
Таблица 9
Распределение по квартилям научных статей руководителей грантов и выборки высокоцитируемых
статей
Table 9
Distribution by quartiles of scientific articles of grant directors and a sample ofhighly cited articles
Группа A Группа B Группа C Группа D (B-С)
N % N % N % N %
Физика и науки о космосе, период 1
Quartile 1 2563 47,7 3098 83,1 454 89,0 2644 82,2
Quartile 2 710 13,2 318 8,5 34 6,7 284 8,8
Quartile 3 800 14,9 128 3,4 7 1,4 121 3,8
Quartile 4 703 13,1 53 1,4 3 0,6 50 1,6
Нет квартиля 601 11,2 131 3,5 12 2,4 119 3,7
Итого, период 1 5377 100,0 3728 100,0 510 100,0 3218 100,0
Физика и науки о космосе, период 2
Quartile 1 1437 44,9 3824 81,1 248 84,4 3576 80,9
Quartile 2 452 14,1 461 9,8 31 10,5 430 9,7
Quartile 3 600 18,7 161 3,4 9 3,1 152 3,4
Quartile 4 253 7,9 50 1,1 1 0,3 49 1,1
Нет квартиля 459 14,3 217 4,6 5 1,7 212 4,8
Итого, период 2 3201 100,0 4713 100,0 294 100,0 4419 100,0
Социально-гуманитарные науки, период 1
Quartile 1 30 9,3 304 55,4 10 58,8 294 55,3
Quartile 2 13 4,0 92 16,8 1 5,9 91 17,1
Quartile 3 57 17,6 52 9,5 0 0,0 52 9,8
Quartile 4 144 44,4 14 2,6 1 5,9 13 2,4
Нет квартиля 80 24,7 87 15,8 5 29,4 82 15,4
Итого, период 1 324 100,0 549 100,0 17 100,0 532 100,0
Социально-гуманитарные науки, период 2
Quartile 1 50 19,2 643 43,1 7 50,0 636 43,0
Quartile 2 30 11,5 210 14,1 4 28,6 206 13,9
Quartile 3 65 25,0 133 8,9 1 7,1 132 8,9
Quartile 4 61 23,5 114 7,6 2 14,3 112 7,6
Нет квартиля 54 20,8 393 26,3 0 0,0 393 26,6
Итого, период 2 260 100,0 1493 100,0 14 100,0 1479 100,0
Примечание: N - количество статей.
ца в распределении по квартилям журналов. В физике большинство высокоцитируемых статей выходят в журналах первого квартиля - это 83,1% и 81,1% за 1-й и 2-й период. Тогда как статьи руководителей примерно только в половине случаев выходят в первом квартиле (во 2-м периоде меньше половины статей). Для социально-гуманитарных наук наблюдается тот же паттерн с тем отличием, что доля высокоцитируемых статей, которые появляются в первом квартиле, не является
такой заметной - 55,5% и 43,1% за 1-й и 2-й период. В этих областях цитируемость статьи уже не так связана с престижем издания, что было обнаружено и в других исследованиях, как, например, [30]. При этом разрыв в квартилях между руководителями грантов и авторами высокоцитируемых статей гораздо заметнее - только 9,3% в 1-й период и 19,2% во 2-й период высокоцитируемых статей руководителей грантов появились в журналах первого квартиля.
Во-вторых, проведено сравнение статей руководителей грантов, которые попали в выборку высокоцитируемых статей, и выборку высокоцитируемых статей, из которых исключены статьи руководителей грантов (группы С и D). Другими словами, определялось, насколько различаются по качеству журналов лучшие статьи руководителей грантов и лучшие статьи авторов, которые не были руководителями. Высокоцитируемые статьи руководителей чаще появляются в журналах первого квартиля в сравнении с авторами высокоцитируемых статей, которые не получали гранты РНФ.-
Таким образом, отбор у физиков в 1-м периоде был уже достаточно эффективным, разница между двумя периодами незначительна. Для гуманитариев наблюдалось увеличение доли авторов высокоцитируемых статей, хотя эта доля все ещё мала.
Выводы
В сравнении с институциональной поддержкой конкурентное финансирование обладает рядом преимуществ: прозрачная процедура отбора заявок; глубокая проработка дизайна проекта; возможность определять приоритеты в поддержке [13]. Однако экспертная процедура оценки проектов, дорогостоящая в организации, далеко не всегда позволяет отобрать лучшие заявки. Критика опоры на экспертов привела к предложению больше использовать количественные показатели в оценке заявителей и их заявок [10; 31; 32]. Это особенно релевантно для стран, в которых признаются сложности в привлечении к оценке признанных учёных, а также низко доверие к результативности в науке, например, в силу высокого уровня коррупции [33]. В России при ведомствах действуют общественные советы для решения подобных задач, куда приглашаются заслуженные и известные лица, однако ввиду занятости экспертов такого высокого уровня создание советов не позволяет полностью решить проблему поиска и отбора экспертов.
Наукометрические показатели могут быть частью процедуры оценки гранта, но баланс между метриками и оценкой экспертов требует пошагового планирования действий со стороны финансирующей организации. Известны исследования, в которых сравниваются результаты работы экспертов с результатами учёта только наукометрии [11; 31]. Один из выводов заключается в том, что эксперты успешно отсекают слабые заявки, авторы которых не имеют заметных достижений, измеренных через наукометрию, однако, среди заявителей с довольно высокими показателями они не обязательно выбирают лучших. Этому есть разные объяснения с учётом национальной и дисциплинарной специфики. Вполне возможно, что фонды не имеют такой цели, полагая, что у самых продуктивных учёных и так достаточно ресурсов [11].
Анализ авторов исследования показал, что между двумя периодами в области физики больших изменений в качестве и количестве публикаций руководителей грантов не произошло. Эта группа учёных отличалась высокими публикационными результатами даже в тот период, когда публикационное давление было ниже. Другая картина наблюдается в случае гуманитариев - исследователи начали более заметно публиковаться в престижных научных журналах. С ростом требований к руководителям грантов в конкурсе стали чаще побеждать руководители с опытом публикаций в зарубежных журналах, которые характеризуются более высоким квартилем относительно задела победителей первого отбора. Авторы данной работы не нашли подтверждения опасений, что с повышением публикационного барьера учёные начнут выбирать слабые или даже «хищные» журналы. Наоборот, опора на количественные показатели дала результаты в отношении отбора более активно публикующихся авторов.
Улучшение показателей в социальных и гуманитарных науках может объясняться тем, что учёные могли правильно воспринять стимулы к публикации в международных журналах и начать публиковаться в первом
квартиле, чего не делали раньше. Несколько иная трактовка предполагает, что конкурс стали выигрывать учёные, которые и раньше писали хорошие статьи, но реже участвовали и/или побеждали в таких отборах. Точный ответ требует открытых данных обо всех поддержанных и, что важнее, не поддержанных заявках, а также серьёзного анализа сокращения многообразия грантодателей как таковых. Остаётся надежда, что популярность принципов доказательной политики приведёт к большей открытости фонда, что позволит исследовать эффекты политики фондов на публикационное поведение учёных.
Несмотря на то, что с 2022 г. курс на интернационализацию российской науки поставлен на паузу - действует мораторий на учёт научных статей, индексируемых в международных базах данных Web of Science и Scopus, формальные показатели по-прежнему используются в оценке научной результативности. Отличие состоит в том, что активно рассматриваются решения, направленные на отказ от систематического использования международных баз данных, однако без отказа от учёта количества и качества публикаций. В 2022 г. был создан «белый список» научных журналов, который будет применяться для оценки результативности научных организаций. Помимо российских изданий, в список вошли тысячи международных журналов. Это указывает на то, что, хотя в российской научной политике и сокращается использование международных баз, полного отказа от поощрения публикаций в признанных международных журналах не произошло9. Однако для того, чтобы оценить результативность перехода к «белому списку» научных журналов необходимо проведение дальнейших исследований.
Литература
1. Merton R.K.. The Matthew Effect in Science
// Science. 1968. Vol. 159. No. 3810. P. 56-63.
DOI: 10.1126/science.159.3810.56
2. Roshani S, Bagherylooieh M.-R, Mosleh M, Coccia M. What is the relationship between research funding and citation-based performance? A comparative analysis between critical disciplines // Scientometrics. 2021. Vol. 126. No. 9. P. 7859-7874. DOI: 10.1007/s11192-021-04077-9
3. Bol T, de Vaan M, van de Rijt A. The Matthew effect in science funding // PNAS. 2018. Vol. 115. No. 19 P. 4887-4890. DOI: 10.1073/ pnas.1719557115
4. Миндели Л.Э, Либкинд А.Н, Маркусова
B.А. Влияние грантового финансирования на эффективность научных исследований в высшей школе // Вестник Российской академии наук. 2014. Т. 84. № 12. С. 1080-1089. DOI: 10.7868/80869587314120111
5. Мирская Е.З. Государственные гранты как инструмент модернизации российской академической науки // Вестник Российского гуманитарного научного фонда. 2006. Т. 44. № 3.
C. 115-134. EDN: QOGWTZ.
6. Дежина И.Г, Симачев Ю.В. Связанные гранты для стимулирования партнёрства компаний и университетов в инновационной сфере: стартовые эффекты применения в России // Журнал Новой экономической ассоциации. 2013. Т. 19. № 3. С. 99-122. EDN: RBLXON.
7. Душина С.А. Научный трансфер: ещё раз о мобильности, мегагрантах и первых академиках // Социология науки и технологий. 2017. Т. 8. № 2. C. 87-103. EDN: YTAHMR.
8. Saygitov R.T. The Impact of Funding through the RF President's Grants for Young Scientists (the field - Medicine) on Research Productivity: A Quasi-Experimental Study and a Brief Systematic Review // PLOS ONE. 2014. Vol. 9. No. 1. e86969. DOI: 10.1371/journal. pone.0086969
9. Fedderke J.W, Goldschmidt M. Does massive funding support of researchers work?: Evaluating the impact of the South African research chair funding initiative // Research Policy. 2015. Vol. 44. No. 2. P. 467-482. DOI: 10.1016/j.re-spol.2014.09.009
10. Sandstrom U, Hallsten M. Persistent nepotism in peer-review // Scientometrics. 2008. Vol. 74. No. 2. P. 175-189. DOI: 10.1007/s11192-008-0211-3
9 В 2023 году, в рамках отчётных материалов, РНФ по-прежнему засчитывает статью, опубликованную в журнале первого квартиля (по SJR) за две статьи.
11. van den Besselaar P., Leydesdorff L. Past performance, peer review and project selection: a case study in the social and behavioral sciences // Research Evaluation. 2009. Vol. 18. No. 4. P. 273-288. DOI: 10.48550/arXiv.0911.1306
12. Azoulay P., Li D. Scientific Grant Funding // Innovation and Public Policy. University of Chicago Press. 2021. P. 117-150. DOI: 10.7208/ chicago/9780226805597-008
13. Maisano D.A, Mastrogiacomo L, Franceschini F. Short-term effects of non-competitive funding to single academic researchers // Scien-tometrics. 2020. Vol. 123. No. 3. P. 1261-1280. DOI: 10.1007/s11192-020-03449-x
14. Gush J., Jaffe A., Larsen V, Laws A. The effect of public funding on research output: the New Zealand Marsden Fund // New Zealand Economic Papers. 2018. Vol. 52. No. 2. P. 227-248. DOI: 10.1080/00779954.2017.1325921
15. Tonta Y. Does Monetary Support Increase the Number of Scientific Papers? An Interrupted Time Series Analysis // Journal of Data and Information Science. 2018. Vol. 3. No. 1. P. 19-39. DOI: 10.2478/jdis-2018-0002
16. Hornbostel S., BohmerS., Klingsporn B, Neufeld J., von Ins M. Funding of young scientist and scientific excellence // Scientometrics. 2009. Vol. 79. No. 1. P. 171-190. DOI: 10.1007/s11192-009-0411-5
17. Gralka S, Wohlrabe K, Bornmann L. How to measure research efficiency in higher education? Research grants vs. publication output // Journal of Higher Education Policy and Management. 2019. Vol. 41. No. 3. P. 322-341. DOI: 10.1080/13 60080X.2019.1588492
18. Langfeldt L., Benner M., Sivertsen G., Kristian-sen E.H, Aksnes D.W, Borlaug S.B, Hansen H.F., Kallerud E., Pelkonen A. Excellence and growth dynamics: A comparative study of the Matthew effect // Science and Public Policy. 2015. Vol. 42. No. 5. P. 661-675. DOI: 10.1093/ scipol/scu083
19. Дежина И.Г. Научные «центры превосходства» в российских университет ах: смена моделей // ЭКО. 2020. Т. 50. № 4. С. 87-109. DOI: 10.30680/ECO0131-7652-2020-4-87-109
20. Morillo F. Collaboration and impact of research in different disciplines with international funding (from the EU and other foreign sources) // Sci-entometrics. 2019. Vol. 120. No. 3. P. 807-823. DOI: 10.1007/s11192-019-03150-8
21. Wang J., Shapira P. Is There a Relationship between Research Sponsorship and Publication Impact? An Analysis of Funding Acknowledgments in Nanotechnology Papers // PLOS ONE. 2015. Vol. 10. No. 2. e0117727. DOI: 10.1371/journal. pone.0117727
22. Wang L, Wang X, Piro F.N, Philipsen N. The effect of competitive public funding on scientific output. // Research Evaluation. 2020. Vol. 29. No. 4. P. 418-429. DOI: 10.1093/reseval/rvaa023
23. Grimpe C. Extramural research grants and scientists' funding strategies: Beggars cannot be choosers? // Research Policy. 2012. Vol. 41. No. 8. P. 1448-1460. DOI: 10.1016/j.respol. 2012.03.004
24. Aagaard K., Kladakis A., Nielsen M.W. Concentration or dispersal of research funding? // Quantitative Science Studies. 2019. Vol. 1. No. 3. P. 1-29. DOI: 10.1162/qss_a_00002
25. Glanzel W, Schoepflin U. A bibliometric study of reference literature in the sciences and social sciences. // Information Processing & Management. 1999. Vol. 35. No. 1. P. 31-44. DOI: 10.1016/S0306-4573(98)00028-4
26. Акоев М.А., Маркусова В.А., Москалёва О.В., ПисляковВ.В. Руководство по наукометрии: индикаторы развития науки и технологии, второе издание. Екатеринбург: Издательство Уральского университета. 2021. 358 с. DOI: 10.15826/B978-5-7996-3154-3
27. Aksnes D.W. Characteristics of highly cited papers // Research evaluation. 2003. Vol. 12. No. 3. P. 159-170. DOI: 10.3152/147154403781776645
28. Симачев Ю.В, Засимова Л.С, Курбанов Т.Р. Грантовая поддержка фундаментальных исследований в России: уроки первого конкурса Российского научного фонда // Foresight and STI. 2017. Т. 11. № 4. С. 74-83. DOI: 10.17323/2500-2597.2017.4.74.83
29. Neufeld J., von Ins M. Informed peer review and uninformed bibliometrics? // Research Evaluation. 2011. Vol. 20. No. 1. P. 31-46. DOI: 10.315 2/095820211X12941371876382
30. Jacobs J.A. Journal rankings in Sociology: Using the H Index with Google Scholar // American Sociologist. 2016. Vol. 47. No. 2-3. P. 192-224. DOI: 10.1007/s12108-015-9292-7
31. van den Besselaar P., Sandstrom U. Biblio-metrically Disciplined Peer Review: on Using Indicators in Research Evaluation // Scholarly Assessment Reports. 2020. Vol. 2. No. 5. P. 1-13. DOI: 10.29024/sar.16
32. Roy R. Funding Science: The Real Defects of Peer Review and An Alternative To It // Science, Technology & Human Values. 1985. Vol. 10. No. 3. P. 73-81. DOI: 10.1177/016224398501000309
33. Alper S, Yelbuz B.E., Akkurt S.B, Yilmaz O. The positive association of education with the trust in science and scientists is weaker in highly corrupt countries // Public Understanding of Science. 2023. Online First. DOI: 10.1177/ 09636625231176935
34. Savina, T.F, Sterligov, I.A. Potentially predatory journals in Scopus: Descriptive statistics and country-level dynamics // Nordic Workshop on Bibliometrics and Research Policy
2016 Proceedings. 2016. Vol. 20. DOI: 10.6084/ m9.figshare.4249394.v1
Благодарности. Авторы благодарят Анфису Юрьевну Родионову, работа которой в период учёбы в магистратуре Университета ИТМО под научным руководством К.С. Губы стала отправной точкой для данного исследования. Исследование завершено при поддержке гранта РНФ, проект № 21-78-10102.
Статья поступила в редакцию 20.09.2023 Принята к публикации 09.09.2023
References
1. Merton, R.K. (1968). The Matthew Effect in Science. Science. Vol. 159, no. 3810, pp. 56-63, doi: 10.1126/science.159.3810.56
2. Roshani, S., Bagherylooieh, M.-R., Mosleh, M., Coccia, M. (2021). What Is the Relationship Between Research Funding and Citation-Based Performance? A Comparative Analysis Between Critical Disciplines. Scientometrics. Vol. 126, no. 9, pp. 7859-7874, doi: 10.1007/s11192-021-04077-9
3. Bol, T., Vaan, M. de, van de Rijt, A. (2018). The Matthew Effect in Science Funding. PNAS. Vol. 115, no. 19, pp. 4887-4890, doi: 10.1073/pnas.1719557115
4. Mindeli L.E., Libkind A.H., Markusova V.A. (2014). Theinfluence of the Grant Financing on the Efficiency of Scientific Research at the Higher School. Herald of the Russian Academy of Sciences. Vol. 84, no. 12, pp. 1080-1089, doi: 10.7868/S0869587314120111 (In Russ., abstract in Eng.).
5. Mirskaya E.Z. (2006). State Grants as a Tool for the Modernization of Russian Academic Science. Bulletin of the Russian Humanitarian Scientific Foundation. Vol. 44, no. 3, pp. 115-134. Available at: https://elibrary.ru/download/elibrary_37198121_74092538.pdf (accessed 10.06.2023). (In Russ.)
6. Dezhina, I.G., Simachev, Y.V. (2013). MatchingGrants for Stimulating Partnerships between Companies and Universities in Innovation Area: Initial Effects in Russia. Journal of the New Economic Association. Vol. 19, no. 3, pp. 99-122. Available at: http://www.econorus.org/ repec/journl/2013-19-99-122r.pdf (accessed 08.08.2023). (In Russ., abstract in Eng.).
7. Dushina, S.A. (2017). Research Transfer: Once Again on Mobility, Mega-grants and the First Academics. Sociology of Science and Technology. Vol. 8, no. 2, pp. 87-103. Available at: htt-ps://elibrary.ru/download/elibrary_29384063_57014291.pdf (accessed 08.08.2023). (In Russ., abstract in Eng.).
8. Saygitov, R.T. (2014). The Impact of Funding through the RF President's Grants for Young Scientists (the field - Medicine) on Research Productivity: A Quasi-Experimental Study and a Brief Systematic Review. PLOS ONE. No. 9, no. 1, e86969, doi: 10.1371/journal.pone.0086969
9. Fedderke, J.W., Goldschmidt, M. (2015). Does Massive Funding Support of Researchers Work?: Evaluating the Impact of the South African Research Chair Funding Initiative. Research Policy. Vol. 44, no. 2, pp. 467-482, doi: 10.1016/j.respol.2014.09.009
10. Sandstrom, U., Hallsten, M. (2008). Persistent nepotism in peer-review. Scientometrics. Vol. 74, no. 2, pp. 175-189, doi: 10.1007/s11192-008-0211-3
11. van den Besselaar, P., Leydesdorff, L. (2009). Past Performance, Peer Review and Project Selection: A Case Study in the Social and Behavioral Sciences. Research Evaluation. Vol. 18, no. 4, pp. 273-288, doi: 10.48550/arXiv.0911.1306
12. Azoulay, P., Li, D. (2021). Scientific Grant Funding. Innovation and Public Policy. University of Chicago Press, pp. 117-150, doi: 10.7208/chicago/9780226805597-008
13. Maisano, D.A., Mastrogiacomo, L., Franceschini, F. (2020). Short-Term Effects of Non-Competitive Funding to Single Academic Researchers. Scientometrics. Vol. 123, no. 3, pp. 1261-1280, doi: 10.1007/s11192-020-03449-x
14. Gush, J., Jaffe, A., Larsen, V., Laws, A. (2018). The Effect of Public Funding on Research Output: The New Zealand Marsden Fund. New Zealand Economic Papers. Vol. 52, no. 2, pp. 227-248, doi: 10.1080/00779954.2017.1325921
15. Tonta, Y. (2018). Does Monetary Support Increase the Number of Scientific Papers? An Interrupted Time Series Analysis. Journal of Data and Information Science. Vol. 3, no. 1, pp. 19-39, doi: 10.2478/jdis-2018-0002
16. Hornbostel, S., Böhmer, S., Klingsporn, B., Neufeld, J., von Ins, M. (2009). Funding of Young Scientist and Scientific Excellence. Scientometrics. Vol. 79, no. 1, pp. 171-190, doi: 10.1007/s11192-009-0411-5
17. Gralka, S., Wohlrabe, K., Bornmann, L. (2019). How to Measure Research Efficiency in Higher Education? Research Grants vs. Publication Output. Journal of Higher Education Policy and Management. Vol. 41, no. 3, pp. 322-341, doi: 10.1080/1360080X.2019.1588492
18. Langfeldt, L., Benner, M., Sivertsen, G., Kristiansen, E.H., Aksnes, D.W., Borlaug, S.B., Hansen, H.F., Kallerud, E., Pelkonen, A. (2015). Excellence and Growth Dynamics: A Comparative Study of the Matthew Effect. Science and Public Policy. Vol. 42, no. 5, pp. 661-675, doi: 10.1093/ scipol/scu083
19. Dezhina I.G. (2020). Scientific "Centers of Excellence" in Russian Universities: Changing Models. ECO. Vol. 50, no. 4, pp. 87-109, doi: 10.30680/EC00131-7652-2020-4-87-109 (In Russ.).
20. Morillo, F. (2019). Collaboration and Impact of Research in Different Disciplines with International Funding (from the EU and Other Foreign Sources). Scientometrics. Vol. 120, no. 3, pp. 807-823, doi: 10.1007/s11192-019-03150-8
21. Wang, J., Shapira, P. (2015). Is There a Relationship between Research Sponsorship and Publication Impact? An Analysis of Funding Acknowledgments in Nanotechnology Papers. PLOS ONE. Vol. 10, no. 2, e0117727, doi: 10.1371/journal.pone.0117727
22. Wang, L., Wang, X., Piro, F.N., Philipsen, N. (2020). The Effect of Competitive Public Funding on Scientific Output. Research Evaluation. Vol. 29, no. 4, pp. 418-429, doi: 10.1093/reseval/rvaa023
23. Grimpe, C. (2012). Extramural Research Grants and Scientists' Funding Strategies: Beggars Cannot Be Choosers? Research Policy. Vol. 41, no. 8, pp. 1448-1460, doi: 10.1016/j.re-spol.2012.03.004
24. Aagaard, K., Kladakis, A., Nielsen, M.W. (2019). Concentration or Dispersal of Research Funding? Quantitative Science Studies. Vol. 1, no. 1, pp. 1-33, doi: 10.1162/qss_a_00002
25. Glänzel, W., Schoepflin, U. (1999). A Bibliometric Study of Reference Literature in the Sciences and Social Sciences. Information Processing & Management. Vol. 35, no. 1, pp. 31-44, doi: 10.1016/S0306-4573(98)00028-4
26. Akoev, M.A., Markusova., V.A., Moskaleva, O.V., Pislyakov, V.V. (2021). Handbook on Scientometrics: Science and Technology Development Indicators, Second edition. Yekaterinburg: IPC UrFU, 358 p., doi: 10.15826/B978-5-7996-3154-3 (In Russ.).
27. Aksnes, D.W. (2003). Characteristics of Highly Cited Papers. Research evaluation. Vol. 12, no. 3, pp. 159-170, doi: 10.3152/147154403781776645
28. Simachev, Yu.V., Zasimova, L.S., Kurbanov, T.R. (2017). Basic Research Support by the Russian Science Foundation: What Can We Learn from the First Grant Competition? Foresight and STI. Vol. 11, no. 4, pp. 74-83, doi: 10.17323/2500-2597.2017.4.74.83
29. Neufeld, J., von Ins, M. (2011). Informed Peer Review and Uninformed Bibliometrics? Research Evaluation. Vol. 20, no. 1, pp. 31-46, doi: 10.3152/095820211X12941371876382
30. Jacobs, J.A. (2016). Journal Rankings in Sociology: Using the H Index with Google Scholar. American Sociologist. Vol. 47, no. 2-3, pp. 192-224, doi: 10.1007/s12108-015-9292-7
31. van den Besselaar, P., Sandström, U. (2020). Bibliometrically Disciplined Peer Review: on Using Indicators in Research Evaluation. Scholarly Assessment Reports. Vol. 2, no. 5, pp. 1-13, doi: 10.29024/sar.16
32. Roy, R. (1985). Funding Science: The Real Defects of Peer Review and an Alternative To It. Science, Technology & Human Values. Vol. 10, no. 3, pp. 73-81, doi: 10.1177/016224398501000309
33. Alper, S., Yelbuz, B.E., Akkurt, S.B., Yilmaz, O. (2023). The Positive Association of Education with the Trust in Science and Scientists Is Weaker in Highly Corrupt Countries. Public Understanding of Science. Online First, doi: 10.1177/09636625231176935
34. Savina, T.F., Sterligov, I.A. (2016). Potentially Predatory Journals in Scopus: Descriptive Statistics and Country-Level Dynamics. Nordic Workshop on Bibliometrics and Research Policy 2016 Proceedings. 2016. Vol. 20, doi: 10.6084/m9.figshare.4249394.v1
Acknowledgements. The authors thank Anfisa Yuryevna Rodionova, whose work during her master's studies at ITMO University under the scientific supervision of K.S. Guba became the starting point for this study. This article was prepared with support from the Russian Science Foundation, project No. 21-78-10102.
The paper was submitted 20.06.2023 Accepted for publication 09.09.2023
