CC BY
1
Управление наукой и наукометрия. 2024. Т. 19, № 1 Science Governance and Scientometrics. 2024;19(1) ISSN 2686-6706 (print), ISSN 2686-6714 (online)
НАУКОМЕТРИЯ И НАУЧНО-ТЕХНИЧЕСКАЯ ИНФОРМАЦИЯ
SCIENTOMETRICS AND SCIENCE AND TECHNOLOGY INFORMATION
Научная статья / Original research УДК 001.8
https://doi.org/10.33873/2686-6706.2024.19-1.160-183
Как оценка научной результативности влияет на исследовательскую свободу ученых
Ирина Геласиевна Лакизо, Андрей Евгеньевич Гуськов*
Российский научно-исследовательский институт экономики,
политики и права в научно-технической сфере (РИЭПП), г. Москва, Россия
* guskov.andrey@gmail.com
Резюме
Введение. Неудачно сконструированные системы оценки могут разрушать логику научного развития и способствовать формированию ограниченной научной картины мира. В частности, этому способствуют предопределение приоритетных тем и методов исследований, ограничение финансирования и доступа к средствам научной коммуникации. Знание механизмов влияния оценок позволяет совершенствовать оценочный инструментарий и минимизировать вероятность возникновения негативных последствий оценки. Методы исследования. Обзор мирового документального потока, отражающего влияние оценок научной результативности, позволил уточнить сведения о механизмах воздействия оценок на исследовательскую свободу. Основной массив зарубежных публикаций, включенных в обзор, относится к 2008—2023 гг. Результаты и дискуссия. Качественные исследования являются основным источником сведений о влиянии оценки. Сильные количественные доказательства влияния экспертной и гибридной оценки на выбор тематик, областей исследования и подходов относятся к социальным и гуманитарным наукам. Механизм влияния различается в зависимости от метода оценки. Влияние экспертной оценки проявляется в том, что ученые учитывают мнение экспертов при планировании исследования. Влияние количественной — в том, что ученые учитывают публикационные перспективы. Из-за избегания рисков оценка может служить стимулом к самоограничению, что в конечном итоге может приводить к увеличению единообразия в исследованиях. От ученых требуются дополнительные усилия по изысканию возмож-
© Лакизо И. Г., Гуськов А. Е, 2024
Iiccj © I This is an open access article distributed under the terms of the Creative Commons Attribution 4.0 International License
ностей для сохранения исследовательской свободы. Многие случаи ее проявления обусловлены наличием в окружающей среде факторов, противодействующих оценке, и адаптацией ученых к системе оценивания. Заключение. Оценка является одним из ключевых факторов реализации научных политик. Она дает сигнал о том, какие исследования являются приоритетными, каким правилам они должны соответствовать, а каким — нет. Наиболее выражено влияние оценки на исследовательскую свободу слабых в научном отношении объектов, при недостаточных для получения научного результата периодах оценки, при использовании формальных критериев без учета дисциплинарных особенностей. В ходе реализации оценочных мероприятий необходимо принимать меры по сохранению исследовательской свободы.
Ключевые слова: исследовательская свобода, автономия, оценки результативности, планирование исследовательских проектов, обзор публикаций
Для цитирования: Лакизо И. Г., Гуськов А. Е. Как оценка научной результативности влияет на исследовательскую свободу ученых // Управление наукой и наукометрия. 2024. Т. 19, № 1. С. 160—183. DOI: https://doi.org/10.33873/2686-6706.2024.19-1.160-183
Благодарности. Авторы выражают искреннюю признательность Ирине Селивановой за помощь в анализе материалов и Денису Ко-сякову за справедливую критику и полезные рекомендации. Авторы также благодарят анонимных рецензентов за советы по раскрытию методологической части статьи и ценные замечания.
How the Assessment of Scientific Performance Impacts the Research Freedom of Scientists
Irina G. Lakizo, Andrey E. Guskov*
Russian Research Institute of Economics, Politics and Law in Science and Technology (RIEPL), Moscow, Russia * guskov.andrey@gmail.com
Abstract
Introduction. Poorly constructed assessment systems can disrupt the logic of scientific development and contribute to a narrow scientific principles. This is particularly facilitated by the predetermination of priority research topics and methods, limitation of funding, and access to scientific communication tools. Understanding the mechanisms of how evaluations influence allows for the improvement of evaluation tools and minimises the likelihood of negative evaluation consequences. Methods. A review of the global document flow reflecting the impact of scientific performance assessments has clarified information about the mechanisms of how assessments impact research freedom.
The majority of foreign publications included in the review are from 2008—2023. Results and Discussion. Qualitative research is the main source of information on the impact of evaluation. Strong quantitative evidence of the impact of peer and hybrid assessment on the choice of topics, research areas, and approaches pertains to social sciences and humanities. The mechanism of influence varies depending on the assessment method. The influence of peer review is evident in that researchers take into account expert opinions when planning a study. The impact of quantitative assessment is that researchers consider publication prospects. Therefore, due to risk avoidance, evaluation can stimulate self-limitation, which can ultimately lead to increased uniformity in research. Scientists are required to make additional efforts to find ways to maintain research freedom. Many instances of its manifestation are due to the factors in the environment that counteract evaluation and the adaptation of scientists to the evaluation system. Conclusion. Evaluation is one of the key factors in implementing science policies. It signals which studies are prioritised, which rules they must comply with, and which ones they should not. The impact of evaluation on research freedom is most pronounced for scientifically weak subjects, when evaluation periods are insufficient for obtaining a scientific result, and when formal criteria are used without considering disciplinary specifics. During the implementation of evaluation activities, measures must be taken to preserve research freedom.
Keywords: research freedom, autonomy, performance evaluations, research project planning, publication review
For citation: Lakizo IG, Guskov AE. How the Assessment of Scientific Performance Impacts the Research Freedom of Scientists. Science Governance and Scientometrics. 2024;19(1):160-183. DOI: https://doi. org/10.33873/2686-6706.2024.19-1.160-183
Acknowledgements. The authors express their sincere gratitude to Irina Selivanova for her assistance in analysing the materials and to Denis Kosyakov for his fair criticism and useful recommendations. The authors also thank the anonymous reviewers for their advice on disclosing the methodological part of the article and their valuable comments.
Введение / Introduction
Исследовательская свобода — это свобода в выборе тем, методов, подходов к исследованию, в постановке гипотез и формулировании задач, в возможности критиковать общепризнанные концепции и теории. Она реализуется с учетом норм и правил дисциплинарного поля, в котором проводится исследование.
Ограничение исследовательской свободы становится проблемой, когда исследовательская деятельность регулируется внешними по отношению к дисциплинарному полю правилами. Предопределение приоритетных тем и методов исследований, ограничение финанси-
рования и доступа к средствам научной коммуникации могут разрушить логику научного развития, способствуют формированию ограниченной научной картины мира.
Самым заметным способом внешнего регулирования научной деятельности является оценка научной результативности. На заре внедрения этого способа управления в научно-технологической сфере были сделаны прогнозы о том, что оценка приведет к трансформации научного процесса — отказу от оригинальных, рискованных и потенциально преображающих научный ландшафт исследований ("blue skies" research)1, к избеганию рисков при выборе тем [1]. К настоящему времени опубликовано достаточное количество сообщений об уменьшении тематического и методологического разнообразия, эрозии творчества, потере интеллектуального любопытства среди ученых и нежелательной концентрации ресурсов спонсоров и университетов для поддержки «безопасных» краткосрочных, а не долгосрочных рискованных исследований. Однако сохраняется недостаток аналитических исследований, посвященных воздействию оценки [2].
Знание механизмов влияния оценок позволяет совершенствовать оценочный инструментарий и минимизировать вероятность возникновения негативных последствий оценки. В связи с этим целью данной обзорной работы является анализ и систематизация исследований, связанных с изучением влияния оценок научной результативности на исследовательскую свободу.
Методы исследования / Methods
Изучение воздействия оценки на исследовательскую свободу проводилось в рамках проекта по изучению различных эффектов оценки. Проект основан на анализе мирового документального потока, отражающего влияние оценок научной результативности на научно-технологическую сферу, и нацелен на уточнение сведений о механизмах этого воздействия.
Основным источником сведений о публикациях выступила база Scopus. Нижней хронологической границей выхода публикаций был 2008 г. — год выхода первого обзора, в котором был дан прогноз влияния оценки на исследовательскую свободу.2 По запросу (TITLE ("Research Performance" OR "research evaluation" OR "research assessment" OR "performance W/3 Funding W/3 research" OR "Academic evaluation" OR "Academic assessement" OR "publication pressure" OR "Research Excellence Framework" OR "Excellence Initiative" OR " evaluation polic*" OR "Funding and evaluation agenc*" OR "research funding agenc*" OR "research funding system*") OR KEY ("Research Performance" OR "research evaluation" Or "research assessment" OR
1 Butler L. OECD. Impacts of Performance-Based Research Funding Systems: a Review of the Concerns and the Evidence. Paris, 2010. DOI: https://doi.org/10.1787/9789264094611-7-en (дата обращения: 20.09.2023).
2 Там же.
"performance W/3 Funding W/3 research" OR "Academic evaluation" OR "Academic assessement" OR "publication pressure" OR "Research Excellence Framework" OR "Excellence Initiative" OR " evaluation polic*" OR "Funding and evaluation agenc*" OR "research funding agenc*" OR "research funding system*")) AND PUBYEAR > 2008 AND NOT TITLE-ABS-KEY (children* OR school* OR adoles* OR teacher*) было найдено 3 184 публикации на 31.05.2023 г.3
Для обзора были отобраны публикации, отвечающие следующим критериям:
— наличие сведений о влиянии оценок научной результативности на исследовательскую свободу;
— высокая цитируемость(20 % публикаций, на которые приходится 80 % цитат в выборке);
— новизна (публикации 2020—2023 гг.);
— доступность полного текста или информативного реферата;
— отсутствие сведений о ретракции на момент подготовки обзора.
Отбор проводился в рамках основного проекта в несколько этапов.
1. Удаление из результатов ретрагированных публикаций.
2. Выявление публикаций, формулировка заглавия, ключевых слов или аннотации которых дает основания полагать, что в них содержатся сведения об эффектах оценки.
3. Выделение из результатов первого этапа публикаций, отвечающих одному из критериев, — высокой цитируемости или новизны.
4. Отбор из числа публикаций, выделенных на предыдущем этапе, тех, для которых были доступны полные тексты или информативные рефераты.
5. По результатам анализа полных текстов и информативных рефератов были отобраны 38 публикаций, составивших информационный массив по теме нашего исследования.
В качестве источников дополнительных сведений привлекались отчеты правительственных и прочих организаций, а также источники, обнаруженные по ссылкам в отобранных публикациях.
Результаты и дискуссия / Results and Discussion
Подходы к изучению эффекта
Большинство исследований, в которых сообщается о влиянии оценки на исследовательскую свободу, нацелено на изучение более широких вопросов, охватывающих влияние оценки на процессы производства знаний [3—6], в т. ч. исследовательские и дисциплинарные [7—10], публикационные практики [11—14], качество исследований [10; 15—16]. Вторым (менее распространенным) способом постановки исследовательского вопроса является смещение акцента
3 Результаты могут быть смещены в сторону опыта Великобритании, поскольку в поисковом запросе использовано название национального оценочного мероприятия только этой страны ("Research Excellence Framework").
на реакцию объектов, подвергающихся оценке (реакция университетов [17], дисциплинарные реакции [18—19] и реакции ученых [4], [20—23]). В последние годы самостоятельной темой стало изучение смещения тематик под влиянием оценок [8]. Рассмотрение оценки в качестве фактора, влияющего на смещение тематик, происходит также в исследованиях, цели и задачи которых не связаны с изучением оценки [24].
Теоретическими рамками для исследования чаще всего служат теории управления (в т. ч. новый менеджеризм [3; 7; 15; 20;
22—23], принципал-агентские отношения [25], институциональная теория [17], теория зависимости от ресурсов [17] и др.). Используются также теория мотивации [16; 24], теория общества зрелищ Ги Дебора [21], «южная теория» Р. Коннел [6], теория траектории идентичности [14], концепция эпистемических жизненных пространств У. Фелт [22]. Широко применяется теоретическое наследие П. Бурдье (концепции поля, габитуса, социального капитала, символического насилия) [4; 6; 8—9; 19]. Зафиксировано исследование, использующее обзор [1] в качестве объясняющей линзы [5]. Следует отметить, что мы не обнаружили противоречий в результатах и выводах исследований, построенных на конкурирующих теориях (новый менеджеризм и теории П. Бурдье).
Результаты, связанные со смещением тематик, получены преимущественно в ходе качественных исследований. Интервью используется в качестве самостоятельного метода [7; 11; 13—14; 20—21;
23—24], в сочетании с методами наблюдения и анализа документов [3; 5—6; 9—10; 22], в т. ч. в case-study [17]. Техника критических инцидентов сочетается с анализом интернет-дискурса [15].
Количественные исследования, посвященные влиянию оценки на предпочтение тематик, областей и подходов [8; 12; 19], в т. ч. причинно-следственный анализ [25], начали проводиться относительно недавно. Развитие количественных методов позволило пересмотреть результаты ранних исследований [3; 25]. Результаты по большей части получены методами анализа публикационного потока и статистики REF (Research Excellence Framework — название оценочного мероприятия) [4; 8; 12; 18; 25] или ERA (Excellence in Research for Australia — название оценочного мероприятия) [19]. Основными источниками данных выступали Scopus и оценочная документация (заявки и отчеты). Собирались сведения об областях исследования и тематике статей, об импакт-факторах источников, об используемых подходах и методах. Изучалось влияние REF и ERA на эффективность исследований и дисциплинарные практики в SSH (Social Sciences and Humanities — общественные и гуманитарные науки), а также влияние REF на исследования в целом. Нам не удалось обнаружить количественные исследования, в которых изучается влияние наукометрических оценок на тематику исследований.
Доказательства влияния оценки строятся на сравнении результативности объектов, подвергавшихся и не подвергавшихся оценке [25], получивших высокие и низкие оценки [8—19], представляющих фундаментальные и прикладные науки, различные дисци-
плины [14; 17; 24], находящихся на разных этапах карьеры [24]; на сравнении состояния объекта в период до и после оценки [3; 12; 18; 25]. Авторы исследований часто ограничиваются установлением различий между сравниваемыми объектами и избегают делать выводы о наличии причинно-следственных связей. Они могут также показать, что помимо оценки существуют и другие причины наблюдаемых изменений, или, наоборот, исключить влияние других причин на выявленные перемены. Однако редко когда устанавливается прямая связь между оценкой и изменениями.
Таким образом, в настоящее время имеются весомые доказательства влияния экспертной и гибридной оценки на выбор тематик, областей исследования и подходов в SSH (экономических науках в Великобритании [3; 18], Германии [26], социологии в Великобритании [8] и бухгалтерских дисциплинах в Австралии [19]). Процессы, происходящие в прочих областях знания и под влиянием других методов оценки, остаются недостаточно изученными. Решение этой проблемы видится в активизации проведения объективных количественных исследований.
Оценивая результаты, необходимо учитывать ограничения методов, с помощью которых они были получены. Факты, обнаруженные в ходе качественных исследований, могут быть легко опровергнуты. Например, в ходе интервью ученых в Мексике стало известно, что Национальный совет Мексики по биоразнообразию (CONABIO) разочарован влиянием оценок на тематику исследований: «...система стимулирования SNI (Sistema Nacional de Investigadores, National System of Researchers — система категорирования ученых) "отговаривает" ученых от проведения исследований распределения видов и таксономических исследований, особенно в малоизученных экосистемах и регионах, как из-за медленного темпа данной работы так и из-за того, что результаты, как правило, представляют собой наборы данных и отчеты, а не рецензируемые журнальные статьи на иностранных языках. CONABIO с трудом убеждает ученых проводить подобные исследования, даже тогда, когда предоставляет финансовую поддержку» [27]. Этот факт был использован в качестве аргумента, подтверждающего негативное влияние оценок на тематику. Впоследствии этот факт был опровергнут письмом генерального директора CONABIO. В письме директор сообщила, что не чувствовала разочарования относительно влияния SNI на исследования по биоразнообразию, а также то, что возложение на SNI ответственности за происходящее в этой области, является слишком упрощенным взглядом на проблему [28, с. 743—744].
Доказательства влияния оценки на смещение тематик осложняется невозможностью отделить влияние оценки от влияния других факторов. Так, на изменение подходов к экологическим исследованиям в Мексике могли повлиять недостаточное финансирование, высокий уровень преступности и опасность при проведении полевых работ [28, с. 744]. В Великобритании сдвиг в сторону количественных подходов в образовательных исследованиях мог быть связан с глобальным движением в сторону «Big data» [29, p. 6].
В Германии значительного смещения тематик могло быть не обнаружено по причине изначальной близости национальных тематик с международными [26]. Также упоминается недостаток сопоставимости (невозможно выявить признаки исследований, которые подавляются системой финансирования, т. к. эти исследования не проводятся и поэтому их невозможно изучить4).
Оценка как способ ограничения исследовательской свободы
Исследовательская свобода подразумевает свободу в выборе того, что будет исследовано, каким образом и в какие сроки. Ограничением исследовательской свободы может считаться занижение оценок за исследования, посвященные определенным тематикам или использующие определенные подходы.
Оценка научной результативности является одним из факторов, влияющим на выбор темы исследования. В ходе анализа причин публикации ученых было зафиксировано много высказываний, которые прямо или косвенно относились к показателям, используемым для оценки и сравнительного измерения успеха, и позволили подтвердить влияние финансирующих органов на выбор целей исследования и практики публикации [24]. Влияние оценки на исследовательскую свободу часто упоминалось в контексте распределения финансирования исследований. Сокращение бюджетов на исследования приводило к сокращению проектов (сужение проблемы, ограничение круга тем, сокращение количества объектов или замена на более доступные, уменьшение разнообразия применяемых методов, применение дешевых методов5). В нересурсоемких областях науки, таких как математика, история и политология, эти адаптивные стратегии не применялись.6
В Великобритании ученые считают, что «академические круги больше не обеспечивают оптимальную среду для независимого исследовательского поиска, производства знаний» [30, с. 58]. В Австралии в 2009 г. ученые отметили, что за последние 30 лет их свобода исследовать все, что хочется, сильно уменьшилась, и все больше учреждений устанавливают свои собственные исследовательские приоритеты и направляют финансирование соответствующим образом7. Опрос преподавателей в Саудовской Аравии показал, что все они «верили в исследовательскую автономию, при которой они принимают решение о своей исследовательской дея-
4 Gläser J., Laudel G. Evaluation Without Evaluators: the Impact of Funding Formulae on Australian University Research Dordrecht, the Netherlands: Springer, 2007. P. 127—151 (chapt. 6). DOI: https://doi.org/10.1007/978-1-4020-6746-4_6
5 Там же.
6 GläSer J, Laudel G. Evaluation Without Evaluators / eds by. R. Whitley, J. Gläser. In: The Changing Governance of the Sciences. Sociology of the Sciences Yearbook. Vol 26. Dordrecht: Springer, 2007. P. 127—151 (chapt. 6). DOI: https://doi.org/10.1007/978-1-4020-6746-4_6
7 Brown S. A Comparative Review of Research Assessment Regimes in Five Countries and the Role of Libraries in the Research Assessment Process. Dublin, Ohio: OCLC Research, 2009. Available at: oclc.org/content/dam/research/publications/library/2009/2009-09. pdf (accessed: 20.09.2023).
тельности, включая количество публикаций, где и что публиковать, а также на каком языке, и ожидали, что оценочная политика примет это», а требование публиковаться в журналах WoS (база данных Web of Science) было воспринято ими как ограничение исследовательской самостоятельности [31, с. 1037]. В Уругвае в ходе интервью была обнаружена сильная связь между оценкой и программами исследований, которая выражалась в смещении внимания исследователей от тем, имеющих локальное значение, к глобальным темам с большими публикационными перспективами [32].
В Чехии ученые сообщали о том, что не могут или не хотят осваивать «неизведанные территории», ищут способы продолжать проводить исследования так, как они привыкли, и при этом соблюдать новые требования; они жаловались на требование ускорять процесс публикации, выражая сожаление по поводу того, что теперь невозможно написать содержательную статью [22]. Несмотря на то, что одной из целей оценок является повышение качества исследований до мирового уровня, ученые не сообщали о попытках улучшить качество своих исследований.8
Иногда о необходимости пересматривать тему под влиянием оценочных требований сообщают в положительном ключе. Так, несколько новозеландских ученых утверждали, что PBRF (Performance Based Research Fund — название оценочного мероприятия) стимулировал творчество в исследованиях, побуждая людей исследовать и писать о темах, которые раньше не относились к области научных интересов ученых [21]. Датские ученые-гуманитарии признали, что полезно было понять, что «датские материалы могут представлять интерес для людей во всем мире, было хорошо вмешаться в международную дискуссию и считать себя частью этого» [6].
Использование смешанной методологии9 позволило доказать, что после RAE2001 (Research Assessment Exercise — название оценочного мероприятия) произошло сокращение неортодоксальных экономических исследований в элитных университетах, что было расценено как угроза качеству экономических исследований [3]. Впоследствии было обнаружено, что сокращение подходов в экономике не привело к сокращению качества исследований: в период RAE2001 — REF2014 не произошло снижения доли публикаций в ведущих журналах по экономике, но в области бизнеса доля публикаций в ведущих журналах росла быстрее за счет перехода ряда элитных подразделений из экономики в эту область [25].
Более низкая дисперсия импакт-фактора в публикациях, вышедших до оценки, позволила предположить, что оценки мотивируют выбор тем исследования, подходящих для краткосрочных проектов [12]. В элитных бухгалтерских дисциплинах стали преобладать
8 GläSer J, Laudel G. Evaluation Without Evaluators / eds by. R. Whitley, J. Gläser. In: The Changing Governance of the Sciences. Sociology of the Sciences Yearbook. Vol 26. Dordrecht: Springer, 2007. P. 127-151 (chapt. 6). DOI: https://doi.org/10.TO07/978-1-4020-6746-4_6
9 Под смешанными методами (mixed methods research) понимается исследовательская стратегия, в которой интегрируются качественные и количественных методы для решения широкого круга задач.
позитивистские исследовательские подходы, а непозитивистские исследования сократились во всех элитных бухгалтерских дисциплинах, кроме одной [19]. Актуальные в рамках REF социологические темы ориентированы на потребности элит (воздействие на элиты), а неактуальные связаны с оказанием воздействия на социально неблагополучные слои [8].
На момент подготовки настоящего обзора исследования о влиянии экспертной и гибридной оценок ограничены областью SSH (в т. ч. социология [8], экономика [3; 25], бухгалтерский учет [18—19; 21], история [4], педагогика [7; 18; 20; 23], юридические науки [10]). Косвенные доказательства влияния количественной оценки на выбор тем в естественных и технических науках демонстрирует опрос молодых ученых в университетах Юго-Восточной Азии, в ходе которого не было обнаружено дисциплинарных различий в реакции на требования оценок [14].
Таким образом, механизм влияния различается в зависимости от метода оценки и, вероятно, не зависит от дисциплинарных особенностей. Обобщение представленных выше работ позволило авторам утверждать, что влияние экспертной оценки проявляется в том, что ученые учитывают мнение экспертов при планировании исследования, а влияние количественной — в том, что ученые учитывают публикационные перспективы исследования (импакт-фактор, принадлежность журнала к белому списку, скорость публикации), перспективы цитирования и интересы международных журналов.
Стратегии избегания рисков, связанных с темой исследования
Под влиянием оценки ученые реализуют несколько стратегий избегания рисков, связанных с темой исследования.
1. Стремление избежать конфликта с научной элитой, входящей в состав оценочных комиссий, выражается в отказе от разработки неортодоксальных теорий и приводит к концентрации исследований на отдельных тематиках. Также выражается в предпочтении одних и тех же подходов, сужении программ исследований. Обратной стороной такого поведения является укрепление правящих в науке элит [4].
В Нидерландах координатор исследовательской программы наделен полномочиями решать, какие результаты соответствуют критериям оценки. «Эпистемическое влияние координаторов, в том числе способность подсчитывать публикации определенным образом, стало ценной карьерной целью в юридических науках. Некоторые фактически претендовали на эту должность, чтобы помешать коллегам с конкурирующими взглядами на юридическую науку (и, следовательно, конкурирующими методами подсчета) стать координаторами» [10].
«В Великобритании исследовательские интересы преподавателей экономических факультетов обычно охватывают более чем несколько классификационных кодов JEL (Journal of Economic Literature — классификационная система, изначально разработанная для этого журнала). Однако после RAE 1992 г. факультеты
осознали, что сосредоточение большей части своих исследований на четко определенных областях исследований было одним из компонентов для поддержания, а также повышения их рейтинга» [3, с. 705]. «Со временем маргинализированные группы экономистов и их профессиональная деятельность стали рассматриваться как антинаучные, антиэкономические, а значит, выходящие за рамки норм терпимости и приемлемости... REF стало средством, с помощью которого подавляются и устраняются потенциальные претенденты на господствующую экономическую теорию... Единое мышление экономистов из элиты и почти элиты, а также в большинстве департаментов Великобритании делает более вероятным, что важные экономические события, которые не соответствуют этому мышлению, упускаются из виду, например экономический кризис 2008 года» [3, с. 715].
Некоторые из британских ученых считают, что в рамках REF 2014 были определены исследовательские парадигмы и условия проведения исследований для конкретных дисциплин. В результате качественные исследования в маркетинге стали цениться ниже, чем количественные. Предпочтение стало отдаваться позитивистской методологии [13, с. 513]. Исследования в области образования в Великобритании под влиянием оценки продемонстрировали методологический дрейф в сторону количественных подходов и активизацию разработки проблемы «качества исследований в области образования» [29, с. 5]. Эти мнения подтверждаются результатами количественных исследований. От RAE2008 к REF2014 в социологии все сильнее поощрялось «.символически доминирующее, материально и символически хорошо обеспеченное исследование с количественным акцентом на здоровье, демографию и стереотипы против символически подавляемого качественного исследования с гомологией между обездоленными учеными и обездоленными социальными группами. Похоже, что, помимо объемов капитала, основное отличие теперь заключается в освещении количественных тем» [8, с. 21]. Среди статей, поданных на REF, увеличилась доля статей, посвященных темам, имеющим международное значение, и снизилась доля исследований региональной тематики, изучения стереотипов и абстрактных тем [8, с. 12—13]. Актуальные темы ориентированы на потребности элит, а неактуальные относятся к решению проблем неблагополучных слоев [8, с. 15]. Таким образом, REF подает сигнал о том, что стоит приспосабливать результаты исследований к интересам акторов, находящихся в сфере власти [8, с. 24].
В Австралии в состав панели по экономике преимущественно входят специалисты по теории бухгалтерского учета, известной своей позитивистской направленностью. Обнаруженное за годы применения оценок сужение программ исследований в этой области было расценено как демонстрация эффективности правящих элит из небольшого количества университетов в поддержании своего доминирования в исследовательской повестке и оценке качества исследований, а также в воспроизведении социального по-
рядка в академии посредством управления инструментами такого воспроизводства [19].
2. Стремление соответствовать формальным критериям оценки подталкивает к различным самоограничениям в зависимости от критерия. Требование проводить исследования, имеющие ценность для общества, побуждает ученых смещать программы от фундаментальных в сторону более прикладных исследований [17—18; 23]. Оценки могут подталкивать ученых к публикации в определенных источниках и жанрах, тем самым ограничивая их эпистемологический выбор требованиями источников и жанровыми особенностями произведения [13; 16]. Так, поиск вопроса, который даст «хорошую статью через год», является ключевой целью для многих исследователей» [5; 14]. В Дании «многие исследователи отметили, что давление с целью получения баллов BFI (Bibliometriske Forsknings Indikator, Research Publications Indicator — инструмент для подсчета публикаций и присвоения баллов) означало, что они с гораздо меньшей вероятностью проводили исследования, которые были «рискованными» с точки зрения темы или подхода, потому что статьи, которые были бесспорными, но высокого качества, скорее всего, быстрее проходили через процесс рецензирования» [9]. Перед дедлайном в год проведения очередного раунда оценки REF статьи публикуются в журналах с более низким импакт-фактором. Это может означать, что ученые меняют свои стратегии по выбору каналов публикации и тем исследования [12, с. 21]. По мере удаления от дедлайна увеличивается разнообразие импакт-факторов [12, с. 23]. Это предполагает, что оценки мотивируют выбор тем исследования, подходящих для краткосрочных проектов [12, с. 34].
Чтобы выполнить требования, связанные с учетом цитируемо-сти и публикациями в авторитетных журналах, ученые могут переключаться на новые подобласти исследований и отказываться от изучения локальных тем и работы в рамках национальных приоритетов [6; 11; 15; 33]. Например, один ученый сказал во время интервью: «[Мне] откровенно сказали, когда я впервые получил эту работу, заранее подумать о том, чтобы отказаться от написания статей об Австралии, потому что [мне] нужны международные публикации» [11]. Акцент на новизне оцениваемых работ подталкивает к отказу от репликативных исследований [20]. Стратегии глобализации исследовательских программ включают смещение в «универсальные» области, рассмотрение локальных случаев как средства понимания, проверки или разработки теоретической модели, рассмотрение местной истории для подтверждения или противопоставления с международной литературой [23].
От исследователей требуется постоянное перемещение к новаторским темам, что препятствует непрерывному углубленному исследованию некоторых проблем [34]. «Ориентация на "независимых исследователей", которые выдвигают "новаторские предложения, касающиеся новых и появляющихся областей исследований", — это следствие неолиберальных режимов управления исследованиями... ученым постоянно приходится находить баланс между инноваци-
ями, риском и необходимостью оставаться продуктивными и, следовательно, конкурентоспособными» [34]. Мексиканские экологи отказываются от исследований биологического и видового разнообразия и таксономических исследований, особенно в относительно малоизученных экосистемах и регионах, как из-за медленного темпа этой работы, так и из-за того, что требуемые результаты, как правило, представляют собой наборы данных и отчеты, а не рецензируемые материалы на иностранном языке [27, с. 7]. В Великобритании критерии оценок в социологии соответствовали темам, разрабатываемым крупными факультетами (например, Оксфордом). Прочие факультеты должны были выяснять, какие темы соответствуют одновременно интересам экспертов RAE/REF и редакторов влиятельных журналов, и адаптировать свои материалы [8, с. 23].
3. Стремление избежать поражения в конкурентной борьбе при сравнительных оценках может стать причиной смены темы исследований «либо из-за более быстрых конкурентов, либо из-за того, чтобы избежать участия в "крысиных бегах" и, таким образом, нацелиться на менее ожесточенные темы» [24]. В Австралии ученые сообщили о том, что прекратили заниматься целыми направлениями исследований, которые, по их мнению, могли бы не получить финансирование из-за того, что они «базовые» или «неактуальные». При подаче заявок на гранты выбирались прикладные и «модные» темы10. В Великобритании темы, посвященные социальным проблемам, все чаще передаются от доминирующих в REF отделов к менее успешным. Это можно интерпретировать как разделение труда в академической сфере. Отделы, у которых мало шансов получить финансирование от REF, возможно, стремятся получить гранты благотворительных организаций [8, с. 23]. На исторических факультетах «оценка, по-видимому, приводит к тому, что исследователи по большей части остаются в основных областях своей дисциплины, чтобы сохранить шансы на получение финансирования, в то время как специализированные или инновационные исследования — "богатое разнообразие исследований" (о котором говорится в REF 2012) — оно вряд ли может состояться» [4].
В Великобритании в 2001—2014 гг. введение оценки изменило соотношение научных публикаций по экономике или бизнесу, опубликованных в ведущих журналах. Рост публикаций в области бизнеса был стремительнее, чем в области экономики. Смена тематики может быть следствием переориентирования ряда университетов на менее конкурентную область. Это может быть отражением того, что экономика является более зрелой областью в Великобритании, что ограничивает возможности для улучшения элитных университетов, которые уже производили первоклассные экономические исследования в полном объеме, в то время как дальнейший рост все еще был возможен в области бизнеса [26].
Кроме того, чтобы уменьшить риск быть «опоздавшим», а так-
10 Gläser J., Laudel G. Evaluation Without Evaluators: the Impact of Funding Formulae on Australian University Research Dordrecht, the Netherlands: Springer, 2007. P. 127—151 (chapt. 6). DOI: https://doi.org/10.1007/978-1-4020-6746-4_6
же риск, присущий инновационным исследованиям, исследовательские усилия часто разделяются на несколько параллельных проектов. Для гарантированного отчета о том, как были потрачены деньги, проводятся более массовые исследования, а самые инновационные исследования часто остаются скрытыми, но они играют важную роль для внутренней мотивации и повышения новизны и креативности исследований [24]. Переход к новым областям, инвестирование в долгосрочные исследования с небольшой краткосрочной отдачей становятся все более рискованным предприятием. Однако исследовательские группы реализуют рискованные исследовательские проекты параллельно с основными направлениями, отчасти из-за надежды в случае успеха укрепить свою репутацию, оказаться в авангарде конкуренции в своей области и внести значительный вклад в свое исследовательское поле. Исследовательские группы используют несколько стратегий, чтобы компенсировать возникающую напряженность. Например, одновременное проведение как основных, так и рискованных исследований или диверсификацию старших и младших сотрудников между основными и рискованными темами.11
Таким образом, оценка служит стимулом к самоограничению учеными своей исследовательской свободы. В результате таких способов избегания рисков увеличивается единообразие подходов к исследованиям, к разработке исследовательских программ, выбору тематик.
Возможности для сохранения исследовательской свободы
Есть основания полагать, что влияние оценки на исследовательскую повестку университетов не всегда приводит к изменению исследований, т. к. отдельно взятые ученые часто находят возможности для сохранения своей академической свободы. Они могут воспользоваться слабостью административной системы [17], наличием в окружающей среде альтернативных факторов, влияющих на программы исследования [32], наличием у ученого авторитета и постоянной должности, избавляющей от необходимости участвовать в оценочных мероприятиях [13; 35], изначальной включенностью темы исследования в мировые тенденции [26].
По результатам интервью с руководителями исследовательских групп основным фактором, влияющим на выбор темы, является уровень научных разработок в отрасли и результаты обсуждения с коллегами. Финансирование также было важным фактором, но его роль варьировалась в зависимости от области исследований. Финансирование сильнее влияет на содержание исследований, чем на выбор их темы [36].
В условиях несогласованных стимулов, поступающих не только
11 Enders J., Kehm B. M., Schimank U. Turning Universities into Actors on Quasi-markets: How New Public Management Reforms Affect Academic Research Higher Education Dynamics. Cham: Springer International Publishing, 2015. P. 89—103. DOI: https://doi. org/10.1007/978-3-319-09677-3_5
из исследовательской сферы, но также из сфер преподавания, университетской политики, взаимодействия с обществом, профессора пользуются большой степенью свободы и дают разнообразные, иногда противоречивые, ответы на оценочные требования [17].
Возникновение эффекта утраты исследовательской свободы и его восприятие как положительного или отрицательного зависит от характеристик объекта оценки (отдельного исследователя или исследовательской группы). Давление оценки не обязательно приведет к тому, что исследователи лишатся академической свободы и начнут достигать навязанные извне цели в ущерб своим собственным. Достаточно авторитетные старшие ученые могут позволить себе занять позицию несоблюдения требований оценки в части выбора тем исследований [13]. Некоторые исследовательские группы находят способы сохранить свободу при выборе темы исследования: «Люди постоянно сообщают, что они пользуются гибкостью в следовании своим личным интересам, когда дело доходит до тем исследований.» Предполагаемую свободу заниматься конкретными исследовательскими темами можно объяснить мнением одного из участников: «.университет понятия не имеет, о чем я пишу. Им все равно. Все, о чем они заботятся, это чтобы вы получили штамп на лицевой стороне с надписью [престижное издательство]» [11].
Существуют различные стратегии, которые позволяют согласовать индивидуальные тематические предпочтения с требованиями научных политик. Например, поверхностный «ребрендинг» (переформулировка) темы. В областях с многочисленными возможностями финансирования у исследователей может быть более широкое «пространство для переговоров», чем в областях, где финансирование в большей степени основано на «лотерее». В последнем случае переговорное пространство исследователей узкое и зависит от результатов решений спонсоров [36]. В Гонконге, несмотря на то, что оценка «диктовала» направления деятельности для университетов, на индивидуальном уровне ученые находили способы обойти требования RAE и сохранить целостность своих исследований [20].
Болезненное восприятие утраты автономии склонно ослабевать с течением времени. Вызывающие поначалу резкое неприятие оценочные требования со временем интернализуются учеными и перестают восприниматься ими как внешние, т. е. происходит сближение автономии и гетерономии в академическом дискурсе [37]. Определяющая роль объекта оценки в возникновении эффекта ограничения академической свободы иллюстрируется тем, что одни воспринимают оценку как возможность продемонстрировать свои достижения, в то время как для других она является раздражителем, ограничивающим их академическую свободу [21].
«На самом деле творческие начинания с высоким уровнем новизны сводятся на нет нехваткой экономического капитала и символических ресурсов (особенно в том, что касается возможности устанавливать стандарты "хороших" и "плохих" исследований)» [8, p. 23].
Таким образом, в условиях оценки от ученых требуются допол-
нительные усилия по изысканию возможностей для сохранения исследовательской свободы, чему обычно способствует наличие в окружающей среде факторов, противодействующих оценке, и профессионализм самих исследователей.
Заключение / Conclusion
В исследованиях влияния систем оценки научной результативности на академические свободы применялись в основном качественные методы, полученные в ходе интервью, наблюдений и анализа документов, хотя в последние годы наблюдается развитие количественных методов в этой области. В фокусе внимания подобных работ обычно находится воздействие оценки на производство знаний, публикационные практики и выбор тематики. Доказательства основаны главным образом на сравнительных методах, но результаты могут быть ограничены выборкой и методологией. В целом можно сказать, что, хотя и существует ряд доказательств влияния оценки на академические свободы, многие аспекты этой проблемы требуют дополнительного изучения.
Проведенный обзор литературы позволяет говорить о том, что давление систем оценки на исследовательские университеты и ученых становится все более ощутимым. Это, в свою очередь, порождает разнообразные ответные реакции ученых, оказывая влияние на их исследовательскую активность, мотивацию и стратегии поведения.
Отмечается, что организации с высокой научной репутацией нередко сами определяют стандарты оценки в своем дисциплинарном поле, тогда как менее авторитетные научные учреждения в большей степени подвержены воздействию оценок. Кроме того, механизмы влияния экспертной и количественной оценок отличаются. Влияние экспертной оценки проявляется в том, что оцениваемые ученые при проведении своих исследований переходят на эпистемологические позиции экспертов. Влияние количественной — в том, что ученые руководствуются публикационными перспективами при разработке программ исследований.
Как показывает анализ, оценка может стать драйвером изменений в научной деятельности, усиливая концентрацию ресурсов в определенных областях и направляя исследования в те сферы, которые соответствуют требованиям и критериям оценки. В то же время это нередко приводит к сужению исследовательской повестки и росту консервативности при выборе исследовательских тем. При этом мотивация ученых может изменяться под воздействием внешних факторов, усиливая их стремление конкурировать за ресурсы и увеличивать публикационные показатели.
В некоторых случаях исследователи адаптируются к новым требованиям и находят возможности для сохранения своей исследовательской свободы. Так, авторитетные ученые, используя свой статус и репутацию, могут позволить себе отклоняться от формальных требований, сохраняя при этом свою академическую свобо-
ду. Нередки случаи поверхностного «ребрендинга» исследования и других стратегий, которые позволяют согласовать свои интересы с требованиями системы оценки, обходя ее ограничения или адаптируясь к ним.
Таким образом, система оценки играет комплексную роль в академическом мире. Она указывает, какие темы считаются актуальными, подходы — перспективными, исследования — высококачественными. С одной стороны, это может стимулировать исследования, расставляя приоритеты и улучшая качество научной работы. А с другой — порождает ряд проблем, связанных с ограничением исследовательской свободы, сужением научной повестки и деструктивными изменениями мотивации ученых.
Поэтому для обеспечения устойчивого развития науки необходим сбалансированный подход к системам оценки, который будет поддерживать исследовательскую свободу, учитывать дисциплинарные особенности и предотвращать возможные риски. Это возможно за счет сочетания экспертной и количественной оценки, а также фокусирования внимания на долгосрочном влиянии исследований, а не только на краткосрочных публикационных результатах. Важно обеспечить адекватное финансирование и поддержку разнообразных исследовательских направлений, тем самым избегая чрезмерного упора на узкие приоритетные области, что может ограничивать широту научного исследования и вести к однообразию в научных открытиях. Также крайне важно включать в оценочные процедуры механизмы для поощрения рискованных, инновационных исследований, которые могут привести к значительным научным прорывам.
Список использованных источников
1. Evaluation Practices and Effects of Indicator use — a Literature Review / S. De Rijcke [et al.] // Research Evaluation. 2016. Vol. 25, issue 2. P. 161—169. DOI: https://doi.org/10.1093/reseval/rvv038
2. Changing Research on Research Evaluation: a Critical Literature Review to Revisit the Agenda / D. A. Thomas [et al.] // Research Evaluation. 2020. Vol. 29, issue 3. P. 275—288. DOI: https://doi.org/10.1093/reseval/ rvaa008
3. Lee F. S., Pham X., Gu G. The UK Research Assessment Exercise and the narrowing of UK economics // Cambridge Journal of Economics. 2013. Vol. 37, issue 4. 693—717. DOI: https://doi.org/10.1093/cje/bet031
4. Hamann J. The Visible Hand of Research Performance Assessment // Higher Education. 2016. Vol. 72, No. 6. P. 761—779. DOI: https://doi.org/10.1007/s10734-015-9974-7
5. Müller R., Rijcke S. de Thinking with indicators. Exploring the epistemic impacts of academic performance indicators in the life sciences // Research Evaluation. 2017. Vol. 26, issue 3. 157—168. DOI: https://doi.org/10.1093/reseval/rvx023
6. Rowlands J., Wright S. The Role of Bibliometric Research
Assessment in a Global Order of Epistemic Injustice: a Case Study of Humanities Research in Denmark // Critical Studies in Education. 2022. Vol. 63, issue 5. P. 572-588. DOI: https://doi.org/10.1080/17508487.2 020.1792523
7. Saltmarsh S., Sutherland-Smith W., Randell-Moon H. 'Inspired and Assisted', or 'Berated and Destroyed'? Research Leadership, Management and Performativity in Troubled Times // Ethics and Education. 2011. Vol. 6, issue 3. P. 293-306. DOI: https://doi.org/10.108 0/17449642.2011.632722
8. Wieczorek O., Münch R., Schubert D. All Power to the Reviewers: British Sociology Under Two-Level Supervision of the Research Excellence Framework // Social Science Information. 2023. Vol. 61, issue 4. P. 481-528. DOI: https://doi.org/10.1177/05390184231158210
9. Rowlands J., Wright S. Hunting for Points: the Effects of Research Assessment on Research Practice // Studies in Higher Education. 2021. Vol.46, issue 9. P. 1801-1815. DOI: https://doi.org/10.1080/03075079.2 019.1706077
10. Kaltenbrunner W., de Rijcke S. Quantifying 'Output' for Evaluation: Administrative Knowledge Politics and Changing Epistemic Cultures in Dutch Law Faculties // Science and Public Policy. 2017. Vol. 44, issue 2. P. 284-293. DOI: https://doi.org/10.1093/scipol/scw064
11. Mrva-Montoya A., Luca E. J. Book Publishing in the Humanities and Social Sciences in Australia, Part One: Understanding Institutional Pressures and the Funding Context // Journal of Scholarly Publishing. 2021. Vol. 52, issue 2. P. 67-87. DOI: https://doi.org/10.3138/jsp.52.2.01
12. Short-term incentives of research evaluations: Evidence from the UK Research Excellence Framework / M. Groen-Xu [et al.] // Research Policy. 2023. Vol. 52, issue 6. P. 104729. DOI: https://doi.org/10.1016/j. respol.2023.104729
13. Mcculloch S. Hobson's Choice: the Effects of Research Evaluation on Academics' Writing Practices in England // Aslib Journal of Information Management. 2017. Vol. 69, No. 5. P. 503-515. DOI: https:// doi.org/10.1108/AJIM-12-2016-0216
14. Horta H., Li H. Nothing But Publishing: the Overriding Goal of PhD Students in Mainland China, Hong Kong, and Macau // Studies in Higher Education. 2023. Vol. 48, issue 2. P. 263-282. DOI: https://doi.org/10.1 080/03075079.2022.2131764
15. Gao X., Zheng Y. 'Heavy Mountains' for Chinese Humanities and Social Science Academics in the Quest for World-Class Universities // Compare. 2020. Vol. 50, issue 4. P. 554-572. DOI: https://doi.org/10.10 80/03057925.2018.1538770
16. Northcott D., Linacre S. Producing Spaces for Academic Discourse: The Impact of Research Assessment Exercises and Journal Quality Rankings // Australian Accounting Review. 2010. Vol. 20, issue 1. P. 3854. DOI: https://doi.org/10.1111/j.1835-2561.2010.00079.x
17. Reale E., Seeber M. Organisation Response to Institutional Pressures in Higher Education: the Important Role of the Disciplines // Higher Education. 2011. Vol. 61, No. 1. P. 1-22. DOI: https://doi.org/10.1007/
s10734-010-9322-x
18. How Does Research Evaluation Impact Educational Research? Exploring Intended and Unintended Consequences of Research Assessment in the United Kingdom, 1986--2014 / M. Marques [et al.] // European Educational Research Journal. 2017. Vol. 16, issue 6. P. 820 842. DOI: https://doi.org/10.1177/1474904117730159
19. Impact of Research Assessment Exercises on Research Approaches and Foci of Accounting Disciplines in Australia / B. T. O'Connell [et al.] // Accounting, Auditing & Accountability Journal. 2020. Vol. 33, No. 6. P. 1277-1302. DOI: https://doi.org/10.1108/AAAJ-12-2019-4293
20. Li D., Li Y. Masked Resistance in Neoliberal Academia: Academics' Responses to the Research Assessment Exercise 2020 in Hong Kong // Higher Education Policy. 2023. No. 36. P. 270-288. DOI: https://doi. org/10.1057/s41307-021-00255-9
21. The Spectacle of Research Assessment Systems: Insights from New Zealand and the United Kingdom / B. Chatterjee [et al.] // Accounting, Auditing & Accountability Journal. 2020. Vol. 33, issue 6. P. 1219-1246. DOI: https://doi.org/10.1108/AAAJ-01-2019-3865
22. Linkova M. Unable to Resist: Researchers' Responses to Research Assessment in the Czech Republic // Human Affairs. 2014. Vol. 24, issue 1. P. 78-88. DOI: https://doi.org/10.2478/s13374-014-0207-z
23. Li D., Li Y. Preparing for RAE 2020 in Hong Kong: Academics' Research, Writing and Publishing Trajectories in a Neoliberal Governance Landscape // Studies in Higher Education. 2022. Vol. 47, issue 7. P. 1410-1422. DOI: https://doi.org/10.1080/03075079.2021.19 01272
24. Hangel N., Schmidt-Pfister D. Why do You Publish? On the Tensions Between Generating Scientific Knowledge and Publication Pressure // Aslib Journal of Information Management. 2017. Vol. 69, issue 5. P. 529-544. DOI: https://doi.org/10.1108/AJIM-01-2017-0019
25. Performance-based research funding: Evidence from the largest natural experiment worldwide / A. Banal-Estanol [et al.] // Research Policy. 2023. Vol. 52, issue 6. DOI: https://doi.org/10.1016/j. respol.2023.104780
26. Buehling K. Changing Research Topic Trends as an Effect of Publication Rankings - The Case of German Economists and the Handelsblatt Ranking // Journal of Informetrics. 2021. Vol. 15, issue 3. DOI: https://doi.org/10.1016/jjoi.2021.101199
27. Neff M. W. Publication Incentives Undermine the Utility of Science: Ecological Research in Mexico // Science and Public Policy. 2018. Vol. 45, issue 2. P. 191-201. DOI: https://doi.org/10.1093/ scipol/scx054
28. Williams T., Morrone J. J. Science is Strengthened by Mexico's Researcher Evaluation System: Factual Errors and Misleading Claims by Neff // Science and Public Policy. 2018. Vol. 45, Issue 5. P. 742-745. DOI: https://doi.org/https://doi.org/10.1093/scipol/scy004
29. Marques M. How do Policy Instruments Generate New Ones? Analysing Policy Instruments Feedback and Interaction in Educational Research in England, 1986-2014 // Research Policy.
2021. Vol. 50, issue 10. P. 104367. DOI: https://doi.org/10.1016/ j.respol.2021.104367
30. Holligan C. Feudalism and academia: UK academics' accounts of research culture // International Journal of Qualitative Studies in Education. 2011. Vol. 24, issue 1. P. 55-75. DOI: https://doi.org/10.1080 /09518398.2010.485134
31. AlMubarak S. H. Promoting Internationally Visible Researchers through Research Performance Policies: The Case of a Saudi University // Higher Education Policy. 2021. Vol. 34, issue 4. P. 10271048. DOI: https://doi.org/10.1057/s41307-020-00188-9
32. Bianco M., Gras N., Sutz J. Academic Evaluation: Universal Instrument? Tool for Development? // Minerva. 2016. Vol. 54, issue 4. P. 399-421. DOI: https://doi.org/10.1007/s11024-016-9306-9
33. Neff M. W. Williams and Morrone Misunderstand and Inadvertently Support My Argument: Mexico's SNI Systematically Steers Ecological Research // Science and Public Policy. 2019. Vol. 46, issue 1. P. 154—158. DOI: https://doi.org/10.1093/scipol/scy031
34. Falkenberg R. I. Re-invent Yourself! How Demands for Innovativeness Reshape Epistemic Practices // Minerva. 2021. Vol. 59, issue 4. P. 423—444. DOI: https://doi.org/10.1007/s11024-021-09447-4
35. Li J. The Global Ranking Regime and the Reconfiguration of Higher Education: Comparative Case Studies on Research Assessment Exercises in China, Hong Kong, and Japan // Higher Education Policy. 2016. Vol. 29, issue 4. P. 473—493. DOI: https://doi.org/10.1057/s41307-016-0015-7
36. Luukkonen T., Thomas D. A. The 'Negotiated Space' of University Researchers' Pursuit of a Research Agenda // Minerva. 2016. Vol. 54, issue 1. P. 99—127. DOI: https://doi.org/10.1007/s11024-016-9291-z
37. Krawczyk S., Szadkowski K., Kulczycki E. Identifying Top Researchers in Highly Metricized Academia: Two Discursive Strategies of Senior Officials in Poland // Discourse: Studies in the Cultural Politics of Education. 2021. Vol. 44, issue 2. P. 269—280. DOI: https://doi.org/1 0.1080/01596306.2021.1993792
Информация об авторах
Лакизо Ирина Геласиевна, кандидат педагогических наук, научный сотрудник лаборатории наукометрии и научных коммуникаций, Российский научно-исследовательский институт экономики, политики и права в научно-технической сфере (127254, Россия, г. Москва, ул. Добролюбова, д. 20А), ORCID: https://orcid.org/0000-0003-2594-1475, 1440@list.ru
Гуськов Андрей Евгеньевич, кандидат технических наук, заведующий лабораторией наукометрии и научных коммуникаций, Российский научно-исследовательский институт экономики, политики и права в научно-технической сфере (127254, Россия, г. Москва, ул. Добролюбова, д. 20А), ORCID: https://orcid.org/0000-0002-1028-9958, guskov.andrey@gmail.com
Заявленный вклад соавторов
Лакизо И. Г. — подготовка текста статьи, формирование результатов исследования; Гуськов А. Е. — постановка научной проблемы; научное руководство, подготовка текста статьи, формирование результатов исследования, формулирование выводов.
References
1. De Rijcke S, Wouters PF, Rushforth AD, Franssen TP, Hammarfelt B. Evaluation Practices and Effects of Indicator Use — a Literature Review. Research Evaluation. 2016;25(2):161-169. DOI: https://doi.org/10.1093/ reseval/rvv038
2. Thomas DA, Nedeva M, Tirado MM, Jacob M. Changing Research on Research Evaluation: a Critical Literature Review to Revisit the Agenda. Research Evaluation. 2020;29(3):275-288. DOI: https://doi.org/10.1093/ reseval/rvaa008
3. Lee FS, Pham X, Gu G. The UK Research Assessment Exercise and the Narrowing of UK Economics. Cambridge Journal of Economics. 2013;37(4):693-717. DOI: https://doi.org/10.1093/cje/bet031
4. Hamann J. The Visible Hand of Research Performance Assessment. Higher Education. 2016;72(6):761-779. DOI: https://doi.org/10.1007/ s10734-015-9974-7
5. Müller R, de Rijcke S. Thinking with Indicators. Exploring the Epistemic Impacts of Academic Performance Indicators in the Life Sciences. Research Evaluation. 2017;26(3):157-168. DOI: https://doi. org/10.1093/reseval/ rvx023
6. Rowlands J, Wright S. The Role of Bibliometric Research Assessment in a Global Order of Epistemic Injustice: a Case Study of Humanities Research in Denmark. Critical Studies in Education. 2022;63(5):572-588. DOI: https://doi.org/10.1080/17508487.2020.1792523
7. Saltmarsh S, Sutherland-Smith W, Randell-Moon H. 'Inspired and Assisted', or 'Berated and Destroyed'? Research Leadership, Management and Performativity in Troubled Times. Ethics and Education. 2011;6(3):293-306. DOI: https://doi.org/10.1080/17449642 .2011.632722
8. Wieczorek O, Münch R, Schubert D. All Power to the Reviewers: British Sociology Under Two-Level Supervision of the Research Excellence Framework. Social Science Information. 2023;61(4):481-528. DOI: https://doi.org/10.1177/05390184231158210
9. Rowlands J, Wright S. Hunting for Points: the Effects of Research Assessment on Research Practice. Studies in Higher Education. 2021;46(9):1801-1815. DOI: https://doi.org/10.1080/03075079.2019. 1706077
10. Kaltenbrunner W, de Rijcke S. Quantifying 'Output' for Evaluation: Administrative Knowledge Politics and Changing Epistemic Cultures in Dutch Law Faculties. Science and Public Policy. 2017;44(2):284-293. DOI: https://doi.org/10.1093/scipol/scw064
11. Mrva-Montoya A, Luca EJ. Book Publishing in the Humanities and Social Sciences in Australia, Part One: Understanding Institutional Pressures and the Funding Context. Journal of Scholarly Publishing.
2021;52(2):67-87. DOI: https://doi.org/10.3138/jsp.52.2.01
12. Groen-Xu M, Bös G, Teixeira PA, Voigt T, Knapp B. Short-Term Incentives of Research Evaluations: Evidence from The UK Research Excellence Framework. Research Excellence Framework. 2023;52(6):1 04729. DOI: https://doi.org/10.1016/j.respol.2023.104729
13. Mcculloch S. Hobson's Choice: the Effects of Research Evaluation on Academics' Writing Practices in England. Aslib Journal of Information Management. 2017;69(5):503-515. DOI: https://doi.org/10.1108/AJIM-12-2016-0216
14. Horta H, Li H. Nothing but Publishing: the Overriding Goal of PhD Students in Mainland China, Hong Kong, And Macau. Studies in Higher Education. 2023;48(2):263-282. DOI: https://doi.org/10.1080/0 3075079.2022.2131764
15. Gao X, Zheng Y. 'Heavy Mountains' for Chinese Humanities and Social Science Academics in The Quest for World-Class Universities. Compare. 2020;50(4):554-572. DOI: https://doi.org/10.1080/03057925 .2018.1538770
16. Northcott D, Linacre S. Producing Spaces for Academic Discourse: The Impact of Research Assessment Exercises and Journal Quality Rankings. Australian Accounting Review. 2010;20(1):38-54. DOI: https:// doi.org/10.1111/j.1835-2561.2010.00079.x
17. Reale E, Seeber M. Organisation Response to Institutional Pressures in Higher Education: the Important Role of the Disciplines. Higher Education. 2011;61(1):1-22. DOI: https://doi.org/10.1007/s10734-010-9322-x
18. Marques M, Powell JJ, Zapp M, Biesta G. How Does Research Evaluation Impact Educational Research? Exploring Intended and Unintended Consequences of Research Assessment in the United Kingdom, 1986-2014. European Educational Research Journal. 2017;16(6):820-842. DOI: https://doi.org/10.1177/1474904117730159
19. O'Connell BT, De Lange P, Stoner G, Sangster A. Impact of Research Assessment Exercises on Research Approaches and Foci of Accounting Disciplines in Australia. Accounting, Auditing & Accountability Journal. 2020;33(6):1277-1302. DOI: https://doi.org/10.1108/AAAJ-12-2019-4293
20. Li D, Li Y. Masked Resistance in Neoliberal Academia: Academics' Responses to the Research Assessment Exercise 2020 in Hong Kong. Higher Education Policy. 2023;36:270-288. DOI: https://doi.org/10.1057/ s41307-021-00255-9
21. Chatterjee B, Cordery CJ, De Loo I, Letiche H. The Spectacle of Research Assessment Systems: Insights from New Zealand and the United Kingdom. Accounting, Auditing & Accountability Journal. 2020;33(6):1219-1246. DOI: https://doi.org/10.1108/AAAJ-01-2019-3865
22. Linkova M. Unable to Resist: Researchers' Responses to Research Assessment in the Czech Republic. Human Affairs. 2014;24(1):78-88. DOI: https://doi.org/10.2478/s13374-014-0207-z
23. Li D, Li Y. Preparing for RAE 2020 in Hong Kong: Academics' Research, Writing and Publishing Trajectories in a Neoliberal Governance Landscape. Studies in Higher Education. 2022;47(7):1410-1422. DOI: https://doi.org/10.1080/03075079.2021.1901272
24. Hangel N, Schmidt-Pfister D. Why Do You Publish? On the Tensions Between Generating Scientific Knowledge and Publication Pressure. Aslib Journal of Information Management. 2017;69(5):529-544. DOI: https://doi.org/10.1108/AJIM-01-2017-0019
25. Banal-Estanol A, Jofre-Bonet M, lori G, Maynou L, Tumminello M, Vassallo P. Performance-Based Research Funding: Evidence from the Largest Natural Experiment Worldwide. Research Policy. 2023;52(6). DOI: https://doi.org/10.1016/j.respol.2023.104780
26. Buehling K. Changing Research Topic Trends as an Effect of Publication Rankings — the Case of German Economists and the Handelsblatt Ranking. Journal of Informetrics. 2021;15(3). DOI: https:// doi.org/10.1016/j.joi.2021.101199
27. Neff MW. Publication Incentives Undermine the Utility of Science: Ecological Research in Mexico. Science and Public Policy. 2018;45(2):191-201. DOI: https://doi.org/10.1093/scipol/scx054
28. Williams T, Morrone JJ. Science is Strengthened by Mexico's Researcher Evaluation System: Factual Errors and Misleading Claims by Neff. Science and Public Policy. 2018;45(5):742-745. DOI: https://doi. org/10.1093/scipol/scy004
29. Marques M. How Do Policy Instruments Generate New Ones? Analysing Policy Instruments Feedback and Interaction in Educational Research in England, 1986—2014. Research Policy. 2021;50(10):104367. DOI: https://doi.org/10.1016Zj.respol.2021.104367
30. Holligan C. Feudalism and Academia: UK Academics' Accounts of Research Culture. International Journal of Qualitative Studies in Education. 2011;24(1):55-75. DOI: https://doi.org/10.1080/09518398.201 0.485134
31. Almubarak SH. Promoting Internationally Visible Researchers Through Research Performance Policies: The Case of a Saudi University. Higher Education Policy. 2021;34(4):1027-1048. DOI: https://doi. org/10.1057/s41307-020-00188-9
32. Bianco M, Gras N, Sutz J. Academic Evaluation: Universal Instrument? Tool for Development? Minerva. 2016;54(4):399-421. DOI: https://doi.org/10.1007/s11024-016-9306-9
33. Neff MW. Williams and Morrone Misunderstand and Inadvertently Support My Argument: Mexico's SNI Systematically Steers Ecological Research. Science and Public Policy. 2019;46(1):154-158. DOI: https:// doi.org/10.1093/scipol/scy031
34. Falkenberg RI. Re-Invent Yourself! How Demands for Innovativeness Reshape Epistemic Practices. Minerva. 2021;59(4):423-444. DOI: https://doi.org/10.1007/s11024-021-09447-4
35. Li J. The Global Ranking Regime and the Reconfiguration of Higher Education: Comparative Case Studies on Research Assessment Exercises in China, Hong Kong, and Japan. Higher Education Policy. 2016;29(4):473-493. DOI: https://doi.org/10.1057/s41307-016-0015-7
36. Luukkonen T, Thomas DA. The 'Negotiated Space' of University Researchers' Pursuit of a Research Agenda. Minerva. 2016;54(1):99-127. DOI: https://doi.org/10.1007/s11024-016-9291-z
37. Krawczyk S, Szadkowski K, Kulczycki E. Identifying Top Researchers in Highly Metricized Academia: Two Discursive Strategies of Senior Officials in Poland. Discourse: Studies in the Cultural Politics of Education. 2021;44(2):269-280. DOI: https://doi.org/10.1080/01596306 .2021.1993792
Information about the authors Irina G. Lakizo, Cand.Sci. (Pedagogy), Researcher of the Laboratory of Scientometrics and Scientific Communications, Russian Research Institute of Economics, Politics and Law in Science and Technology (20A Dobrolyubova St., Moscow 127254, Russia), ORCID: https://orcid. org/00 00-0003-2594-1475, 1440@list.ru
Andrey E. Guskov, Cand.Sci. (Technology), Head of the Laboratory of Scientometrics and Scientific Communications, Russian Research Institute of Economics, Politics and Law in Science and Technology (20A Dobrolyubova St., Moscow 127254, Russia), ORCID: https://orcid. org/0000-0002-1028-9958, guskov.andrey@gmail.com
Contribution of the authors I. G. Lakizo — preparation of the text, formation of research results; A. E. Guskov — defining the scientific problem; scientific supervision, preparation of the text, formation of research results, formulation of conclusions.
Авторы заявляют об отсутствии конфликта интересов. The authors declare no conflict of interests.
Поступила 20.11.2023 Одобрена 11.12.2023 Принята 16.01.2024
Submitted 20.11.2023 Approved 11.12.2023 Accepted 16.01.2024
