CC BY
154ISSN 1999-6640 (print) ISSN 1999-6659 (online)
DOI 10.15826/umpa.2019.04.025
УПРАВЛЕНИЕ ИССЛЕДОВАНИЯМИ MANAGING RESEARCHES
http://umj.ru
СИСТЕМА ОЦЕНКИ КАЧЕСТВА НАУЧНЫХ ИССЛЕДОВАНИЙ
В СТРАНАХ ЕВРОПЫ
И. В. Кириченко, Н. В. Шелюбская
Национальный исследовательский институт мировой экономики и международных отношений им. Е. М. Примакова Российской академии наук Россия, 117997, Москва, ул. Профсоюзная, 23; [email protected]
Аннотация. Статья представляет собой кейсы, раскрывающие опыт разработки и практики применения систем оценки качества и эффективности научных исследований университетских и других центров фундаментальной науки Великобритании, Нидерландов и Финляндии. Цель статьи - показать основные подходы к организации и методам оценки результативности научно-исследовательских работ в странах Западной Европы с высоким научным потенциалом на фоне развернувшейся дискуссии о роли количественных и экспертных методов при анализе отдачи в научной сфере. В работе применены описательный, исторический и сравнительный методы исследования. Определено, что оценки качества и состояния научных исследований в выбранной группе стран по большей части опираются на понимание сложности и неоднозначности научного поиска, следовательно, и того, что оценка эффективности исследований должна быть многоаспектной и комплексной, основываться как на экспертных, качественных оценках, так и на количественных (наукометрических и библиометрических) показателях, причем последние не должны быть доминирующими, а должны служить подспорьем для вынесения экспертного суждения. Новизна статьи состоит в детальном и более полном, по сравнению с аналогичными работами, анализе систем и критериев оценки качества исследований, факторов, лежащих в основе их эволюции в трех европейских странах с высокоразвитыми национальными научными системами. Показано становление современных систем оценки в соответствии с потребностями развития научного потенциала и необходимостью укрепления его конкурентоспособности на мировой арене. Это позволило сделать обоснованные выводы о сущностных общих чертах систем оценок и их адаптации к национальным особенностям, сформулировать рекомендации по использованию опыта западноевропейских стран для совершенствования практики оценки научно-исследовательской деятельности в университетах и НИИ России. Результаты работы также могут представлять интерес для научных работников, преподавателей вузов, аспирантов, студентов и всех интересующихся актуальными вопросами развития науковедения.
Ключевые слова: методы оценки, качество исследований, результативность, библиометрия, экспертиза Для цитирования: Кириченко И. В., Шелюбская Н. В. Система оценки качества научных исследований в странах Европы. Университетское управление: практика и анализ. 2019; 23(4): 9-20. Б01: 10.15826/итра.2019.04.025
DOI 10.15826/umpa.2019.04.025
EVALUATION METHODS FOR R&D IN EUROPEAN COUNTRIES
I. V. Kirichenko, N. V. Shelyubskaya
Primakov National Research Institute of World Economy and International Relations, Russian Academy of Sciences 23 Profsouznaya str., Moscow, 117997, Russian Federation; [email protected]
Abstract. The paper is a case study of the experience of developing and using systems for evaluating the quality and effectiveness of scientific research within British, Dutch and Finnish universities and other fundamental scientific centers.
The article aims at showing key organizational and methodical approaches for assessing the effectiveness of research in Western European countries against the background of the ensuing discussion about the role of quantitative and peer review methods in analyzing research results. Descriptive, historical and comparative methods are used. The assessments of quality and the state of research in the selected group of countries are found to be based mainly on the complexity and ambiguity of scientific pursuit and, consequently, on understanding that the evaluation of research effectiveness should be multidimensional and complex, that it should rest on expert quality assessment and quantitative (scientometric and bibliometric) indicators, the latter not to be dominant, but to serve as an advantage to expert judgment. The article gives new detailed and more complete (than the analogical works) analysis of the systems and criteria for assessing the quality of research together with the factors underlying their evolution in the three European countries with highly developed national scientific systems. There is shown the formation of modern evaluation systems in accordance with the needs for the development of scientific potential and with the need to strengthen its competitiveness on the international arena. This made it possible to draw valid conclusions about the essential general features of the assessment systems and about their adaptation to national characteristics, and to formulate recommendations on using the experience of Western European countries to improve the practice of evaluating research activities in Russian universities and research institutes. The results of the work may as well be of interest to researchers, university professors, postgraduates, students, and also to all those interested in topical issues of developing the science of science. Keywords: evaluation methods, R&D quality, effectiveness, bibliometrics, peer review
For citation: Kirichenko I. V., Shelyubskaya N. V. Evaluation Methods for R&D in European Countries. University Management: Practice and Analysis. 2019; 23(4): 9-20. (In Russ.). DOI: 10.15826/umpa.2019.04.025
Введение
Необходимость оценивать качество и эффективность осуществляемых при поддержке государства научных исследований, прежде всего фундаментальных (академических), общепризнанна, поскольку речь идет об эффективности затрат государственного бюджета на развитие потенциала фундаментальной науки, стимулировании высококачественных исследований, нацеленных на исполнение запросов субъектов экономики и решение социально-экономических задач. Вопрос состоит в том, какие подходы к оценке наиболее адекватно и объективно отражают картину, сложившуюся в научном секторе. Дискуссия об этом широко развернулась в последнее десятилетие. В ее рамках наибольшую известность приобрела Сан-Францисская Декларация по оценке исследований (The San Francisco Declaration on Research Assessment (DORA) [1], в которой в 2012 г. научная общественность выступила против использования импакт-фактора журналов в процессе финансирования, найма и продвижения в научной карьере, а также выступила за более совершенную систему оценки, лучше отражающую специфику науки как сферы человеческой деятельности. К 2019 г. Декларацию подписали 1366 организаций и 14 284 человек. Лейденский Манифест (The Leiden Manifesto), опубликованный в 2015 г. группой ведущих на-укометриков [2], обозначил 10 принципов использования количественных индикаторов. Движение «Преобразование науки» (Science in Transition), основанное учеными Нидерландов в 2013 г. [3],
нацелено на решение проблем, связанных с использованием наукометрических индикаторов в университетах. В 2015 г. появился доклад «Приливная волна индикаторов» (The Metric Tide) [4], подготовленный независимыми экспертами, касающийся роли индикаторов в системе оценки Великобритании. В 2016 г. группа экспертов Еврокомиссии с использованием вышеперечисленных документов подготовила доклад о месте библиометрических показателей в «открытой науке» [5]. Лейтмотив данных инициатив - расширение качественной оценки научных исследований и сокращение роли библиометрических показателей. Формы оценки государственного финансирования университетов рассматриваются также в работах европейских исследователей [6, 7].
В России в связи с организационными реформами научной сферы вопрос о том, что следует учитывать, как организовывать оценку качества научных исследований, также встал очень остро и активно обсуждался в литературе [8-10]. В своих статьях авторы, как правило, критически высказываются о том, что в ходе реформ были введены в оборот лишь формальные элементы зарубежных систем оценки качества исследований, прежде всего, библиометрические индикаторы, показывают их ограниченность, опираясь на обзор современных зарубежных практик, и оценивают последствия их доминирования в России как негативные для развития российской науки. Подчеркивается, что концентрация на наукометрических параметрах без учета специфики как научных направлений, в частности, гуманитарных наук, так и особенностей самого научного
труда может привести к искажению в оценках результативности научной деятельности.
Авторы этой статьи обратились к опыту трех стран - Великобритании, Финляндии и Нидерландов. Интерес к ним обусловлен высоким уровнем развития их национальных инновационных систем. Так, они входят в первую десятку в Глобальном индексе инноваций [11]. Доля расходов на исследования и разработки (ИР) в ВВП составляет в Великобритании - 1,7 %, Нидерландах - 2,0 %, Финляндии - 2,8 %, при среднем по ЕС показателе - 2,1 % [12]. Кроме того, ведущие университеты этих стран входят в списки лучших вузов мира в трех наиболее влиятельных мировых рейтингах университетов: QS World University Ratings [13], Times Higher Education World University Rankings [14], Academic Ranking of World Universities [15].
Следует отметить, что в большинстве стран Западной Европы ИР, и прежде всего фундаментальные исследования, исторически сосредоточены в университетах, в то время как в России на этом поле действуют институты АН и университеты. Высокая доля западноевропейских университетов в проведении ИР и автономия в области организации ИР дают возможность на равных участвовать в диалоге с государством о повышении эффективности управления ИР. Исходя из этого опыт университетской науки может представлять интерес для повышения качества управления сферой науки в России.
Великобритания: приоритет независимой экспертизы
В университетском секторе Великобритании сосредоточено 46 % научно-технических кадров страны, в его центрах проводится 24 % научно-исследовательских работ (2-е место после частного сектора). В Великобритании существует система двух потоков государственного финансирования университетских ИР в примерной пропорции 50:50. Одна часть поступает от Советов по финансированию высшего образования в виде «институционального» финансирования в форме блокового гранта. Вторая часть - от исследовательских Советов в форме внешнего конкурсного проектного финансирования. (В 2016 г. это соотношение составило 2207 млрд ф. ст. и 2107 млрд ф. ст. соответственно).
Великобритания была первым европейским государством, начавшим оценивать качество научных работ в университетах еще в 1986 г. До этого здесь «институциональное» финансирование
научных исследований, которым университеты могут распоряжаться по собственному усмотрению, осуществлялось по принципу «деньги идут за студентом». При этом около 50 университетов рассматривались как имеющие одинаковый статус. Тем не менее Оксфорд и Кембридж получали более щедрое финансирование по сравнению с другими. В условиях политики урезания государственных расходов, проводившейся в 1980-е гг., возросло «неравенство» в финансировании высшей школы, в частности, фонды ряда университетов были сокращены на 30 % без прозрачной системы критериев, что вызвало протесты научной общественности [16]. Необходимость обеспечить открытость распределения средств потребовала перехода к селективной системе. Идея селективности - выделения финансирования университетам с наиболее качественными научными работами -была воплощена в 1986 г. («финансирование на основе качества ИР» - quality-related 'QR' funding). С тех пор селективная оценка качества исследований в той или иной форме проводится каждые 5-6 лет (табл. 1).
В 1986 г. был введен первый вариант подобной системы - Research Selectivity Exercise (RSE), в рамках которой комитеты экспертов оценивали результаты ИР. В итоге институциональное финансирование было перенаправлено университетам с наилучшими результатами. Следующий раунд оценки был предпринят в 1992 г.: по итогам RAE (Research Assessment Exercise - RAE) на основе экспертной оценки качества было распределено около 90 % институционального финансирования. При этом наиболее успешные университеты получили суммы, в несколько раз большие, чем отстающие. В последующем RAE эволюционировала, продолжив фокусироваться на качестве.
В настоящее время британская система оценки основана прежде всего на независимой экспертизе результатов ИР, несмотря на то, что экспертная оценка является «дорогим удовольствием» и требует значительных затрат. Общие затраты на REF 2014 составили 246 млн ф. ст. (из них на долю университетов пришлось 212 млн ф.ст.), в то время как в RAE 2008-66 млн ф. ст. [17]. На очередном этапе селективной оценки на основе принципа результативности (Research Excellence Framework - REF), в 2014 г. критерий качества или «результативности» (output) был расширен элементами «вклада» (impact) и «среды» (environment). В результате формула оценки в REF 2014 приобрела следующий вид: «результативность» -65 % (оценка публикационных результатов исхо-
Таблица 1
Основные элементы отчета университетов и число комиссий, проводящих оценку, 1986-2014 гг.
Table 1
The main elements of the universiy submissions and the number of Units of Assessment, 1986-2014
Система оценки Основные элементы заявки Количество комиссий, проводивших оценку
RSE 1986 ИР: поступления и расходы. ИР: плановые приоритеты. 5 лучших публикаций и прочие результаты за предыдущие 5 лет организационной единицы. Связи с промышленностью. 37
RSE 1989 Характеристика занятости. Публикационные и результативные показатели на 1 сотрудника, включая 2 публикации или др. выдающиеся публикационные результаты. Общее число публикаций сотрудников с полной занятостью. Данные по студентам и стипендиям. Данные по исследовательским грантам и контрактам. Исследовательские планы. Прочие аспекты, включая консалтинг и прочую внешнюю деятельность. 152
RAE 1992 Общая характеристика занятых. Наиболее активные исследователи. Публикационные и результативные показатели наиболее активных сотрудников, в том числе 2 публикации и 2 другие формы результативности на одного сотрудника. Данные по студентам и стипендиям. Внешние поступления от ИР. 72
RAE 1996 Общая характеристика занятости. Характеристика исследовательского персонала. Публикационная и прочая результативность: до 4 результатов в расчете на селективную занятость. Аспиранты. Аспирантские стипендии. Внешние поступления от ИР. Исследовательская «среда» и планы. Прочие аспекты и дополнительная информация (показатели научного превосходства и признания). 69
RAE 2001 Характеристика занятости: исследовательский и академический персонал, постдоки ассистенты, аспиранты ассистенты, прочие. Исследовательская результативность: до 4 результатов на каждого исследователя. Аспиранты и аспирантские стипендии. Поступления от ИР. Текстовые комментарии. 69
RAE 2008 Характеристика занятости, включая активных исследователей. Исследовательская результативность: до 4 результатов на каждого сотрудника (min 50 %). Описание «исследовательской среды» и данные по аспирантам, аспирантским стипендиям, внешние поступления от ИР (min 5 %) и показатели научного превосходства (min 5 %). 67
REF 2014 Характеристика занятости, включая активных исследователей по выбору университета. Исследовательская результативность: до 4 результатов на каждого сотрудника (65 %). Вклад и кейсы исследовательского превосходства - 1 кейс на минимум 10 исследователей (20 %). «Среда»: количество выданных докторских степеней, суммы и источники внешних поступлений от ИР и прочие (натуральные) доходы (15 %). 36
Источник: [16, p. 28].
дит из «оригинальности, важности и точности» соотносительно с международными стандартами качества), «вклад» - 20 % (экономическое и социально-культурное значение проведенных ранее исследований), среда проведения ИР - 15 %.
ЯББ преследует следующие цели: 1) создание информационной базы для стратегических решений и формирования приоритетов в области естественных, социальных, технических, медицинских, гуманитарных наук и искусство -
ведения; 2) получение основы для селективного распределения средств между университетами (распределение средств университетам на основе качества ИР, поддержка исследовательской инфраструктуры в ведущих исследовательских университетах и «награждение очагов» высококачественных исследований, вклад в развитие динамичного и международно-конкурентоспособного исследовательского сектора); 3) формирование репутационных рейтингов, способствующих привлечению внешних инвестиций и развитию контактов с возможными спонсорами (промышленность, благотворительные фонды и прочие); 4) обеспечение отчетности государственных инвестиций в науку и «показ» их эффективности.
В REF 2014 участвовало 154 (из 164) университета Великобритании, представивших результаты работ более 52 000 исследователей, более 191 000 «результатов» и почти 7000 кейсов, показывающих «вклад» проведенных ИР [17, p. 38]. Этот этап оценки показал значительное увеличение качества научно-исследовательских работ в университетах по сравнению с 2008 г. и их значение для развития страны. Вместе с тем реализация принципа REF привела к концентрации финансирования в ограниченном круге университетов: более 50 % финансирования «по качеству» получили 10 «топовых» университетов в 2015/2016 г., 71 % - группа «Расселл» (Russel Group), куда входят 24 наиболее престижных университета страны.
В ходе раунда REF 2014 экспертную оценку проводили 36 комиссий (Панели) по разным дисциплинам. В составе комиссий работало 1052 члена и эксперта (из которых 77 % - университетские работники и 23 % - «потребители»). Общую координацию осуществляли 4 Комитета (включая 23 иностранных члена, 17 - членов-»потребителей»). Членов комиссий назначают 4 Совета по финансированию университетов (Англии, Шотландии, Уэльса и Северной Ирландии). Каждый исследовательский «результат» проходит экспертизу минимум двух экспертов, при этом возможно привлечение внешних экспертов. Из-за многочисленности Панель может разбиваться на ряд подкомиссий. В каждой комиссии эксперты на основе собственных компетенций дают оценку с учетом специфики научного направления.
Публикационные результаты оцениваются в каждом отдельном случае независимо от формы (печатная или электронная) или вида. Основным критерием служит новизна и оригинальность. Каждая публикация оценивается по пя-
тибалльной шкале в соответствии с «Общими положениями об оценке». Кроме этого, Панель, оценивающая качество ИР в сфере социально-гуманитарных наук, принимает во внимание проблему несовпадения научной цели (амбиции) и ее реального значения (вклад) для научной политики или практической реализации. Показатели цитирования не являются обязательными при оценке, эксперт может, но не обязан их использовать при вынесении суждения, поскольку социально-гуманитарная Панель «осознает» ограничения этого показателя, в частности, его вариативность как внутри дисциплины, так и между дисциплинами, а также тот факт, что ряду важных работ требуется значительное время на признание [18, p. 5]. Показательно, что при оценке учитывается широкий перечень публикационных результатов: так, например, в социально-гуманитарной области в этот список включены книги; главы в книгах; монографии; журнальные издания; опубликованные материалы конференций и доклады; новые материалы, девайсы, продукты и процессы; программное обеспечение, коды и алгоритмы; стандарты; дизайнерские и искусствоведческие порт-фолио; технические документы; стратегические документы; базы данных, архивы, диагностические тесты, подтвержденные оригинальными исследованиями.
Согласно «Общим положениям об оценке», важными индикаторами служит размер исследовательского гранта на одного исследователя, общее число грантов и их общая стоимость. Учитываются также различия в ресурсоемкости, практике поиска грантов и степени доступности грантовых источников между направлениями. Репутационные факторы включают показатели внешнего признания: научные премии и награды, редакционную работу в академических журналах, участие в профессиональных или научных обществах, выступления с приветственным словом на важных конференциях, выбор в члены или получение стипендии международной академии, консультационную работу и разработку политики государственного сектора, получение исследовательских грантов от частной промышленности (не проходящих экспертную оценку). Рассматриваются примеры коллабораций с промышленностью или другими конечными потребителями ИР, в частности, долгосрочные партнерства и трансфер знаний; коммерциализация (патенты, создание spin-outs или других форм собственности); вклад исследовательской деятельности в политический процесс, практику и качество жизни.
Результаты каждого этапа селективной оценки подвергаются всесторонней критической оценке и анализируются, итогом чего становятся рекомендации экспертных докладов. В частности, по рекомендации независимого доклада («Доклад Лорда Стерна»), проанализировавшего результаты ЯББ 2014 и опубликованного в 2016 г., в ЯББ 2021 будет проведена отдельная оценка междисциплинарных исследований [17].
В целом система оценки научных работ в университетах Великобритании, пройдя несколько этапов, трансформировалась от механизма распределения финансовых средств до всесторонней оценки качества. Однако английский опыт имеет как положительные, так и отрицательные стороны. В числе положительных: экспертные оценки результативности ИР, учет особенностей различных научных направлений, широкий перечень публикационных результатов ИР, использование наукометрических показателей в качестве вспомогательного инструмента при оценке, сохранение требований к отчетности и оценке на протяжении заранее установленного временного интервала, широкий критический анализ результативности каждого этапа проведения оценки. В числе негативных черт: растущее финансовое бремя университетов, которые вынуждены тратить время и ресурсы на предоставление «отчетов»; возможность кадровых манипуляций для поднятия рейтинга; кроме того, необходимость отчета о публикациях затрудняет краткосрочную мобильность кадров между университетами и промышленностью.
Нидерланды: требование сбалансированности
В Нидерландах на университетский сектор приходится 30 % расходов на ИР [19]. В нем сосредоточена четверть научно-технических кадров страны [20].
В стране в настоящее время действует Стандартный протокол оценки научных исследований сроком на 2015-2021 гг., подписанный Королевской Академией наук и искусств, Ассоциацией университетов и Организацией научных исследований Нидерландов [21]. Это уже пятый подобный протокол в ее истории. За организацию оценки исследований подведомственных им институтов отвечают президиумы академии и ассоциации, президиумы отдельных университетов, наблюдательный совет Организации. Для проведения оценки формируются специальные «оценочные комитеты». Протокол предус-
матривает правила формирования этих комитетов, учитывая то, что их оценки должны быть сбалансированными: члены комитетов не могут быть связаны с оцениваемыми институтами; они должны хорошо ориентироваться в предмете исследований и быть знакомы с состоянием исследований по данному направлению в стране и мире; они должны хорошо представлять себе организацию исследований в стране; понимать, что исследования в современной науке становятся мульти- и междисциплинарными, из-за чего они с трудом поддаются стандартным приемам оценки с помощью импакт-фактора и количества публикаций, члены комитетов должны быть способными адаптировать обычные процедуры к подобным случаям и опираться на собственные суждения при отсутствии адекватной информации; по крайней мере часть из них должна быть знакома с практикой организации подготовки исследователей, развития научной инфраструктуры, а также управления исследованиями. Протокол рекомендует включать в комитеты иностранных ученых. Состав комитета обязательно согласовывается с проверяемой стороной, последняя имеет право рекомендовать и отклонять кандидатуры.
В протоколе ставятся следующие цели оценки научных исследований: определить качество научных исследований в стране; удостовериться, насколько проводимые научные исследования ценны для общества и соотносятся с целями развития последнего; если наблюдается рассогласованность целей развития науки и общества, выработать рекомендации об их приведении в соответствие с друг другом.
Единицей объекта оценки может быть организация в целом, а также отдельная программа или научная группа. Причем тот факт, что оценка может осуществляться на уровне группы исследователей, был назван одним из британских экспертов преимуществом голландской системы оценки качества исследований по сравнению с британской. «Исследование, которое проводится группой исследователей должно оцениваться на уровне группы, а не на уровне одного исследователя или же, как это делается в Великобритании на уровне крупного подразделения, в которых могут сосуществовать исследования группы по разным дисциплинам, так что в конечном счете при оценке будут упущены важные нюансы, характеризующие дисциплинарные различия» - написала в одном из специальных блогов The Bibliomagician Элизабет Гадд, менеджер по научной политике Университета Лафборо (Лондон). Она же отмеча-
ет в качестве других преимуществ голландской системы внимание к социальному вкладу исследований и оценку не только прошлых достижений, но и перспектив исследований [22].
Оценка проводится раз в 6 лет. Оценочный комитет должен принимать во внимание как прошлые достижения института, так и его перспективы. В начале процедуры оценки институт предоставляет доклад с самооценкой, он рассматривается перед обязательным посещением оцениваемого института. Этап самооценки очень важен для повышения качества оценки в целом. Критерии, предложенные в протоколе, ориентированы на общие свойства научных исследований, вне привязки к конкретным дисциплинам, которые могут иметь специфические характеристики качества и результативности. Вот почему на стадии самооценки институтам рекомендуется отразить эти характеристики, если они посчитают это необходимым. Во время посещения оцениваемого объекта члены оценочной комиссии беседуют с руководством института, с научными лидерами института, выборочно с постоянными и временными научными сотрудниками и докторантами. Результаты оценки обсуждаются с руководством института. Затем публикуются с тем, чтобы потенциальные инвесторы, в том числе государственные органы, могли ориентироваться в картине науки в стране.
В середине периода - раз в три года - проводится еще одна самооценка. При этом чтобы снизить административную нагрузку, обязательная отчетность по самооценке была в последнем Протоколе максимально сокращена, а правила ее составления - облегчены. Следует также отметить, что все институты и университеты обязательно публикуют годовые отчеты, которые становятся информационной базой для расширенной оценки.
Исследовательские институты и программы оцениваются как совокупность собственно процессов исследования и их результатов; организации управления исследованиями; научной политики; исследовательской инфраструктуры1; подготовки исследователей; общественной значимости исследований. Основных критериев оценки - три: 1) качество исследований, 2) значимость для общества, 3) жизнеспособность. Содержание критериев поясняется в протоколе следующим образом.
1 Предполагается, что исследовательская инфраструктура отдельного института или проекта, хоть и формируется под конкретные цели исследовательской организации, является неотъемлемой частью исследовательской инфраструктуры страны. Поэтому особо ценится умение научных руководителей «вписывать» свою инфраструктуру в общий контекст, чтобы в итоге повышался уровень национальной исследовательской инфраструктуры.
1. Качество. Под качеством исследования понимается уровень организации или программы в сопоставлении с мировым уровнем, вклад, вносимый им в расширение знания о предмете исследования. Оценивается и результативность исследований: публикации, инструменты и методы исследований, разработанные научным кол-лективом2.
2. Общественная значимость. Предлагается рассматривать реальный вклад результатов исследований в изменение общественных, экономических и культурных институтов.
3. Жизнеспособность. Под жизнеспособностью понимается способность оцениваемого коллектива выстроить стратегию развития и исследований на перспективу с ориентацией на стратегию общественного развития.
Каждый критерий оценивается по четырехбалльной шкале: «соответствует мировому уровню», «очень хорошо», «хорошо», «удовлетворительно».
Финляндия: смешанная система
В Финляндии университетский сектор также занимает существенное место в ИР, осуществляемых в стране. На него приходится более четверти расходов на науку, в нем занято 33 % научно-технических кадров страны [23, p. 3].
Поскольку оценка качества исследований на основании экспертного мнения и панелей, как уже говорилось выше, требует значительных расходов, не все страны готовы полностью опираться на этот подход и используют экспертные оценки в ограниченном масштабе (по аналогии с Великобританией экспертизу применяют в Новой Зеландии и в Италии, где присутствует такой же широкий набор показателей, что и в Великобритании [24]). Большинство стран применяет смешанную систему наукометрических индикаторов (в основном касающихся научных публикаций и иногда патентов) и ряда прочих показателей (например, количество получивших PhD).
К такой смешанной системе в настоящее время прибегает и Финляндия, где регулярно проводится оценка состояния науки в целом и по группам дисциплин. Функцию организатора оценки состояния национальной науки выполняет Академия наук Финляндии (Suomen Akatemia). Академия представляет собой агентство в структуре Министерства образования, науки и куль-
2 В предыдущем Протоколе эта характеристика разбивалась на две: качество и результативность.
туры, она же принимает решение о направлении финансирования исследований. Эта модель отличается от привычной для России модели Академии наук.
Соответствующие доклады состоят из двух частей. В одной используется бенчмаркинг, основу которого составляет стандартный набор количественных показателей, использующихся в сопоставлении уровня развития НИС. А во второй части формулируются качественные оценки, основанные на экспертном мнении о наиболее существенных на момент оценки факторах, определяющих развитие науки, в том числе с точки зрения ее влияния на социально-экономическое развитие.
Например, в последнем докладе за 2018 г. при самом подробном разборе разного рода квантифицируемых характеристик ключевой является часть, посвященная прогнозам того, какие направления науки станут прорывными [25, р. 68-69]. Именно выводы, полученные в ней, являются той призмой, через которую будут в конечном счете определяться перспективные направления финансирования науки в стране. В этой части доклада констатируется, что бенч-маркинг характеризует только текущее состояние науки и при этом описательно. Тем самым подчеркивается, что ставка в оценке состояния науки исключительно на количественные параметры имеет существенные ограничения, если рассматривать научное развитие как основу движения в будущее. Отсюда - необходимость в любом случае погрузить количественные оценки в более широкий контекст стратегического значения науки для развития той или иной страны.
Ради того, чтобы подготовить прогнозную часть доклада о состоянии науки в Финляндии, Академия наук организовала две экспертные группы. Безусловно, они рассматривали в своей работе библиометрические и наукометрические показатели, но также был использован метод глубинных интервью широкого круга экспертов, чья высокая квалификация и вовлеченность являются важным элементом методики получения корректной оценки состояния науки. Перед экспертами ставились следующие вопросы: 1) какие направления в науке в течение 10-15 лет появятся или радикально обновятся; будут расти сверхбыстрыми темпами; будут иметь существенное научное значение; 2) сосредоточены ли исследования в этих направлениях: в определенных научных коллективах, нескольких исследовательских темах, широком дисциплинарном или междисциплинарном поле. В задачу групп входила содержательная ин-
терпретация всех данных в ходе совместного исследования (workshops).
Такой же подход осуществлялся и в более ранних докладах о состоянии науки в Финляндии. Так, доклад за 2016 г. в качестве контекста дал социальную роль науки: в этой части рассматривалась способность научного комплекса отвечать вызовам современного общественного развития [26]. Заметим, что в одном из самых первых соответствующих докладов за 2012 г. методы, основанные на опросе экспертов, были использованы и для оценки состояния науки в более узком смысле [27]. В этом докладе помимо бенчмаркин-га был проведен SWOT-анализ на базе экспертных мнений раскрывающий сильные и слабые стороны научных исследований в Финляндии, а также перспективы и риски, но исходящие не из стратегических целей развития страны, а из внутреннего состояния собственно науки.
Впрочем, в конкретном случае финансирования университетов по линии Министерства образования и культуры выбор основывается не только на результатах глубокого изучения состояния науки в стране, о которых говорилось выше. 13 % средств, поступающих исследовательским коллективам и конкретным ученым по решению Министерства, распределяются в соответствии с показателями публикационной активности, фиксируемой по критериям, закрепленным на интернет-площадке «Форум публикаций» (JuFo) [28]. На ней журналы, книжные издательства и другие каналы публикаций распределены на три группы в зависимости от их значимости и научного уровня. В соответствии с этим рейтингом ранжируется уровень публикаций того или иного коллектива: так, публикациям в каналах «базового» уровня присваивается 1, второго - 2, третьего - 3. Но и тут финны не проявляют простого механистического подхода. Во-первых, над оценкой качества и веса каналов публикаций работают 23 экспертные панели, каждая из которых специализируется на определенной дисциплине и которые принимают во внимание не только импакт-фактор и индекс цитирования, но и мнение ученых. Во-вторых, рейтинги каналов публикаций регулярно пересматриваются, в том числе с учетом обратной связи с научной общественностью. Последний пересмотр рейтинга был проведен в конце 2018 г., следующий намечен на 2022 г. Но в течение следующих лет панели будут собираться каждой осенью, чтобы рассмотреть поступившие от ученых отзывы о рейтинге. Надо сказать, что эти отзывы принимаются во внимание. Так, последний, до пересмотра, вариант рейтинга исследователи
критиковали за то, что больший акцент на международных журналах в ущерб национальным бьет по направлениям науки, решающим задачи может быть не столь важные с точки зрения выстраивания глобальных цепочек знания, но необходимые для самой Финляндии - особенно в сфере общественных и гуманитарных наук. В итоге эта точка зрения была учтена [29].
Заключение
1. Общей основой рассмотренных в статье кейсов является то, что оценки качества и состояния научных исследований в выбранной группе стран опираются на понимание сложности и неоднозначности научного поиска, следовательно, и того, что оценка эффективности исследований должна быть многоаспектной и комплексной, основываться как на экспертных качественных оценках, так и на количественных (наукометрических и би-блиометрических) показателях, причем последние не должны быть доминирующими, а должны служить подспорьем для вынесения экспертного суждения. Схожи и методы формирования экспертных групп, а именно - тщательность, с которой подходят к подбору ее членов и прорабатываются вопросы, на которые они должны ответить.
Оценка качества исследований используется не только для выделения финансирования организаций, но и в процессе определения национальных приоритетов. Присутствует также понимание того, что только при объединии глубокого содержательного анализа, интерпретации количественных параметров и видении ситуации экспертами можно дать цельную картину уровня развития науки в стране с точки зрения соответствия ее текущего состояния стратегически важным ориентирам.
2. Процедура оценки на этапе привлечения экспертов представляет собой своего рода исследование, целью которого является адекватная и объективная интерпретация всех анализируемых данных. Проводится критический анализ результативности каждого этапа оценки с учетом мнения научной общественности. При этом рекомендации независимых экспертов принимаются во внимание при конструировании следующих этапов. В результате система оценки подвижна и эволюционирует в соответствии с требованиями текущего периода. В числе характерных черт методического подхода следует выделить следующие: учет особенностей различных научных направлений, формирование широкого перечня публикационных результатов ИР, активное участие в процедуре оценки самих оцениваемых уни-
верситетов и научных коллективов, а также сохранение на протяжении заранее установленного временного интервала требований к отчетности, процедурам и параметрам оценки.
3. Однако в каждом кейсе можно отметить и индивидуальные черты, обусловленные как спецификой подхода к роли научного потенциала в социально-экономическом развитии страны, так и проявлением отдельных несовершенств систем оценки. Страны адаптируют общие подходы к особенностям развития национальной инновационной системы с учетом места отдельных субъектов в научном процессе на фоне углубляющейся автономии университетского сектора и роста роли университетской науки в качестве социального института.
Так, в Великобритании оценка результативности университетской науки основана на экспертной оценке при вспомогательной роли наукометрических показателей, проводится регулярно с открытым критическим обсуждением каждого этапа и служит не только в качестве механизма финансирования организаций, но и для выработки общенациональных приоритетов. В качестве недостатков отмечается необходимость ведения многочисленных объемных отчетов, что отвлекает от исследований финансовые и человеческие ресурсы.
В Нидерландах большее внимание, чем в других странах, уделяется оценке ценности проводимых исследований для общества. Здесь же оцениваться могут не только крупные научные подразделения, но и работа отдельных научных групп, что делает систему оценки более гибкой и не позволяет «размазать» результаты оценки по большому объекту, завуалировав реальные «точки роста» научного потенциала. Особое внимание уделяется качеству управления исследовательской инфраструктурой. Однако в последнее время представители голландской научной общественности склоняются к тому, что нужно больший акцент делать на внутреннем аудите качества исследования, поскольку внешний аудит связан с риском бюрократизации процедуры оценки.
Что касается Финляндии, то преимущества системы экспертных методик оценки качества исследований безусловно признаются, но используются они не на регулярной основе, а в тех случаях, когда властям требуется анализ состояния научного потенциала в стране в целом, то есть в масштабных докладах, целью которых является определение перспективных и важных для страны направлений исследований на национальном уровне. В рутинной оценке, проводимой с целью
распределения финансирования между университетами, используется подход, основанный на количественных параметрах. В последнее время он подвергается критике, так как научная общественность полагает, что тем самым отсекаются важные для страны области исследований.
4. Детальный анализ практики разработки и применения систем оценки на примере стран Западной Европы позволил сделать вывод о необходимости более глубокого подхода при использовании зарубежного опыта и сформулировать ряд рекомендаций, которые могли бы способствовать повышению эффективности управления научной сферой в России. С нашей точки зрения, повышение роли качественных оценок научной деятельности, дифференцированный подход к оценке различных научных направлений, расширение спектра учитываемых результатов ИР, снижение бюрократического элемента в процессе оценки, расширение диалога между научной, университетской общественностью и руководящими органами при организации системы оценки, проведение мониторинга и открытого критического обсуждения ее результатов могут способствовать не только повышению эффективности самой системы оценки, но и могут стать стимулом развития научной деятельности.
5. Практическая ценность данной статьи заключается в том, что расширяются основания для осмысления опыта других стран в построении системы оценки качества научных исследований. Это, в свою очередь, позволяет практикам, связанным с организацией науки и научных исследований в России, подойти осознанно, с полным пониманием широкой картины деятельности в этой сфере субъектов управления развитием научного потенциала и акторов этого процесса в мире, к созданию действительно оптимальной национальной системы оценки качества исследований.
Список литературы
1. The San Francisco Declaration on Research Assessment (DORA), available at: https://sfdora.org/ (accessed: 24.05.2019).
2. The Leiden Manifesto for research metrics. Nature, April 2015, vol. 520, pp. 429-431., available at: https://www. researchgate.net/publication/275335177 (accessed: 24.05.2019). DOI: 10.1038/520429a.
3. Benedictus R., Miedema F., Ferguson M. J. Fewer numbers, better science. Nature 27 October 2016, vol. 538, iss. 7626, pp. 453-455, available at: https://www.nature.com/news/ fewer-numbers-better-science-1.20858(accessed: 24.05.2019). D0I:10.1038/538453a.
4. Wilsdon J., et al. The Metric Tide. Report of the Independent Review of the Role of Metrics in Research
Assessment and Management. July 2015, 163 p., available at: https://blogs.lse.ac.uk/impactofsocialsciences/ files/2015/07/2015_metrictide.pdf (accessed: 24.05.2019). DOI: 10.13140/RG.2.1.4929.1363.
5. Next-generation metrics: Responsible metrics and evaluation for open science. Report of the European Commission Expert Group on Altmetrics. EK, Directorate-General for Research and Innovation, 2017, 26 p., available at: https:// ec.europa.eu/research/openscience/pdf/report.pdf (accessed: 24.05.2019). D0I:10.2777/337729.
6. Sivertsen G. Unique, but still best practice? The Research Excellence Framework (REF) from an international perspective. Palgrave Communications. Published: 15 August 2017. 3:17078, available at: https://www.nature.com/articles/ palcomms201778 (accessed: 23.05.2019). DOI: 10.1057/pal-comms.2017.78.
7. Zacharewicz T., Lepori B., Reale E., Jonkers K. Performance - based research funding in EU Member States -a comparative assessment. Science and Public Policy, 2019, vol. 46, no.1, pp. 105-115., available at: https://academic.oup. com/spp/article/46/1/105/5037253 (accessed: 23.05.2019). DOI. org/10.1093/scipol/scy041
8. Паршин А. Н. Наука или библиометрия: кто кого? // Вестник Российской Академии наук. 2018. Т. 88. № 11. С. 982-984. DOI: 10.31857/S 086958730002330-1
9. Иванчик А. И. Особенности оценки исследователей и исследовательских программ в гуманитарных науках// Вестник Российской Академии наук. 2018. Т. 88. № 11. С. 985-991. DOI: 10.31857/S 086958730002331-2
10. Гринев А. В. Научные публикации и наукометрические показатели как объект нечистоплотного бизнеса // Вестник Российской Академии наук. 2018. Т. 88. № 10. С. 908-917. DOI: 10.31857/s086958730002147-9
11. Global Innovation Index 2018: Energizing the World with Innovation. Cornell University, INSEAD, and WIPO (2018): Ithaca, Fontainebleau, and Geneva. 430 р. ISBN 979-10-95870-09-8, p. xx, available at: https://www. wipo.int/edocs/pubdocs/en/wipo_pub_gii_2018.pdf (accessed: 24.05.2019).
12. Gross domestic expenditure on research and development, UK: 2017. Office for National Statistics, 14 March 2019, p. 13, available at: https://www.ons.gov.uk/economy/ governmentpublicsectorandtaxes/researchanddevelopmentex-penditure/bulletins/ukgrossdomesticexpenditureonresearch-anddevelopment/2017 (accessed: 24.05.2019).
13. QS World University Ratings 2019, available at: https:// www.topuniversities.com/university-rankings/world-universi-ty-rankings/2019 (accessed 25.06.2019).
14. Times Higher Education World University Rankings, available at: https://www.timeshighereducation.com/world-university-rankings/2019/world-ranking#! /page/0/length/25/ sort_by/rank/sort_order/asc/cols/stats (accessed 23.06.2019).
15. CWUR World University Rankings 2018-2019, available at: https://cwur.org/2018-19.php (accessed 23.06.2019).
16. Independent report. Research Excellence Framework review. An independent review of university research funding by Lord Nicholas Stern. Published 28 July 2016. Last updated 31 December 2018. From: Department for Business, Energy & Industrial Strategy. Research Excellence Framework Review. Evidence Report. Technopolis group, October 2018, 116 p.,
available at: https://assets.publishing.service.gov.uk/govern-ment/uploads/system/uploads/attachment_data/file/768162/ research-excellence-framework-review-evidence-report. pdf (accessed: 23.05.2019).
17. Independent report. Research Excellence Framework review. An independent review of university research funding by Lord Nicholas Stern. Published 28 July 2016. Last updated 31 December 2018. From: Department for Business, Energy & Industrial Strategy. Research Excellence Framework (REF) review: Building on success and learning from experience. An Independent review of the Research Excellence Framework, July 2016, p. 6, available at: https://www.gov.uk/government/ publications/research-excellence-framework-review (accessed: 23.05.2019).
18. Research Assessment Exercise 2014. Panel 10 - Social Sciences. Specific Criteria and Working Methods. (August 2013), available at: https://www.ugc.edu.hk/doc/eng/ugc/rae/ psg_10_201308.pdf. (accessed: 23.05.2019).
19. Total R&D in the Netherlands by Sector of Performance and Source of Funds, R&D Activity Type and Type of Costs. Rathenau Institut, available at: https://www.rathenau.nl/en/ science-figures/investments/how-much-does-netherlands-spend-rd/total-rd-netherlands-sector (accessed 26.05.2019).
20. R&D Personnel and Researchers in the Netherlands by Sector. Rathenau Institut, available at: https://www.rathenau. nl/en/science-figures/personnel/rd-personnel-netherlands/ rd-personnel-and-researchers-netherlands-sector (accessed 26.05.2019).
21. Standaard Evaluation Protocol 2015-2021. Protocol for Research Assessments in the Netherlands. The Netherlands, KNAW, VSNU, NWO, 2014. 31 p.
22. Elizabeth Gadd. Research Evaluation: Things We Can Learn fron the Dutch. available at: https://thebibliomagician. wordpress.com/2018/05/31/research-evaluation-things-we-can-learn-from-the-dutch/ (accessed 26.05.2019).
23. Research and Development in Finland. Helsinki, Academy of Finland, 2019. 9 p.
24. Sivertsen G. Why has no other European country adopted the Research Excellence Framework? available at: https://blogs.lse.ac.uk/politicsandpolicy/why-has-no-other-european-country-adopted-the-research-excellence-frame-work/ (accessed: 23.05.2019).
25. Tieteen Tila 2018. Helsinki, Suomen Akatemia, 2018. 84 p.
26. Tieteen Tila 2016. Helsinki, Suomen Akatemia, 2016. 68 p.
27. The State of Scientific Research in Finland, 2012. Helsinki, Academy of Finland, 2012. 94 p.
28. Publication Forum has completed its review of ratings, available at: http://www.julkaisufoorumi.fi/fi/arkisto/tiedot-teet/publication-forum-has-completed-its-review-ratings (accessed 26.05.2019).
29. Ilkka Hemmila. Finnish Scientific Funding Favours Some Disciplines over Others. available at: https://www.ty-lkkari.fi/english/finnish-scientific-funding-favours-some-disciplines-over-others (accessed 26.05.2019).
References
1. The San Francisco Declaration on Research Assessment (DORA), available at: https://sfdora.org/ (accessed: 24.05.2019). (Eng.).
2. The Leiden Manifesto for research metrics. Nature, April 2015, vol. 520, pp. 429-431., available at: https://www. researchgate.net/publication/275335177 (accessed: 24.05.2019). (Eng.). DOI: 10.1038/520429a.
3. Benedictus R., Miedema F., Ferguson M. J. Fewer numbers, better science. Nature 27 October 2016, vol. 538, iss. 7626, pp. 453-455., available at: https://www.nature. com/news/fewer-numbers-better-science-1.20858 (accessed: 24.05.2019). (Eng.). D0I:10.1038/538453a
4. Wilsdon J., et al. The Metric Tide. Report of the Independent Review of the Role of Metrics in Research Assessment and Management. July 2015, 163 p., available at: https://blogs.lse.ac.uk/impactofsocialsciences/ files/2015/07/2015_metrictide.pdf (accessed: 24.05.2019). (Eng.). DOI: 10.13140/RG.2.1.4929.1363
5. Next-generation metrics: Responsible metrics and evaluation for open science. Report of the European Commission Expert Group on Altmetrics. EK, Directorate-General for Research and Innovation, 2017, 26 p., available at: https:// ec.europa.eu/research/openscience/pdf/report.pdf (accessed: 24.05.2019). (Eng.). D0I:10.2777/337729
6. Sivertsen G. Unique, but still best practice? The Research Excellence Framework (REF) from an international perspective. Palgrave Communications. Published: 15 August 2017. 3:17078, available at: https://www.nature.com/articles/ palcomms201778 (accessed: 23.05.2019). (Eng.). DOI: 10.1057/ palcomms.2017.78
7. Zacharewicz T., Lepori B., Reale E., Jonkers K. Performance - based research funding in EU Member States -a comparative assessment. Science and Public Policy, 2019, vol. 46, no. 1, pp. 105-115, available at: https://academic.oup. com/spp/article/46/1/105/5037253 (accessed: 23.05.2019). (Eng.). DOI.org/10.1093/scipol/scy041
8. Parshin A. N. Nauka ili bibliometriya: kto ko-go? [Science or bibliometry: who will win?]. Herald of the Russian Academy of Sciences, 2018, vol. 88, no 11, pp. 982-984. DOI: 10.31857/S 086958730002330-1 (In Russ.).
9. Ivanchik A. I. Osobennosti otsenki issledovatelei i issledovatel'skikh programm v gumanitarnykh nau-kakh [Particular properties of evaluation of researchers and research programs in the humanities]. Herald of the Russian Academy of Sciences Herald of the Russian Academy of Sciences, 2018, vol. 88, no. 11, pp. 985-991. DOI: 10.31857/S 086958730002331-2 (In Russ.).
10. Grinyov A. V. Nauchnye publikatsii i naukomet-richeskie pokazateli kak ob»ekt nechistoplotnogo bi-znesa [Scientific publications and scientometric indicators as an object of unscrupulous business]. Herald of the Russian Academy of Sciences Herald of the Russian Academy of Sciences, 2018, vol. 88, no 10, pp. 908-917. DOI: 10.31857/S 086958730002147-9 (In Russ.).
11. Global Innovation Index 2018: Energizing the World with Innovation. Cornell University, INSEAD, and WIPO (2018): Ithaca, Fontainebleau, and Geneva. 430 p. ISBN 979-10-95870-09-8, p. xx, available at: https://www. wipo.int/edocs/pubdocs/en/wipo_pub_gii_2018.pdf (accessed: 24.05.2019). (Eng.).
12. Gross domestic expenditure on research and development, UK: 2017. Office for National Statistics, 14 March 2019, 13 p., available at: https://www.ons.gov.uk/economy/govern-
mentpublicsectorandtaxes/researchanddevelopmentexpendi-ture/bulletins/ukgrossdomesticexpenditureonresearchand-development/2017 (accessed: 24.05.2019). (Eng.).
13. QS World University Ratings 2019, available at: https:// www.topuniversities.com/university-rankings/world-universi-ty-rankings/2019 (accessed 25.06.2019). (Eng.).
14. Times Higher Education World University Rankings, available at: https://www.timeshighereducation.com/world-uni-versity-rankings/2019/world-ranking#! /page/0/length/25/sort_ by/rank/sort_order/asc/cols/stats (accessed 23.06.2019). (Eng.).
15. CWUR World University Rankings 2018-2019, available at: https://cwur.org/2018-19.php (accessed 23.06.2019). (Eng.).
16. Independent report. Research Excellence Framework review. An independent review of university research funding by Lord Nicholas Stern. Published 28 July 2016. Last updated 31 December 2018. From: Department for Business, Energy & Industrial Strategy. Research Excellence Framework Review. Evidence Report. Technopolis group, October 2018, 116 p., available at: https://assets.publishing.service.gov.uk/govern-ment/uploads/system/uploads/attachment_data/file/768162/ research-excellence-framework-review-evidence-report. pdf (accessed: 23.05.2019). (Eng.).
17. Independent report. Research Excellence Framework review. An independent review of university research funding by Lord Nicholas Stern. Published 28 July 2016. Last updated 31 December 2018. From: Department for Business, Energy & Industrial Strategy. Research Excellence Framework (REF) review: Building on success and learning from experience. An Independent review of the Research Excellence Framework, July 2016, p. 6, available at: https://www.gov.uk/government/ publications/research-excellence-framework-review (accessed: 23.05.2019). (Eng.).
18. Research Assessment Exercise 2014. Panel 10 - Social Sciences. Specific Criteria and Working Methods. (August 2013), available at: https://www.ugc.edu.hk/doc/eng/ugc/rae/ psg_10_201308.pdf. (accessed: 23.05.2019). (Eng.).
19. Total R&D in the Netherlands by Sector of Performance and Source of Funds, R&D Activity Type and Type of Costs. Rathenau Institut, available at: https://www.rathenau.nl/en/sci-ence-figures/investments/how-much-does-netherlands-spend-rd/total-rd-netherlands-sector (accessed 26.05.2019). (Eng.).
20. R&D Personnel and Researchers in the Netherlands by Sector. Rathenau Institut, available at: https://www.rathenau. nl/en/science-figures/personnel/rd-personnel-netherlands/ rd-personnel-and-researchers-netherlands-sector (accessed 26.05.2019). (Eng.).
21. Standaard Evaluation Protocol 2015-2021. Protocol for Research Assessments in the Netherlands. The Netherlands, KNAW, VSNU, NWO, 2014. 31 p. (Eng.).
22. Elizabeth Gadd. Research Evaluation: Things We Can Learn fron the Dutch. available at: https://thebibliomagician. wordpress.com/2018/05/31/research-evaluation-things-we-can-learn-from-the-dutch/ (accessed 26.05.2019). (Eng.).
23. Research and Development in Finland. Helsinki, Academy of Finland, 2019. 9 p. (Eng.).
24. Sivertsen G. Why has no other European country adopted the Research Excellence Framework, available at: https://blogs.lse.ac.uk/politicsandpolicy/why-has-no-other-european-country-adopted-the-research-excellence-frame-work/ (accessed: 23.05.2019). (Eng.).
25. Tieteen Tila 2018. Helsinki, Suomen Akatemia, 2018. 84 p.
26. Tieteen Tila 2016. Helsinki, Suomen Akatemia, 2016. 68 p.
27. The State of Scientific Research in Finland, 2012. Helsinki, Academy of Finland, 2012. 94 p. (Eng.).
28. Publication Forum has completed its review of ratings, available at: http://www.julkaisufoorumi.fi/fi/arkisto/tiedot-teet/publication-forum-has-completed-its-review-ratings (accessed 26.05.2019). (Eng.).
29. Ilkka Hemmila. Finnish Scientific Funding Favours Some Disciplines over Others. available at: https://www.ty-lkkari.fi/english/finnish-scientific-funding-favours-some-disciplines-over-others (accessed 26.05.2019). (Eng.).
Рукопись поступила в редакцию 29.05.2019 Принята к публикации 22.07.2019
Submitted on 29.05.2019 Accepted on 22.07.2019
Информация об авторах / Information about the authors:
Кириченко Ирина Вадимовна - кандидат экономических наук, старший научный сотрудник отдела науки и инноваций Национального исследовательского института мировой экономики и международных отношений им. Е. М. Примакова Российской академии наук; [email protected], ORCID 0000-0002-6017-6508.
Шелюбская Наталья Владимировна - кандидат экономических наук, старший научный сотрудник отдела науки и инноваций Национального исследовательского института мировой экономики и международных отношений им. Е. М. Примакова Российской академии наук; [email protected], ORCID 0000-0002-5125-3142.
Irina V. Kirichenko - PhD (Economics), Senior Researcher, Department for Science and Innovation, Primakov National Research Institute of World Economy and International Relations, Russian Academy of Sciences; [email protected], ORCID 0000-0002-6017-6508.
Natalia V. Shelyubskaya - PhD (Economics), Senior Researcher, Department for Science and Innovation, Primakov National Research Institute of World Economy and International Relations, Russian Academy of Sciences; [email protected], ORCID 0000-0002-5125-3142.
