Новая модель рейтингового финансирования научных организаций Армении Текст научной статьи по специальности «Экономика и бизнес»

НАУКА В ЦИФРАХ

УДК 001.89:336(479.25) ББК 72.4

DOI 10.20913/1815-3186-2019-3-85-92

НОВАЯ МОДЕЛЬ РЕЙТИНГОВОГО ФИНАНСИРОВАНИЯ НАУЧНЫХ

ОРГАНИЗАЦИЙ АРМЕНИИ

© Ш. А. Саргсян1' 2, Т. С. Арутюнян3, В. А. Саакян4, С. Г. Арутюнян4, 2019

1 Центр анализа и мониторинга научной информации Института проблем информатики и автоматизации Национальной академии наук Республики Армении, Ереван, Армения; e-mail: shushaniksargsyan8@gmail.com

2 Кафедра медицинской физики Ереванского государственного медицинского университета имени М. Гераци, Ереван, Армения

3 Центр региональных исследований Академии государственного управления Республики Армении, Ереван, Армения

4 Комитет по науке Республики Армении, Ереван, Армения

Повышение эффективности использования государственных средств, направленных на научно-технические исследования и разработки, является актуальной проблемой. Один из путей решения этой проблемы - финансирование научных организаций сообразно их результативности. Для этого в ряде стран практикуется оценка эффективности деятельности научных организаций на общенациональном уровне. Оценка эффективности деятельности организаций, занимающихся научно-техническими исследованиями и разработками, и распределение финансирования сообразно результатам этой оценки есть в Великобритании (первой стране, внедрившей такую практику), Италии и России. В Армении модель рейтингового финансирования государственных научных организаций планируется внедрить с 2020 г.

В статье представлена модель рейтингового финансирования государственных научных организаций Армении, разработанная и предложенная Комитетом по науке Республики Армении. Внедрение модели приведет к образованию дополнительных финансовых ресурсов и повышению эффективности бюджетного финансирования, так как оно будет производиться с учетом результатов научной организации.

Ключевые слова: коэффициент оценки эффективности, рейтинговое финансирование, наукометрическая оценка, экспертная оценка, государственное финансирование, базовое финансирование Для цитирования: Саргсян Ш. А., Арутюнян Т. С., Саакян В. А., Арутюнян С. Г. Новая модель рейтингового финансирования научных организаций Армении // Библиосфера. 2019. № 3. С. 85-92. DOI: 10.20913/1815-3186-2019-3-85-92.

Classification model of funding for research institutions in Armenia Sh. A. Sargsyan1' 2, T. S. Harutyunyan3, V. H. Sahakyan4, S. G. Haroutiunian4

1 Center for Scientific Information Analysis and Monitoring at the Institute for Informatics and Automation Problems National Academy of Sciences of the Republic of Armenia, Yerevan, Armenia; e-mail: shushaniksargsyan8@gmail.com

2 Medical Physics Department at the Yerevan State Medical University after M. Heratsi, Yerevan, Armenia

3 Center for Regional Studies in Public Administration Academy of the Republic of Armenia, Yerevan, Armenia

4 Committee of Science of the Republic of Armenia, Yerevan, Armenia

Abstract Improving the efficiency of the use of public funds directed at scientific and technological research and development is one of the urgent problems of our time. Among the possible solutions is scientific organizations funding according to their results. With this aim, a number of countries have implemented evaluation of their scientific organizations productivity at the national level. Evaluation of the effectiveness of organizations engaged in scientific and technical R&D, and the distribution of funding according to the results of such evaluation there are in the UK (the first country to introduce such practices), Italy and Russia. Starting from 2020, the Republic of Armenia is also planning to invest a rating model for financing state scientific organizations.

The article presents the model of rating financing of the state scientific organizations in Armenia, developed and proposed by the Committee on science of the Republic of Armenia. The introduction of the model will lead to the formation of additional financial resources and increase the efficiency of budget financing, as it will be done with the account of results of a scientific organization.

Keywords: efficiency/productivity ratio, rating model for financing, scientometric assessment, expert assessment, public funding, basic financing

Citation: Sargsyan Sh. A., Harutyunyan T. S., Sahakyan V. H., Haroutiunian S. G. Classification model of funding for research institutions in Armenia. Bibliosphere. 2019. № 3. P. 85-92. DOI: 10.20913/1815-3186-2019-3-85-92.

от ш DC ZD (D

Ш

О z

Ш

о от

Введение

Финансирование является одним из основных инструментов управления научно-инновационной сферой, и вопрос источника финансирования становится чрезвычайно актуальным для научно-технической и инновационной политики любой страны. В постсоветских странах 80-90% общего бюджета науки финансируется государством, но и частный сектор постепенно становится серьезным игроком на этом поле.

С каждым годом усиливается тенденция более избирательного и конкурентного финансирования науки. Разнообразие внешних источников финансирования научных исследований (различных учреждений и фондов) также повлияло на институциональные механизмы, диверсифицировав источники финансирования. При увеличении затрат на науку, технологии и инновации (НТИ) наблюдается некоторое сокращение доли государственного финансирования, становится актуальным совмещение бюджетного (государственного) и внебюджетного (международные гранты, средства частного сектора и др.) финансирования научно-инновационной деятельности [6, 11, 13, 18].

Для более эффективного привлечения внебюджетных средств в финансирование НТИ необходимо повысить уровень эффективности научно-исследовательских организаций (НИО), в первую очередь - государственных. Успешное применение модели оценки их деятельности и соответствующее распределение государственного финансирования не только повысит уровень эффективности НИО и их государственного финансирования, но и сделает их более конкурентоспособными для привлечения внебюджетных средств.

В разных странах разрабатывались и внедрялись методики оценки результативности деятельности научных организаций [2, 10-12, 16]. В общем можно сказать, что все они были призваны в той или иной мере решить следующие задачи:

1. Распределение государственного финансирования исходя из эффективности НИО.

2. Стимулирование постоянного улучшения производительности исследований.

3. Определение сильных и слабых сторон в дисциплинах и разных областях научной деятельности для формирования политики и стратегии управления на правительственном и институциональном уровнях.

4. Представление полноценной информации налогоплательщикам об уровне эффективности

исследований и полученной от них общественной выгоды.

5. Снижение информационной асимметрии между пользователями и создателями знаний.

Сначала при оценке результативности научной деятельности преобладал экспертный подход. В дальнейшем, благодаря развитию наукометрии, экспертный подход стал опираться на формальные показатели результативности. Следует отметить, что применение только формальных наукометрических показателей дает удовлетворительные результаты в области естественных наук, а в гуманитарных и социальных науках библиометрические индикаторы пока что не считаются достаточно надежным дополнением экспертной оценки. Например, британская программа Research Excellence Framework (REF) является информированной экспертной оценкой, опирающейся на наукометрические показатели. Итальянская программа оценки Quinquennial Research Evaluation (VQR) включает в себя экспертную, информированную экспертную и библиометрическую оценки и является, по сути, гибридной моделью. А австралийская программа Excellence in Research for Australia Initiative (ERA) почти полностью основывается на библиометрическом подходе [3, 5, 9, 19, 20].

Первым опытом оценки эффективности научной деятельности в национальном масштабе можно считать программу оценки высших учебных заведений Великобритании Research Selectivity Exercise (RSE), проведенной в 1986 [1, 4, 5, 15] и в 1989 гг. В 1986 г. только 16,5% средств, выделенных Комитетом по университетским грантам на исследования, были распределены в соответствии с результативностью научно-технической деятельности вузов, а в 1989 г. - уже 50%.

В 1992 г. преемник Комитета по университетским грантам - Совет по финансированию университетов - провел Research Assessment Exercise (RAE), пришедший на смену RSE. В 1992, 1996, 2001 и 2008 гг. уже 90% финансирования было распределено по результатам RAE [8, 14, 17]. С 2014 г. RAE заменен на Research Excellence Framework (REF). REF1 проводится четырьмя органами финансирования высшего образования: Исследовательской Англией (Research England); Шотландским советом по финансированию (Scottish Funding Council); Советом по финансированию высшего образования Уэльса (Higher Education

1 Подробнее о Research Excellence Framework см.: https://www.ref.ac.uk (дата обращения: 16.06.2019). Здесь и далее информация о REF взята из вышеуказанного ресурса.

Funding Council for Wales) и Министерством экономики Северной Ирландии (Department for the Economy of Northern Ireland).

REF представляет собой процесс экспертной оценки (включающий также личные встречи с исследователями из оцениваемых научных организаций), проводимой экспертами в 34 областях оценки, основанных на научных направлениях (клиническая медицина, сельскохозяйственные и ветеринарные науки, химия, физика, археология, право, история, философия и др.). Оценку проводят четыре основные комиссии:

• Медицинские науки, науки о жизни (Medicine, health and life sciences).

• Естественные науки, инженерия и математика (Natural sciences, engineering and mathematics).

• Общественные науки (Social sciences).

• Искусство и гуманитарные науки (Arts and Humanities).

Среди экспертов есть как представители академических кругов Великобритании (основная часть экспертов) и других стран, так и представители общественности, которые должны в числе прочего оценить влияние исследований на качество жизни общества.

Для каждой научной организации оцениваются три элемента:

• Качество результатов (публикации, выступления, выставки и др.).

• Их влияние за пределами научного сообщества.

• Научно-исследовательская инфраструктура.

Оценка результативности научной деятельности на национальном уровне проводится также в Австралии, Италии, Нидерландах, Португалии, России, во Франции и др. [1, 3-5, 7, 9, 19, 20].

В Республике Армении стартует программа «Повышение эффективности финансирования и оптимизация научных организаций», целью которой является эффективное использование государственных средств, выделяемых на науку, стимулирующее дальнейшее повышение эффективности работы системы «наука - образование -производство». Они должны быть направлены на решение проблем, вытекающих из нужд экономики и обороны страны. Комитетом по науке была разработана модель рейтингового финансирования научных организаций; при разработке модели были учтены как международный опыт, так и местные реалии, что позволит повысить ее эффективность. Модель находится на стадии экспертного и общественного обсуждения; предполагается, что она вступит в силу в 2020 г.

Сейчас объем базового финансирования в основном зависит от общего числа сотрудников той или иной научной организации, что зачастую приводит к не самому оптимальному распределению государственного финансирования. Кроме

того, правительством поставлена задача перед ведущими научными организациями Армении, добившимися значительных результатов и имеющими определенный рейтинг в мире, не проводить спонтанные исследования и не ограничиваться только приоритетными для организации направлениями. Их работы должны включать в себя решение государственных задач, способствовать развитию экономики и обороноспособности страны. При этом необходимо учитывать ряд факторов, напрямую влияющих на эффективность научно-технической деятельности научных организаций.

Сегодня в Армении актуальна проблема «старения» науки. Доля научных сотрудников старше 65 лет составляет 25-27%; через 10-12 лет их будет 3-5% от общего числа научных кадров. В то же время наблюдается уменьшение количества научных сотрудников 35-55 лет, которые востребованы в западных странах и эмигрируют туда за высокими зарплатами. Таким образом, возрастной баланс научных кадров значительно нарушен, и эта тенденция наблюдается во всех странах бывшего Советского Союза.

В настоящее время в научной сфере Армении занято 6200 человек. Для страны с трехмиллионным населением это предельно низкий уровень, не способный воспроизводить нужное количество научных кадров. Необходимо вести целенаправленную работу, чтобы число людей, занятых в научной сфере, не уменьшилось, а увеличилось. Внедрение рейтинговой модели финансирования научных организаций будет способствовать более справедливому распределению финансовых ресурсов, приведет к увеличению государственного финансирования науки, которое будет направлено на привлечение молодых кадров.

Цель статьи - дать общее описание вышеуказанной модели, описать методологию расчета эффективности деятельности государственных НИО.

Обсуждение

На рисунке 1 представлена доля бюджетного финансирования, выделенная государством для научной и научно-технической деятельности, по отношению к ВВП страны. В настоящий момент она составляет 0,27% ВВП.

Распределение бюджетного финансирования науки осуществляется по четырем направлениям:

• базовое финансирование,

• целевое финансирование,

• договорное/тематическое финансирование,

• суммы, выплачиваемые за ученые степени.

х с

CL ©

Щ

с

X

ВВП %

0,27%

0,28% o,28%

0,27% 0,27%

0,30% 0,25% 0,20% 0,15% 0,10% 0,05% 0,00%

2008 2009 2010 2011 2012 2013 2014 2015 2016 2017 2018 Рис. 1. Бюджетное финансирование науки Республики Армении Fig. 1. Budgetary financing of science in the Republic of Armenia

На долю базового финансирования в среднем приходится 71%, на долю целевого финансирования - 13%, тематического финансирования - 10%; 6% направляется на выплаты за ученые степени. Таким образом, основная часть средств приходится на базовое финансирование и именно оно будет осуществляться по новой модели, которая представлена в статье (рис. 2).

Базовое финансирование - это основной тип финансирования, который позволяет обеспечить функционирование (по всем направлениям) и сохранность инфраструктуры научных организаций. Тематическое финансирование - гранты, выделяемые по результатам конкурса. Победившие научные группы, получившие такое финансирование, проводят исследования по строго определенным темам. Целевое финансирование -это финансирование, выделяемое для осуществления крупных проектов теоретического или прикладного направления, имеющих общегосударственное значение. Таким образом, можно констатировать, что научная организация может существовать без двух последних видов финансирования, но не без базового финансирования.

Почему возникла необходимость применения новой модели базового финансирования?

80%

Заявки, представленные для получения базового финансирования, всегда утверждаются на конкурсной основе, для чего создается межведомственная комиссия под председательством министра образования и науки. В состав межведомственной комиссии входят председатель Комитета по науке, президент Академии наук и представители министерств на уровне заместителей министров или начальников управлений. Каждая научно-исследовательская организация представляет свои базовые программы, которые обсуждаются комиссией, после чего принимается решение об их финансировании. Проблема заключается в том, что при принятии решений межведомственной комиссией нет конкретных критериев, тем более - численных параметров для оценки программ той или иной научной организации. В связи с этим возникла необходимость оценки представленных программ базового финансирования на основе конкретных результатов научной и научно-технической деятельности каждой организации, что может стимулировать конкуренцию среди них и способствовать их более мотивированной научной деятельности.

Модель предполагает установить соответствующие параметры, на основе которых научные

I Базовое финансирование

I Целевое финансирование

I Тематическое финансирование

I Суммы,

выплачиваемые за ученые степени

2014 2015 2016 2017 2018

Рис. 2. Распределение бюджетного финансирования науки Fig. 2. Distribution of budgetary financing of science

организации получат баллы и будут классифицированы (под научными организациями подразумеваются как академические институты, так и вузовские подразделения).

Оценка научной деятельности НИО будет производиться по 7 параметрам.

1. Эффективность исследований:

■ научные статьи;

■ монографии, публикации в сборниках материалов;

■ материалы конференций;

■ патенты;

■ награды.

2. Кадровый потенциал:

■ научные и инженерно-технические работники;

■ научные сотрудники с ученой степенью;

■ научные сотрудники до 35 лет;

■ научные сотрудники, имеющие высокую продуктивность, аспиранты и соискатели.

3. Материально-техническая обеспеченность:

■ здания и постройки;

■ здания и постройки, используемые при исследованиях;

■ приборы, оборудования или другие средства исследований;

■ приборы, оборудования или другие средства исследований давностью до 7 лет;

■ наличествующие или находящиеся в стадии разработки нематериальные активы: компьютерные программы, лицензии, авторские права, модельные разработки, опытные образцы, патенты, права, связанные с производством и сферой услуг.

4. Уровень интегрированности в международное научно-образовательное пространство:

■ международные гранты;

■ приборы и оборудования, приобретенные/созданные в сотрудничестве с зарубежными организациями;

■ организованные международные конференции;

■ сотрудники, вовлеченные в международное сотрудничество;

■ сотрудники, отправленные в зарубежные командировки.

5. Уровень интегрированности в научно-образовательное пространство Армении:

■ темы договорного (тематического) финансирования;

■ исследовательские темы молодых научных сотрудников;

■ индивидуальные гранты поддержки аспирантов;

■ базовые кафедры или совместные научно-образовательные подразделения;

■ научные сотрудники, осуществляющие преподавательскую деятельность.

6. Уровень коммерциализации научных результатов:

■ инфраструктуры коммерциализации научных результатов;

■ программы, направленные на получение прикладных результатов;

■ разработанные и/или внедренные технологии, культурные, природоохранные или другие прикладные программы;

■ договоры, заключенные с государственными органами и/или частным сектором экономики;

■ инфраструктурные подразделения, совместные с государственными органами и/или частным сектором экономики.

7. Финансовая эффективность:

■ объемы базового, целевого и договорного (тематического) финансирования;

■ работы, осуществляемые на основе договоров с государственными органами и/или частным сектором экономики;

■ финансовые средства, утвержденные для осуществления научных исследований;

■ фонд зарплаты;

■ фонд зарплаты научных и инженерно-технических сотрудников.

По вышеперечисленным показателям вычисляется коэффициент оценки эффективности (КОЭ) научной деятельности данного учрежде-

ния:

Е — к,1 X

еГ

(1)

где Е - КОЭ, Ег- балл, приписываемый ьму показателю, Е. тах - максимальное значение этого ього показателя в оценках научных организаций данной сферы, к. = коэ ффициент пропорциональности ьго показателя, устанавливаемый комиссией.

КОЭ для каждой организации по всем параметрам рассчит—вае тся для последнего пятилетнего срока деятель ности учреждения. Поскольку параметры со 2-го по 7-й в конечном счете влияют на параметр 1, то по результатам параметра 1 научные организации будут разделены на категории. Оценка научных организаций будет производиться по заранее составленным научным блокам, куда войдут организации, занимающиеся научной деятельностью по близким областям исследований.

Рассмотрим работу модели на примере НИО, ведущих исследования в области физических наук. В Армении существует 10 таких научных организаций. Общий бюджет области составляет сумму X.

Разделим этот бюджет на 4 части - А, В, С, D (рис. 3):

Число сотрудников 10 организаций обозначим буквой п, число сотрудников первой

X

с

о. ©

т

с х

CO Ш ОС 3

о

ш

о z

Ш

О CO

Рис. 3. Составные части бюджета Fig. 3. Budget components

организации будет, соответственно, n1 , второй - n2 и так далее. Общ ее число с отрудников будет

n = H=Vi.

(2)

Следует отметить, что люди входят в число сотрудников независимо от того, какую должность они занимают и работают ли они на полную или неполную стаску.

Далее, на основе 7 параметров рассчитываются N - баллы этих организаций:

(3)

Рассчитаем фон— заработной платы организации. Разделив А (фонд заработной платы) на N мы получим денежное знсчение одной единицы заработанного б алла. Теперь, если умножим эту единицу на собраниыч плрвой организацией баллы то получим фонд заработной платы организации, который чбознач и м через а1.

а1 = ЛЛ -.

1 1N

(4)

Далее по заранее утв ержденным критериям рассчитываются хо зя йственные расходы. Для первой организации это будет Ь1. Параметр Ь1 зависит от многих факторов (например, занимается ли данный институт экспериментальными исследованиями, или же институт теоретический, понадобятся ли ему расходы на

-25

-12,5

экспедиции и др.). То есть, в зависимости от рода деятельности той или иной организации, этот процент может быть разным (для одной организации это может быть 20%, для другой - 26% и т. д.).

Внесем коэффициент а=лднхй нффектив-ности (Д) научной деятельности. Ее ли баллы, набранные всеми организациями, разделим на число сотрудников всех оргсл и з аций, получим средний балл эффективн осли научной деятельности одного сотрудника. То же самое можно рассчитать для каждой организации - первой, второй и т. д.

N

м = -

(5)

Возьмем условные числа, выберем интервал, который больше Д на 12,5% и меньше Д на 12,5%. Таким образом, участок вокруг Д составит 25%. Разделим его на четыре интервала (рис. 4) - рейтинговых участка (РУ).

Те научные учреждения, коэффициент средней эффективности (Д) научной деятельности которых попадает на РУ I, будем считать учреждениями первой категории. Учреждения, Д которых попадает на второй РУ, будем считать учреждениями второй категории и т. д. Таким образом, учреждения разделятся на четыре категории:

1-я категория будет означать, что деятельность научного учреждения осуществляется с высокой эффективностью, в соответствии с современными критериями науки или близко к ним;

2-я категория - что деятельность осуществляется с удовлетворительной эффективностью;

3-я категория - деятельность осуществляется неудовлетворительно, однако есть возможность в разумные сроки (скажем, за 3 года) повысить ее эффективность;

4-я категория - деятельность осуществляется с низкой эффективностью, отсутствует возможность исправления ситуации (целесообразность деятельности в качестве научной организации является отдельным вопросом).

Научные организации, попавшие в четвертую категорию, будут объединены с соответствующими научными организациями первой,

Ц

12,5

IV

Рис. 4. Рейтинговые участки (РУ) Fig. 4. Rating scales

второй и третьей категорий, а лучшие сотрудники (которые будут оцениваться аналогичной методологией) будут включены либо в объединенные центры, либо в научные организации, занимающиеся смежными научными исследованиями. Конечной целью рейтингового финансирования является поднятие всех оставшихся научных организаций на уровень первой или второй категории.

Те организации, которые попадут в первую категорию, получат, кроме заработной платы по набранным баллам, еще определенный процент (например, 10%) от бонусного фонда (С - бонусный фонд). Соответственно, организации, попавшие во вторую категорию, получат фонд зарплаты по набранным баллам плюс, скажем, 5% от бонусного фонда. Это условные цифры, которые будут зависеть от числа организаций, попавших в определенную категорию.

Организации, попавшие в третью категорию, останутся без бонуса, получат фонд зарплаты только по набранным баллам и предупреждение от комиссии. Они должны будут за три года перейти во вторую или первую категорию, иначе встанет вопрос о расформировании учреждения.

Организации, получившие четвертую категорию, будут расформированы. Отдельные сотрудники из учреждения четвертой категории, набравшие определенное количество баллов, сохранят свои рабочие места на основе той же схемы и перейдут со своим финансированием в организации первых трех категорий.

Если по результатам оценки окажется, что значительное число организаций попадают

в четвертую категорию, будет произведена определенная корректировка размеров указанных рейтинговых участков.

Участок «новые проекты», доля которых составляет, скажем, 3% от всего финансирования и которые будут выбраны межведомственной комиссией и профинансированы из фонда D.

Таким образом, бюджет учреждения будет рассчитываться согласно формуле и в результате первая организация получит

Т = а+ъх + ех + йх. (6)

Заключение

Авторы считают, что внедрение описанной модели рейтингового финансирования не приведет к уменьшению числа научных кадров и будет способствовать образованию дополнительных финансовых ресурсов, которые будут распределяться более справедливо: каждая научная организация получит финансирование согласно показанным результатам, что в свою очередь приведет к повышению эффективности бюджетного финансирования.

Благодарность

Авторы выражают признательность сотрудникам Центра анализа и мониторинга научной информации Э. Гзоян, А. Маиляну и А. Мирзо-яну за участие в работе над статьей. ■

Список источников / References

1. Гуськов А. Е., Косяков Д. В., Селиванова И. В. Методика оценки результативности научных организаций // Вестник Российской академии наук. 2018. Т. 88, № 5. С. 430-443. Guskov A. E., Kosyakov D. V., Selivanova I. V. Method to assess the efficiency of scientific organizations. Vestnik Rossiskoi academii nauk, 2018, 88(5), 430-443. (In Russ.). DOI: 10.7868/S0869587318050092.

2. Abramo G., D'Angelo C. A., Pugini F. The measurement of Italian universities' research productivity by a non parametric-bibliometric methodology. Scientometrics, 2008, 76(2), 225-244. DOI: 10.1007/s11192-007-1942-2.

3. Abramo G., D'Angelo C. A. Evaluating research: from informed peer review to bibliometrics. Scientometrics, 2011, 87(3), 499-514. DOI: 10.1007/s11192-011-0352-7.

4. Aksnes D. W. When different persons have an identical author name. How frequent are homonyms? Journal of the American Society for Information Science and Technology, 2008, 59(5), 838-841. DOI: https://doi. org/10.1002/asi.20788.

5. Aksnes D. W., Taxt R. E. Peers reviews and bibliometric indicators: a comparative study at Norvegian University. Research Evaluation, 2004, 13(1), 33-41. DOI: 10.3152/147154404781776563.

6. Anfossi A., Ciolfi A., Costa F., Parisi G., Benedetto S. Large-scale assessment of research outputs through a weighted combination of bibliometric indicators. Scientometrics, 2016, 107(2), 671-683. DOI: 10.1007/s11192-016-1882-9.

7. Malek J., Hudeckova V., Matejka M. System of evaluation of research institutions in the Czech Republic. Procedia Computer Science, 2014, 33, 315-320. DOI: https://doi.org/10.1016Zj.procs.2014.06.050.

8. Bence V., Oppenheim C. The evolution of the UK's research assessment exercise: publications, performance and perceptions. Journal of Educational Administration and History, 2005, 37(2), 137-155. DOI: 10.1080/00220620500211189.

9. Butler L., McAllister I. Metrics or peer review? Evaluating the 2001 UK research assessment exercise in political science. Political Studies Review, 2007, 7(1), 3-17. DOI: https://doi.org/10.1111/j.1478-9299.2008.00167.x.

10. Franceschini F., Maisano D. Critical remarks on the Italian research assessment exercise VQR2011-2014. Journal of Informetrics, 2017, 11(2), 337-357. DOI: 10.1016/j.joi.2017.02.005.

11. Fursov K., Roschina Y., Balmush O. Determinants of research productivity: an individual-level lens. Foresight and STI Governance, 2016, 10(2), 44-56. DOI: 10.17323/1995-459X.2016.2.44.56.

12. Harman G. Allocating research infrastructure grants in post-binary higher education systems: British and Australian approaches. Journal of Higher Education Policy and Management, 2000, 22(2), 111-126. DOI: 10.1080/14636770307132.

13. Hicks D. Performance-based university research funding system. Research Policy, 2012, 41. 251-261. DOI: https://doi.org/10.1016/j.respol.2011.09.007.

14. Lee F. S., Pham X., Gu G. The UK research assessment exercise and the narrowing of UK economics. Cambridge Journal of Economics, 2013, 37(4), 693-717. DOI: 10.1093/cje/bet031.

15. Moed H. F. Citation analysis in research evaluation. Dordrecht, Springer, 2005. 323 p.

16. Oppenheim C. The correlation between citation counts and the 1992 research assessment exercise ratings for British research in genetics, anatomy and archaeology. Journal of Documentation, 1997, 53(5), 477-487.

17. Oppenheim C., Norris M. Citation counts and the research assessment exercise V: archaeology and the 2001 RAE. Journal of Documentation, 2003, 56(6), 709-730. DOI: https://doi.org/10.1108/00220410310698734.

18. Seidl da Fonseca R., Pinheiro-Veloso A. The practice and future of financing science, technology, and innovation. Foresight and STI Governance, 2018, 12(2), 6-22. DOI: 10.17323/2500-2597.2018.2.6.22.

19. Zacharewicz Th., Lepori B., Reale E., Jonkers K. Performance-based research funding in EU member states - a comparative assessment. Science and Public Policy, 2019, 46(1), 105-115. DOI: https://doi. org/10.1093/scipol/scy041.

20. Wa-Mbaleka S., Aguila Gomez M. State funding of research in the Philippines: processes and stakeholders' experiences. Prism, 2018, 22(1), 2-19.

Материал поступил в редакцию 05.07.2019 г.

Сведения об авторах: Саргсян Шушаник Артуровна - кандидат биологических наук, руководитель Центра анализа и мониторинга научной информации Института проблем информатики и автоматизации Республики Армении, преподаватель кафедры медицинской физики Ереванского государственного медицинского университета имени М. Гераци

Арутюнян Тигран Самвелович - кандидат биологических наук, руководитель Центра региональных исследований в Академии государственного управления Республики Армении, e-mail: tigharout@gmail.com

Саакян Вардан Айастанович - кандидат физико-математических наук, заместитель председателя Комитета по науке Республики Армении, e-mail: v.sahakian@scs.am

Арутюнян Самвел Гарникович - доктор физико-математических наук, профессор, председатель Комитета по науке Республики Армении, e-mail: sharout@ysu.am

от ш ос

ZD О

ш

о

Z ш

о от