CC BY
69
© Коллектив авторов, 2015
DOI: 10.17749/2070-4909.2015.8.3.031-042
ISSN 2070-4909
Репутационный индекс как инструмент обеспечения взаимосвязи результатов научной деятельности с бюджетным финансированием
Богачева О.В.1,2, Григоров В.Э.1
1ФГБУ «Научно-исследовательский финансовый институт» Министерства финансов Российской Федерации, Москва
2ФГБУН «Институт мировой экономики и международных отношений имени Е.М. Примакова» РАН, Москва
X
го
CL X о
го ш го
гт °
¡5 m
X
о
СО CK
0 Ш
Ö .D
Ц
01 I-
го ч
п
X
ГО
5 о
о ^
ю Е
т
«
го -£3
CD X
о. £
Резюме
Цель работы - формирование научно обоснованных предложений по совершенствованию подходов к оценке результативности и эффективности деятельности научных организаций, осуществляющих научно-исследовательские и опытно-конструкторские разработки (НИОКР), и предложений по обеспечению взаимосвязи результатов научной деятельности с бюджетным финансированием. Материалы и методы. В статье на основе методов сравнения и аналогии проведен анализ российской и международной практики оценки результативности и эффективности деятельности научных организаций в целях стимулирования повышения качества исследований и совершенствования бюджетного планирования расходов на науку в России. Результаты. Авторы предлагают подходы к выделению научных организаций, обладающих повышенной компетенцией в своей сфере деятельности, на основе индекса научной репутации (репутационного индекса) научных организаций. В статье предлагаются и обосновываются подходы к оценке и финансированию научных организаций с наивысшими значениями репутационного индекса. Выводы. Существующие в настоящее время в России подходы к оценке научных организаций не могут эффективно использоваться при бюджетном планировании расходов на науку. В ряде стран накоплен опыт применения методов оценки научных организаций на основе использования репутационного индекса, который отражает уровень научных исследований в конкретных учреждениях и определяется на основе количественных показателей результатов и/или экспертного суждения. Опыт ряда стран, прежде всего, Великобритании, Австралии и Новой Зеландии, свидетельствует об успешности применения репутационного индекса при распределении грантов образовательным учреждениям в целях стимулирования высокого качества научной деятельности. Применение репутационного индекса в России позволит обеспечить финансовое стимулирование передовых научных организаций в рамках выполнения государственного задания без изменения общего объема бюджетного финансирования научной деятельности.
Ключевые слова
Государственные финансы, государственная научная политика, научные исследования и разработки, НИОКР, оценка результативности научных организаций, репутационный индекс.
Статья поступила: 03.08.2015 г.; в доработанном виде: 21.08.2015 г.; принята к печати: 18.09.2015 г. Конфликт интересов
Авторы заявляют об отсутствии необходимости раскрытия финансовой поддержки или конфликта интересов в отношении данной публикации. Все авторы сделали эквивалентный вклад в подготовку публикации. Для цитирования
Богачева О.В., Григоров В.Э. Репутационный индекс как инструмент обеспечения взаимосвязи результатов научной деятельности с бюджетным финансированием. ФАРМАКОЭКОНОМИКА. Современная фармакоэкономика и фармакоэпидемиология. 2015; 3: 31-42.
cd .. I «
Е
<л о
_ 05
° ю О
Ф ю
О I О О! ГО -"fr
Е ® го ю
■С СП
о. -t
+
CD
го
О ™ О Щ
го
X
го т го
ы
о
го
-О
ю
т ^
о
О X ГС
§ Ü
СО S
£ ° О. О
ГС
го
X ■
го
1Д
RESEARCH EXCELLENCE INDEX AS INSTRUMENT OF PERFORMANCE-ORIENTED BUDGETING
Bogacheva O.V.12, Grigorov V.E.1
1 Research Institute of Finance, Ministry of Finance of the Russian Federation, Moscow
2 Primakov Institute of World Economy and International Relations Russian Academy of Sciences, Moscow
Summary
The purpose of the paper is to develop approaches to evaluation of efficiency and effectiveness of R&D organizations with the aim of performance-based funding. Sources and methods. Based on comparative methods, the paper analyzes the Russian and international practice in efficiency and effectiveness evaluation of R&D organizations aimed at stimulating high quality of research and improving the general effectiveness of R&D budgeting in Russia. Results. The authors propose and provide rationale for approaches to identify top R&D organizations based on Research Excellence Index (REI). Methods of evaluation and financing based on the Index are described. Conclusion. Results of application of existing evaluation methods of R&D organizations in Russia cannot be efficiently used in budgetary planning procedures. At the same time, several countries (Great Britain, Australia, New Zealand, et.al.) have accumulated vast experience in evaluation of effectiveness of R&D organizations based on REI. Results of evaluations (combining both qualitative methods and experts' opinions) are successfully used in distribution of research grants among academic institutions. Application of REI in Russia will allow to provide additional financing to top R&D organizations without necessity to increase the general amount of the national R&D budget.
Key words
Public finance, national science policy, research and development (R&D), evaluation of effectiveness of R&D organizations, Research Excellence Index.
Received: 03.08.2015; in the revised form: 21.08.2015; accepted: 18.09.2015. Conflict of interests
The authors declared that they do not have anything to disclosure regarding funding or conflict of interests with respect to this manuscript. All authors contributed equally to this article.
For citation
Bogacheva O.V., Grigorov V.E. Research excellence index as instrument of performance-oriented budgeting. FARMAKOEKONOMIKA. Sovremennaya farmakoekonomika i farmakoepidemiologiya / PHARMACOECONOMICS. Modern pharmacoeconomics and pharmacoepidemiology. 2015; 3: 31-42 (in Russian).
Corresponding author
Address: Nastasyinsky per., 3-2, Moscow, Russia, 127006. E-mail address: [email protected] (Bogacheva O.V.).
Оценка результативности научных организаций начала проводиться в России с 2009 г. в соответствии с правилами, принятыми Правительством Российской Федерации, и методической базой, подготовленной Минобрнауки России [10,11]. За период 20102012 гг. оценку прошли 817 из 1119 научных организаций (73% общего числа), находящихся в ведении федеральных органов власти и государственных академий [4].
В 2013-2014 гг. система оценки результативности была существенно усовершенствована. Новые правила [9] обеспечили прозрачность и вневедомственный характер оценки. Была установлена возможность объединения научных организаций в референтные группы исходя из направлений исследований, научной специализации и видов научно-исследовательских и опытно-конструкторских разработок (НИОКР), что позволило сопоставлять их между собой, а также с научными организациями экономически развитых стран. Было предусмотрено также формирование единой базы ежегодного мониторинга, что обеспечило новые возможности для координации и развития научных организаций благодаря информационной открытости и межведомственному характеру процедуры оценки [12].
Оценка основана на результатах экспертного анализа параметрических данных (более 70 показателей), утвержденных Минобрнауки России [13], и охватывает следующие направления:
- результативность и востребованность научных исследований;
- развитие кадрового потенциала;
к о ь 2 к
X
го а
X CD
ГО Ш ГО
а [=
V 01
£ ° ¡5 00
§ ш
X CL
А О
О. со CD I-
СО го
и
CQ —
2 °
2 сч § ®
£ £ и?
к ^
о О
ф Е
т
«
го -g
CD X О. £
С С CD '. .
Е
- интеграция в мировое научное пространство, распространение знаний и повышение престижа науки;
- ресурсное обеспечение деятельности научной организации.
Оценка проводится один раз в 5 лет и носит двухэтапный характер. На первом этапе ведомственные комиссии, создаваемые федеральными органами исполнительной власти, в ведении которых находятся научные организации, проводят анализ параметрических показателей результатов их деятельности за последние 5 лет, сопоставляют их с минимальными значениями, установленными межведомственной комиссией для референтных групп, и формулируют предложения по отнесению научных организаций к одной из трех категорий, установленных для оценки результативности. На втором этапе межведомственная комиссия рассматривает предложенное распределение научных организаций по категориям, сопоставляет показатели результативности научных организаций в рамках референтных групп и с минимальными значениями, установленными для референтных групп, и вырабатывает общие рекомендации к отнесению научных организаций к одной из трех категорий:
1-я категория - научные организации - лидеры;
2-я категория - стабильные научные организации, демонстрирующие удовлетворительную результативность;
3-я категория - научные организации, утратившие научную деятельность в качестве основного вида деятельности и перспективы развития.
Распределение научных организаций по категориям позволяет
Е «
° ю §
ф ю
О I О О) ГО -"fr
Е ® го ю
■С СП О. -t
+
CD
сс
О ™ О Щ
го
X
го т го
ы
о
т ^
о
О X
СР ЕЁ
I- а
£ °
о. о
CD 5
£ а? О
i е
ГО х CIS
органам исполнительной власти принимать более эффективные управленческие решения в отношении подведомственных научных организаций. Для научных организаций, отнесенных к первой категории, федеральные органы исполнительной власти готовят стратегии и (или) программы развития, направленные на укрепление их лидерства. Для научных организаций, отнесенных ко второй категории, - стратегии и (или) программы развития и (или) рекомендации, направленные на улучшение их деятельности. Научные организации, отнесенные к третьей категории, подлежат реструктуризации или ликвидации.
Предполагается, что итоги оценки будут способствовать оптимизации и развитию сети научных организаций, а также повышению эффективности принятия управленческих решений.
В то же время остается неопределенным, каким образом итоги оценки могут учитываться органами исполнительной власти при формировании перечня НИОКР гражданского назначения и определении объемов финансового обеспечения деятельности и развития подведомственных научных организаций, так как в процедуру оценки не входит экспертный анализ результатов научной деятельности (научных проектов, публикаций, направлений исследований) и не оценивается уровень качества научной деятельности. Кроме того, оценка ориентирована на выявление «слабых» научных организаций, нуждающихся в реструктуризации, а не на поддержку лидеров в соответствующих отраслях науки. Используемый алгоритм расчета результативности не позволяет оценивать достижения научных организаций и стимулировать их в соответствии с результатами (качеством) научной деятельности. Таким образом, принятая методика может способствовать повышению эффективности управления сферой науки, но не решает задачи увязки бюджетного финансирования с показателями результатов научной деятельности.
Различные аспекты результативности научных организаций являются одними из наиболее обсуждаемых вопросов в среде российских исследователей. В центре внимания авторов находятся такие проблемы, как определение эффективности научной деятельности [5,7,14], формирование показателей результатов и системы их оценки, в т.ч. на уровне организации [1,2,6,17], проблемы использования интеллектуальной собственности и оплаты научного труда [3], планирования затрат на научные исследования на основе проектного подхода [15].
При этом вне рамок обсуждений остаются вопросы использования системы оценки результативности научной деятельности как инструмента бюджетирования, ориентированного на результат (далее - БОР). Увязывание распределения бюджетных средств на выполнение государственного задания на НИОКР с результатами научной деятельности государственных учреждений стимулировало бы, с одной стороны, проведение научных работ мирового уровня, а с другой стороны, повышение эффективности бюджетных расходов на науку [16]. Как показывает анализ международного опыта, обеспечение такой связи возможно на основе оценки результативности и расчета репутационного индекса (Research Excellence Index).
В настоящей статье ставится задача рассмотрения зарубежного опыта по применению оценки результативности научных организаций в бюджетном планировании расходов на науку в целях возможного применения этого опыта в России.
Анализ зарубежной практики оценки результативности научных организаций для целей БОР
В странах Организации экономического сотрудничества и развития (далее - ОЭСР) оценки результатов научной деятельности государственных учреждений широко используются в целях анализа развития научной сферы и принятия управленческих решений. Однако для целей ежегодного планирования бюджетных расходов эти оценки применяют такие страны, как: Австралия, Новая
Зеландия, Великобритания (Англия), Гонконг, Дания, Норвегия, Швеция. При этом, как правило, небольшая часть бюджетных расходов на науку (часто до 10%) увязывается с результативностью научных исследований. Распределяемый с помощью этого механизма объем ассигнований зависит от решаемых с его помощью задач. Обычно это задачи стимулирования высокого качества научных исследований. Поэтому гранты, распределяемые на основе оценки результатов научных учреждений, часто называются грантами на стимулирование высокого качества научных исследований [23].
Но этим не исчерпываются задачи государственной научной политики. Они могут включать также модернизацию научной инфраструктуры, реализацию научных проектов в приоритетных отраслях науки и техники и т.д. В этих целях применяются иные механизмы финансирования, непосредственно не связанные с БОР.
В целях увязывания бюджетных ассигнований с результативностью научных исследований используется репутационный индекс, отражающий уровень научных исследований в конкретных научных учреждениях и определяемый на основе количественных показателей результатов и/или экспертного суждения. Репутационный индекс рассчитывается разными способами, например, как доля научных результатов в общем объеме научной деятельности научного учреждения, соответствующая высшим уровням шкалы оценки, либо как суммарная величина взвешенных балльных оценок результатов научной деятельности по оцениваемым научным дисциплинам. В любом случае репутационный индекс входит в состав формулы расчета гранта и непосредственно влияет на его величину.
В 2010 г. экспертами ОЭСР был подготовлен перечень индикаторов (показателей) результатов научной деятельности учреждений высшего образования, рекомендуемый для оценки результатов научной деятельности в целях увязки финансирования с результатами (см. табл. 1). Показатели результатов были сгруппированы по показателям затрат, процесса, ресурсного обеспечения, непосредственных и конечных результатов.
В странах, рассчитывающих репутационный индекс научных и образовательных учреждений, удельный вес показателей непосредственных результатов в оценке может составлять от 30 до 80%. Показатели непосредственных результатов могут измеряться библиометрическими (например, количество статей в рецензируемых журналах, тип публикации, индекс цитирования), иными количественными показателями и/или оценками экспертов. Считается, что экспертное суждение обеспечивает более высокое качество оценки непосредственных результатов, чем формульные расчеты, проводимые исключительно на основе количественных показателей [25].
В разных странах библиометрическим показателям придается неодинаковое значение. Так, в Швеции из всех показателей типов публикаций применяется только показатель «количество статей в рецензируемых журналах», что существенно удешевляет систему оценки результативности. В Дании и Норвегии национальные советы по науке не полагаются на информацию, представленную в электронных сетях, и используют собственную информационную базу по публикационной активности научных учреждений. Для оценки результатов применяется широкий перечень видов публикаций, что позволяет точнее оценить качество и уровень исследовательской деятельности. Причем в датской системе оценки публикации, подготовленные в соавторстве, имеют более высокий удельный вес, чем публикации отдельных авторов, что, как предполагается, должно стимулировать расширение научного сотрудничества [24].
В то же время признается, что библиометрические показатели мало применимы для оценки качества научных исследований в сфере изобразительного искусства, дизайна, информационных технологий. В этих областях применяются иные количественные показатели и суждения экспертов.
X
го а
X CD
ГО ей го
С
^ CD
£ ° ¡5 ОО
§ ш
X 0-
о
ы СО ГС
0 СО
Б
-О
ц
01 I-
го ч
со
г ^
Е ¡¡2
2 °
2 ™ § ®
о
01 т го
X
со
го
CD X О. £
С С CD '. .
Е
<л о
_ 05
° ю О
Ф ю
О I О О) ГО -"fr
Е ® го ю
■С СП О. -t
+
CD
ГС го О ™
О Щ
го
X
го т го
ы
о
го
-О
ю
т ^
о
О X
сР ЕЁ
I- а.
£ о
о. о
Р ^
£ а. гс о
i е
ГО х CIS
Фршми i
Показатель Преимущества Недостатки
1. Показатели затрат Отражают способность привлекать научные кадры, материальные и денежные ресурсы -
1.1. Объем внешнего финансирования Отражает конкурентоспособность учреждения на рынке научных работ; отражает качество исследований, если финансирование получено в связи с положительной экспертной оценкой Получение внешнего финансирования не всегда отражает качество НИР1
1.2. Численность исследователей, докторантов Отражает конкурентоспособность в привлечении и подготовке научных кадров Не всегда связаны с результативностью научной деятельности
2. Показатели процесса Отражают уровень активности в научной деятельности
2.1. Семинары и конференции Отражают интенсивность научной деятельности Не всегда связаны с результативностью научной деятельности
2.2. Приглашенные исследователи, в том числе из-за рубежа Могут отражать качество научных кадров Могут быть связаны со структурой управления
3. Показатели обеспеченности ресурсами Отражают уровень обеспеченности ресурсами -
3.1. Численность научных исследователей, занятых в научной деятельности Отражает научный потенциал и интенсивность научной деятельности Для оценки интенсивности научной деятельности данный показатель следует сопоставлять с непосредственными результатами
3.2. Численность докторантов, участвующих в научной деятельности Отражает научный потенциал и интенсивность научной деятельности -
3.3. Научное сотрудничество и партнерство Может отражать масштабы научной деятельности -
3.4. Участие исследователей в редколлегиях журналов, научных обществах и комитетах -
3.5. Наличие исследовательского оборудования Отражает научный потенциал и масштабы научной деятельности -
4. Показатели непосредственных результатов Отражают продуктивность научной деятельности -
4.1. Количество публикаций Оценка экспертами публикаций может отражать качество исследований Возможен акцент на количестве, а не на качестве исследований
4.2. Численность аспирантов, защитивших диссертационные работы Отражает эффективность программ подготовки научных кадров -
4.3. Презентация результатов проектов Отражает научную активность Не всегда отражает качество научной деятельности
5. Показатели конечных результатов Отражают эффект от научной деятельности -
5.1. Цитирование работ Отражают значимость работ -
5.2. Количество полученных наград Отражают значимость работ -
5.3. Трудоустройство выпускников аспирантуры Может отражать потребность экономики в научных кадрах -
5.4. Количество полученных патентов, выданных лицензий, созданных инновационных фирм Отражает трансферт знаний и коммерциализацию РИД2
5.6. Консультативная деятельность, заключенные контракты Отражает трансферт знаний и коммерциализацию РИД, в определенной мере отражает качество научной деятельности
Таблица 1. Рекомендуемые ОЭСР показатели результатов научной деятельности вузов, их преимущества и недостатки.
Составлено по: OECD (2010), Performance-based Funding for Public Research in Tertiary Education Institutions: Workshop Proceedings, OECD Publishing.
X cc
о
CL CD m
1 Научно-исследовательская работа.
2 Результаты интеллектуальной деятельности.
CD X CL CD
К CC
X ■
со
Во всех странах, применяющих оценку результативности в планировании расходов на науку, для расчета репутационного индекса (балльной оценки) используется показатель «объем внешнего финансирования» как показатель, отражающий конкурентоспособность и качество научных исследований. Вес этого показателя в системе оценки варьируется в пределах от 10% в Гонконге до 50% в Швеции. Под объемом внешнего финансирования в разных странах могут пониматься финансовые ресурсы, полученные из разных источников. Так, в Гонконге и Норвегии учитываются только средства по грантам, прошедшим экспертную проверку, и средства, предоставленные советами по финансированию научных исследований (не учитываются, в частности, средства, полученные от бизнеса). В Новой Зеландии, Австралии, Швеции и Дании для расчета оценки результативности учитывается объем средств, полученный из государственного сектора (по контрактам и от научных фондов), сектора некоммерческих организаций и бизнеса. При этом все источники финансирования имеют одинаковый вес в оценке результативности научной деятельности.
Наряду с показателями непосредственных результатов существенную роль в оценке результативности имеет показатель «количество защищенных диссертаций». Вес этого показателя в системах оценки варьируется от 18% в Дании до 30% в Норвегии.
Информация по количественным показателям собирается по учреждениям ежегодно, обычно по итогам года. При использовании в расчете репутационного индекса (балльной оценки) только количественных показателей результативность научной деятельности оценивается по учреждениям в целом.
В отличие от параметрических оценок, экспертные оценки проводятся значительно реже, с интервалами от двух и более лет, осуществляются оценочными комиссиями, формируемыми по научным направлениям (отраслям науки, научным дисциплинам). Экспертное суждение вырабатывается на основе анализа большого объема информации, включающего количественные показатели. Результаты научной деятельности оцениваются по научным направлениям (научным отраслям, дисциплинам) по методикам, утвержденным соответствующими оценочными комиссиями, и могут быть сведены в общий репутационный индекс научного учреждения (общую балльную оценку).
В странах, использующих одновременно параметрические и экспертные оценки, сбор соответствующей информации синхронизирован.
В каждой стране, применяющей репутационный индекс (балльную оценку) в планировании распределения бюджетных ассигнований, разработана собственная система оценки результативности.
В Австралии применяются две системы оценки результативности научной деятельности: для расчета объема блочных грантов (Research Block Grants, RBG) и для расчета гранта, связанного с высоким качеством исследований (Excellence in Research for Australia, ERA) [19].
В Англии в 2008-2013 гг. применялась система оценки, получившая название «Мероприятия по оценке качества исследований» (Research Assessment Exercise, RAE) [8], а с 2014 г. - «Рамочный механизм оценки высокого качества научных исследований» (The Research Excellence Framework, REF).
В Гонконге применяется система оценки - «Мероприятия по оценке качества исследований» (Research Assessment Exercise, RAE), аналогичная английской.
В Дании система оценки получила название «Библиометриче-ский научный индикатор» (Bibliometric Research Indicator, BRI), в Норвегии - «Система перераспределения ресурсов, ориентированная на результат» (Performance-Based Reallocation, PBR),
в Швеции система оценки не имеет названия. Сопоставление систем оценки результативности по странам представлено в таблице 2.
Системы оценки результативности научной деятельности различаются между собой, прежде всего, особенностями применения экспертных суждений, количественных показателей и методами расчета репутационного индекса. Так, в Дании, Норвегии и Швеции, относительно недавно внедривших эти системы, оценка проводится на основе количественных показателей и по установленной формуле. При этом экспертные оценки не применяются [18].
В Новой Зеландии, Австралии, Великобритании (Англия) и Гонконге особое значение придается экспертному суждению, наряду с которым используются параметрические показатели результатов. В то же время для проведения экспертного анализа собирается большое количество информации, что существенно удорожает оценку результативности, хотя, по распространенному мнению, качество этой оценки существенно выше, чем в странах Северной Европы, применяющих только параметрические показатели и формульные расчеты.
При разработке национальной системы оценки результативности страны нередко заимствуют чужой опыт. Так, при разработке системы оценки в Гонконге были использованы принципы, положенные в основу «Мероприятия по оценке качества исследований», проводимого в Англии. При разработке системы оценки в Новой Зеландии был использован опыт Австралии, Англии и Гонконга.
Остановимся подробнее на опыте Англии и Австралии, системы оценки результативности научной деятельности которых ориентированы на экспертное суждение, и могут представлять особенный интерес для России.
Англия
В Англии оценку результативности научной деятельности (точнее, оценку качества исследований) высших учебных заведений проводит Совет по финансированию высшего образования (The Higher Education Funding Council for England, HEFCE). Аналогичные Советы существуют и в других частях Великобритании - Шотландии и Уэльсе. Оценка применяется для финансовой поддержки научной деятельности, которая характеризуется высоким качеством и конкурентоспособностью не только в Великобритании, но и за ее пределами. С 1986 по 2014 г. оценка результативности научной деятельности университетов проводилась в рамках «Мероприятия по оценке качества исследований» (Research Assessment Exercise, RAE) [8], а с 2014 г. - «Рамочного механизма оценки научных исследований» (The Research Excellence Framework, REF). И в том и другом случае оценка используется при определении размера гранта образовательным учреждениям, демонстрирующим особенно высокое качество научных исследований.3 В соответствии с этой оценкой величина гранта зависит от репутацион-ного индекса, который определяется долей научной деятельности, соответствующей высшим оценкам по шкале уровня качества результатов научной деятельности, и объемом затрат на научные исследования. Оценка проводится по пятиуровневой шкале (см. табл. 3).
Оценка результативности предполагает формирование «профиля» качества (результативности) научной деятельности учреждения, то есть процентного распределения результатов научной деятельности по шкале оценки. Расчет «профиля» качества (результативности) научной деятельности осуществляется в два этапа. На первом этапе рассчитываются процентные распределения результатов научной деятельности по отдельным направлениям
Для поддержки инфраструктуры научных исследований и разработок учреждений высшего образования (в соответствии с их стратегией и приоритетами развития) HEFCE предоставляет также специальную субсидию.
х
го
X CD
СО m со
с
^ CD
£ ° ¡5 CÛ
X S
S lO X CL
О ы
CD
CK
О m
Ö -О
ц
CD I-
со ч
со X S
Е ¡¡2
2 0
2 ™ § ®
4.Ö
О
CD
т
со
X
со
со -g
CD X
о. £
с с
CD '. .
1 S
Е
<л о
_ 05
° ю §
Ф ю
О I
О О!
СО -"fr
Е ®
со ю
■С СП
О. -¡fr
+
CD
со
CD ™
О Щ
СО X
со т со
ы
о
со
-О
ю
т ^
о
О X
СР аЗ
I- о.
ï CD
О. О
ÇD 5
S ^ ? 0
i e
со x CIS
Страна Количественные показатели оценки (веса в общем показателе оценки) Показатели экспертной оценки качества (веса в общем показателе оценки) Частота проведения Объект оценки
Новая Зеландия - Доля лиц, успешно защитивших диссертацию в общем числе обучавшихся (25%); -Объем внешнего финансирования (15%) Экспертная оценка (60%) научной работы каждого исследователя: - непосредственные результаты научно-исследовательской работы; - оценка достижений (например, получение стипендии на проведение научно-исследовательской работы); - вклад в развитие научно-исследовательской среды (например, доказательство высокой степени взаимодействия с другими учеными) Экспертная оценка: 2003, 2006, 2012 гг., затем 1 раз в шесть лет. Измеряемые показатели собираются ежегодно Экспертная оценка проводится по отдельным ученым; Количественные показатели собираются по учреждениям
Австралия Система оценки для распределения блочных грантов (Research Block Grants) Для расчета размера грантов используются специальные формулы, которые включают следующие показатели: - количество обучающихся в аспирантуре; - средства, полученные на финансирование научной деятельности; - количество опубликованных научных работ (книги, книжные главы, статьи в журналах, материалы конференций и т.д.); - количество студентов, получивших степень магистра или доктора в данном учреждении; - общее количество обучающихся в данном учреждении на магистров и аспирантов; - размеры финансирования в прошлые годы Нет Ежегодно Учреждение
Австралия Система оценки для распределения гранта на высокое качество исследований (Excellence in Research for Australia) Оценка проводится путем сочетания библиометрических показателей и экспертной оценки с использованием следующей группировки показателей: - показатели качества исследований: количество цитирований, оценка объема финансирования на выполнение научно-исследовательской деятельности из австралийских и зарубежных источников; - показатели объема и активности исследований: непосредственные результаты, объем финансирования научно-исследовательской деятельности (количественная оценка); - показатели применения результатов научно-исследовательской деятельности: трансфер знаний, доход, полученный в результате коммерциализации результатов научно-исследовательской деятельности; -признание: показатели достижений исследователей (награды, гранты, стипендий и т.д.) 2010, 2012,2016 гг. (план) По научным дисциплинам
Англия Мероприятия по оценке качества исследований (Research Assessment Exercise) Нет Экспертная оценка непосредственных результатов научной деятельности научных подразделений университетов с использованием информации: о доходе от благотворительности, доходе от научных исследований, об участии в исследованиях диссертантов. 1986,1989,1992,1996, 2001 и 2008 гг. Измеряемые показатели собираются ежегодно Научные подразделения университетов
Таблица 2.
Данная интернет-версия статьи была скачана с сайта http://www.pharmacoeconomics.ru. Не предназначено для использования в коммерческих целях.
Информацию о репринтах можно получить в редакции. Тел.: +7 (495) 649-54-95; эл. почта: [email protected]. Copyright ©2015 Издательство ИРБИС. Все права охраняются.
Продолжение таблицы 2.
Страна Количественные показатели оценки (веса в общем показателе оценки) Показатели экспертной оценки качества (веса в общем показателе оценки) Частота проведения Объект оценки
Англия Нет Экспертная оценка по следующим группам показателей: С 2014 г. Научные подразделения
Рамочный механизм - непосредственные результаты научных исследований университетов
оценки высокого качества (65%);
научных исследований - конечные результаты (эффект результатов научных
(Research Excellence исследований на экономику, общество, государственную
Framework) политику, культуру и качество жизни) (20%); - научно-исследовательская среда (в том числе количество выпущенных докторов наук, доход от научно-исследовательской деятельности, наличие стратегий (долгосрочных планов) научных исследований) (15%)
Гэнконг Нет Экспертная оценка по направлениям научных 1993,1996,1999, 2006, Центры затрат, научные
Мероприятия по оценке исследований и центрам затрат, которая включает: 2014 гг. (план) дисциплины
качества исследовании - непосредственные результаты научно-исследовательскои
(Research Assessment деятельности (80%);
Exercise) - показатели достижений исследователей (награды, гранты) (20%)
Дания - Объем внешнего финансирования научно- Нет Ежегодно Учреждение
Библиометрический исследовательской деятельности (36%);
научный индикатор - Количество защитивших диссертацию PhD (18%);
(Bibliometric Research - Библиографические показатели результатов научно-
Indicator) исследовательской деятельности (количество публикаций)
Норвегия - Непосредственные результаты научно-исследовательской Нет Ежегодно Учреждение
Распределение средств на деятельности (количество публикаций (30%);
основе результатов - Количество защищенных докторских диссертаций (30%);
(Performance-Based - Объем финансирования научно-исследовательской
Reallocation) деятельности (40%), в том числе от программы поддержки науки Европейского Союза и Научно-исследовательского совета Норвегии
Швеция - Объем финансирования научно-исследовательской деятельности (50%); - Непосредственные результаты (публикации в журналах и т.д.) (50%) Нет Ежегодно Предметные области (дисциплины)
Таблица 2. Сравнительная характеристика систем оценки результативности научной деятельности, используемой в бюджетировании, ориентированном на результат (БОР).
Источник: An international comparison of performance-based research funding systems (PBRFS). New Zealand Education, http ://www. m in edu .govt. nz/NZEducation/EducationPoHcies/TertiaryEducation/PolicyAndStrategy/~/media/MinEdu/Files/ EducationSectors/TertiaryEducation/PBRF/InternationalComparison.pdf
-J
Данная интернет-версия статьи была скачана с сайта http://www.pharmacoeconomics.ru. Не предназначено для использования в коммерческих целях.
Информацию о репринтах можно получить в редакции. Тел.: +7 (495) 649-54-95; эл. почта: [email protected]. Copyright © 2015 Издательство ИРБИС. Все права охран? ются.
Уровень качества Характеристика
4 Качество результатов научных работ является самым высоким в мире, с точки зрения новизны, значимости и точности проводимых исследований
3 Качество результатов научных работ является превосходным, с точки зрения новизны, значимости и точности проводимых исследований, но, тем не менее, не соответствует самому высокому мировому уровню качества
2 Качество результатов научных работ признано на международном уровне, с точки зрения новизны, значимости и точности проводимых исследований
1 Качество результатов научных работ признано на национальном уровне, с точки зрения новизны, значимости и точности проводимых исследований
Неклассифицируемый уровень Качество результатов научных работ не соответствует признанному национальному уровню, с точки зрения новизны, значимости и точности проводимых исследований, либо невозможно оценить качество научной и исследовательской деятельности по критериям, используемым в рамках настоящей оценки
Таблица 3. Шкала уровней качества научной деятельности вузов.
Источник: составлено на основе материалов официального сайта Мероприятия по оценке качества научных исследований (RAE). http://www.rae.ac.uk/ pubs/2006/01/docs/annexes.pdf.
оценки по шкале оценки. В действующей системе оценки таким направлениями являются:
- непосредственные результаты научных исследований (оценка проводится по критериям оригинальности, значимости, безошибочности, цитированию) (весовое значение - примерно 65% в оценке «профиля» качества научной деятельности);
- эффект от внедрения результатов научных исследований в экономике, обществе, государственной политике, культуре и качестве жизни (оцениваются выгоды от внедрения, положительные изменения в экономики, предотвращенные негативные факторы, экономия на затратах, полученные учреждением за 20-летний период до начала проведения оценки результативности) (вес примерно 20%);
- научная среда (оценивается информация о численности защитивших диссертацию PhD, стратегии развития научной деятельности, повышение квалификации научного персонала, вклад в развитие науки) (вес примерно 20%).
«Профиль» качества научной деятельности по конкретным научным дисциплинам формируется как интегральная оценка результатов научной деятельности по направлениям оценки с учетом установленных весов этих направлений в общей оценке. Пример расчета представлен на рисунке 1.
В 1996-2000 гг. репутационный индекс определялся как сумма долей научных результатов, соответствующих оценкам «4» и «3» - (в данном примере, 15%+26%=41%, реупутационный индекс составляет 0,41), с 2001 г. - только «4» (15%, репутационный индекс 0,15).
Результаты оценки, проведенной в 2008 г., были использованы при распределении грантов на период 2009/10-2014/15 годы, объем которых составил примерно 11 млрд фн. ст. При этом бюджетные расходы на проведение оценки составили примерно
ПРОФИЛЬ КАЧЕСТВА НАУЧНОЙ ДЕЯТ ЕЛЬНОСТИ УЧ РЕ/КДЕН ИИ Уровни качества но шкале 4 3 | 2 ~П Н/К*
ПропсЦТи -ЧIГУ' ЛМ 1.'I IЧ'
г :
НЕПОСРЕДСТВЕННЫЕ РЕЗУЛЬТАТЫ
-1 ¡3 2 ! 1 И/К*
1(1 23 4tl IS 10
65% i VHM fSfyM 50%)
5 ;îi 'I [7 12
ИССЛЕДОВАТЕЛЬСКАЯ
4 Р -P- ■ H'K*
20 1 .10 1 15 1 20 15
15% (минимум 5%)
ЭФФЕКТ ВНЕДРЕНИЯ
РЕЗУЛЬТАТОВ
4 3 2 ! Н.'К'
за 35 1» 20 15
20% (МШШМУЫ 5%)
Рисунок 1. Пример «профиля» качества научной деятельности образовательного учреждения по конкретной научной дисциплине. Примечание. Н/К — неклассифицируемыйуровень; «профиль» качества научной деятельности учреждения рассчитан с использованием максимальных показателей весов направлений оценки и с применением округления, например, оценка «15» по уровню шкалы «4» была получена следующим образом: 10*0,65+20* 0,15+30*0,20=15,5. Аналогично рассчитываются другие оценки.
CK О I-2 к
X
ГО CL X о го
СО ГО
С
^ CD
£ ° ¡5 СО
х s S ш
X CL
О ы
СО
CK
12 млн фн. ст., а расходы учреждений на подготовку к оценке -35 млн фн. ст., что было признано приемлемым относительно объема распределенных средств.
По мнению зарубежных специалистов, одним из недостатков применяемого в настоящее время «Рамочного механизма оценки научных исследований» являются трудности сбора информации и адекватной оценки социально-экономических эффектов от внедрения результатов научной деятельности. Отмечается также, что в процессе оценки опубликованных работ не делается различия между статьями и монографиями, что снижает мотивацию сотрудников к подготовке крупных научных работ. Но в целом, по мнению зарубежных экспертов, используемая в Англии оценка результативности успешно стимулирует университеты к повышению качества научно-исследовательской деятельности.
Австралия
Система оценки результатов научной деятельности применяется в Австралии с начала 2000-х гг. при распределении блочных грантов университетам на проведение научных исследований (Research Block Grants). В 2013 г. объем финансирования по этим грантам составил примерно 1,7 млрд австралийских долл., или 12% общего объема финансирования вузов.
Размер грантов рассчитывается по формулам, использующим параметрические показатели:
- количество обучающихся в аспирантуре;
- объем средств, полученный на финансирование научной деятельности;
- количество опубликованных научных работ (книги, книжные главы, статьи в журналах, материалы конференций и т.д.);
- количество студентов, получивших степень магистра или доктора в данном учреждении;
- общее количество обучающихся в данном учреждении на магистров и аспирантов;
- объемы финансирования в предыдущие годы [20].
Применение в оценке результатов параметрических показателей вызывает серьезную критику со стороны австралийских экспертов в связи с распространенным манипулированием учреждениями показателями результатов (в частности, искусственным наращиванием количества опубликованных материалов перед началом проведения оценки) в целях увеличения размера гранта. Кроме того, отмечается, что величина гранта может в большей степени зависеть от объема финансирования в предыдущие годы, чем от результатов научной деятельности, в связи со значительным удельным весом внешнего финансирования в формуле расчета гранта.
Это явилось одной из причин введения новой системы оценки результатов, которая отличается более сложными и трудоемкими
0 m
Ö -О
ц
01 I-
го ч
со X S
S ¡¡2 g о
2 сч § ®
£ £ s-g
CK ^
о" ig E
т
« -Д
го -g
CD X
о. £
с с CD '. .
1 S
E
E «
° ю §
ф ю
О I
О Ol ГО '"i
E 03 го ю
■С СП О. -t
it
CD
го
О ™ О Щ
го
X
го т го
ы
о
т ^
о
го ц
z с
Ю О
s i -О Ä
I- о р ^
О X ГС ГС
§ Ü st
СР ci3 I- о.
Ï ° О. О
CD 5
S ^ ? О
i e
ro x CIS
процедурами. Впервые новая система оценки была опробована в 2010 г. Второй раз оценка была проведена в 2012 г. и начала использоваться при распределении гранта на поддержку устойчивого качества исследований в университетах (Sustainable Research Excellence, SRE), составившего в этом году 114 млн австралийских долл. и распределенного между 41 университетом. Третья оценка была запланирована на 2015 г.
Грант на поддержку устойчивого качества исследований в университетах могут получать только учреждения, которые добровольно согласились участвовать в оценке прозрачности затрат и качества исследований и имеют высокие научные результаты.
При введении оценки результативности предполагалось, что она обеспечит всестороннюю оценку качества научных исследований на регулярной основе и будет достаточно экономичной. В основе системы оценки лежит сбалансированный подход к использованию количественных показателей и экспертного анализа. Так, в проведении оценки научных работ по техническим и медицинским дисциплинам упор был сделан на библио-метрические показатели и анализ цитирования, в других науках - на экспертной оценке, осуществляемой экспертами мирового уровня. В то же время, в отличие от системы оценки в Англии, она не ставит задачу оценить конечный результат (эффекты) внедрения РИД.
Инициатива внедрения оценки научной репутации (компетенции) учреждений высшего образования в Австралии принадлежит Научному совету Австралии. Подходы к оценке были выработаны с участием Совета по национальному здравоохранению и медицинским исследованиям и Департамента по инновациям, промышленности, науки и исследований.
Целью оценки научной репутации является идентификация научных учреждений, обладающих наивысшей научной репутацией (компетенцией), проведение сравнительного анализа австралийских университетов с университетами других стран, создание стимулов к повышению качества исследований, выявление новых перспективных направлений исследований [21].
Перед системой оценки ставились задачи содействия междисциплинарным исследованиям, расширения сотрудничества между разными институтами, исследователями в разных областях науки, повышения эффективности использования научного оборудования, материальных и финансовых ресурсов, снижения научной нагрузки на выдающихся ученых.
Используемые в Австралии определения научной деятельности и разработок соответствуют принятым в ОЭСР статистическим стандартам (Руководство Фраскати).
В 2012 г. оценку результативности проводили восемь оценочных комитетов, состоящих из 147 признанных в Австралии и мире экспертов. Комитеты формировались по следующим группам (кластерам) научных дисциплин:
1. Физические, химические, естественные науки;
2. Гуманитарные науки и искусство;
3. Технические науки и охрана окружающей среды;
4. Социальные и экономические науки;
5. Математика, информатика и коммуникации;
6. Биология и биотехнология;
7. Биомедицинские и клинические исследования;
8. Общественные и медицинские услуги.
Группы (кластеры) научных дисциплин соответствуют стандартной классификации научных дисциплин, принятой в Австралии и Новой Зеландии, по которой научные дисциплины распределены по 22 основным научным областям (двухзначный код), включающим 157 групп (четырехзначный код). При проведении оценки учитываются междисциплинарные научные исследования. Научные исследования и разработки делятся на следующие виды:
- чистые фундаментальные исследования;
- стратегические фундаментальные исследования;
- прикладные исследования;
- экспериментальные разработки.
Оценка проводится экспертными комитетами, при этом используется система показателей и экспертное суждение. Оценка проводится в течение 3-4 мес. после подачи заявки учреждений на финансирование. Оцениваются все проведенные в институте исследования в соответствии со стандартной классификацией научных дисциплин.
Оценка научной деятельности проводится по четырем направлениям и соответствующим им группам индикаторов с учетом специфики научных дисциплин:
- научная активность и интенсивность исследований;
- качество научных исследований;
- конечные результаты прикладных исследований и трансфера технологий;
- заслуги (репутация) исследователей.
Некоторые показатели, включенные в данные группы, применяются ко всем научным дисциплинам, другие - отражают отраслевую специфику. Департаментом по инновациям, промышленности, науке и исследованиям сформирована система показателей результатов научной деятельности учреждений высшего образования и организован сбор данных. Система показателей включает в себя:
1. Индикаторы научной активности и интенсивности исследований, в т.ч.:
- численность научных сотрудников в пересчете на занятых полный рабочий день;
- доход, полученный на проведение научных исследований;
- аспиранты, докторанты (по программам - магистр, PhD);
- выпускники магистратуры, докторантуры (магистр, PhD);
- другие показатели, отражающие специфику научных дисциплин.
Оценка научной деятельности по первому кластеру проводится на уровне основных научных областей (двухзначный код).
2. Индикаторы качества исследования:
- профиль публикаций в журналах (журналы распределены на четыре категории - A*, A, B, C), издания, материалы конференций: книги, главы в книгах, журнальные статьи, материалы конференций;
- цитирование в известных журналах (количество цитирований на одну публикацию);
- цитирование в известных газетах;
- экспертная оценка дохода от исследований;
- иные индикаторы, отражающие специфику дисциплины.
Оценка научной деятельности проводится на уровне научных
дисциплин (четырехзначный код). Оценка проводится за 6-летний период, кроме последних двух лет до начала оценки.
3. Индикаторы конечных результатов прикладных исследований и трансфера технологий:
- доход, полученный от использования РИД;
- лицензионный доход и другие доходы от интеллектуальной собственности;
- выставки и иные формы демонстрации РИД для конечных потребителей (посещаемость);
- публикации (презентации) практического характера;
- полученные патенты;
- полученные права на селекционные достижения;
- зарегистрированные модели;
- другие показатели результатов от использования РИД.
Оценка научной деятельности в этой части проводится на уровне основных научных областей (двухзначный код).
4. Индикаторы заслуги (репутации) исследователей:
- являться редактором журнала;
- являться членом научных комитетов, обществ;
- быть удостоенным гранта Совета Австралии, категории 1 Fellowship.
X
ГО
а
X CD
ГО ей го
С
^ CD
£ ° ¡5 СО
§ ш
X 0-
о
ы СО ГС
О СО
Б
-О
ц
си
I-
го ч
со
г s
Е ¡¡2
2 °
2 ™ § ®
о
си т го
X
со
го
си X О. £
С С CU '. .
Е
<л о
_ 05
° ю §
Ф ю
О I О О) ГО -"fr
Е ® го ю
■С СП О. -t
+
си
ГС го
CD ™
О Щ
го
X
го т го
ы
о
го
-О
ю
т ^
о
О X
СР ЕЁ
I- а.
£ о
о. о
Р ^
£ а. гс о
i е
ГО х CIS
Информация о доходах (и количестве полученных грантов) учреждений, связанных с проведением научной деятельности, собирается в рамках следующих категорий финансирования:
1) гранты, предоставляемые в Австралии на конкурентной основе;
2) другие формы дохода, полученного от государственного сектора;
3) доход, полученный от негосударственного сектора (в разбивке на полученные в связи с участием в международных конкурсах, на основе экспертной оценке, другие доходы);
4) доходы кооперативных исследовательских центров;
5) доходы, не входящие в категории 1-4, например, гранты Совета Австралии индивидуальным ученым.
Первоначально результативность по каждой научной дисциплине оценивается в рамках каждого направления оценки по 5-балльной шкале в сопоставлении с мировым уровнем:
- существенно выше мирового уровня (5);
- выше мирового уровня (4);
- на мировом уровне (3);
- ниже мирового уровня (2);
- существенно ниже мирового уровня (1).
Шкала оценки составлена таким образом, что обеспечивает сопоставление результативности научной деятельности в Австралии с другими странами.
Оценки, полученные по направлениям, взвешиваются на веса, установленные для них оценочными комитетами, и складываются для получения общей балльной оценки по научной дисциплине. Научная деятельность по каждой из научных дисциплин может получить следующие оценки: 5, 4, 3, 2, 1, 0. Для расчета индекса качества (научной репутации) учреждения оценки, полученные по дисциплинам, взвешиваются на следующие веса: 7 (оценка «5»), 3 (оценка «4»), 1 (оценка «3»), 0 (оценки «1» и «0») и суммируются [22].
Вузы ранжируются по уровню индекса качества (научной репутации). Грант на поддержку устойчивого качества исследований в университетах распределяется с учетом полученной оценки результативности.
Таким образом, опыт ряда стран, прежде всего, Великобритании, Австралии и Новой Зеландии, свидетельствует об успешности применения репутационного индекса в целях стимулирования высокого качества научной деятельности образовательных и научных учреждений и представляет несомненный интерес для России.
Предложения по применению репутационного индекса в оценке результативности научной деятельности в России
В целях увязки результатов научной деятельности с ежегодным бюджетным финансированием научных работ предлагается разработать и внедрить новый инструмент - оценку качества результатов деятельности научных организаций, выполняющих НИОКР, на основе расчета индекса качества или научной репутации (репу-тационного индекса). Репутационный индекс определяется как доля результатов научной деятельности в учреждении, соответствующая высшей оценке качества («на мировом уровне и выше его»), в общем объеме научных результатов. Как показывают наши исследования, расчеты репутационного индекса являются несложными, понятными и легко проверяемыми, могут основываться на понятных и прозрачных критериях оценки и показателях результатов и обеспечивать сопоставимость результатов научной деятельности учреждений в рамках отраслей науки (групп специальностей), в т.ч. межстрановые сопоставления.
Применение репутационного индекса на практике не приведет к увеличению общего объема финансирования в рамках государственного задания. Дополнительное стимулирование учреждений, имеющих репутационный индекс, будет осуществляться за счет перераспределения средств в результате сокращения финансиро-
вания научно-исследовательской деятельности учреждений, не получивших репутационный индекс. Объемы дополнительного финансирования высокого качества исследований (5% от общего объема финансирования государственного задания) должны быть достаточными для стимулирования высокого качества научно-исследовательской деятельности. Дополнительные средства могут расходоваться учреждениями на привлечение высококвалифицированных специалистов, закупку нового оборудования, развитие научных школ, трансфер знаний и технологий и др.
Предполагается, что оценка проводится по референтным группам, установленным для целей оценки результативности деятельности научных организаций, но по единым принципам в соответствии с типовой методикой такой оценки. В рамках референтных групп оценка качества результатов научной деятельности проводится по отраслям наук и группам специальностей в соответствии с Общероссийским классификатором специальностей высшей научной квалификации ОК017-2013 (утвержденным приказом Рос-стандарта от 17.12.2013,№2255-ст) и имеет характер экспертной оценки.
Комиссии по оценке качества научной деятельности создаются по отраслям наук (подкомиссии - по группам специальностей). Оценка проводится по показателям качества результатов научной деятельности (количество научных результатов не влияет на оценку), основная часть которых может быть сформирована на основе системы показателей, собираемой для оценки результативности деятельности научных организаций. Оценка проводится по пятиуровневой шкале («на мировом уровне и выше его» - «4», «на уровне выше среднероссийского» - «3», «на среднероссийском уровне» - «2», «на уровне ниже среднероссийского» - «1» и «не-классифицируемый уровень» - «0»). Только научная деятельность, результаты которой заслуживают высшей оценки, учитывается для расчета индекса научной репутации. Для учреждений, осуществляющих научную деятельность по нескольким отраслям наук, на основе отраслевых индексов научной репутации рассчитывается интегральный индекс научной репутации.
Федеральные органы исполнительной власти, имеющие подведомственные научные учреждения, получившие индекс научной репутации, ранжируют их по величине этого индекса. Только научные учреждения, получившие индекс научной репутации, пользуются дополнительным (стимулирующим) финансированием в рамках государственного задания, пропорционально величине этого индекса. Более высокое финансирование научных учреждений, имеющих индекс научной репутации, обосновывается тем, что проведение научных исследований мирового уровня требует более высокого уровня расходов на научную инфраструктуру, привлечения специалистов высокой квалификации, в т.ч. из-за рубежа, затрат на коммерциализацию РИД.
Право подачи заявления на проведение оценки индекса научной репутации, очевидно, имеют все научные организации, но воспользоваться или нет этим правом - решение самой организации. Организации, которые не ожидают получить достаточно высокий индекс научной репутации, могут перенести подачу заявления на будущий период, когда они будут лучше готовы в этой оценке.
В то же время внедрение репутационного индекса, как инструмента БОР, не является простой задачей, особенно на начальном этапе. Применение данного метода потребует, в частности, формирования системы показателей оценки результатов с учетом отраслевой специфики, видов научной деятельности (фундаментальные, прикладные исследования, экспериментальные разработки) и международной практики.
Кроме того, необходимо налаживание в рамках научных учреждений системы учета результатов научной деятельности по отраслям и группам специальностей. Собираемая информация должна позволить рассчитать пороговые значения, необходимые для применения шкалы оценки.
к о н 2 гс
X
го а X о
го со го а с
^ 01 гг °
¡5 СО
^О
§ ш X 0-
А о
О. со си н
^ 9 2 £
е ®
со го
и
Сй —
5 °
2 ™ § ®
= 2= и?
гс ^
о" £ Е
т
«
го £
си X О. £
С С
си '. . 1 £ Е
Е « ° ю О
Ф ю
О I
О О) ГО
Е ® го С?
■С СП О.
I?
си
ее
О 5
О Щ
го
X
го т го
¡г
о
т ^
о
О X
СР ЕЁ
I- а
£ °
^ $2
Р ^
£ ^ гс О
I е
ГО х
Непростой задачей является формирование отраслевых комиссий по оценке (подкомиссий по группам специальностей), в состав которых должны войти эксперты международного уровня, мнение которых заслуживает доверие научных организаций.
Внедрение репутационного индекса потребует также разработки значительной нормативной и методической базы, включающей, в т.ч., методические документы (рекомендации, формы) по представлению информации о результатах научной деятельности в комиссии по оценке, правила проведения оценки, перечни показателей результатов научной деятельности.
В то же время, как показывает международный опыт, внедрение системы оценки результатов на основе репутационного индекса является важным фактором стимулирования национальной науки и повышения ее вклада в социально-экономическое развитие страны.
Литература:
1. Быкова Е.С., Сергеева Н.В. Система оценки результативности инновационной деятельности научно-образовательных организаций. Вестник Пермского национального исследовательского политехнического университета. Социально-экономические науки. 2011; 10: 49-63.
2. Гохберг Л. Оценивание результатов деятельности организаций в государственном секторе науки. Государственный университет - Высшая школа экономики. Презентация, 19 сентября 2008 г. URL: http://www.myshared.ru/slide/351975/ (дата обращения: 01.08.2015).
3. Зубова Л.Г., Андреева О.Н., Антропова О.А. К вопросу о результативности деятельности государственных научных организаций (по оценкам социологического мониторинга 2005-2011 гг.). Инновации. 2012; 12 (170): 51-60.
4. Информационная справка к Совету при Президенте Российской Федерации по науке и образованию «Об оценке результативности деятельности научных организаций, подведомственных федеральным органам исполнительной власти и государственным академиям наук за 2010-2012 годы». URL: http://www.sciencemon. ru/legal/about/informacionnaya-spravka-k-soveu-pri-prezidente-rf-po-nauke-i-obrazovaniyu/ (дата обращения: 01.08.2015).
5. Лудченко А.А., Лудченко Я.А., Примак Т.А. Основы научных исследований. Учеб. пособие. Под ред. А.А. Лудченко. 2-е изд. Киев. 2001. URL: http://www.npu.edu.ua/!e-book/book/djvu/A/ikpp_ kl_Osn_naychn_issled_Lydchenko.pdf (дата обращения: 01.08.2015).
6. Мартынчик С.А., Глухова Е.А., Галустова Л.Р. Требования к построению системы для оценки результативности и потенциала научной деятельности на уровне организации. Электронный научный журнал «Социальные аспекты здоровья населения». URL: http://vestnik.mednet.ru/content/view/500/30/lang,ru/ (дата обращения: 01.08.2015).
7. Марцин В.С., Миценко Н.Г., Даниленко А.А. и др. Основы научных исследований Учебное пособие. Львов. 2002.
8. Официальный сайт Мероприятия по оценке качества научных исследований (RAE). URL: http://www.rae.ac.uk/pubs/2006/01/ docs/annexes.pdf (дата обращения: 01.08.2015).
9. Постановление Правительства Российской Федерации от 1 ноября 2013 г. №979 «О внесении изменений в постановление Правительства Российской Федерации от 8 апреля 2009 г. №312».
10. Постановление Правительства Российской Федерации от 8 апреля 2009 г. № 312 «Об оценке и о мониторинге результативности деятельности научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения».
11. Приказ Минобрнауки России от 14 октября 2009 г. № 406 «Об утверждении типового положения о комиссии по оценке результативности деятельности научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и техно-
логические работы гражданского назначения, и типовой методики оценки результативности деятельности научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения.
12. Пояснительная записка к постановлению Правительства Российской Федерации от 1 ноября 2013 г. №979.
13. Приказ Минобрнауки России от 5 марта 2014 г. № 162.
14. Рыкова И.Н. Подходы к определению результативности научно-исследовательской деятельности в России. Научно-исследовательский финансовый институт. Финансовый журнал. 2013; 3 (17): 73-88.
15. Феоктистова О.А. Планирование затрат на научные исследования: проектный подход. Финансовый журнал. 2014; 1: 69-80.
16. Феоктистова О.А., Фокина Т.В. Особенности планирования и выделения государственных средств на науку за рубежом. Финансы и кредит. 2015; 39 (663): 23-40.
17. Яковлева А.Ф. Об основных подходах к оценке результативности научных исследований в России. Статья подготовлена в рамках проекта РГНФ «Основания и критерии оценки результативности философских и социогуманитарных исследований» (№ 11-03-00442а). URL: http://iph.ras.ru/uplfile/root/exp/Yakovleva.pdf (дата обращения: 01.08.2015).
18. An International Comparison of Performance-based Research Funding Systems (PBRFS). The Ministry of Education of New Zealand. URL: http://www.education.govt.nz/home/our-new-website/ (дата обращения: 01.08.2015).
19. Department of Education and Training of Australia. Research Block Grants - Calculation Methodology. URL: https://education.gov. au/research-block-grants-calculation-methodology (дата обращения: 01.08.2015).
20. ERA 2012 Evaluation Handbook. Excellence in Research for Australia 2012. Australian Government / Australian Research Council.
21. Excellence in Research for Australia (ERA) Initiative. June 2008. Consultation Paper. Australian Government / Australian Research Council.
22. Excellence in Research for Australia 2012. National Report. Commonwealth of Australia 2012.
23. OECD (2014). Promoting Research Excellence: New Approaches to Funding, OECD Publishing. URL: http://dx.doi.org/10.1787/ 9789264207462-en (дата обращения: 01.08.2015).
24. Performance-Based Funding for Public Research in Tertiary Education Institutions: Workshop Proceedings, OECD Publishing, Paris. URL: http://dx.doi.org/10.1787/9789264094611-en (дата обращения: 01.08.2015).
25. Рerformance-Based Funding for Public Research in Tertiary Education Institutions. Web Annex: Additional Country Detail (Australia, Austria, Belgium (Flemish Community), the Czech Republic, Denmark, Finland, Germany, New Zealand, Norway, Poland and the United Kingdom). URL: http://www.oecd.org/sti/sci-tech/46756874.pdf (дата обращения: 01.08.2015).
References:
1. Bykova E.S., Sergeeva N.V. Vestnik Permskogo natsional'nogo issledovatel'skogo politekhnicheskogo universiteta. Sotsial'no-ekonomicheskie nauki. 2011; 10: 49-63.
2. Gokhberg L. Assessing the performance of organizations in the public sector science. State University - Higher School of Economics. Presentation, September 19, 2008 [Otsenivanie rezul'tatov deyatel'nosti organizatsii v gosudarstvennom sektore nauki. Gosudarstvennyi universitet - Vysshaya shkola ekonomiki. Prezentatsiya, 19 sentyabrya 2008 g (In Russian)]. URL: http://www.myshared.ru/slide/351975/ (accessed 01.08.2015).
3. Zubova L.G., Andreeva O.N., Antropova O.A. Innovatsii. 2012; 12 (170): 51-60.
4. The information reference to Council at the President of the
X
со a X CD
CO m cc a i=
v CD
£ ° ¡5 OQ
^d
X ^ s LO X CL
o
CD
CK
0 m
Ö .0 с;
01 i-<я
со
г ^
Е ¡¡2
2 °
2 ™ § ®
4.Ö
О
01 т со
X
со
со -g
CD X О. £
С С CD '. .
Е
<л о
_ 05
° ю О
Ф ю
О I
О О! СО
Е ®
со ю
■С СП
о. -t
+
CD
ГС ее CD ™
О Щ
СО X
со т со
ы
о
со
-О
ю
т ^
о
О X
СР аЗ
I- а.
£ CD
о. о
Р ^
£ ^ гс о
i е
со х CIS
Russian Federation for science and education «About an assessment of productivity of activity of the scientific organizations subordinated to federal executive authorities and the state academies of Sciences for 2010-2012» URL: http://www.sciencemon.ru/legal/about/ informacionnaya-spravka-k-soveu-pri-prezidente-rf-po-nauke-i-obrazovaniyu/ (accessed 01.08.2015).
5. Ludchenko A.A., Ludchenko Ya.A., Primak T.A. Basic research: Proc. allowance. Ed. AA Ludchenko. 2nd ed. Kiev. [Osnovy nauchnykh issledovanii: Ucheb. posobie. Pod red. A.A. Ludchenko. 2-e izd. Kiev (In Russian)]. 2001. URL: http://www.npu.edu.ua/!e-book/book/ djvu/A/ikpp_kl_Osn_naychn_issled_Lydchenko.pdf (accessed 01.08.2015).
6. Martynchik S.A., Glukhova E.A., Galustova L.R. Sotsial'nye aspekty zdorov'ya naseleniya URL: http://vestnik.mednet.ru/content/ view/500/30/lang,ru/ (accessed 01.08.2015).
7. Martsin V.S., Mitsenko N.G., Danilenko A.A. et al. Basic scientific research manual. L'vov. [Osnovy nauchnykh issledovanii Uchebnoe posobie. (In Russian)]. 2002.
8. The official website of the event to assess the quality of scientific research (RAE). URL: http://www.rae.ac.uk/pubs/2006/01/docs/ annexes.pdf (accessed: 01/08/2015)
9. Resolution of the Government of the Russian Federation dated November 1, 2013 №979 «On Amendments to the Decree of the Government of the Russian Federation dated April 8, 2009 №312» [Postanovlenie Pravitel'stva Rossiiskoi Federatsii ot 1 noyabrya 2013 g. №979 «O vneseniiizmenenii vpostanovlenie Pravitel'stva Rossiiskoi Federatsii ot 8 aprelya 2009 g. №312» (In Russian)].
10. Postanovlenie Pravitel'stva Rossiiskoi Federatsii ot 8 aprelya 2009 g. № 312 «Ob otsenke i o monitoringe rezul'tativnosti deyatel'nosti nauchnykh organizatsii, vypolnyayushchikh nauchno-issledovatel'skie, opytno-konstruktorskie i tekhnologicheskie raboty grazhdanskogo naznacheniya» [Resolution of the Government of the Russian Federation of April 8,2009 № 312 «On the evaluation and monitoring of the effectiveness of scientific organizations, performing research, developmental and technological works of civil purpose.» (In Russian)].
11. Order of the Russian Ministry of October 14, 2009 № 406n «On approval of model regulations on the Commission to assess the effectiveness of scientific organizations, performing research, developmental and technological works of civil destination, and the standard methodology for assessing the impact of the research organizations, performs research, developmental and technological works of civil purposes [Prikaz Minobrnauki Rossii ot 14 oktyabrya 2009 g. № 406 «Ob utverzhdenii tipovogo polozheniya o komissii po otsenke rezul'tativnosti deyatel'nosti nauchnykh organizatsii, vypolnyayushchikh nauchno-issledovatel'skie, opytno-konstruktorskie i tekhnologicheskie raboty grazhdanskogo naznacheniya, i tipovoi metodiki otsenki rezul'tativnosti deyatel'nosti nauchnykh organizatsii, vypolnyayushchikh nauchno-issledovatel'skie, opytno-konstruktor-skie i tekhnologicheskie raboty grazhdanskogo naznacheniya (In Russian)].
12. The explanatory note to the decision of the Government of the
Russian Federation dated November 1, 2013 №979 [Poyasnitel'naya zapiska k postanovleniyu Pravitel'stva Rossiiskoi Federatsii ot 1 noyabrya 2013 g. №979 (In Russian)].
13. Order of the Russian Ministry on March 5, 2014 № 162 [Prikaz Minobrnauki Rossii ot 5 marta 2014 g. № 162 (In Russian)].
14. Rykova I.N. Finansovyizhurnal. 2013; № 3 (17): 73-88.
15. Feoktistova O.A. Planning of the Research Costs: the Project-based Approach. Research Financial Institution. Financial journal. 2014; 1: 69-80.
16. Feoktistova O.A., Fokina T.V. Foreign Specifics of Planning and Earmarking State Funds for Science. Finances and Credit. 2015; 39 (663): 23-40.
17. Yakovleva A.F. On the main approaches to the evaluation of the impact of scientific research in Russia. This article was prepared within the project RHF «The grounds and criteria for evaluating the effectiveness of philosophical and socio-humanitarian researches» [Ob osnovnykh podkhodakh k otsenke rezul'tativnosti nauchnykh issledovanii v Rossii. Stat'ya podgotovlena v ramkakh proekta RGNF «Osnovaniya i kriterii otsenki rezul'tativnosti filosofskikh i sotsiogumanitarnykh issledovanii» (№ 11-03-00442a) (In Russian)]. URL: http://iph.ras.ru/uplfile/root/exp/Yakovleva.pdf (accessed 01.08.2015).
18. An International Comparison of Performance-based Research Funding Systems (PBRFS). The Ministry of Education of New Zealand. URL: http://www.education.govt.nz/home/our-new-website/ (accessed 01.08.2015).
19. Department of Education and Training of Australia. Research Block Grants - Calculation Methodology. URL: https://education.gov. au/research-block-grants-calculation-methodology (accessed 01.08.2015).
20. ERA 2012 Evaluation Handbook. Excellence in Research for Australia 2012. Australian Government/ Australian Research Council.
21. Excellence in Research for Australia (ERA) Initiative. June 2008. Consultation Paper. Australian Government/ Australian Research Council.
22. Excellence in Research for Australia 2012. National Report. Commonwealth of Australia 2012.
23. OECD (2014). Promoting Research Excellence: New Approaches to Funding, OECD Publishing. URL: http://dx.doi.org/10.1787/ 9789264207462-en. (accessed 01.08.2015).
24. Performance-Based Funding for Public Research in Tertiary Education Institutions: Workshop Proceedings, OECD Publishing, Paris. URL: http://dx.doi.org/10.1787/9789264094611-en (print: ISBN 978-92-64-09460-4, pdf: ISBN 978-92-64-09461-1). (accessed 01.08.2015).
25. Performance-Based Funding for Public Research in Tertiary Education Institutions. Web Annex: Additional Country Detail (Australia, Austria, Belgium (Flemish Community), the Czech Republic, Denmark, Finland, Germany, New Zealand, Norway, Poland and the United Kingdom). URL: http://www.oecd.org/sti/sci-tech/46756874.pdf (accessed 01.08.2015).
Сведения об авторах:
Богачева Ольга Викторовна - к.э.н., руководитель Центра бюджетной политики Научно-исследовательского финансового института. Адрес: Настасьинский пер., д. 3, стр. 2, Москва, Россия, 127006. Ведущий научный сотрудник Института мировой экономики и международных отношений имени Е.М. Примакова РАН. Адрес: ул. Профсоюзная, 23, Москва, Россия, 117997. Тел.: +7(495)6997414. E-mail: [email protected].
Григоров Владислав Эдуардович - научный сотрудник Центра бюджетной политики Научно-исследовательского финансового института. Адрес: Настасьинский пер., д. 3, стр. 2, Москва, Россия, 127006. Тел.: +7(495)6997414. E-mail: [email protected].
About the authors:
Bogacheva Ol'ga Viktorovna - Ph.D, Head of the Center for Budgetary Policy, Financial Research Institution. Address: Nastasyinsky per., 3-2, Moscow, Russia, 127006. Leading researcher of Primakov Institute of World Economy and International Relations Russian Academy of Sciences. Address: ul. Profsojuznaja, 23, Moscow, Russia, 117997. Тел.: +7(495)6997414. E-mail: [email protected].
Grigorov Vladislav Eduardovich - Research Scientist of the Center for Budgetary Policy, Financial Research Institution. Address: Nastasyinsky per., 3-2, Moscow, Russia, 127006. Тел.: +7(495)6997414. E-mail: [email protected].
о
I-2
X
CO
X CD
CO CD CO
С
^ CD
£ ° ¡5 CÛ
x s s ш X CL
A °
ΠCD
CD I-
^ 4
° |
CD СО
H
S ^
CÛ —
s o
2 ™
§ ®
£ £ M-
ГС ^
0 U S E
T
« -д
со -g
CD X
с с
CD '. .
1 S
E
E «
° ю §
ф ю
О I
О Ol CO -"fr
E ® со ю
■С СП О. -¡t
it
CD
ГС со CD ™
CD Щ
СО X
со т со
ы
о
т ^
о
О X
СР аЗ
I- о.
2 °
О. О
ÇD 5
S ^ ГС о
i e
со х CIS
