CC BY
543
ИНСТРУМЕНТАЛЬНЫЕ МЕТОДЫ ДИАГНОСТИКИ СФЕРЫ НАУКИ И ИННОВАЦИЙ
УДК 303.64
МОНИТОРИНГ И ОЦЕНКА РЕЗУЛЬТАТОВ НАУЧНО-ТЕХНИЧЕСКОЙ ДЕЯТЕЛЬНОСТИ: ЗАРУБЕЖНЫЙ ОПЫТ И РОССИЙСКАЯ ПРАКТИКА
А. Б. Гусев (контактное лицо)
Российский научно-исследовательский институт экономики, политики и права в научно-технической сфере (РИЭПП), Москва, Россия, gusev@riep.ru
И. В. Вершинин
Российский научно-исследовательский институт экономики,политики и права в научно-технической сфере (РИЭПП), Москва, Россия, vershinin@riep.ru
Е. Г. Доронина
Российский научно-исследовательский институт экономики, политики и права в научно-технической сфере (РИЭПП), Москва, Россия, doronina@riep.ru
В. А. Малахов
Российский научно-исследовательский институт экономики, политики и права в научно-технической сфере (РИЭПП), Москва, Россия, malahov@riep.ru
Аннотация
В статье проведен анализ подходов к мониторингу и оценке результативности деятельности научных организаций в Российской Федерации и за рубежом. Рассмотрен опыт оценки результативности деятельности научных организаций и ученых в странах Европейского союза, США и Китая. Анализ зарубежного опыта показал, что в настоящее время проводится активное реформирование подходов к оценке результативности научной и научно-технической деятельности, которое базируется: на переходе от количественного анализа наукометрических показателей к качественной оценке результатов исследований и разработок; оценке социального эффекта от этих результатов; сочетании внутреннего и внешнего аудита результативности научной деятельности; переходе к системе бюджетирования, построенной на основе учета результативности деятельности. Подробно рассмотрена применяемая в Китае в рамках системы оценки результативности деятельности научных организаций система диагностирования хода реализации принципа государственной научно-технической политики,
носящего название «Один-три-пять».
Выявлены проблемы действующей в РФ системы мониторинга и оценки результативности научной деятельности, которые большей частью обусловлены недоработками в методическом обеспечении сбора и анализа данных о результативности деятельности научных организаций, несвязностью систем экспертного и наукометрического оценивания и возрастающей бюрократической нагрузкой на организации. Сделан вывод о том, что для развития в РФ системы оценки результативности научной и научно-технической деятельности следует решить следующие задачи: определить место и роль информационных систем в системе государственного управления научно-технической политикой, создать систему целеполагания для научных организаций и сформировать эффективный механизм сбора данных о научной деятельности. Авторы полагают, что обязательным элементом системы оценки должна стать квалифицированная экспертиза, осуществляемая с опорой на количественные показатели и рассчитанные на их основе индикаторы.
Ключевые слова
Результативность научной деятельности, государственная научно-техническая политика, информационные системы в сфере науки
MONITORING AND ASSESSMENT OF SCIENTIFIC PERFORMANCE: FOREIGN EXPERIENCE AND RUSSIAN PRACTICE
A. B. Gusev (corresponding author)
Russian Research Institute of Economics, Politics and Law in Science and Technology (RIEPL), Moscow, the Russian Federation, gusev@riep.ru
E. G. Doronina
Russian Research Institute of Economics, Politics and Law in Science and Technology (RIEPL), Moscow, the Russian Federation, doronina@riep.ru
I. V. Vershinin
Russian Research Institute of Economics, Politics and Law in Science and Technology (RIEPL), Moscow, the Russian Federation, vershinin@riep.ru
V. A. Malahov
Russian Research Institute of Economics, Politics and Law in Science and Technology (RIEPL), Moscow, the Russian Federation, malahov@riep.ru
Abstract
The article provides the analysis of approaches to monitoring and
assessment of scientific organizations in the Russian Federation and abroad. It describes the experience in evaluating performance of scientific organizations and scientists in the countries of the European Union, U.S. and China. The analysis of foreign experience has shown that currently the reform of the approaches to the scientific performance assessment is actively held, which is based on: the transition from the quantitative analysis of scientometric indicators to the qualitative evaluation of R&D; assessing the social effect of R&D; the combination of internal and external audit of scientific performance; the transition to the budgeting system based on accounting the results of the activity. Special attention is paid to the diagnostic system of implementation of the so-called "One-three-five" principle of state science and technology policy which is used under the system of evaluating the scientific performance in China.
The article identifies the problems of the Russian system of monitoring and evaluation of scientific performance, which are mostly due to the methodological flaws of collecting and analyzing data on the performance of scientific organizations, the incoherence of the systems of expert and scientometric evaluation and the increasing bureaucratic burden on the organizations. It concludes that for developing the system of scientific performance evaluation in Russia it is necessary to achieve the following objectives: to define the place and role of information systems in the public administration of science and technology policy, create a system of target setting for the research organizations to develop an effective mechanism for collecting data on scientific activity. The authors believe that the compulsory element of the assessment system should be an expert examination based on quantitative indicators.
Keywords
Scientific performance, government science and technology policy, information systems in science
Введение
В условиях ограниченных бюджетных денежных средств, которые государство выделяет на финансирование научной и научно-технической деятельности, вопросы их эффективного распределения и использования выходят на первый план. Вполне естественно, что для выработки и принятия обоснованных решений в области управления научной и научно-технической деятельностью необходимо проведение как мониторинга и оценки результативности деятельности научных организаций, так и оценки результатов научных направлений и науки в целом. Управление наукой на уровне организаций также не может быть осуществлено без эффективной системы мониторинга и оценки, которая предоставляла бы возможность организациям проводить самооценку и позиционирование себя и своих работ на
национальном уровне.
В Российской Федерации в целях мониторинга и оценки результативности научной, научно-технической деятельности используются две системы: Федеральная система мониторинга результативности деятельности научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения (ФСМНО), и Единая государственная информационная система учета научно-исследовательских, опытно-конструкторских и технологических работ гражданского назначения (ЕГИСУ НИОКТР).
В настоящее время основной задачей ФСМНО и ЕГИСУ НИОКТР является оптимизация сети научных организаций, но этого недостаточно для достижения целей построения эффективной системы организации исследований и разработок. Оценивание - непрерывный процесс, который должен быть интегрирован в систему государственного управления. Для решения задач эффективного управления научной и научно-технической деятельностью во многих странах мира внедряют различные системы оценки результативности научной деятельности, которые на национальном уровне позволяют выявлять ведущие центры развития науки и технологий, грамотно распределять бюджетное финансирование и выделять приоритетные направления развития, а на уровне организаций - определять наиболее перспективные тематики исследований и коллективы, способные их провести с максимальной результативностью; осуществлять анализ научной деятельности как других организаций, так и своей. Что касается применяемых в России методов мониторинга и оценки результативности научных организаций, то они требуют дальнейшего развития.
Зарубежный опыт оценки результативности деятельности научных организаций и ученых
Большинство стран Европейского союза (ЕС) перешли либо переходят на системы финансирования исследований и разработок, построенные на основе учета результативности деятельности научных организаций, то есть системы бюджетирования на основе результативности деятельности (Research Performance Based Funding, БОР). Данные системы предполагают введение элементов контроля за эффективностью расходования бюджетных средств на НИОКР еще на стадии распределения финансов между научными организациями: организации, имеющие лучшие показатели результативности, получают пропорционально больше государственных субсидий. При этом стоит отметить, что системы финансирования, основанные на учете результатов исследований, различаются по своему характеру с точки зрения подходов к оценке эффективности деятельности научных организаций. Так, многие страны используют количественный подход,
частично или полностью базирующийся на различных комбинациях наукометрических показателей; другие - опираются на экспертную оценку. Эксперты, в свою очередь, при оценке результативности также могут учитывать количественные показатели (рисунок 1). Следует сказать, что такие системы бюджетирования работают не только на уровне государств, но и на уровне самих организаций (университеты могут руководствоваться показателями результативности при распределении средств между факультетами).
Рисунок 1. Системы финансирования исследований и разработок, основанные на результативности деятельности научных организаций
Таким образом, к БОР нельзя отнести распределение бюджетных средств научным организациям, проводимое по историческим или политическим соображениям (например, финансирование единственного в регионе университета несмотря на его слабые показатели результативности). Сюда не стоит относить и проектное финансирование, осуществляемое на конкурсной основе через различные гран-товые программы, так как в этом случае при распределении средств проводится экспертиза заявки, а не результатов НИОКР (хотя предыдущие научные заслуги исполнителей проектов могут учитываться).
Говоря об измерении продуктивности отдельных ученых, следует отметить, что на государственном уровне в ЕС никаких общепринятых показателей в данной области не используется. Тем не менее отдельно взятые университеты и научные учреждения могут оценивать эффективность работы своих научных сотрудников по самым различным показателям (например, количество публикаций или индекс Хирша).
Основными преимуществами БОР считается повышение качества научных исследований, возникающее благодаря внесению соревновательного элемента в процесс распределения средств, и концентрация ресурсов в сильнейших организациях.
В то же время система БОР не раз подвергалась критике. К
основным недостаткам системы относятся:
- стимулирование нежелательных стратегий научной деятельности (искусственное дробление целостного научного труда на множество публикаций, самоцитирование, «накручивание» индекса Хирша и пр.);
- поощрение краткосрочных проектов с быстрыми результатами в ущерб долгосрочным и рискованным исследованиям, а также вложениям в научную инфраструктуру;
- в некоторых случаях системы БОР, основанные на наукометрических показателях, ставят определенные отрасли науки в более выгодное положение (например, исследователям в области медицины легче опубликовать результаты своих трудов в международном журнале с высоким импакт-факто-ром, чем исследователям, занимающимся местной историей);
- системы БОР, основанные на экспертной оценке, часто воспринимаются как субъективные и уязвимые для коррупционных схем.
Среди чаще всего используемых показателей научной результативности учреждений можно выделить:
- количество присужденных сотрудникам научных степеней;
- библиометрические показатели;
- количество внебюджетных средств на НИОКР, привлеченных научной организацией от бизнес-партнеров;
- проектное финансирование, полученное научной организацией на конкурсной основе;
- количество зарегистрированных патентов (в некоторых странах ЕС учитываются только международные патенты);
- участие научной организации в международных исследовательских проектах.
Библиометрические показатели делятся на три категории. Первая - число публикаций. Так как простой подсчет публикаций, содержащихся в базах данных, не является достаточным для определения качества научных исследований, часто публикации оцениваются на основе влиятельности журнала, в котором они были опубликованы. Для этого либо используется импакт-фактор журнала (вторая категория библиографических показателей), либо журналы оцениваются национальными экспертными комиссиями и создаются специальные списки с градацией научных журналов по их качеству (например, в Дании существует описанная практика составления списков). Третьей категорией библиографических показателей являются индексы ци-тируемости, которые также могут быть нормализованы по областям науки.
Некоторые страны ЕС (Великобритания, Франция) при оценке результативности научной деятельности организаций используют показатели, характеризующие социально-экономическое значение исследований.
Все указанные показатели, только на учете которых построены некоторые системы БОР, могут использоваться также и в системах, где применяется экспертная оценка эффективности деятельности научных организаций. Однако при такой оценке эти показатели, как правило, носят справочный характер, а окончательное решение об оценке выносится экспертным советом.
В государствах Евросоюза внедрение системы БОР является одним из центральных механизмов повышения эффективности исследований [2]. Несмотря на это, в некоторых странах ЕС схема БОР не утвердилась в чистом виде, но используется либо в отдельных регионах, либо для организаций определенного типа. Например, в Германии, где традиционно сложилась особая система организации науки, при которой весомую часть финансовых обязательств обеспечения научной деятельности берут на себя федеральные земли, дотации из центрального бюджета предоставляются преимущественно институтам и группам ученых, работающим над проектами национальной значимости. Вузы Германии, финансирование которых почти на 80% осуществляется из местного бюджета, оказываются в зависимости от тех правил, которые приняты в каждой из территорий, а значит, в разных условиях. Как показывают исследования [3], пересмотр схем финансирования происходит регулярно, но все же несколько регионов Германии так и не приняли схему БОР. В Австрии система распределения финансирования на исследования, проводимые в вузах, учитывает лишь показатель защищенных диссертаций и игнорирует остальные показатели результативности, хотя в планах уже обозначены приоритеты введения БОР.
Странами ЕС, не использующими данную систему, являются: Греция, Ирландия, Кипр, Мальта, Словения, Люксембург, Венгрия, Болгария, Румыния1 и в определенной степени Испания2. В случае с Мальтой, Люксембургом, Кипром и Словенией это объясняется малыми размерами государств (так, в Люксембурге и на Мальте действует всего по одному университету). В других случаях это объясняется сильным сопротивлением нововведениям со стороны академического сообщества (что особенно характерно для Греции) [4, р. 18].
В условиях существования глобальной тенденции, которая заключается в увеличении доли БОР в общем объеме государственного финансирования научных исследований, в некоторых государствах уже оценены результаты функционирования этой схемы. Основным положительным итогом введения БОР следует считать существенный рост национальных показателей результативности. Например, в
1 В Венгрии, Болгарии и Румынии происходит переход к системе БОР.
2 В Испании вопросы финансирования науки находятся в ведении региональных властей. В некоторых регионах (например, в Каталонии) система БОР введена.
Норвегии за 8 лет функционирования системы БОР произошло почти двукратное увеличение публикационных баллов, которые присуждаются за статьи и монографии [5]. На примере Италии также была подтверждена гипотеза о положительной корреляции между введением системы БОР и ростом продуктивности ученых [6]. Однако в Чехии опыт внедрения схемы БОР был противоречив. В данной стране на ранних этапах функционирования схемы был отмечен стремительный рост числа публикаций в Web of Science и количества заявок на патенты [7]. Однако в дальнейшем применение БОР исключительно на основе наукометрических данных привело к нарушению стабильности организаций, навредив некоторым длительным исследовательским проектам. В итоге доля средств, распределяемых через БОР, была резко снижена, поскольку сам механизм оценки научной деятельности посредством БОР, основанного на учете наукометрических показателей, потребовал доработки [8].
В таблице 1 представлены методы и показатели, по которым в странах ЕС оценивают результативность деятельности научных организаций. Страны разбиты на 4 группы: без системы БОР; с ограниченными системами БОР; с системами БОР, основанными на количественных показателях; с системами БОР, основанными на экспертной оценке. В таблице также отмечены страны, в которых системы БОР предполагают подписание эффективных контрактов (performance contract) между организациями и министерством-учредителем. Этими контактами предусмотрено выполнение научной организацией определенных обязательных целевых показателей научной результативности в установленный министерством срок.
Стоит отметить, что наличие в системе БОР большого числа показателей результативности деятельности научных организаций не является обязательным свидетельством развитости этой схемы. Так, в Великобритании эффективность научных учреждений оценивается экспертным советом (Research Excellence Framework) с привлечением минимального количества библиографических показателей, которые носят справочный характер. При этом система БОР в Великобритании - старейшая в Европе (действует с 1986 г.) и считается весьма успешной.
За пределами Европы ярким примером использования смешанной системы БОР является китайская система оценки, характеризующаяся тем, что недостатки наукометрических подходов балансируются в ней различными вариациями экспертных методов. В Китайской Народной Республике (КНР) единая и централизованная государственная оценка результативности деятельности научных организаций, проводимая по всем ведомствам, не осуществляется. Каждое из китайских министерств и ведомств, имеющих в своем подчинении организации, которые выполняют НИОКР, проводит свою собственную ведомственную оценку научной производительности этих организаций.
Таблица 1. Показатели, по которым оценивается эффективность деятельности научных организаций в странах ЕС
Показатель Страны без БОР Ограниченное БОР БОР основано на количественных показателях БОР экспе основано на ртной оценке
Страна* BG CY EL ES ни IE LU МТ RO SI AT DE NL LV ВЕ (FI) ВЕ (WA) CZ т>к ЕЕ FI HR PL SE SK FR IT LT РТ ик
Публикации + + + + + + + + + + + + + + + + +
Пмпакт- фа ктор журналов + + + + + + + + +
Индекс цитируемости + + + + + + + + +
Защищенные степени PhD + + + + + + + + + + + + + + +
Патенты + + + + +
Проектное финансирование + + + + + + + + + + +
Бизнес-финансирование + + + + + + + + + +
Участие в международных проектах + + + + + + + +
Экспертная оценка + + + + +
Эффективные контракты + + + + +
£
я
»
S
s Р
Источник: [4, р. 21].
8
0 »
1
5
Л
Ьо
О ^
Оо
3 Сокращения: Вй - Болгария, СУ - Кипр. Е1. - Греция, ЕБ - Испания, НИ - Венгрия. 1Е - Ирландия. Ьи - Люксембург, МТ - Мальта, RO - Румыния, - Словения, АТ - Австрия, БЕ - Германия, М - Нидерланды, [.V - Латвия, ВЕ (П) - Бельгия (Фландрия), ВЕ ОМА) - Бельгия (Валлония), СЪ - Чехия. ЭК - Дания. ЕЕ - Эстония, БГ - Финляндия. НК - Хорватия. РТ\ - Польша. ЭЕ - Швеция, ЭК - Словакия, Б11 - Франция, 1Т - Италия, Т.Т - Литва, РТ - Португалия, иК — Великобритания.
Значительно реже и, как правило, в разовом порядке производится взаимная перекрестная оценка результативности научной деятельности организаций, принадлежащих к разным ведомствам [9, p. 484]. Другая особенность китайской национальной системы оценки - ее исключительная закрытость, в том числе для самих китайских граждан. Как правило, результаты оценки являются информацией служебного пользования и доступ к ней посторонних лиц затруднен.
Ключевыми организаторами проведения оценок научной производительности организаций являются Министерство науки и технологий Китая (Миннауки Китая) и Китайская академия наук (КАН). Миннауки Китая - главный государственный орган, отвечающий за проведение научно-исследовательских программы в КНР. При Миннауки Китая создан отдельный научно-исследовательский институт -Национальный центр оценки науки и технологий (НЦОНТ), который специализируется на оценке научных программ. По последним данным, в нем работают более 100 сотрудников, также поддерживается связь с более чем 5 000 внешних экспертов. НЦОНТ проводит оценку в следующих областях:
- оценка национальных стратегий, связанных с НИОКР (выполнение задач, сопряженных с проведением с НИОКР, в пятилетних планах и национальной стратегии), и национальных программ НИОКР (Программа 973, Программа 863);
- оценка регулирования политики в области: науки и техники, бюджетов национальных программ исследований и разработок;
- оценка деятельности научно-исследовательских учреждений и т. д. [10].
Важным достижением НЦОНТ считается разработка методических рекомендаций по оценке: НЦОНТ подготовил национальные стандарты оценки, опубликованные в 2001 году и утвержденные Миннауки Китая. Этот документ содержит основные определения концепции оценки; по большей части он похож на международные стандарты (объективные критерии, критерии производительности, эффективности, влияния и т. д.). В документе определен набор процедур и рекомендаций по методологии и инструментам оценки, указаны правила поведения экспертов и описан порядок их взаимодействия с оценочными органами.
Особенностью методов оценки, разработанных НЦОНТ, является то, что проекты оцениваются путем использования различных способов оценивания: предварительной оценки (ex ante); оценки в ходе реализации проекта (mid-term); оценки по фактическим результатам (ex post).
Всего НЦОНТ рекомендует использовать три основных метода оценки по отдельности или в комбинации:
- экспертная оценка, осуществляемая либо в виде только
стандартной научной экспертной оценки, в ходе которой всегда используется тип оценивания ex ante, либо в виде смешанной экспертной оценки, которой учитывается социально-экономическая польза от реализации проекта (иногда также применяются типы оценивания ex ante, ex post);
- тип оценивания ех post, который используется при оценке тематических исследований;
- оценки по показателям эффективности, рассматриваемые, как правило, в рамках многокритериальных подходов, основанных на балльной системе.
В рекомендациях НЦОНТ по оценке научной продуктивности предусматривается получение обратной связи от оцениваемых организаций, в том числе в виде семинаров, проведения опросов участников проекта. Следует сказать о том, что если при использовании типа оценивания ex post выявляется неполное соответствие реальных результатов заявленным целям оцениваемого проекта (программы), то это не считается нарушением [9].
В открытых источниках нет информации о том, что НЦОНТ реализует какую-либо системную и централизованную оценку результативности деятельности подведомственных Миннауки Китая организаций или разрабатывает методы проведения такой оценки. В публикациях китайских авторов отмечается, что, например, в отношении вузов Проекта 211, на которые приходится львиная доля государственных инвестиций и научных результатов, не проводится комплексное централизованное оценивание научных результатов (речь идет об оценке именно научной производительности, а не деятельности образовательной организации в целом) [11, p. 5].
В отличие от Миннауки Китая, КАН с 1990-х годов проводит выстраивание системной оценки результативности деятельности подведомственных организаций. В противоположность Российской академии наук в ее нынешнем виде, КАН является одним из ведущих ведомств в КНР по выработке государственной научно-технической политики. Более того, применяемая КАН система оценки стала считаться эталонной и используется другими китайскими ведомствами.
В системе КАН на данный момент 104 научно-исследовательских института, 12 отраслевых академий и 3 университета. Официальные документы (инструкции) по проведению оценки, а также результаты самой оценки, как принято в Китае, являются закрытой информацией, и доступ к ней лиц не из системы КАН затруднен. Вместе с тем в публикациях китайских авторов приведено достаточно подробное описание подходов, используемых в системе оценки научной результативности подведомственных КАН организаций.
Действующая на сегодняшний день модель оценки научной деятельности подведомственных КАН организаций была внедрена в период 2011-2013 годов. Появление данной модели было обуслов-
лено принятием новых концептуальных документов стратегического развития науки и инноваций, прежде всего - стратегии развития КАН «Инновации 2020». Эта стратегия предусматривает в рамках двенадцатого пятилетнего плана развития Китая ключевой вклад академического сектора в научный и технологический прогресс, в экономическое и социальное развитие и в национальную безопасность.
В указанной стратегии был провозглашен новый принцип государственной научно-технической политики - «Один-три-пять»: одно позиционирование - три основных прорыва - пять потенциальных направлений. Первой составляющей принципа - «Одно позиционирование» - предполагается, что каждый научно-исследовательский институт должен специализироваться на своем поле исследований, культивировать свои уникальные особенности и ключевые компетенции, занять свою нишу, признаваемую на международной арене, и всячески избегать слияния (пересечения деятельности) с другими институтами КАН. Следующая составляющая принципа - «Три основных прорыва» - подразумевает три основных стратегически важных инновационных достижения, которых институт обязуется добиться в следующие 5-10 лет. Каждый научно-исследовательский институт должен предлагать не более трех таких прорывов. Последняя составляющая принципа - «Пять потенциальных направлений» -призвана обеспечить выявление новых научно-исследовательских приоритетов, уникальных возможностей, будущих конкурентных преимуществ; определить потенциальные прорывы. Подразумевается, что каждый научно-исследовательский институт выявляет и представляет не более пяти таких потенциальных направлений.
В связи с началом реализации вышеизложенной концепции, КАН сформировала новую систему оценки - систему, ориентированную на результат проводимых НИОКР. Данная система включает в себя три процесса: диагностическую оценку экспертов, которая проводится раз в 5 лет (диагностирование хода реализации принципа «Один-три-пять», в первый раз продолжалась более 2 лет: в течение 2013-2015 гг.); оценку научной производительности подведомственных КАН институтов на периодической основе (также раз в 5 лет); ежегодный мониторинг ключевых показателей эффективности (The key performance indicators - KPI), проводимый с целью наблюдения за текущей научной производительностью подведомственных институтов и отслеживания ее динамики. На рисунке 2 представлена общая схема системы оценки научной результативности подведомственных КАН организаций, реализуемая с 2011 года по настоящее время.
Рисунок 2. Общая схема системы оценки научной результативности подведомственных КАН организаций, реализуемая с 2011 года по настоящее время*
* Перевод оригинального рисунка из [12].
В рамках экспертного диагностирования хода реализации принципа «Один-три-пять» приглашаются международные эксперты с целью оценки статуса научной организации, ее преимуществ и недостатков, а также оценки качества научно-исследовательских работ, выполненных ее сотрудниками, и инновационного потенциала данной организации в профильной научной области. Результатами такой диагностики должно стать совершенствование внутреннего управления, уточнение ключевых преимуществ и научной специализации оцениваемой организации и четкое понимание ее инновационного потенциала.
Для общей оценки научной производительности привлекаются китайские эксперты, которые выносят обоснованное мнение о текущей научной производительности организации в сопоставлении с целями, заявленными в пятилетнем плане. В рамках этой процедуры экспертам предоставляются обширные данные количественного анализа (в частности, по таким индикаторам, как объемы финансирования, движение персонала, ключевые научно-технические результаты, патентная активность, значимые награды, международный обмен и кооперация и т. д.). Итоги оценок определяют принятие дальнейших решений об объемах выделения финансирования на проведение оцениваемой научной организацией новых НИОКР или о предоставлении ей других ресурсов.
В США на государственном уровне общих подходов к оценке результативности научных организаций или отдельных ученых не существует; вместо этого оцениваются результаты реализации научных программ. Данное положение дел связано с тем, что средства федерального бюджета США распределяются на конкурсной основе через систему федеральных контрактов и грантов, выделяемых в большей степени частным промышленным корпорациям и другим организациям негосударственной формы собственности, чем федеральным лабораториям и исследовательским центрам [13]. Таким образом, широкое использование федеральных контрактов и грантов является ключевым аспектом научно-технологической системы США [14], и именно из-за этой особенности система БОР не получила распространения в США.
Законом США «Об оценке результатов деятельности государственных учреждений» (Government Performance and Results Act) предусмотрено, что по итогам реализации государственной программы в каждом году агентства, ответственные за реализацию программ, готовят отчеты об их исполнении, предоставляемые Президенту и Конгрессу США. Отчеты составляются по результатам выполнения программы в предыдущем финансовом году и представляют собой сравнение показателей эффективности, установленных в ежегодном исполнительном плане, с реально достигнутыми показателями.
Данные показатели могут варьироваться в зависимости от ведомства и конкретной программы. К основным ведомствам США, осуществляющим деятельность в сфере НИОКР, относятся: Министерство обороны, Министерство здравоохранения и социальных служб, включая Национальные институты здоровья, Национальное управление по воздухоплаванию и исследованию космического пространства, Министерство энергетики, Национальный научный фонд, Министерство внутренней безопасности, Министерство сельского хозяйства, Министерство торговли, Министерство образования, Агентство по охране окружающей среды, Министерство транспорта.
В целом методы оценки эффективности научных программ, существующие в США, можно разбить на следующие категории:
- библиометрический анализ (публикации, патенты, цитиру-емость);
- метод бенчмаркинга (сопоставительный анализ на основе эталонных показателей);
- анкетирование и опросы;
- фокус группы;
- интервью;
- экспертные панели;
- тематические исследования;
- отслеживание коммерциализации технологии;
- выстраивание исторической ретроспективы;
- анализ социальных сетей [15, 16].
Предложения по развитию системы оценки результативности научной и научно-технической деятельности в Российской Федерации
Порядок функционирования ФСМНО и процедура оценки результативности деятельности научных организаций определены в постановлении Правительства Российской Федерации от 8 апреля 2009 г. № 312 (ред. от 29.12.2016) [17]. В основу ФСМНО и системы оценки был заложен количественный подход, базирующийся на ряде показателей, совокупность которых составляет следующие блоки:
- результативность и востребованность научных исследований;
- развитие кадрового потенциала;
- интеграция в мировое научное пространство, распространение научных знаний и повышение престижа науки;
- ресурсное обеспечение деятельности научной организации.
Сама процедура оценки включает следующие стадии:
- сбор сведений по перечню из более 70 сводных и детализированных показателей, которые объединены в соответствующие группы (перечень показателей утвержден приказом Минобр-науки России от 5 марта 2014 г. № 162 (ред. от 03.03.2016) (Приказ № 162) [18]);
- распределение организаций по 156 референтным группам согласно направлениям научных исследований (всего 39 направлений) и профилю деятельности (четыре профиля: «Генерация знаний», «Разработка технологий», «Научно-технические услуги», «Особый»)4;
- определение интегральных показателей результативности и установление их средних значений для референтных групп организаций;
- сравнение фактических значений интегральных показателей организаций с пороговыми значениями и отнесение организации к одной из трех категорий:
1-я категория: научные организации - лидеры;
2-я категория: стабильные научные организации, демонстрирующие удовлетворительную результативность;
3-я категория: научные организации, утратившие научный профиль и перспективы развития.
ЕГИСУ НИОКТР является единой базой данных о научно-исследовательских и опытно-конструкторских работах, выполняемых за счет бюджетных средств. В указанной системе содержится информация о более чем 5 000 организаций, об 1,3 млн проектов, которые были выполнены этими организациями, о 750 тыс. диссертациий,
4 Согласно Приложению 1 к протоколу заседания Межведомственной комиссии по оценке результативности деятельности научных организаций от 14 января 2016 г. № ДЛ-2/14пр. URL: http://www.sciencemon.ru/legal/methodic/protokol-mvk-2016-01-14/, дата обращения: 10.12.2017.
о более 50 000 охраноспособных результатов интеллектуальной деятельности, сведения о состоянии правовой охраны результатов интеллектуальной деятельности и сведения об использовании результатов интеллектуальной деятельности. ЕГИСУ НИОКТР обеспечивает реализацию функций Российской академии наук по экспертизе научных и научно-технических результатов в соответствии с постановлением Правительства Российской Федерации от 14 ноября 2014 г. № 1195 [19]. ЕГИСУ НИОКТР дает возможность проводить качественную оценку результатов научно-исследовательских, опытно-конструкторских и технологических работ, получать данные о востребованности результатов интеллектуальной деятельности, проводить оценку коллективов в разрезе опыта по успешному выполнению НИР/НИОКТР сопоставимого характера и объема.
Существующие подходы к оценке научной, научно-технической деятельности, применяемые в ФСМНО и ЕГИСУ НИОКТР, обладают следующими недостатками, которые негативно сказываются на итоговых результатах.
1. Целевое назначение ФСМНО и ЕГИСУ НИОКТР в контексте государственной научно-технической политики остается неопределенным. Это приводит к тому, что результаты оценки деятельности научных организаций не вплетены в систему управления наукой, не являются критериями при принятии управленческих решений на федеральном уровне (например, при установлении, продлении, прекращении статусов для научных организаций и вузов).
2. ФСМНО ориентирована исключительно на анализ наукометрических данных и не связана со специализированной государственной системой учета непосредственно научных исследований и разработок и их результатов ЕГИСУ НИОКТР, позволяющей провести экспертизу содержательной научной составляющей.
3. Методическая составляющая ФСМНО требует совершенствования, а достоверность содержащихся в этой системе данных должна быть проверена.
4. Технически в ФСМНО в настоящий момент не представляется возможным учитывать значения показателей по каждому из направлений исследований и разработок (39 направлений исследований), к которым организация себя относит, хотя такая возможность заложена в Приказе № 162. Данное обстоятельство приводит к некорректности как в расчетах значений интегральных показателей научных организаций, так и в проводимой по направлениям исследований оценке результативности деятельности научных организаций.
5. В системе ФСМНО агрегируются данные только по научным и образовательным организациям государственного сектора науки, что составляет менее 50% организаций, осуществляющих исследования и разработки. В силу отсутствия сведений о научной и научно-технической деятельности предпринимательского сектора формируется недостоверная картина развития научно-технического комплекса в РФ.
В сравнении с подходами к оценке научной и научно-технической деятельности за рубежом, система оценки в РФ находится на начальном этапе развития. В связи с принятием Стратегии научно-технологического развития РФ (утверждена указом Президента Российской Федерации от 1 декабря 2016 г. № 642 (СНТР) [20]) и рассмотрением науки как главного источника социально-экономического развития, модернизация системы оценки научной деятельности предполагает переход распорядителей бюджетных средств к модели «квалифицированного заказчика» и проведение следующих методов оценки результативности деятельности научных организаций: в ходе отбора до реализации проекта (ex ante); в ходе реализации проекта (mid-term); по фактическим результатам (ex post). Данный подход широко распространен в КНР и может быть перенят для совершенствования отечественной системы оценки результативности научной деятельности.
В целом система оценки результативности научной деятельности необходима:
- для оперативного (в режиме мобилизации) формирования сборных научных коллективов (команд) в целях решения актуальных научно-технических задач государственного значения, реализации комплексных научно-технических программ в рамках СНТР;
- непрерывной оценки компетенции, квалификации исследователей, научных коллективов и организаций при принятии решения о поддержке научных исследований в рамках конкурсов на получение грантов научных фондов и институтов развития, на выполнение федеральных целевых программ, иных программ и проектов с конкурсным отбором участников (необходима информационная связка системы оценки результативности научной деятельности с конкурсными системами фондов, институтов развития, порталом Zakupki.gov.ru, ведомственными информационными системами управления государственным заданием в сфере науки и др.);
- оценки эффективности науки, выражающейся в социально-экономическом вкладе науки (например, по отраслям экономики); обоснования выделения дополнительных объемов бюджетных средств на приоритетные направления, конкретные задачи;
- отслеживания карьерного роста исследователей, талантливой молодежи (через индивидуальные профили исследователей, их организации-работодатели) и разработки адресных мер поддержки кадрового потенциала;
- определения дефицитных компетенций/заделов, которые необходимо развивать/наращивать в российской науке.
Большинство стран ЕС перешли на системы финансирования исследований и разработок, основанные на результативности деятельности научных организаций. Количественная и качественная
информация, содержащаяся в ФСМНО и ЕГИСУ НИОКТР, должна использоваться при оценке квалификации претендентов на финансирование НИР/НИОКТР из средств федерального бюджета и при принятии решений, связанных с корректировкой мероприятий и объемов финансирования. ФСМНО и ЕГИСУ НИОКТР предполагают возможность введения элементов контроля за эффективностью расходования бюджетных средств на НИОКР еще на стадии распределения финансов между научными организациями: организации, имеющие лучшие показатели результативности, должны получать пропорционально больше государственных субсидий. Таким образом, результаты количественных оценок на основе данных ФСМНО и экспертного анализа содержащихся в ЕГИСУ НИОКТР отчетов о НИР должны быть напрямую связаны с выбором лидеров научного сообщества, дальнейшими решениями об объемах финансирования НИР или о предоставлении других ресурсов оцениваемой организации, коллективу или ученому.
Текущий курс научно-технической политики в России в явной степени ориентирован на достижение количественных показателей. Однако, например, существенное увеличение доли российских публикаций в международных библиометрических базах данных является необходимым, но недостаточным свидетельством успешного развития всей науки. В настоящее время квалифицированная экспертиза проводится в рамках отдельных инструментов поддержки научной деятельности (гранты научных фондов, государственное задание, федеральные целевые программы и т. д.). Зарубежный опыт подтверждает необходимость и целесообразность более широкого использования экспертного анализа, причем именно на основе информации, предоставленной объектом оценки. Количественные показатели и рассчитанные на их основе индикаторы будут являться дополнительной информацией при проведении экспертной оценки. Дополнительные качественные характеристики достигнутых научных результатов и содержательная информация могут быть импортированы из ЕГИСУ НИОКТР, которая агрегирует регистрационные карты научно-исследовательских, опытно-конструкторских и технологических работ, а также информационные карты результатов интеллектуальной деятельности, создаваемых в ходе выполнения таких работ. Содержательная оценка регистрируемых в ЕГИСУ НИОКТР научно-исследовательских отчетов, проводимая Российской академией наук, в этом случае приобретает существенное значение.
Зарубежный опыт (в частности, схема КНР «Один-три-пять») убедительно демонстрирует первостепенное значение решения реальных социально-экономических задач. В отечественной практике такие задачи носят декларативный характер и не ставятся перед конкретными научными организациями. Планы решения социально-экономических задач могли бы стать фундаментом процесса оценки деятельности научных организаций. При этом подобного рода задачи
могут быть предложены самими организациями (в случае поисковых фундаментальных исследований) либо поставлены компетентными государственными органами, государственными корпорациями и экспертными советами стратегических государственных программ (для ориентированных фундаментальных и прикладных исследований), советами по приоритетным направлениям научно-технологического развития, бизнес-партнерами. В любом случае процесс установления задачи должен происходить при активном участии и заказчика, и исполнителя. Если постановка реальной социально-экономической задачи по объективным причинам невозможна, то схема сопоставления результативности деятельности научных организаций на базе референтных групп выглядит предпочтительной по сравнению с остальными возможными вариантами (межвременной наукометрический анализ, нерегламентированная и кулуарная экспертная оценка и т. п.).
Российские научные организации и вузы в течение года обязаны предоставить сведения о научной деятельности различным инстанциям (ФСМНО, Росстат (форма № 2-наука), ведомственные системы сбора информации и т. д.). Перечни предоставляемых показателей во многом пересекаются, хотя имеют свою специфику. Такой плюрализм приводит к неоправданному увеличению бюрократической нагрузки на организации и к несопоставимости отчетной информации из-за различных методических рекомендаций по заполнению идентичных показателей. Разработка единого методического подхода на основе Руководства Фраскати [21] при заполнении форм статистического наблюдения позволила бы решить обозначенные проблемы, а также существенно упростила бы сам процесс сбора информации и ее обработки. В качестве основы предлагается использовать форму Росстата № 2-наука, дополнив ее показателями, необходимыми для измерения результативности научной деятельности.
Научные работники также обременены внесением идентичных данных в различные информационные системы. Процедуры участия в конкурсах на получение гранта научных фондов, на выполнение федеральных целевых программ, государственного задания, а также процедуры прохождения аттестации требуют заполнения практически одинаковых форм, что приводит к значительной трате временных ресурсов.
Создание в рамках ФСМНО информационной системы, предусматривающей формирование и обновление личных профилей самими учеными и дополненной возможностью импортирования информации из наукометрических баз данных, обеспечило бы высокую достоверность информации. Профили научных организаций и ученых, содержащиеся в такой системе, могут послужить главным источником информации при создании автоматизированной системы идентификации исследователей и организаций. Кроме того, на основе указанных профилей будет возможно создать единообразную форму подачи заявок, благодаря чему ученые будут избавлены от трудоемких и од-
нотипных обязанностей. Важным дополнительным преимуществом внедрения таких профилей следует считать уникальную возможность создания кадрового реестра российской науки, который может быть использован как для получения необходимой статистической информации и выбора мер научно-технической политики, так и, например, при составлении корпуса экспертов.
Информационная связка данных ФСМНО, ЕГИСУ НИОКТР и профилей научных организаций и ученых (рисунок 3) позволит проводить анализ большого количества сведений, который невозможен без перехода к современным моделям статистического наблюдения, а также анализу и оценке экономической и социальной эффективности научной, научно-технической и инновационной деятельности. Применение методов искусственного интеллекта в анализе больших данных позволит использовать максимальное количество показателей при оценке результатов деятельности проводящих исследования и разработки организаций, выявит влияние частных показателей на конечный результат их научно-технической и инновационной деятельности.
Экспорт информации (в Zakupki.gov.ru, ведомственные системы ФОИВ, системы научных фондов и институтов развития)
V _
( Л
Внешние данные:
• Первичные данные Web of Science, Scopus, РИНЦ
• Форма № 2-наука
• Данные специальных систем
• База данных ФИПС (Роспатент)
Рисунок 3. ФСМНО как агрегатор информации о научно-исследовательской деятельности и инструмент оценки результативности
Таким образом, развитие системы мониторинга и оценки научной, научно-технической деятельности организаций, проводящих исследования и разработки, предполагает решение следующих задач: определение места и роли представленных информационных систем в системе государственного управления, научно-технической политики; создание системы целеполагания для научных организаций;
/■-
Результат оценки деятельности научных организаций
J
формирование эффективного механизма сбора данных о научной деятельности. В целом создание эффективной системы оценивания обеспечит объективный анализ результативности деятельности научных организаций, приведет к повышению качества принимаемых управленческих решений в сфере науки и увеличит эффективность системы организации исследований и разработок.
Благодарности
Статья подготовлена в рамках государственного задания ФГБУ «Российский научно-исследовательский институт экономики, политики и права в научно-технической сфере» (РИЭПП) на 2017 г. Проект «Мониторинг, анализ и оценка статистических и наукометрических показателей состояния научно-технологического комплекса России, в том числе: анализ доли внутренних затрат на исследования и разработки в ВВП, анализ публикационной активности российских исследователей в разрезе ведомств и финансирующих организаций, расчет минимальных значений показателей в референтных группах по актуальным данным федеральной системы мониторинга, оценка эффективности расходования бюджетных средств, направляемых на государственную поддержку научной и научно-технической деятельности» (№ 26.4400.2017/5.1).
Acknowledgements
The article was prepared within the State Assignment of the Federal State Institution "Russian Research Institute of Economics, Politics and Laws in Science and Technology" (RIEPL) for 2017. (Project unique identifier № 26.4400.2017/5.1.)
Литература
1. Налимов В. В., Мульченко З. М. Наукометрия. Изучение развития науки как информационного процесса / В. В. Налимов, З. М. Мульченко. М.: Наука, 1969. 192 с.
2. Action plan ERA Priority / Era.gv.at. URL: https://era.gv.at/object/ document/2505/attach/Item_4_3_Compliation_of_outlines_of_ national_action_plans.pdf (дата обращения: 15.12.2017).
3. Van Daalen R., Mehmood S., Verstraten P., van der Wiel K. Public funding of science: An international comparison / CPB Background document, Netherlands Bureau for Economic Policy Development, The Hague. 2014.
4. Jonkers K. et al. Research Performance Based Funding Systems: a Comparative Assessment / Institute for Prospective Technological Studies, Joint Research Centre, 2016. 106 p. URL: http://
publications.jrc.ec.europa.eu/repository/bitstream/JRC101043/ kj1a27837enn.pdf (дата обращения: 10.12.2017).
5. Gläser J., Laudel G. Governing Science: How Science Policy Shapes Research Content // European Journal of Sociology. 2016. № 1 (57). P. 117-168.
6. Cattaneo M., Meoli M., Signori A. Performance-based funding and university research productivity: the moderating effect of university legitimacy // The Journal of Technology Transfer. 2016. № 1 (41). P. 85-104.
7. Vanecek J. The effect of performance-based research funding on output of R&D results in the Czech Republic // Scientometrics. 2014. № 1 (98). P. 657-681.
8. Good B., Vermeulen N., Tiefenthaler B., Arnold E. Counting quality? The Czech performance-based research funding system // Research Evaluation. 2015. № 2 (24). P. 91-105.
9. OECD. Reviews of Innovation Policy: China. OECD Publishing, 2008.
10. Huang C., Jin X., Li L. RIO COUNTRY REPORT 2015: China. European Union, 2016.
11. Hu, Y., Liang, W., Tang, Y. Evaluating Research Efficiency of Chinese Universities, New Frontiers of Educational Research. Springer Nature Singapore Pte Ltd, 2017.
12. Xu, F., Li, X. The changing role of metrics in research institute evaluations undertaken by the Chinese Academy of Sciences (CAS) // Palgrave Communications. № 2. 2016. p. 1-6.
13. Белинский А. Н., Емельянов С. В., Сталинский В. С. Государство и НИОКР в США: приоритетные направления финансирования в начале XXI века [Электронный ресурс] // Россия и Америка в XXI веке. 2008. № 3. URL: http://www.rusus.ru/?act= read&id=97 (дата обращения: 10.12.2017).
14. Федорович В. А., Патрон А. П. США. Государство и экономика. М.: Международные отношения, 2007. 386 с.
15. Ruegg R., Jordan G. Overview of evaluation methods for R&D programs. A directory of evaluation methods relevant to technology development programs, prepared for US Department of Energy, Office of Energy Efficiency and Renewable Energy. 2007.
16. Ruegg R. Benchmarking evaluation of public science and technology programs in the United States, Canada, Israel, and Finland; Proceedings of a workshop held at the embassy of Finland on September 25, 2002. Washington, DC, 2003. URL: https://wenku.baidu.com/view/8230a76ba98271fe910ef93b. html (дата обращения: 10.12.2017).
17. Постановление Правительства Российской Федерации от 8 апреля 2009 г. № 312 (ред. от 29.12.2016) «Об оценке и
о мониторинге результативности деятельности научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения» // СПС «КонсультантПлюс».
18. Приказ Минобрнауки России от 5 марта 2014 г. № 162 (ред. от 03.03.2016) «Об утверждении порядка предоставления научными организациями, выполняющими научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения, сведений о результатах их деятельности и порядка подтверждения указанных сведений федеральными органами исполнительной власти в целях мониторинга, порядка предоставления научными организациями, выполняющими научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения, сведений о результатах их деятельности в целях оценки, а также состава сведений о результатах деятельности научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения, предоставляемых в целях мониторинга и оценки» (Зарегистрировано в Минюсте России 29.04.2014 № 32134) // СПС «КонсультантПлюс».
19. Постановление Правительства Российской Федерации от 14 ноября 2014 г. № 1195 «О представлении научными организациями и образовательными организациями высшего образования, осуществляющими за счет бюджетных средств фундаментальные научные исследования и поисковые научные исследования, в Российскую академию наук отчетов о проведенных фундаментальных научных исследованиях и поисковых научных исследованиях, о полученных научных и (или) научно-технических результатах» (вместе с «Правилами представления научными организациями и образовательными организациями высшего образования, осуществляющими за счет бюджетных средств фундаментальные научные исследования и поисковые научные исследования, в Российскую академию наук отчетов о проведенных фундаментальных научных исследованиях и поисковых научных исследованиях, о полученных научных и (или) научно-технических результатах») // СПС «КонсультантПлюс».
20. Указ Президента Российской Федерации от 1 декабря 2016 г. № 642 «О Стратегии научно-технологического развития Российской Федерации» // СПС «КонсультантПлюс».
21. Frascati Manual 2015: Guidelines for Collecting and Reporting Data on Research and Experimental Development. Paris: OECD Publishing, 2015.
References
1. NALIMOV, V. V., MULCHENKO, Z. M. (1969) Scientometrics. The study of the development of science as an information process. Moscow: Nauka. (In Russian)
2. ERAC. (2016) Action plan ERA Priority. ERAC. Available at: https://era.gv.at/object/document/2505/attach/Item_4_3_ Compliation_of_outlines_of_national_action_plans.pdf [Accessed 15 December 2017]. (In Russian)
3. VAN DAALEN, R., MEHMOOD, S., VERSTRATEN, P. and VAN DER WIEL, K. (2014) Public funding of science: An international comparison. CPB Netherlands Bureau for Economic Policy Development, The Hague.
4. JONKERS, K. et al. (2016) Research performance based funding systems: a comparative assessment. Institute for Prospective Technological Studies, Joint Research Centre. Available at: http:// publications.jrc.ec.europa.eu/repository/bitstream/JRC101043/ kj1a27837enn.pdf [Accessed 10 December 2017].
5. GLÄSER, J., LAUDEL, G. (2016) Governing Science. European Journal of Sociology. 57 (1). P. 117-168.
6. CATTANEO, M., MEOLI, M. and SIGNORI, A. (2016) Performance-based funding and university research productivity: the moderating effect of university legitimacy. The Journal of Technology Transfer. 41 (1). P. 85-104.
7. VANECEK, J. (2014) The effect of performance-based research funding on output of R&D results in the Czech Republic. Scientometrics. 98 (1). P. 657-681.
8. GOOD, B., VERMEULEN, N., TIEFENTHALER, B. and ARNOLD, E. (2015) Counting quality? The Czech performance-based research funding system. Research Evaluation. 24 (2). P. 91-105.
9. OECD. (2008) Reviews of Innovation Policy: China. Paris: OECD Publishing.
10. HUANG, C., JIN, X. and Li, L. (2016) Rio country report 2015: China. European Union.
11. HU, Y., LIANG, W. and TANG, Y. (2017) Evaluating Research Efficiency of Chinese Universities, New Frontiers of Educational Research. Springer Nature Singapore Pte Ltd.
12. XU, F., LI, X. (2016) The changing role of metrics in research institute evaluations undertaken by the Chinese Academy of Sciences (CAS). Palgrave Communications. No. 2. P. 1-6.
13. BELINSKIJ, A. N., EMEL'JANOV, S. V., STALINSKIJ, V. S. (2008) The Government and R&D in the USA: priorities for financing in the early 21st century. Rossija i Amerika v XXI veke [Russia and America in the 21st century]. No 3. Available at: http:// www.rusus.ru/?act=read&id=97 [Accessed 10 December 2017]. (In Russian)
14. FEDOROVICH, V. A., PATRON, A. P. (2007) USA. The government and the economy. Moscow: International relations. (In Russian)
15. RUEGG, R., JORDAN, G. (2007) Overview of evaluation methods for R&D programs. A directory of evaluation methods relevant to technology development programs, prepared for US Department of Energy, Office of Energy Efficiency and Renewable Energy.
16. RUEGG, R. (2003) Benchmarking evaluation of public science and technology programs in the United States, Canada, Israel, and Finland, Proceedings of a workshop held at the embassy of Finland on September 25, 2002. Washington, DC. Available at:https://wenku.baidu.com/view/8230a76ba98271fe910ef93b. html [Accessed 10 December 2017].
17. RUSSIA. GOVERNMENT OF THE RUSSIAN FEDERATION. (2009) Decree No. 312 of 08.04.2009 (ed. of 29.12.2016) On evaluation and monitoring the effectiveness of the scientific organizations conducting civilian research and development for civilian designation. ConsultantPlus legal reference system. (In Russian)
18. RUSSIA. MINISTRY OF EDUCATION AND SCIENCE OF RUSSIA. (2014) Order No. 162 of05.03.2014 (ed. of 03.03.2016) On approval of the procedure for providing information on the performance results by the scientific organizations conducting research and development for civilian designation and the procedure for confirming this information by the federal executive authorities for the purposes of monitoring, the procedure for providing information on the performance results by the scientific organizations conducting research and development for civilian designation for the purposes of evaluation, and the scope of information on the performance results of the scientific organizations conducting research and development for civilian designation provided for monitoring and evaluation. ConsultantPlus legal reference system. (In Russian)
19. RUSSIA. GOVERNMENT OF THE RUSSIAN FEDERATION. (2014) Decree No. 1195 of 14.11.2014 On providing by the scientific organizations and educational organizations of higher education conducting basic research at the expense of budgetary funds the reports to the Russian Academy of Sciences on the carried out basic research and on the received scientific and technical results (together with ''The rules of providing by the scientific organizations and educational institutions of higher education conducting basic research at the expense of budgetary funds Russian Academy of Sciences the reports on the carried out basic research and on the received scientific and technical results''). ConsultantPlus legal reference system. (In Russian)
20. RUSSIA. PRESIDENT OF THE RUSSIAN FEDERATION. (2016) Decree No. 642 of 01.12.2016 On the Strategy for the scientific and technological development of the Russian Federation. ConsultantPlus legal reference system.
21. OECD. (2015) Frascati Manual 2015: Guidelines for Collecting and Reporting Data on Research and Experimental Development. Paris: OECD Publishing.
Информация об авторах
Гусев Александр Борисович (Гусев А. Б.), кандидат экономических наук, исполняющий обязанности директора Российского научно-исследовательского института экономики, политики и права в научно-технической сфере (РИЭПП). В сферу научных интересов входит государственная научно-техническая политика, национальная инновационная система, региональная экономика.
Доронина Екатерина Геннадьевна (Доронина Е. Г.), кандидат технических наук, заведующий отделом анализа и развития ФСМНО Российского научно-исследовательского института экономики, политики и права в научно-технической сфере (РИЭПП). Круг научных интересов включает задачи управления в социальных и экономических системах, прикладное программирование, интеллектуальный анализ данных, методы искусственного интеллекта.
Вершинин Иван Владимирович (Вершинин И. В.), старший научный сотрудник отдела проблем инновационной политики и развития национальной инновационной системы Российского научно-исследовательского института экономики, политики и права в научно-технической сфере (РИЭПП), аспирант Национального исследовательского университета «Высшая школа экономики». В круг научных интересов входят вопросы результативности финансирования исследований и разработок, международный опыт в сфере управления научно-технологическим развитием.
Малахов Вадим Александрович (Малахов В. А.), кандидат исторических наук, старший научный сотрудник Российского научно-исследовательского института экономики, политики и права в научно-технической сфере (РИЭПП). Сфера научных интересов: международный опыт управления наукой и инновациями.
Authors Information
Gusev Aleksandr Borisovich (Gusev A. B.), candidate of sciences (PhD) in Economics, acting director of the Russian Research Institute of Economics, Politics and Law in Science and Technology (RIEPL). Area of expertise includes public science and technology policy, national innovation system, regional economy.
Doronina Ekaterina Gennadyevna (Doronina E. G.), candidate of sciences (PhD) in Engineering, head of the department of analysis and development of the FSMNO (federal monitoring system of effectiveness of scientific organizations) in the Russian Research Institute of Economics, Politics and Law in Science and Technology (RIEPL). Area of expertise includes problems of management in social and economic systems, applied programming, data mining, artificial intelligence methods.
Vershinin Ivan Vladimirovich (Vershinin I. V.), senior researcher of the department of innovation policy and the national innovation system development in the Russian Research Institute of Economics, Politics and Law in Science and Technology (RIEPL), post-graduate student in the National Research University Higher School of Economics. Area of expertise includes the effectiveness of funding research and development, international experience in managing science and technology development.
Malahov Vadim Aleksandrovich (Malahov V. A.), candidate of sciences (PhD) in Historical sciences, senior researcher in the Russian Research Institute of Economics, Politics and Law in Science and Technology (RIEPL). Area of expertise: international experience in managing science and innovation.
Для цитирования: Гусев А. Б., Доронина Е. Г., Вершинин И. В., Малахов В. А. Мониторинг и оценка результатов научно-технической деятельности: зарубежный опыт и российская практика // Наука. Инновации. Образование. 2018. № 1 (27). С. 65-91.
For citation: GUSEV, A. B., DORONINA, E. G., VERSHININ, I. V., MALAHOV, V. a. (2018) Monitoring and assessment of scientific performance: foreign experience and Russian practice. Science. Innovations. Education, 27 (1), pp. 65-91.
