CC BY
179оценка результативности научной деятельности
Л.А. ЦВЕТКОВА,
к.б.н., ведущий научный сотрудник Центра научно-технической экспертизы ИПЭИ РАНХиГС при Президенте РФ, г. Москва, Россия, idmz@mednet.ru
НОВЫЕ КРИТЕРИИ ЭФФЕКТИВНОСТИ УЧАСТНИКОВ ИССЛЕДОВАТЕЛЬСКОЙ ДЕЯТЕЛЬНОСТИ И РАСПОРЯДИТЕЛЕЙ БЮДЖЕТНЫХ Средств
на исследования и разработки1
УДК 004.031.4:001
Цветкова Л.А., Комарова А.М. Новые критерии эффективности участников исследовательской деятельности и распорядителей бюджетных средств на исследования и разработки
(РАНХиГС при Президенте РФ, г. Москва, Россия)
Аннотация. Систематизированы критерии, призванные оценить эффективность участников исследовательской деятельности и распорядителей бюджетных средств на исследования и разработки, предложенные в проектах нормативных документов, разработанных Минобранауки России и ФАНО в 2015 г. Дана оценка сопоставимости предлагаемых критериев в рамках одной категории показателей. Разработан комплекс предложений по формированию системы унифицированных и однозначно читаемых критериев, более адекватных задачам развития механизмов конкуренции при бюджетном финансировании НИОКР.
Ключевые слова: научные исследования и разработки, результативность, критерии оценки, национальная система оценки, бюджетное финансирование, государственное задание, конкурсное финансирование, ведущие ученые, коллективы исполнителей, распорядители государственных средств на исследования и разработки.
А.В. КОМАРОВА,
научный сотрудник Центра научно-технической экспертизы ИПЭИ РАНХиГС при Президенте РФ, г. Москва, Россия, ava1945@mail.ru
екущий 2015 г. принес научному сообществу РФ, по меньшей мере, 5 новых коллекций критериев, призванных оценить результативность расходования средств госбюджета на ИиР, повысить уровень их адресности и конкурсности. По сути, все участники исследовательской деятельности, а также распорядители бюджетных средств оказались охваченными оценкой эффективности исследований.
Разработанная система критериев направлена на формирование единого подхода к оценке значимости и влияния результатов исследовательской деятельности на развитие существующих и создание новых отраслей экономики, а также на обеспечение перехода к более результативным моделям управления инвестициями в исследования и разработки.
© Л.А. Цветкова,
А.В. Комарова, 2015 г.
Публикация подготовлена в рамках поддержанного РФФИ научного проекта № 14-29-05075 «Исследование и разработка объективных методов оценки проектов на основе анализа динамики научных направлений и научных коллективов».
270
ЭКОНОМИКА НАУКИ 5015. Т. 1, № 4
оценка результативности научной деятельности
эц
Расширилось и формализовалось само понятие «эффективности исследований», под которым стала пониматься и передача знаний в промышленность, и передача знаний обществу, и развитие научного и кадрового потенциала. Такой подход позволяет обеспечить непрерывность проведения государственной политики по развитию отраслей экономики, решению общественно значимых задач и призван обеспечить программно-целевой подход к управлению сектором ИиР в РФ.
Целью настоящего исследования являлась оценка сопоставимости предлагаемых критериев в рамках одной категории показателей и разработка комплекса предложений по формированию системы унифицированных и однозначно читаемых критериев, более адекватных задачам развития механизмов конкуренции при бюджетном финансировании НИОКР.
На первом этапе исследования мы выполнили систематизацию всех критериев, разработанных Минобрнауки России и ФАНО в 2015 г. для оценки:
• научных работников,
• ведущих исследователей, достигших высоких научных результатов в конкретной области наук;
• лучших коллективов структурных подразделений научных организаций;
• научных организаций-лидеров;
• распорядителей государственных средств на ИиР.
Критерии результативности труда научных работников
Минобрануки России в Приказе от 27.05.2015 № 538 «Об утверждении Порядка проведения аттестации работников, занимающих должности научных работников» [1] определил примерный перечень количественных показателей результативности труда научных работников, состоящий из 13 критериев, кластеризация которых выполнена авторами статьи.
Публикационную активность ученого оценивают 5 критериев:
• Число публикаций работника, индексируемых в российских и международных информационно-аналитических системах научного ци-
ЭКОНОМИКА НАУКИ 5015, Т. 1, № 4________
тирования (учитываются все рецензируемые публикации за отчетный период - статьи, обзоры, тезисы докладов, материалы конференций, размещенные в различных российских и международных информационно-аналитических системах научного цитирования. Показателями качества публикаций может являться цитируемость публикаций, импакт-фак-тор журналов, в которых опубликована статья, а также число статей, опубликованных совместно с зарубежными учеными).
• Общее количество опубликованных научных произведений (указываются научные монографии, переводы монографий, научные словари, имеющие международный книжный номер ISBN, подготовленные под редакцией, при авторстве или соавторстве работника).
• Общее количество комплектов выпущенной конструкторской и технологической документации (указываются все виды документов и (или) их комплекты, соответствующие международным, национальным, региональным стандартам, а также стандартам организаций, являющихся получателями результатов научно-исследовательских, опытно-конструкторских и технологических работ организации. Критерием качества является использование указанных документов и (или) их комплектов в процессе производства, выполнения работ или оказания услуг).
• Организация выпуска научных журналов (указывается число выпусков научных журналов, в том числе в консорциуме с другими организациями, осуществленных при участии (под редакцией) работника, имеющих международный номер периодических изданий ISSN).
• Количество научно-популярных публикаций, подготовленных работником, в том числе материалов, комментариев по актуальным вопросам науки и техники в средствах массовой информации федерального уровня (учитываются публикации в изданиях, имеющих международные индексы ISBN, ISSN, репортажи, публикации во всех видах средств массовой информации, включая электронные издания, размещенные в информационно-телекоммуникационной сети «Интернет»),
271
оценка результативности научной деятельности
Инновационную деятельность ученого оценивает критерий:
• Количество созданных результатов интеллектуальной деятельности, учтенных в государственных информационных системах (учитываются результаты, сведения о которых внесены в единую государственную информационную систему учета научно-исследовательских, опытно-конструкторских и технологических работ гражданского назначения и в единый реестр результатов научно-исследовательских, опытно-конструкторских и технологических работ военного, специального и двойного назначения).
Деятельность, направленную на подготовку кадров высшей квалификации, оценивают 3 критерия:
• Численность лиц, освоивших образовательную программу высшего образования - программу магистратуры, успешно защитивших выпускную квалификационную работу (магистерскую диссертацию) (учитываются лица, успешно защитившие выпускную квалификационную работу, которая выполнена под руководством работника).
• Численность лиц, освоивших образовательные программы высшего образования -программу подготовки научно-педагогических кадров в аспирантуре (адъюнктуре), защитивших научно-квалификационную работу (диссертацию) на соискание ученой степени кандидата наук, а также программу ассистентуры-стажировки (учитываются лица, защитившие диссертацию на соискание ученой степени кандидата наук, а также выпускную квалификационную работу по программам ассистентуры-стажировки, которая выполнена под руководством работника).
• Количество принятых на постоянную работу в организацию кадров высшей квалификации, участвующих в научных проектах, руководство которыми осуществлял работник (учитываются научные работники, привлеченные для реализации научных, научно-технических программ и проектов, инновационных проектов, руководство которыми осуществлял работник).
272______________________________________
Деятельность, направленную на международное сотрудничество, оценивает критерий:
• Число научных конференций с международным участием, в организации которых принял участие работник (учитываются только научные конференции и симпозиумы, по которым изданы материалы, индексируемые в международных информационно-аналитических системах научного цитирования). Деятельность, направленную на привлечение финансовых средств в организацию, оценивают 2 критерия:
• Влияние работника на привлечение финансовых ресурсов в организацию (указывается объем средств, полученных при участии работника, в том числе: на конкурсной основе как из бюджетных, так и внебюджетных источников; в форме договоров на выполнение научно-исследовательских и опытноконструкторских работ; от распоряжения полученными ранее результатами интеллектуальной деятельности по договорам лицензирования, отчуждения исключительных прав; доходов малых инновационных предприятий, созданных с передачей им результатов интеллектуальной деятельности, полученных при непосредственном участии работника).
• Объем услуг (в стоимостном выражении), оказанных центрами коллективного пользования научным оборудованием, уникальными научными установками при участии работника (включает стоимость услуг по проведению исследований и разработок, выполняемых сторонними организациями по договорам (услуги центров коллективного пользования научным оборудованием, уникальных научных установок, информационные и аналитические услуги).
Критерии отбора исследователей, достигших высоких научных результатов в конкретной области наук (федеральных профессоров)
Критерии конкурсного отбора ведущих исследователей (федеральных профессоров), достигших высоких научных результатов в конкретной области наук, предложены
ЭКОНОМИКА НАУКИ 5015. Т. 1, № 4
оценка результативности научной деятельности
эц
в проекте Приказа Минобрнауки России «Об утверждении методических рекомендаций по распределению субсидий, предоставляемых федеральным государственным учреждениям, выполняющим государственные работы в сфере научной (научно-исследовательской) и научно-технической деятельности» [2] и утверждены в Положении о конкурсном отборе научных работников, достигших высоких научных результатов в области математики Минобрауки России от 21 октября 2015 г. [3].
Согласно этим документам, федеральный профессор должен проводить научные исследования «на мировом уровне» и публиковать их результаты в ведущих журналах, преподавать для студентов и аспирантов дисциплины, «отражающие современный уровень развития науки», модернизировать содержание учебных программ, готовить кадры высшей квалификации, организовывать научно-исследовательские семинары.
Для выбора федеральных процессоров предлагается использовать 5 критериев:
1. Соответствие научной специализации претендента перечню специальностей научных работников, являющихся для учреждения основными в подготовке кадров высшей квалификации.
2. Наукометрические показатели, характеризующие публикационную активность и цитируемость претендента (например, для математиков иметь не менее 5 статей, опубликованных в 2009-2014 гг. в научных журналах, индексируемых в Web of Science).
3. Количество и характеристики результатов интеллектуальной деятельности, автором которых является претендент.
4. Опыт претендента по организации и руководству научным коллективом, выполнением НИР, подготовке кадров высшей квалификации.
5. Государственное и международное признание научных заслуг претендента (например, для математиков - участие в 20092014 гг. в Европейском математическом конгрессе или Международном конгрессе математиков в качестве приглашенного докладчика).
ЭКОНОМИКА НАУКИ 5015, Т. 1, № 4__________
Критерии лучших коллективов структурных подразделений научных организаций
(которые образуют федеральную сеть исследовательских, лабораторий]
Принципы выбора лучших коллективов структурных подразделений научных организаций, на инициативные проекты которых планируется выделять до 40% средств субсидий на государственное задание в сфере науки и технологий, также разъясняются в проекте ведомственного приказа «Об утверждении методических рекомендаций по распределению субсидий, предоставляемых федеральным государственным учреждениям, выполняющим государственные работы в сфере научной (научно-исследовательской) и научно-технической деятельности» [2] и в комментариях к нему [4] .
Согласно этому нормативному документу, при выборе лабораторий будут оцениваться:
1. Потенциал руководителя лаборатории и результативность его научной деятельности
2. Соответствие инициативного научного проекта направлениям научных исследований, определенных учредителем, программам развития учреждения
3. Качество и проработанность предложений о выполнении инициативного научного проекта
4. Обоснованность запрашиваемого объема финансирования инициативного научного проекта
Критерии отбора научных организаций-лидеров
(Национальных исследовательских институтов]
В конце сентября 2015 г. состоялось пятое заседание Научно-координационного совета (НКС) при ФАНО России. Рабочая группа под руководством академика И.А. Соколова представила концепцию нового порядка распределения финансирования. Общий смысл предложенного подхода состоит в том, что средства на выполнение утвержденной правительством Программы фундаментальных исследований госакадемий должны распределяться в основном по конкурсу и в соответ-
273
ЭН
оценка результативности научной деятельности
ствии с намеченными научным сообществом приоритетами. Базовое финансирование на поддержание инфраструктуры может составлять не более 20-30%, а остальное необходимо выделять ведущим организациям, курирующим утвержденные программы, чтобы они обеспечивали работу привлеченных к их выполнению институтов [5].
Критерии определения организаций-лиде-ров, которые возглавят работу по приоритетам в сети подведомственных ФАНО научных организаций, разработала группа под руководством академика А.А. Макарова [6]. Она предложила систему оценки на основе статистических показателей и мнения экспертов. Организация может быть признана лидером только в том случае, если ее показатели значительно превышают средние по референтной группе. Таким структурам предлагается присваивать статус Национальных исследовательских институтов.
Для выбора научных организаций-лидеров предлагается совокупность 9 основных и 12 дополнительных критериев оценки, учитывающих кадровый и научный потенциал организации, а также конкурентоспособность проводимых научных исследований за период 2010-2014 гг.
Кадровый потенциал организации:
• Среднесписочная численность научных сотрудников
• Число научных сотрудников с ученой степенью
• Доля зарплатных выплат молодым ученым (до 39 лет) в общем объеме зарплатных выплат научным сотрудникам (Приводятся данные за 2010-2014 гг)
Научный потенциал организации:
• Число научных публикаций в изданиях, индексируемых в реферативных базах данных, отнесенное к числу научных сотрудников (рассчитывается по формуле Nk = Е Pk / R, где к - название реферативной базы данных (WoS, Scopus, РИНЦ (по желанию)); Р - научные публикации за 2010-2014 гг, индексированные в реферативной базе данных k; R - среднесписочное число научных сотрудников). Приводится для каждой реферативной базы данных отдельно.
274______________________________________
• Наличие и суммарный импакт-фактор наиболее значимых научных публикаций (Приводится список из не более 20 наиболее значимых научных публикаций за 20102014 гг. с указанием DOI и импакт-факто-ра издания на 2014 г.
• Число цитирований научных публикаций, отнесенное к числу научных сотрудников (рассчитывается по формуле Lk = Ск / R, где k - название реферативной базы данных (WoS, Scopus, РИНЦ (по желанию)); C - число цитирований всех научных публикаций за 2010-2014 гг., индексированных в реферативной базе данных k; R - среднесписочное число научных сотрудников). Приводится для каждой реферативной базы данных отдельно. Инновационный потенциал организации:
• Число созданных результатов интеллектуальной деятельности, отнесенное к числу научных сотрудников (рассчитывается по формуле А = P / R, где Р - число созданных результатов интеллектуальной деятельности (учитываются все виды зарегистрированных результатов интеллектуальной деятельности, включая программы для ЭВМ, базы данных, изобретения, полезные модели, промышленные образцы, селекционные достижения, методики) за 2010-2014 гг.; R - среднесписочное число научных сотрудников). Конкурентоспособность проводимых
научных исследований:
• Число полученных грантов, отнесенное к числу научных сотрудников
• Доля конкурсного финансирования в бюджете научной организации (рассчитывается по формуле А i = Dj / В/, где i - соответствующий год; D - объем средств, полученный организацией за год i по конкурсному финансированию. Учитываются средства, полученные из бюджетных и внебюджетных источников, в том числе из государственных фондов поддержки научной, научно-технической и инновационной деятельности. Не учитываются доходы, полученные сотрудниками организации в форме индивидуальной финансовой поддержки. В - общий бюджет организации за год i.) Приводятся данные за 2010-2014 гг.
______ЭКОНОМИКА НАУКИ 5015, Т. 1, № 4
оценка результативности научной деятельности
эц
Кроме 9 основных критериев, предполагается использовать 12 дополнительных показателей:
Показатели инновационной активности организации:
• число поддерживаемых международных результатов интеллектуальной деятельности в 2010-2014 гг.;
• объем полученных роялти за 2010-2014 гг. и другие свидетельства инновационной активности организации в 2010-2014 гг. Показатели участия организации в экспертно-аналитической работе:
• наличие подготовленных нормативно-технических документов международного, межгосударственного и национального значения, в том числе стандартов, норм, правил, технических регламентов и иных регулирующих документов, утвержденных федеральными органами исполнительной власти, международными и межгосударственными органами;
• число аналитических материалов и справок, подготовленных по заказу органов государственной власти;
• участие сотрудников организации в советах и рабочих группах, образованных при органах государственной власти;
• другие свидетельства участия организации в экспертно-аналитической работе в 2010-2014 гг.
Показатели деятельности организаций по хранению и приумножению предметной базы научных исследований:
• наличие пополняемых архивных фондов, музейных, научных коллекций, необходимых для исследований в соответствующей области (учитываются архивные фонды, музейные и научные коллекции, зарегистрированные, учитываемые и хранящиеся в установленном порядке);
• число экспедиций и полевых исследований, проведенных организацией в 20102014 гг. (учитываются научные отчеты о работах экспедиций и полевых исследованиях, утвержденные в установленном порядке);
• наличие зарегистрированных центров коллективного пользования и уникальных установок;
ЭКОНОМИКА НАУКИ 5015, Т. 1, № 4_________
Показатели интеграции в мировое научное пространство:
• наличие у организации или научных сотрудников организации международных премий;
• рейтинг организации в различных международных рейтинговых системах по направлениям науки;
• наличие зарубежных грантов за 20042014 гг.;
• участие в крупных международных консорциумах и другие свидетельства международного признания научных заслуг организации за 2010-2014 гг.
Критерии оценки эффективности управления бюджетными средствами главными распорядителями этих средств
В 2015 г. Минобрануки России разработало методику оценки эффективности управления бюджетными средствами главными распорядителями этих средств и выработки политики инвестиций в ИиР, поддержанную Экспертным советом при Правительстве РФ и согласованную с ФОИВ, которая уже прошла апробацию.
В проекте Типовой методики оценки эффективности государственных расходов на НИОКР (включая проведение анализа регистрации прав на результаты НИОКР, вовлечения результатов НИОКР в хозяйственный оборот) [7] находим в общей сложности 26 критериев, из которых 14 позволяют оценивать эффективность инвестиций исходя из влияния результатов, полученных с привлечением государственной финансовой поддержки, на обеспечение конкурентоспособности и инновационного развития существующих отраслей, вносящих существенный вклад в ВВП, 4 критерия оценивают влияние результатов на создание в РФ новых наукоемких отраслей экономики, 8 критериев позволяют оценить вклад созданных результатов в процесс формирования условий и заделов для развития научно-технологического комплекса.
В частности, для оценки влияния результатов ИиР на обеспечение конкуренто-
275
оценка результативности научной деятельности
способности и инновационного развития отрасли предложены следующие критерии:
• количество созданных технологий;
• количество использованных РИД, созданных без участия ФОИВ;
• количество использованных РИД, созданных при участии ФОИВ;
• количество созданных РИД, охраняемых в РФ;
• количество созданных РИД, охраняемых за пределами РФ;
• количество опытных образцов;
• количество лицензий, подтверждающих использование созданных технологий;
• объем экспорта лицензий;
• объем производства инновационной (высокотехнологической) продукции;
• объем экспорта высокотехнологической продукции;
• количество технологий, обеспечивающих эффективное использование природных ресурсов;
• доля высокотехнологичных рабочих мест в общем числе рабочих мест;
• количество технологий, обеспечивающих защиту и восстановление окружающей среды;
• доля выручки от реализации высокотехнологичной продукции на одного работника. Для оценки влияния результатов ИиР на
создание новых наукоемких отраслей экономики авторами Методики предлагается использовать следующие критерии:
• количество новых субъектов инновационного предпринимательства, включая малое (МИП);
• количество субъектов, осуществивших реинжиниринг производства или создавших новое производство;
• количество предприятий, «перешедших» из малых в средние;
• количество предприятий, «перешедших» из средних в крупные.
Значимость результатов ИиР для формирования фундаментальных заделов оценят 8 критериев:
• количество публикаций российских исследователей в научных журналах, индексируемых в базе данных «Сеть науки» (WEB of Science);
• число молодых специалистов, привлеченных к выполнению исследований и разработок;
• количество обучающихся по программам, включающим «наукоемкие» модули;
• удельный вес машин и оборудования в возрасте до 5 лет в общей стоимости машин и оборудования в организациях, выполняющих научные исследования и разработки;
• количество организаций, обладающих приборной базой мирового уровня;
• объем загрузки инфраструктуры (УНУ, ЦКП);
• стоимость информационного обеспечения;
• количество обращений к информационным ресурсам и базам данных.
Сопоставимость предлагаемых критериев в рамках одной категории оценочных индикаторов
На втором этапе своего исследования мы сопоставили все перечисленных выше критерии. Выполненный анализ дает основание говорить, по меньшей мере, о трех проблемах системы национальной оценки значимости результатов научно-технической деятельности всех ее участников, получающих средства государственного бюджета на ИиР.
Во-первых, в рамках одинаковых категорий показателей значимости результатов используются разные критерии. Во-вторых, обращает на себя внимание избыточность предлагаемых критериев по каждой категории показателей. В-третьих, следует отметить недостаточно проработанную критериальность некоторых категорий, таких, например, как показатели квалификации отдельных коллективов структурных подразделений научных организаций, обоснованность запрашиваемого объема финансирования инициативного научного проекта и многие другие.
В качестве обоснования сформулированного тезиса проследим, как предлагается оценивать такой агрегирующий индикатор эффективности инвестиций в ИиР, отражающий конкурентоспособность соответствующего сектора фундаментальной науки, исследовательской организации, научного коллектива и отдельно взятого ученого, как «публикационная активность».
276
ЭКОНОМИКА НАУКИ 5015. Т. 1, № 4
оценка результативности научной деятельности
Согласно проекту Типовой методики оценки эффективности государственных расходов на НИОКР [7], о «формировании фундаментальных заделов для долгосрочного развития экономики» нужно судить по «количеству публикаций в международных научных журналах, индексируемых в базе данных «Сеть науки» (WEB of Science)».
Вместе с тем при выделении организа-ций-лидеров (Национальных исследовательских центров), согласно проекту А.А. Макарова, одобренному НКС ФАНО, предлагается учитывать «число научных публикаций в изданиях, индексируемых в реферативных базах данных (WoS, Scopus, РИНЦ (по желанию)», и суммарному импакт-фактору наиболее значимых научных публикаций за 2010-2014 гг.
Для выбора федеральных процессоров предлагается использовать, например, в области математики критерий «иметь не менее 5 статей, опубликованных в 2009-2014 гг. в научных журналах, индексируемых в Web of Science».
О результативности отдельно взятого научного работника, согласно Приказу Минобра-науки России, предлагается судить по «числу всех публикации за отчетный период - статьи, обзоры, тезисы докладов, материалы конференций, размещенные в различных российских и международных информационно-аналитических системах научного цитирования».
Наконец, не будем забывать о критериях публикационной активности, предложенных действующей «Типовой методикой оценки результативности научных организаций государственного сектора в Российской Федерации» [8]. Среди них 11 метрик:
• число публикаций в журналах, входящих в национальный и иностранный списки ВАК
• число публикаций в журналах, зарегистрированных в SCI (SCOPUS)
• число публикаций с индексом цитирования более 5 за последние 5 лет
• число публикаций с индексом цитирования более 20 за последние 5 лет
• число сотрудников, опубликовавших более 5 статей за период оценивания
• перечень 20 публикаций с максимальным индексом цитирования за период оценивания
эц
• перечень 20 публикаций с максимальным индексом цитирования за период оценивания
• средневзвешенный импакт-фактор журналов, в которых были публикации
• доля работ, опубликованных в журналах с известным импакт-фактором
• средний импакт-фактор работ, опубликованных в журналах с известным им-пакт-фактором.
Отдельного внимания заслуживает блок показателей, характеризующих инновационную деятельность ученых, научных коллективов и исследовательских организаций.
Чтобы проиллюстрировать их необоснованность, применим эти критерии, например, к 54 НИИ, 49 медицинским вузам и 6 организациям последипломного образования, подведомственным Минздраву России. Напомним, что, согласно проекту Типовой методики оценки эффективности государственных расходов на НИОКР[7], эффективность Минздрава России как распорядителя бюджета будет оцениваться по следующим критериям:
• количество созданных технологий;
• количество созданных РИД, охраняемых за пределами РФ;
• количество опытных образцов;
• количество лицензий, подтверждающих использование созданных технологий;
• объем экспорта лицензий;
• объем производства инновационной (высокотехнологической) продукции;
• объем экспорта высокотехнологической продукции;
• доля высокотехнологичных рабочих мест в общем числе рабочих мест;
• количество субъектов, осуществивших реинжиниринг производства или создавших новое производство;
• количество предприятий, «перешедших» из малых в средние;
• количество предприятий, «перешедших» из средних в крупные.
А научные организации-лидеры (Национальные исследовательские институты) будут выбираться по числу поддерживаемых международ-
ЭКОНОМИКА НАУКИ 5015, Т. 1, № 4
277
ЭН
оценка результативности научной деятельности
ных результатов интеллектуальной деятельности и объемам полученных роялти за 2010-2014 гг!
В публикации Петрова, Кураковой [9] выполнена оценка объемов средств государственной поддержки развития биомедицинских технологий в России. Авторы обращают внимание, что совокупный бюджет базового и проектного финансирования 54 НИИ, 49 медицинским вузам и 6 организациям последипломного образования, подведомственных Минздраву России, определенный Государственной программы развития здравоохранения Российской Федерации (подпрограммой 3) [10] составлял в 2015 г. 5,871 млрд. руб., что с учетом текущего курса национальной валюты (60 руб. за доллар США) соответствует 0,098 млрд. долл. США. Из них 49 медицинским вузам для проведения прикладных исследований выделены всего 1,110 млрд. руб. или 18,5 млн. долл.
Для сравнения: в США бюджет Национальной службы здоровья, включая Национальные институты здоровья США, в том же 2015 г. составил 32 млрд. долл. [11], еще 92,6 млрд. долл. на ИиР в области наук о жизни выделяют ежегодно промышленные корпорации США [12]. Как результат, консолидированный бюджет США на фундаментальные и прикладные исследования в области биомедицины в 2015 г. составил почти 125 млрд. долл США!
На фоне 6000-кратной (!) несопоставимости бюджетов на ИиР в области биомедицины в РФ и США, требование от организаций, подведомственных Минздраву России, отчетности по критериям «объем экспорта лицензий», «объем производства инновационной (высокотехнологической) продукции», «объем экспорта высокотехнологической продукции» выглядит малообоснованным.
Кроме того, авторы предлагаемых критериев явно не учитывают и стоимости оформления и поддерживания патентов, выходящих за пределы РФ. В статье Зинова с соавт., 2015 [13] выполнена оценка затрат на зарубежное патентование. Авторами исследования показано, что стоимость услуг и размер пошлин зависят от объема заявки, количества пунктов формулы изобретения, аргументированности ответов на запросы экспертизы, длительности
278_______________________________________
делопроизводства и гонорара конкретного зарубежного патентного поверенного и составляют в долл. США: в США - от 10000, в Канаде - от 3000, в Австралии - от 2500, в странах ЕС - от 2500 на одну страну, в Японии - от 25000. Единый на 16 стран Евросоюза Европейский патент обходится примерно в сумму 25000 евро.
Поэтому большую часть критериев, призванных оценить инновационную деятельность ученых, научных коллективов и исследовательских организаций, которую мы обнаруживаем в проектах нормативных документов 2015 г., правильнее было бы адресовать к предпринимательскому сектору российской науки, который не только не инвестирует в значительных объемах средства в государственный сектор ИиР, но и активно использует и без того ограниченные финансовые средства государственного бюджета. Например, 215 отечественным фармацевтическим компаниям в 2015 г. из средств ФЦП «ФАРМА-2020» на выполнение корпоративных НИОКР были выделены 7,15 млрд. руб, а бюджетные учреждения на 312 проектов получили 8,64 млрд. руб. Таким образом, почти половина (45%) бюджетных средств ФЦП «ФАРМА-2020» в 2015 г. были направлены на развитие корпоративного сектора ИиР [14]
Возможные подходы к созданию национальной системы оценки значимости научной деятельности участников исследовательского процесса в рФ
Многие страны с развитой наукой начали разработку критериев оценки научной результативности ученых и исследовательских организаций на 5-8 лет раньше, чем в России. В этих странах реализовывались различные подходы и получен опыт, который было бы полезно учесть для развития российской национальной системы используемых индикаторов.
Например, в Чехии в 2008 г. проведена реформа по переводу системы оценивания исключительно на количественные показатели. Источником реформ послужило недовольство научным сообществом относительно ежегодно______ЭКОНОМИКА НАУКИ 5015, Т. 1, № 4
оценка результативности научной деятельности
эц
го пересмотра качественных критериев оценивания. С 2009 г. оценке подлежит исключительно количественное выражение результатов. Система распределения финансирования на основе результативности широко критикуется из-за перевода различных результатов в один показатель - деньги. До сих пор не удается адекватно учитывать различия между дисциплинами при выставлении оценок. [15]
В Нидерландах государственные исследовательские организации оцениваются в соответствии с Standard Evaluation Protocol (SEP), который содержит общее руководство по оценке и совершенствованию исследований на основе экспертной оценки. Внешняя проверка осуществляется после предоставления институтом отчета о внутренней оценке. В отчете о внутренней оценке содержатся количественные показатели. Внешние эксперты анализируют отчет о внутренней оценке, сопоставляют исследования с международным уровнем и готовят своё заключение, где результаты резюмируются в виде единого показателя по 5-балльной шкале. В отчете также содержатся рекомендации для организации и ведомства, в ведении которого она находится. [15]
В Норвегии оценка результативности научной деятельности является экспертной, хотя в отчёты организаций попадают и количественные показатели. Публикационная активность оценивается экспертами в баллах. Публикации разделяются по типу: статьи в журналах, статьи в сборниках, книги и по качеству: первого эшелона и второго эшелона. (3 вида публикаций и два вида качества). Все данные о научной деятельности доступны экспертам в национальной информационной системе Current Research Information System in Norway (CRIStin). Система состоит из взаимосвязанных модулей, где содержатся сведения о научных результатах (не только публикации, но и патенты), анкеты исследователей, данные о научных проектах, сведения о научных подразделениях. [15]
В Великобритании процедура оценки результативности научной деятельности с 2014 носит название Research Excellence Framework. Оценка является экспертной, проводится раз в шесть лет, причем система не
ЭКОНОМИКА НАУКИ 5015, Т. 1, № 4_________
представляет полную картину результативности исследований, а выявляет и оценивает выделяющиеся из общей массы исследования. Представленные научной организацией данные используются экспертами для оценки качества её результатов (в терминах оригинальности, значимости и строгости в соответствии с международными стандартами), воздействия (охват и значимость результатов для общества, экономики и культуры) и среды исследований. Баллы по указанным критериям объединяются в общую оценку при помощи весовых коэффициентов [15].
Представляется, что при создании российской системы оценки результативности научной деятельности целесообразно учесть опыт всех стран развитой науки, особенности национальной организации и финансирования сектора ИиР, а также особенности отечественного публикационного потока, отмеченные в публикации Кураковой, Григорьева (2015 г.) [16].
Считаем целесообразным сформулировать следующие рекомендации по созданию такой системы:
1. Резко сократить число количественных критериев в рамках одной категории. Например, для оценки публикационной активности использовать следующие 5 критериев: количество статей в высокорейтинговых международных журналах, количество статей в высокорейтинговых национальных журналах, количество статей в нерейтинговых международных журналах, количество статей в нерейтинговых национальных журналах, количество научных монографий. Все показатели учитывать только за последние 5 лет.
Для оценки инновационной активности организации, лаборатории, ученого, с нашей точки зрения, достаточно 2 критерия: количество патентных документов (заявок или действующих патентов) РФ и количество патентных документов (заявок или действующих патентов), вышедших за пределы РФ. Особый акцент следует делать на характеристики «действующие», поскольку в РФ широко распространилась практика прекращения поддержки патента после первых 2-3 лет с момента его получения.
279
оценка результативности научной деятельности
2. Все остальные показатели - международного сотрудничества, международной мобильности, передачи знаний в промышленный сектор, в сектор образования, значимости научных результатов для решения социальных задач общества - следует оценивать экспертным путем.
3. Для критериальности таких показателей, как «устойчивость научных коллективов», «мировой уровень исследований», «прорывное исследование» ит.п., предусматривающих су-тевой анализ большого количества данных, следует использовать инструментарий семантического анализа текстов.
ЛИТЕРАТУРА
1. Приказ Минобрнауки России от 27.05.2015 г. № 538 (2015) Об утверждении Порядка проведения аттестации работников, занимающих должности научных работников / Официальный сайт Министерства образования и науки России. 1лДр://минобрнауки.рф/документы/6576.
2. Проект Приказа Министерства образования
и науки РФ «Об утверждении методических рекомендации по распределению субсидий, предоставляемых федеральным государственным учреждениям, выполняющим государственные работы в сфере научной (научно-исследовательской) и научно-технической деятельности» (2015) (подготовлен Минобрнауки России 14.04.2015) / Система ГАРАНТ: http://base.garant.
ru/56632758/#ixzz3t4HxR4Ev.
3. Положение о конкурсном отборе научных работников, достигшие высоких научных результатов в области математики Минобрнауки России от 21 октября 2015 г. (2015) / Минобрнауки России. http://xn-80aahfgik3be4a.xn -p1ai/2016.
4. Горбатова А. (2015) Опора на лучшие практики / Портал «Наука и технологии РФ». http:// www.strf.ru/material.aspx? CatalogId=221&d_ no=98023.
5. Волчкова Н. (2015) Спорные годы. Дискуссии вокруг реформы РАН не утихают // Поиск. № 40. 2 октября 2015 г.
6. Макаров А.А. (2015) Критерии выбора органи-заций-лидеров научных направлений в сети научных организаций, подведомственных ФАНО России. Проект.
7. Проект Типовой методики оценки эффективности государственных расходов на НИОКР (включая проведение анализа регистрации прав на результаты НИОКР, вовлечения результатов НИОКР в хозяйственный оборот) (2015) Минобрнауки России.
8. Постановление Правительства РФ от 8 апреля 2009 г. № 312 (2009) Типовая методика оценки
результативности научных организаций государственного сектора в Российской Федерации.
9. Петров А.Н., Куракова Н.Г. (2015) Оценка объемов средств государственной поддержки развития биомедицинских технологий в России и США // Acta Naturae. Т. 7. № 4(27). С. 32-39.
10. Распоряжение Правительства от 24 декабря 2012 г. № 2511-р (2012) Об утверждении государственной программы «Развитие здравоохранения» / Официальный сайт Правительства России. http://government.ru/docs/3348.
11. The 2015 Budget: Science, Technology, and Innovation for Opportunity and Growth (2014) / Официальный сайт Президента США. https:// www.whitehouse.gov/sites/default/files/microsites/ ostp/Fy%202015%20R&D.pdf.
12. 2014: Global R&D Funding Forecast (2013) / Battelle, R&D Magazine. http://www.battelle.org/ docs/tpp/2014_global_rd_funding_forecast.pdf.
13. Зинов В. Г., Романова Н. В. Куприянова О. И. (2015) Зарубежное патентование: стратегия и затраты // Экономика науки. Т. 1. № 2. С. 109-117.
14. Казеев, И. (2015) Доклад начальника отдела Департамента науки и технологий Министерства образования и науки Российской Федерации / Материалы Заседания Экспертного совета по здравоохранению от 05 июня 2015 г.
15. Паринов СИ, Когаловский М.Р. Неволин И.В. (2013) Европейский опыт оценки научной результативности и его использование в Российской академии наук. / Доклад на заседании Президиума РАН, Москва - 17 сентября 2013 г. / http:// www.ipr-ras.ru/wnews/presidium-RAS-17-09-2013-appendix.pdf.
16. Куракова Н.Г., Григорьев О.Г. (2015) Проблемы достижения адресности финансирования ведущих ученых и научных коллективов с использованием показателей публикационной активности. - Экономика науки. - 2015, т. 1. -№ 4. - С. 281-290.
280 ЭКОНОМИКА НАУКИ 5015. Т. 1, № 4
оценка результативности научной деятельности
Н
REFERENCES
1. Order of the Ministry of Education and Science of the Russian Federation dated 27 May 2015 № 538 (2015) On establishing methodological recommendations for distributing subsidiaries, provided by federal state institutions, fulfilling state projects in the field of science (scientific research) and scientific-technical activity / Official website of the Ministry of Education and Science of the Russian Federation. http://минобрнaуки.рф/документы/6576.
2. Project of Order of the Ministry of Education and Science of the Russian Federation " On Approval of Methodological recommendations of on the distribution of of subsidies granted by the federal public institutions performing public works in the field of science (research and development)and scientific and technical activities"(2015) The Ministry of Education and Science of the Russian Federation, 14.04.2015) / http://base.garant.ru/56632758/#ixzz3t4HxR4Ev.
3. Statement «On competitive selection conducted by Russian Ministry of education and science of scientists, who achieved high scientific results in the field of mathematics» dated 21 October 2015 (2015) / The Ministry of Education and Science of the Russian Federation. http://xn-80aahfgik3be4a.xn - p1ai/2016.
4. Gorbatova A. (2015) Reliance on best practice / STRF. http://www.strf.ru/material.aspx? CatalogId=221&d_no=98023.
5. Volchkova N. (2015) Formative years - unsettled discussions around reforms of Russian academy of sciences // Poisk. № 40. 2 October 2015.
6. Makarov A.A. (2015) Standard methodology for assessing efficiency of state's resources expenditure on scientific-research and design and experimental inventions. Pilot projects.
7. Project of «Standard methodology for assessing the efficiency of the state's resource expenditure on scientific-research and design and experimental inventions (including completing analysis of the procedure of registering rights for outcomes of SRDEI and inclusion of these outcomes in the industrial turnover)» (2015) The Ministry of Education and Science of the Russian Federation.
8. Official website of Government of the Russian Federation 8 April 2009 г. № 312 (2009) A standard methodology in assessing productivity of state scientific organisations in the Russian Federation.
9. Petrov A.N, Kurakova N.G. (2015) The evaluation of volumes of state funding in the development of biomedical technologies in Russia and in USA // Acta Naturae. V. 7. № 4(27). P. 32-39.
10. Official website of Government of the Russian Federation 24 December 2012 № 2511-р (2012) A State programme for the development of health care in Russian Federation / Official website of Government of the Russian Federation. http://gov-ernment.ru/docs/3348.
11. The 2015 Budget: Science, Technology, and Innovation for Opportunity and Growth (2014) / Official website of President of the United States. https:// www.whitehouse.gov/sites/default/files/microsites/ ostp/Fy%202015%20R&D.pdf.
12. 2014: Global R&D Funding Forecast (2013) / Bat-telle, R&D Magazine. http://www.battelle.org/ docs/tpp/2014_global_rd_funding_forecast.pdf.
13. Zinov V. G., Romanova N. V. Kuprijanova O. I. (2015) International patenting: strategies and expenses // The economics of science. V. 1. № 2. P. 109-117.
14. Kazeev, I. (2015) Report of the Chief of the Department of Science and Technology Ministry of Education and Science of the Russian Federation / Materials of the Expert Council meeting on health dated 5 June 2015.
15. Parinov S.I. Kogalovskii M.R. Nevolin I.V. (2013) The European experience of evaluation of scientific effectiveness and its application in the Russian Academy of Sciences. / Report on the meeting of the Presidium of the Russian Academy of Sciences, Moscow - September 17, 2013.
16. Kurakova N.G., Grigor’ev O.G. (2015) Issues in achieving targeted funding for leading scientists and scientific communities using indexes of publication activity // The economics of science. V. 1. № 4. P. 281-290.
UDC 004.031.4:001
Tsvetkova L.A., Komarova A. V. New criteria for assessing efficiency of researchers and decisionmakers responsible for expenditure of state resources on research and development (The Russian Presidential Academy of National Economy and Public Administration, Moscow, Russia)
Abstract. The article offers systematic criteria for assessing efficiency of researchers and decision-makers responsible for the expenditure of state resources invested in research and development. These criteria are suggested in drafts of normative acts developed by Russian Ministry of science and education and by Federal agency of scientific organizations in 2015.
The article provides assessment of the comparability of two suggested criteria within one category of indicators.
There are developed a set of suggestions on how to form a system of unified and clearly read criteria, more adequate in relation with objectives for developing mechanisms for competitive funding of scientific-research and design and experimental inventions.
Keywords: R&D, efficiency, criteria for assessments, national assessment system, state funding, state assignment, competitive funding, leading scientists, teams of executives, decision-makers responsible for expenditure of state resources on research and development.
ЭКОНОМИКА НАУКИ 5015, Т. 1, № 4
281
