CC BY
24001: 10.19181/вт1р.2021.3.4.15
ОБ ОЦЕНКЕ РЕЗУЛЬТАТИВНОСТИ НАУЧНЫХ ИССЛЕДОВАНИЙ
Шепелев Геннадий Васильевич 1,2
1 ФГБНУ НИИ Республиканский исследовательский научно-консультационный центр экспертизы, Москва, Россия
2 Институт социологии Федерального научно-исследовательского социологического центра, Москва, Россия
АННОТАЦИЯ
Рассмотрена нормативная база для оценки результативности научных исследований в рамках национальной научной системы, на уровне отдельных научных организаций и научных сотрудников. Проведён анализ отдельных показателей научной результативности на национальном уровне. В том числе проанализированы показатели: публикационная и патентная активность, разработка и использование передовых технологий, коммерциализация технологий на внутреннем рынке и международный технологический обмен. На уровне оценки научных организаций и аттестации научных сотрудников проанализировано соответствие применяемых показателей оценки результативности показателям, применяемым на национальном уровне. Сделан вывод о том, что до последнего времени используемая система оценки результативности мало влияла на принятие решений по распределению ресурсов на проведение научных исследований. Отмечено слабое внимание экспертного сообщества к вопросам передачи разработок в реальный сектор, хотя имеющиеся статистические данные показывают наличие интереса к новым технологиям со стороны производственных предприятий.
КЛЮЧЕВЫЕ СЛОВА:
результативность научных исследований, межстрановые сопоставления, публикационная активность, патентная активность, разработка и использование передовых технологий, коммерциализация технологий на внутреннем рынке, международный технологический обмен, оценка научных организаций, аттестация научных работников
ДЛЯ ЦИТИРОВАНИЯ:
Шепелев Г. В. Об оценке результативности научных исследований // Управление наукой: теория и практика. 2021. Т. 3, № 4. С. 123-145.
йО!: 10.19181/гт^р.2021.3.4.15
ВВЕДЕНИЕ. ПОНЯТИЕ РЕЗУЛЬТАТИВНОСТИ
Понятие результативности в науке обсуждается в нескольких аспектах. Например, в «общефилософском» — как обоснование необходимости выделения дополнительных средств на научные исследования (научные результаты и достижения недооценены обществом (чиновниками)), или в «утилитарно-прикладном», когда оценка результативности используется для присвоения категорий институтам, для аттестации научных сотрудников, от которой зависит финансирование, премии, награды и т. п. В этой статье будут рассмотрены два аспекта понятия результативности в науке — нормативное обеспечение процессов и процедур оценки, а также возможные варианты использования процедур и результатов оценки для управления научным сектором.
Очевидно, что понятие результативности различается в зависимости от того, какой объект мы собираемся оценивать. В науке можно выделить несколько уровней оценки — оценка научной системы страны как целого (обычно это делается в межстрановых сопоставлениях по различным показателям), оценка научных организаций, оценка научных коллективов (они не обязательно совпадают с составом научных организаций, особенно в крупных научных организациях), оценка отдельных научных работников (аттестация).
Если на верхнем уровне вопросов к системе оценки практически не возникает — статистики собирают большие массивы данных, которые потом можно использовать для анализа различных аспектов, касающихся деятельности научного сектора, — то на уровне оценки научных организаций ситуация проработана хуже, и иногда идут достаточно эмоциональные дискуссии по критериям и процедурам организации такой оценки.
Второй аспект, который определяет подходы к оценке результативности, — для чего предполагается использовать систему оценки. Как правило, общий ответ в этом случае — чтобы улучшить организацию научных исследований. Но тогда возникает следующий вопрос — что считать улучшением, то есть оценка предполагает сравнение текущего результата с некоторым целевым
и и
«идеальным» состоянием оцениваемой системы. С этой точки зрения научный процесс можно рассматривать, например, либо как получение запланированного результата, либо как оптимальность организации процесса получения научного знания.
Как правило, на верхних уровнях оценки — когда оценивается национальная наука в целом — планы в виде конкретного результата встречаются довольно редко. Обычно стратегические цели в области развития науки сформулированы расплывчато и констатировать их достижение (или недостижение) практически невозможно [1].
На уровне научных организаций, действующих в логике выполнения государственного задания, результатом можно считать отчёт о выполненной работе. Однако это не всегда соответствует здравому смыслу, поскольку очень
часто государственное задание является способом финансировать процесс, а не достижение конкретного результата, - одна и та же по существу работа неоднократно продляется под иными названиями, а отчёты складываются на полку, не получая завершения в виде законченного результата.
Такая логика транслируется на следующий уровень. Многие научные коллективы «отбывают повинность» по написанию нужного количества статей, соответственно, члены такого коллектива (научные работники) в качестве результата предъявляют количество статей без серьёзной оценки работы по существу.
Ситуация радикально меняется, если у коллектива (или института) есть внешний заказчик, заинтересованный в конкретном результате работы. Тогда можно достаточно просто констатировать достижение или недостижение запланированного результата.
Есть довольно много нюансов системы оценки, которые подробно обсуждаются в дискуссиях по этому вопросу: результативность выражается разными количественными показателями в зависимости от научного направления (различается средняя публикационная активность, средние импакт-факторы журналов и т. п.); очевидно, разные показатели должны применяться при оценке фундаментальных и прикладных научных исследований; возникают проблемы при сравнении диверсифицированных (как правило, крупных) научных организаций и небольших коллективов, работающих в достаточно узкой научной области, и т. д.
Не претендуя на полное отражение всех аспектов проблемы в одной научной статье, сосредоточимся на нормативно-правовом аспекте проблемы оценки результативности и обсудим, как нормативная база позволяет встроить систему оценок в систему управления научными процессами.
1. РЕЗУЛЬТАТИВНОСТЬ НАУКИ В ЦЕЛОМ
В статье [2] кратко изложена история возникновения научного знания и показано, что функция науки — генерация нового знания — по-разному реализуется для фундаментальных и прикладных исследований. Как следствие, и оценка результативности для этих секторов должна быть разной. Однако в оценках состояния науки эти вопросы не разделяются и, как следствие, в обсуждениях этого вопроса разные участники апеллируют к разным составляющим оценки.
Наибольший массив информации по различным аспектам научного сектора представлен в справочнике [3], поэтому далее данные будут относиться к этому изданию, если не указано иное. В разделе «Результативность науки» в этом справочнике имеются следующие блоки:
■ Публикационная активность.
■ Патентная активность.
■ Разработка и использование передовых технологий.
■ Коммерциализация технологий на внутреннем рынке.
■ Международный технологический обмен.
Рассмотрим их более подробно.
1.1 ПУБЛИКАЦИОННАЯ АКТИВНОСТЬ
На рис. 1 приведён удельный вес стран в общем числе публикаций в научных изданиях, индексируемых в Web of Science [4]. Россия в представленной выборке находится на 14-м месте. Графики такого типа часто приводятся в обоснование низкой эффективности российской науки по сравнению с ведущими странами мира. Однако такой вывод представляется неверным — приведённые страны сильно различаются по размерам, в том числе по объёмам затрат на науку. Здесь не будем обсуждать вопрос, является ли финансирование науки достаточным или недостаточным, — вопрос объёмов затрат на науку в зависимости от уровня развития стран был рассмотрен в работах [5, 6], где было показано, что доля затрат на науку к ВВП растёт с ростом подушевого ВВП.
25,0
21,5
21,2
20,0
15,0
10,0
5,0
0,0
1,0
1 1 I 09 °,9 0,8 0,7
1,1 °,9 0,9 I 0,8 0,6 0,6
Рис. 1. Удельный вес стран в общем числе публикаций1 в научных изданиях, индексируемых в Web of Science, % (по данным InCites Web of Science, с учётом ESCI, по состоянию на 30.06.2020). В выборку включены 37 стран.
Под публикациями понимаются следующие типы документов, индексируемых в Web of Science: статьи (article), обзоры (review), доклады на конференциях (proceedings paper), монографии (book), главы в монографиях (book chapter), научные заметки (note) и письма в редакцию (letter).
Посмотрим, как связана публикационная активность с объёмом затрат на науку. На рис. 2 приведён нормированный показатель публикационной активности по странам, входящим в 07, БРИКС и некоторым другим. Лидеры по удельному весу — США и Китай — оказались в конце списка, представленного на рис. 2. Антилидером приведённого списка стала Япония. Можно предположить, что это связано в том числе с тем, что у этой страны наибольшая доля вложений со стороны бизнеса. Израиль — лидер по доле затрат на науку к ВВП — также находится во второй половине списка.
Не вдаваясь в глубокий анализ приведённых данных, можно сказать, что наблюдаемая в последнее время в России «погоня» за долей публикаций в общем списке выглядит как минимум неоднозначно.
40,0 35,0 30,0 25,0 20,0 15,0 10,0 5,0 0,0
Мм
«г
о
^ У к
<0
</ о-
о<?
I
р
^ о0"
-О4
Рис. 2. Нормированная по затратам на науку публикационная активность. Число статей за 2010-2019 годы поделено на сумму затрат на науку (по паритету покупательной способности) за 2010-2018 годы. Исходные данные - [4], расчёты автора.
1.2 ПАТЕНТНАЯ АКТИВНОСТЬ
Если публикационная активность — это результат деятельности в основном научных организаций, то в патентовании участвуют как научные, так и прочие организации. Причём, поскольку патент — это способ защиты рынка от конкурентов, заинтересованность производственных компаний в такой защите должна быть выше, чем научных.
Тем не менее патентование — один из показателей, который рассматривается при оценке научных организаций, но сводных данных только по научным организациям в открытом доступе нет. Можно считать, что патентование косвенно даёт оценку научному сектору (см., например, [7]), но при этом следует анализировать не только генерацию патентов в научном секторе, но и эффективность их передачи в производственный сектор. То есть важным становится и востребованность изобретений, сделанных в научном секторе.
С этой точки зрения более показательным, чем число патентов, является количество проданных лицензий. Эти данные не анализируются, но отдельные доступные цифры показывают, что количество проданных научными организациями лицензий не превышает нескольких процентов от числа патентов (институтами Российской академии наук в 2012 году продано 40 лицензий [8]). Об этом же говорит объём поступлений от проданных лицензий (180,3 млн руб. в 2015 году [9]). С учётом общего объёма (внутренние затраты на исследования и разработки) - 109,5 млрд руб. - доход от лицензий составил менее 0,2% в общем объёме финансирования.
1.3 РАЗРАБОТКА
И ИСПОЛЬЗОВАНИЕ ПЕРЕДОВЫХ ТЕХНОЛОГИЙ
Этот показатель скорее относится к оценке прикладного сектора науки. Статистические данные по нему противоречивы. Так, в соответствии с [10], в 2019 году разработано 1403 новых для России технологии, из них принципиально новыми являются 217, то есть чуть больше 15%.
Если учесть, что количество используемых передовых технологий (до 5 лет) составляет 88314 из общего количества 262645, то обновление технологий происходит с темпом 1,5% в год, а по принципиально новым — около 0,25% в год. Из этого можно сделать вывод, что из примерно 18 тысяч передовых технологий, в среднем поступающих в год в оборот, всего около 7% представлено российскими разработками.
С одной стороны, это совершенно по-другому заставляет взглянуть на широко используемое утверждение о том, что российские производственные предприятия невосприимчивы к инновациям, однако в таблице 6.25 «Использование передовых производственных технологий по видам и источнику приобретения» [10, с. 269] утверждается, что из общего количества — 262,6 тысячи используемых технологий — 47,6 тысяч, или 18%, разработано собственными силами предприятий, 136,9 тысяч (52%) — приобретено в России (видимо, не только у научных организаций) и 78,1 тысяч — за рубежом (см. табл. 1). Если разработки дают около 7%, то 45% приобретаются у производственных организаций.
Таблица 1
Передовые производственные технологии по источнику приобретения
(2019 год) [10]
Источник приобретения Количество (шт.) Доля(%)
Всего 262645 100%
из них:
разработано в отчитывающейся организации 47609 18%
приобретено в России 136893 52%
приобретено за рубежом 78143 30%
Анализ этого показателя даёт широкий простор для оценки эффективности научных организаций, однако дискуссии больше происходят по поводу публикационной активности. Следует отметить, что в показателях, по которым происходит анализ результативности деятельности отдельных научных организаций, обсуждаемый здесь показатель напрямую отсутствует.
1.4 КОММЕРЦИАЛИЗАЦИЯ ТЕХНОЛОГИЙ НА ВНУТРЕННЕМ РЫНКЕ
Количество распоряжений (можно считать это сделками) составляет около 3000 в год (см. рис. 3) [3; 11]. Это чуть более 1% от числа передовых производственных технологий и около 15% от вводимых в оборот новых промышленных технологий. Из этого можно сделать вывод, что патентная защита рассматривается как нечто необязательное на рынке.
1000 500 О
о гЧ гл 1-П ш со СП о т-1 гм т 1-П ш со СП
о о о о о о о о о о т-1 1—1 1—1 1—1 Т-1 Т-1 1—1 1—1 1—1 Т-1
о о о о о о о о о о о о о о о о о о о о
гм гм гм гм гм гм гм гм гм гм гм гм гм гм гм гм гм гм гм гм
Рис. 3. Регистрация распоряжений исключительными правами на изобретения, полезные модели, промышленные образцы по договорам о предоставлении права использования и об отчуждении (до 01.10.2014 - регистрация договоров о распоряжении исключительными правами на патенты, до 2008 г. - договоры об уступки прав на патенты) [3; 10].
Рис. 4. Распределение внутренних договоров о торговле лицензиями и отчуждении прав на патенты по категориям хозяйствующих субъектов [3; 10].
Второй факт, который следует отметить, что среди продавцов (лицензиаров) доля государственных организаций (к которым относятся и многие научные институты) составляет всего около 10%. При этом доля негосударственных организаций — в шесть раз выше (см. рис. 4).
Необходимо отметить, что этот показатель, в отличие от показателя разработка и использование передовых технологий, входит в число показателей оценки результативности научных организаций отдельным разделом.
С учётом отмеченных масштабных различий по количественным данным в сторону технологий это представляется как минимум неправильным, поскольку заостряет ситуацию только на оформленных правах, в то время как большая часть технологий передаются иным способом.
1.5 МЕЖДУНАРОДНЫЙ ТЕХНОЛОГИЧЕСКИЙ ОБМЕН
Международный технологический обмен в области НИОКР, с одной стороны, невелик (в последние годы около 300 млн долларов США, что составляет менее 2% от общих внутренних затрат на исследования и разработки), с другой - нестабилен (см. рис. 5).
Рис. 5. Сальдо поступлений от НИОКР (тыс. долларов США) [10; 12].
Снова, как и для показателя «Разработка и использование передовых технологий», показатели международного технологического обмена не транслируются в систему оценки результативности научных организаций. Соответствующий раздел Приказа Министерства образования и науки России от 05.03.2014 № 162«Интеграция в мировое научное пространство, распространение научных знаний и повышение престижа науки» в расшифровках
содержит показатели, больше ориентированные на публикационные взаи-
2
модеиствия 2.
Выводы из сказанного подтверждают перекос в сторону публикационных показателей системы оценок научного сектора. При этом никакого давления на организации в сторону показателей, влияющих на повышение конкурентоспособности российской экономики или на зарабатывание средств на продаже технологий производственным компаниям, со стороны органов управления наукой нет.
При спорности полезности и информативности показателя «доля российских публикаций в журналах, индексируемых в Web of Science», с точки зрения развития научного сектора, административное давление на научные организации привело к тому, что доля российских публикаций поднялась с 2,1% в 2012 году до 3% в последние годы.
Такое «давление» через показатели результативности в отношении показателей, связанных с работой с негосударственными заказчиками на НИОКР, могло бы принести больше пользы с точки зрения ресурсного обеспечения научного сектора, хотя бы в части прикладной науки.
2. ОЦЕНКА НАУЧНЫХ ОРГАНИЗАЦИЙ
Рассмотрим теперь показатели, которые используются при оценке научных организаций. Основным документом, регулирующим оценку результативности деятельности научных организаций, является принятое в 2009 году
Приказ Министерства образования и науки РФ от 05.03.2014 № 162 (ред. от 03.03.2016) «Об утверждении порядка предоставления научными организациями, выполняющими научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения, сведений о результатах их деятельности и порядка подтверждения указанных сведений федеральными органами исполнительной власти в целях мониторинга, порядка предоставления научными организациями, выполняющими научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения, сведений о результатах их деятельности в целях оценки, а также состава сведений о результатах деятельности научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения, предоставляемых в целях мониторинга и оценки». Показатели раздела 3: Интеграция в мировое научное пространство, распространение научных знаний и повышение престижа науки:
■ Число статей, подготовленных совместно с зарубежными организациями.
■ Численность иностранных учёных, работавших в научной организации.
■ Число научных конференций с международным участием, проведенных организацией.
■ Количество научно-популярных публикаций, выполненных сотрудниками организации.
■ Количество положительных и нейтральных упоминаний организации в средствах массовой информации федерального уровня, в том числе
• федеральных печатных изданиях, теле- и радио-СМИ,
• интернет-изданиях.
■ Количество обращений (посещаемость) официальных сайтов и (или) страниц организации, размещённых в Информационно-телекоммуникационной сети "Интернет"» // Гарант: [сайт]. иЯ1_: https://base.garant.ru/70649666/ (дата обращения: 27.10.2021)).
2
Постановление Правительства Российской Федерации № 3123 (далее — Постановление № 312). На его основе в разные годы были приняты методики РАН, ФАНО и Минобрнауки России, которые и использовались для проведения оценок.
Для определённости в этой статье будем рассматривать только две градации — фундаментальную науку, которая в соответствии с определением [13] не направлена на извлечение прибыли,4 и прикладную науку, которая направлена на достижение какой-то пользы из научных исследований.
И там, и там оценка результативности служит задачам повышения качества работы всей системы. Тогда было бы полезно определить, что мы можем рассматривать как «качество» работы.
В статье [14] принималось, и мы будем следовать этому и в данной статье, что фундаментальная наука занимается разработкой и верификацией моделей явлений природы и общества. Модель или закон сами по себе не могут служить извлечению прибыли, хотя применение этих моделей и законов помогает найти новые решения в технике, фармацевтике и т. п. Фундаментальная наука может оцениваться с точки зрения эффективности работы по формированию и подтверждению новых моделей и законов.
До последнего времени оценкой качества (обычно конкретного учёного, реже коллектива) служили различные международные премии, однако политизация общества не оставила в стороне и науку, где понятие разного рода толерантности становится значимым фактором при присуждении премий. Даже если не принимать во внимание эти соображения, количество «престижных» премий, что можно было бы считать синонимом «объективности» оценки, слишком мало, чтобы использовать этот инструмент в обыденной практике для управления научным сектором.
В прикладной науке есть «внешние» по отношению к науке «оценщики» качества работы, которые «голосуют рублём», и, как следствие, неэффективные организации не получают заказов от бизнеса, — и это должно служить эффективным воздействием для повышения качества работы как отдельных институтов, так и системы в целом.
Следует отметить, что в дискуссиях вопрос разделения показателей результативности для фундаментальной и прикладной науки остаётся за ка-
Постановление Правительства Российской Федерации от 08.04.2009 № 312 «Об оценке и о мониторинге результативности деятельности научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения» // Правительство России: [сайт]. ШЬ: http://government.ru/docs/all/67819/ (дата обращения: 07.05.2021).
Фундаментальные исследования - экспериментальные или теоретические работы, предпринятые для приобретения новых знаний, лежащих в основе феноменов и наблюдаемых фактов, вне какого-либо конкретного применения.
Прикладные исследования - оригинальные исследования, предпринятые в порядке приобретения нового знания. Они, тем не менее, направлены главным образом на решение специфической, практической цели или задачи.
Экспериментальное развитие - систематическая работа, опирающаяся на знание, полученное из исследовательского и практического опыта, и создающая дополнительное знание, направленное на создание новых продуктов или процессов или на усовершенствование существующих (Пер. с англ.) [13].
3
4
дром, возможно, участники дискуссии считают, что это «и так понятно», хотя для двух выделенных секторов науки качество определяется по-разному даже на уровне обычного здравого смысла.
В прикладной науке ключевым при оценке результативности является наличие внешнего заказчика. В фундаментальной науке формальным «заказчиком» является, как правило, государство, которое выдаёт и оплачивает государственное задание (далее - ГЗ), но, как было разобрано в статье [14], не является прямым потребителем знаний, который мог бы оценить качество полученного результата. Те, кто использует полученное в рамках ГЗ знания, не влияют на распределение средств на научные исследования, в результате чего не возникает обратной связи между качеством (результативностью) работы и выделяемыми ресурсами.
Как следствие, возникает потребность в альтернативной оценке эффективности научных организаций и научного сектора (в части фундаментальной науки) в целом.
С этой точки зрения полезно рассмотреть вопросы актуальности научных исследований. Стандартным разделом любой заявки на финансирование является раздел, озаглавленный «обоснование актуальности исследования». По большей части он используется как ритуальный, хотя в случае, когда решаемая задача действительно важна, степень её реализации могла бы служить мерилом эффективности проведённой работы. Однако нужно констатировать, что в настоящее время не ведётся ни серьёзного рассмотрения «актуальности» на входе, ни анализа достижений на выходе.
Самый беглый взгляд на систему оценок, используемую в российской науке (Постановление № 312), показывает, что она больше приспособлена для оценки академической науки, где доля фундаментальных исследований в силу исторических условий является основной.
Как правило, определение актуальности проводимых фундаментальных исследований отдавалась на откуп самим учёным в лице Российской академии наук. С одной стороны, РАН претендовала на оценку всех научных работ, с другой — каких-либо внятных критериев актуальности, кроме достаточно кулуарных обсуждений на отделениях, не предлагала.
В силу небольшого количества участников обсуждения их взаимозависимости («сегодня я оцениваю вас, а завтра вы придёте оценивать меня и отплатите той же монетой»), малого количества инструментов финансирования, когда ссориться с лицами, принимающими решения, себе дороже, система оценок превратилась в формализованную процедуру, в которой формальные показатели типа публикационной активности становятся самым безопасным способом выстроить общую систему оценок, не вызывающую конфликтов у участников и демонстрирующую «соблюдение приличий».
Система оценки публикационной активности в прикладных исследованиях вступает в противоречие с требованием того, чтобы разработки обеспечивали конкурентные преимущества для их разработчиков или пользователей (заказчиков). Более правильной теоретически была бы оценка через рыночный спрос тех или иных разработок научных коллективов.
Однако простота оценки через рыночный спрос упирается в масштаб рынка научных исследований. Сокращение численности учёных и количе-
ства научных организаций в постсоветский период проходило в основном за счёт «прикладного» сектора науки. Можно сказать, что в этой части оценка востребованности научных организаций работала самым жёстким образом. Естественно, возникает вопрос, насколько разумно использовать такой «рыночный» подход, особенно в условиях явной или неявной конфронтации с развитыми странами-конкурентами.
Жёсткое следование рыночным соображениям в наших условиях может привести к тому, что по каким-то (по многим) направлениям научных разработок не останется совсем — научные коллективы не смогут нормально существовать от одного редкого заказа до другого. Следствием этого будет деградация инфраструктуры научных исследований в соответствующей области, распад научных коллективов и уход специалистов в другие области или отъезд в другие страны. Но этот вопрос касается используемых при распределении бюджетных средств финансовых инструментов и выходит за рамки данной статьи.
Система основных показателей, рекомендованных приказом Минобрнауки России,5 содержит четыре блока:
I. Результативность и востребованность научных исследований.
II. Развитие кадрового потенциала.
III. Интеграция в мировое научное пространство, распространение научных знаний и повышение престижа науки.
IV. Ресурсное обеспечение деятельности научной организации.
Показатели первого блока приведена в таблице 2.
Таблица 2
Показатели (направления оценки) результативности научных организаций
Показатель
I. Результативность и востребованность научных исследований
Число публикаций организации, индексируемых в российских и международных информационно-аналитических системах научного цитирования:
а Web of Science
б Scopus
в Российский индекс научного цитирования
г Google Scholar
д ERIH (European Reference Index for the Humanities)
е Специализированная информационно-аналитическая система
Совокупная цитируемость публикаций организации, индексируемых в российских и международных информационно-аналитических системах научного цитирования:
а Web of Science
б Scopus
в Google Scholar
г (Российский индекс научного цитирования)
См. ссылку 2.
5
Продолжение таблицы 2
Совокупный импакт-фактор журналов, в которых опубликованы статьи организации
Общее количество научных, конструкторских и технологических произведений, в том числе:
а опубликованных произведений
б опубликованных периодических изданий
в выпущенной конструкторской и технологической документации
г неопубликованных произведений науки
Количество созданных результатов интеллектуальной деятельности, в том числе:
а учтённых в государственных информационных системах
б имеющих государственную регистрацию и (или) правовую охрану в Российской Федерации
в имеющих правовую охрану за пределами Российской Федерации
Количество использованных результатов интеллектуальной деятельности, в том числе:
а подтверждённых актами использования (внедрения)
б переданных по лицензионному договору (соглашению)
в переданных по договору об отчуждении, в том числе внесённых в качестве залога
г внесённых в качестве вклада в уставной капитал
Число малых инновационных предприятий, созданных с участием организации
а совокупная среднесписочная численность работников малых инновационных предприятий
б совокупный доход малых инновационных предприятий
Финансовая результативность научной организации по источникам дохода, в том числе средства, полученные:
а на выполнение государственных заданий
б на конкурсной основе из бюджетов всех уровней
в на конкурсной основе из внебюджетных источников
г из иностранных источников
д из внебюджетных источников на иные цели
Финансовая результативность научной организации по видам выполненных работ и оказанных услуг, в том числе
а исследования и разработки
б научно-технические услуги
в от использования результатов интеллектуальной деятельности
г образовательные услуги
д товары, работы и услуги производственного характера
е иные доходы, не связанные с научными, научно-техническими услугами и разработками
Рассмотрим соответствие этого списка показателям результативности науки в целом (см. предыдущий раздел). Почти все эти показатели попадают в первый блок.
Он включает показатели публикационной и патентной активности и в этой части соответствует первым двум блокам оценки результативности науки в целом. Что касается оценки эффективности разработки и использования новых технологий, они косвенно учтены всего одной строчкой в этом же разделе наряду с опубликованными произведениями, опубликованными периоди-
ческими изданиями, выпущенной конструкторской и технологической документацией, неопубликованными произведениями науки.
Коммерциализация технологий на внутреннем рынке проработана достаточно близко к варианту, который используется в общей оценке. Сюда же можно отнести информацию по созданию малых инновационных предприятий.
Что касается показателей по международному научно-технологическому обмену, то этот показатель учтён также одной строчкой в расшифровке финансовых показателей. При этом в приказе имеется отдельный блок показателей по «Интеграции в мировое научное пространство...», которые в основном относятся к организации совместной публикационной деятельности.
Упомянем в связи с обсуждаемым вопросом также приказ Минобрнауки России6, в котором введены дополнительные показатели оценки результативности деятельности научных организаций, подведомственных Министерству науки и высшего образования Российской Федерации. В частности, среди них упоминаются показатели, связанные с российскими и зарубежными научными наградами и премиями, почётными званиями, полученными сотрудниками научной организации.
Общий вывод, который следует из обсуждения Постановления № 312 и связанных с ним документов, — система оценки научных организаций слабо ориентирует их на работу с негосударственными, в том числе зарубежными заказчиками. Следует отметить, что и ведомственный приказ Минпромторга России7 вводит дополнительные показатели только в части привлечения бюджетных средств самого Минпромторга России. Таким образом, даже «прикладные» научные организации через систему показателей результативности ориентируются на достижение публикационных показателей, а не на внедрение разработок в реальный сектор экономики.
3. АТТЕСТАЦИЯ НАУЧНЫХ РАБОТНИКОВ
Наконец, рассмотрим уровень оценки результативности отдельных сотрудников научных организаций. Аттестация работников, занимающих должности научных работников, проводится с учётом Приказа Министерства образова-
6
Приказ Министерства науки и высшего образования РФ от 30.07.2019 № 544 «Об утверждении Методики оценки результативности деятельности научных организаций, подведомственных Министерству науки и высшего образования Российской Федерации, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения» // Электронный фонд правовых и нормативно-технических документов: [сайт]. URL: https://docs.cntd.ru/document/561027598 (дата обращения: 27.10.2021).
Приказ Министерства промышленности и торговли РФ от 25.10.2019 № 3972 «Об утверждении методики оценки результативности деятельности научных организаций, подведомственных Министерству промышленности и торговли Российской Федерации, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения» (не вступил в силу) // Гарант: [сайт]. URL: https://www.garant.ru/products/ipo/ prime/doc/73001606/ (дата обращения 26.07.2021).
ния и науки Российской Федерации от 27.05.2015 № 5388. Рекомендованные количественные показатели достаточно полно коррелируют с показателями Постановления № 312 (см. табл. 3). Как и в упомянутом Постановлении, основной упор делается на публикационные и связанные с ними показателями. К недостаткам нужно отнести то, что не учитываются результаты интеллектуальной деятельности, охраняемые в рамках режима коммерческой тайны.
Таблица 3
Показатели результативности труда научных работников9
№ п/п Количественный показатель результативности труда научных работников
1. Число публикаций работника, индексируемых в российских и международных информационно-аналитических системах научного цитирования
2. Общее количество опубликованных научных произведений
3. Общее количество комплектов выпущенной конструкторской и технологической документации
4. Количество проведённых экспертиз с выдачей соответствующих экспертных заключений
5. Организация выпуска научных журналов
6. Количество созданных результатов интеллектуальной деятельности, учтённых в государственных информационных системах
7. Численность лиц, освоивших образовательную программу высшего образования -программу магистратуры, успешно защитивших выпускную квалификационную работу (магистерскую диссертацию)
8. Численность лиц, освоивших образовательные программы высшего образования -программу подготовки научно-педагогических кадров в аспирантуре (адъюнктуре), защитивших научно-квалификационную работу (диссертацию) на соискание учёной степени кандидата наук, а также программу ассистентуры-стажировки
9. Количество принятых на постоянную работу в организацию кадров высшей квалификации, участвующих в научных проектах, руководство которыми осуществлял работник
10. Число научных конференций с международным участием, в организации которых принял участие работник
11. Количество научно-популярных публикаций, подготовленных работником, в том числе материалов, комментариев по актуальным вопросам науки и техники в средствах массовой информации федерального уровня
12. Влияние работника на привлечение финансовых ресурсов в организацию
13. Объём услуг (в стоимостном выражении), оказанных центрами коллективного пользования научным оборудованием, уникальными научными установками при участии работника
Приказ Министерства образования и науки РФ от 27.05.2015 № 538 «Об утверждении Порядка проведения аттестации работников, занимающих должности научных работников» // Консуль-тантПлюс: [сайт]. https://www.consultant.ru/cons/cgi/online.cgi?req=doc&base=LAW&n=185320 &с^=1000000001%2С0#8!!РВе8сс^5иХ8иУ1 (дата обращения 24.07.2021) Из Приложения к «Порядку проведения аттестации работников, занимающих должности научных работников», утверждённому Приказом Министерства образования и науки РФ от 27.05.2015 № 538.
з
9
Вопросы привлечения финансовых ресурсов в организацию упомянуты в пункте «Влияние работника на привлечение финансовых ресурсов в организацию». В комментарии к этому пункту перечислены возможные направления привлечения финансовых ресурсов:
«Указывается объём средств, полученных при участии работника, в том числе:
■ на конкурсной основе, как из бюджетных, так и внебюджетных источников;
■ в форме договоров на выполнение научно-исследовательских и опытно-конструкторских работ;
■ от распоряжения полученными ранее результатами интеллектуальной деятельности по договорам лицензирования, отчуждения исключительных прав;
■ доходов малых инновационных предприятий, созданных с передачей им результатов интеллектуальной деятельности, полученных при непосредственном участии работника».
Отметим, что отсутствует акцент на возможность привлечения средств из зарубежных источников.
ВЫВОДЫ
Общее впечатление, которое складывается после изучения системы оценок результативности научных исследований на различных уровнях — от страны в целом до оценки отдельных научных сотрудников, — что система оценок до последнего времени существовала сама по себе, не влияя значимо на принятие решений по выделению средств тем или иным институтам или направлениям научных исследований. Только в последние годы появились финансовые инструменты, которые распределяются среди институтов первой категории.
Если говорить о системе управления научными исследованиями в целом, то система оценки слабо влияет на принятие решений. В этом смысле роль обратной связи в системе управления пока не реализована. Возможно, это надо относить к тому, что пока вообще отсутствует понятие целевого состояния, к которому нужно привести научную систему, не говоря уже о целевом состоянии для отдельных институтов.
Первый опыт с постановкой проверяемых целевых индикаторов — достижение запланированной публикационной активности по доле публикаций в журналах, индексируемых в Web of Science, - с одной стороны показал принципиальную возможность такого подхода, с другой — вызывает вопрос, что теперь делать с этим достижением, - увеличивать долю публикаций при меньшем, чем у лидеров, бюджете до их уровня явно бесперспективно, да и непонятно, как переводить количество публикаций в качество, то есть в результаты, используемые в реальном секторе экономики.
Следует отметить, что ситуация с показателями, характеризующими передачу разработок в реальный сектор, практически не обсуждается в эксперт-
ном сообществе. Как правило, «обсуждение» ограничивается констатацией «низкой заинтересованности» производственных компаний в инновациях, остаётся без внимание тот факт, что, по данным статистики, ежегодно российские компании вводят в оборот около 18 тысяч новых технологий. При этом, по данным той же статистики, доля российских научных организаций в этом объёме не дотягивает и до 10%.
ТЛ о о
В этой ситуации можно, конечно, улучшать и проводить тонкую настройку системы оценки научных организаций. Если говорить о вопросах, которые было бы полезно рассмотреть, то к ним нужно отнести проблему сравнения крупных и небольших научных организаций (естественно, относящихся к одной референтной группе), проблему учёта диверсификации научных институтов — крупные организации часто занимаются работами, относящимися к различным референтным группам, проблему учёта оценки при распределении средств — и в средней организации могут возникнуть идеи, требующие приоритетного финансирования. Такое обсуждение имеет смысл с точки зрения улучшения системы управления научным сектором, декларированном в Стратегии научно-технологического развития (далее — СНТР)10. Однако понятно, что, если ограничиться только этими вопросами, влияние такой настройки на достижение целей, поставленных в СНТР, вряд ли будет очень большим.
Следует констатировать, что действующая система оценок ориентирована на «процессное» управление — характерно, например, что учёт в системе оценки наград и премий, которые по определению должны соответствовать получению выдающихся результатов, появился среди дополнительных показателей в приказе Минобрнауки России, а не в основной методике.
Представляется более продуктивным в наших условиях использовать проектное управление — это позволяет концентрировать ресурсы на решении сформулированных задач и оценивать достижение поставленной цели, а не промежуточные показатели. К сожалению, опыт формирования крупных проектов практически отсутствует — больше, чем через два года с начала работы над комплексными программами и проектами11 запущен первый проект12. Количество проектов из общего числа рассмотренных на советах по приоритетным направлениям и Координационном совете и дошедших до обсуждения в Правительстве составляет всего около 5%. Это показывает наличие проблем
Стратегия научно-технологического развития Российской Федерации (утверждена Указом Президента РФ от 01.12.2016 № 642) // Президент России: [сайт]. URL: http://static.kremlin.ru/ media/acts/files/0001201612010007.pdf (дата обращения: 17.06.2021).
Постановление Правительства РФ от 19.02.2019 № 162 «Об утверждении Правил разработки, утверждения, реализации, корректировки и завершения комплексных научно-технических программ полного инновационного цикла и комплексных научно-технических проектов полного инновационного цикла в целях обеспечения реализации приоритетов научно-технологического развития Российской Федерации» // Правительство России: [сайт]. URL: http:// static.government.ru/media/files/TX7NZe8Am8Ovkf0UEgDVgliHIktbAUK2.pdf (дата обращения: 17.06.2021).
Распоряжение Правительства РФ от 20.07.2021 № 2010-р // Правительство России: [сайт]. http://static.government.ru/media/files/RUb4rVNZdyRaSAnu0AVLJM92lN3tbE2J.pdf (дата обращения: 27.06.2021).
10
скорее не в оценке таких проектов, а в наличии идей для проектов и компетенций по их формированию у научного и бизнес-сообщества.
ЛИТЕРАТУРА
1. Шепелев Г. В. О приоритетах научно-технологического развития // Управление наукой: теория и практика. 2020. Т. 2, № 3. С. 16-36. DOI: 10.19181/smtp.2020.2.3.1.
2. Шепелев Г. В. О государственном регулировании науки // Управление наукой: теория и практика. 2021. Т. 3, № 3. С. 16-44. DOI: 10.19181/smtp.2021.3.3.1.
3. Индикаторы науки: 2020 : статистический сборник / Л. М. Гохберг, К. А. Дитковский, Е. И. Евневич и др.; Нац. исслед. ун-т «Высшая школа экономики». М. : НИУ ВШЭ, 2020. 336 с.
4. Россия и страны мира. 2020 : Стат. сб. M. : Росстат, 2020. 385 с.
5. Шепелев Г. В. О финансировании научного сектора (межстрановые сопоставления) // Управление наукой: теория и практика. 2021. Т. 3, № 1. С. 15-34. DOI: 10.19181/ smtp.2021.3.1.1.
6. Шепелев Г. В. О финансировании науки государством и бизнесом (межстрановые сопоставления) // Управление наукой: теория и практика. 2021. Т. 3, № 2. С. 15-39. DOI: 10.19181/smtp.2021.3.2.1.
7. Ильина С. А. Патентная активность отечественных и иностранных заявителей как индикатор научно-технологического развития России: анализ актуальной статистики // Мир новой экономики. 2019. Т. 13, № 3. С. 31-40. DOI: 10.26794/2220-6469-201913-4-31-40.
8. Российская академия наук в цифрах: 2012. Стат. сб. / И. В. Зиновьева, С. Н. Иноземцева, Л. Э. Миндели и др. ; гл. ред. Л. Э. Миндели. М. : Ин-т проблем развития науки РАН, 2013. 239 с.
9. Наука в учреждениях Федерального агентства научных организаций: 2016. Стат. сб. / И. В. Зиновьева, С. Н. Иноземцева, Л. Э. Миндели и др. ; гл. ред. Л. Э. Миндели. М. : Ин-т проблем развития науки РАН, 2017. 220 с.
10. Индикаторы науки: 2021 : статистический сборник / Л. М. Гохберг, К. А. Дитковский, Е. И. Евневич и др. ; Нац. исслед. ун-т «Высшая школа экономики». М. : НИУ ВШЭ, 2021. 352 с.
11. Индикаторы науки: 2015 : статистический сборник / Н. В. Городникова, Л. М. Гохберг, К. А. Дитковский и др. ; Нац. исслед. ун-т «Высшая школа экономики». М. : НИУ ВШЭ, 2015. 320 с.
12. Индикаторы науки: 2018 : статистический сборник / Н. В. Городникова, Л. М. Гохберг, К. А. Дитковский и др. ; Нац. исслед. ун-т «Высшая школа экономики». М. : НИУ ВШЭ, 2018. 320 с.
13. OECD. Frascati Manual 2015: Guidelines for Collecting and Reporting Data on Research and Experimental Development, The Measurement of Scientific, Technological and Innovation Activities. Paris: OECD Publishing, 2015. DOI: https://doi. org/10.1787/9789264239012-en
14. Шепелев Г. В. Наука в системе экономики // Управление наукой: теория и практика. 2020. Т. 2, № 3. С. 70-90. DOI: 10.19181/smtp.2020.2.3.4.
Статья поступила в редакцию 29.09.2021.
Одобрена после рецензирования 18.10.2021. Принята к публикации 24.11.2021.
СВЕДЕНИЯ ОБ АВТОРЕ
Шепелев Геннадий Васильевич shepelev-2@mail.ru
Кандидат физико-математических наук, советник генерального директора, НИИ Республиканский исследовательский научно-консультационный центр экспертизы, Москва, Россия; старший научный сотрудник, Институт социологии Федерального научно-исследовательского социологического центра, Москва, Россия AuthorID РИНЦ: 567080
DOI: 10.19181/smtp.2021.3.4.15
ON THE EVALUATION OF THE EFFECTIVENESS OF SCIENTIFIC RESEARCH
Gennady V. Shepelev1 2
1 SRI Federal Research Centre for Projects Evaluation and Consulting Services, Moscow, Russian Federation
2 Institute of Sociology of Federal Center of Theoretical and Applied Sociology of the RAS, Moscow, Russian Federation
Abstract. The regulatory framework for evaluating the effectiveness of scientific research within the national scientific system, at the level of individual scientific organizations and researchers is considered. The analysis of individual indicators of scientific performance at the national level is carried out. In particular, the following indicators were analyzed: publication and patent activity, development and use of advanced technologies, commercialization of technologies in the domestic market and international technological exchange. The compliance of evaluation indicators at the level of scientific organizations and certification of researchers with indicators used at the national level is analyzed. It is concluded that till now the evaluation system used had little impact on decision-making on the allocation of resources for scientific research. Low attention of the expert community to the transfer of developments to the real sector was noted, although the available statistics show that there is an interest in new technologies on the part of manufacturing enterprises.
Keywords: the effectiveness of scientific research, cross-country comparisons, publication activity, patent activity, development and use of advanced technologies, commercialization of technologies in the domestic market, international technological exchange, evaluation of scientific organizations, certification of researchers
For citation: Shepelev, G. V. (2021). On the Evaluation of the Effectiveness of Scientific Research. Science Management: Theory and Practice. Vol. 3, no. 4. P. 123-145.
DOI: 10.19181/smtp.2021.3.4.15
REFERENCES:
1. Shepelev, G. V. (2020). On priorities of scientific and technological development. Science Management: Theory and Practice. Vol. 2, no. 3. P. 16-36. DOI: https:// doi.org/10.19181/smtp.2020.2.3.1 (In Russ.).
2. Shepelev, G. V. (2021). On the Legal Regulation of Science. Science Management: Theory and Practice. Vol. 3, no. 3. P. 16-44. DOI: https://doi.org/10.19181/smtp.2021.3.3.1 (In Russ.).
3. Science and Technology Indicators in the Russian Federation: 2020: Data Book
(2020). Ed. by L. Gokhberg, K. Ditkovskiy, E. Evnevich. National Research University Higher School of Economics. Moscow: HSE publ. 336 p. ISBN 978-5-7598-2184-7 (In Russ.).
4. Rossiya i strany mira. 2020: Stat. sb. [Russia and the countries of the world. 2020: Stat. sat.]. (2020). Moscow: Rosstat publ. (In Russ.).
5. Shepelev, G. V. (2021). Expenditures on scientific research (cross-country comparisons). Science Management: Theory and Practice. Vol. 3, no. 1. P. 15-34. DOI: https:// doi.org/10.19181/smtp.2021.3.1.1 (In Russ.).
6. Shepelev, G. V. (2021). Financing of the Science by Government and Business (Crosscountry Comparisons). Science Management: Theory and Practice. Vol. 3, no. 2. P. 15-39. DOI: https://doi.org/10.19181/smtp.2021.3.2.1 (In Russ.).
7. Ilina, S. A. (2019). Patent Activity of Domestic and Foreign Applicants as an Indicator of Scientific and Technological Development of Russia: An Analysis of Current Statistics. The world of new economy. Vol. 13, no. 4. P. 31-40. https://doi.org/10.26794/2220-6469-2019-13-4-31-40 (In Russ.).
8. Rossiiskaya akademiya nauk v tsifrakh: 2012. Stat. sb. [Russian Academy of Sciences in numbers: 2012. Stat. sat.]. (2013). Ed. by I. V. Zinovieva, S. N. Inozemtseva, L. E. Mindeli [et al.]; ch. ed. L. E. Mindeli. Moscow: ISS PAS publ. 239 p. ISBN 978-591294-062-0 (In Russ.).
9. Nauka v uchrezhdeniyakh Federal'nogo agentstva nauchnykh organizatsii: 2016. Stat. sb. [Science in the institutions of the Federal Agency of Scientific Organizations: 2016. Stat. sat.]. (2017). Ed. by I. V. Zinovieva, S. N. Inozemtseva, L. E. Mindeli [et al.]; ch. ed. L. E. Mindeli. Moscow: ISS PAS publ. 220 p. ISBN 978-5-91294-110-8 (In Russ.).
10. Science and Technology Indicators in the Russian Federation: 2021: Data Book
(2021). Ed. by L. Gokhberg, K. Ditkovskiy, E. Evnevich [et al.]. National Research University Higher School of Economics. Moscow: HSE publ. 352 p. ISBN 978-5-7598-2376-6 (In Russ.).
11. Science and Technology Indicators in the Russian Federation: 2015: Data Book (2015). Ed. by N. Gorodnikova, L. Gokhberg, K. Ditkovskiy [et al.]. National Research University Higher School of Economics. Moscow: HSE publ. 320 p. ISBN 978-5-7598-12753 (In Russ.).
12. Science and Technology Indicators in the Russian Federation: 2018: Data Book (2018). Ed. by N. Gorodnikova, L. Gokhberg, K. Ditkovskiy [et al.]. National Research University Higher School of Economics. Moscow: HSE publ. 320 p. ISBN 978-5-7598-17413 (In Russ.).
13. OECD (2015). Frascati Manual 2015: Guidelines for Collecting and Reporting Data on Research and Experimental Development, The Measurement of Scientific, Technological and Innovation Activities. Paris: OECD Publishing. DOI: https://doi. org/10.1787/9789264239012-en
14. Shepelev, G. V. (2020). On priorities of scientific and technological development. Science Management: Theory and Practice. Vol. 2, no. 3. P. 16-36. DOI: https:// doi.org/10.19181/smtp.2020.2.3.1.
The article was submitted on 29.09.2021.
Approved after reviewing 18.10.2021. Accepted for publication 24.11.2021.
INFORMATION ABOUT AUTHOR
Shepelev Gennady shepelev-2@mail.ru
Candidate of Physical and Mathematical Sciences, Advisor to Director General, SRI Federal Research Centre for Projects Evaluation and Consulting Services Moscow, Russian Federation; Senior Researcher, Institute of Sociology of Federal Center of Theoretical and Applied Sociology of the RAS, Moscow, Russian Federation AuthorID RSCI: 567080
