CC BY
70МЕХАНИЗМЫ И ИНСТРУМЕНТЫ ГОСУДАРСТВЕННОГО УПРАВЛЕНИЯ НАУЧНО-ТЕХНОЛОГИЧЕСКОЙ СФЕРОЙ
О ВОЗМОЖНОСТЯХ СОВЕРШЕНСТВОВАНИЯ ОЦЕНКИ ЭФФЕКТИВНОСТИ НАУЧНО-ОБРАЗОВАТЕЛЬНЫХ ЦЕНТРОВ (НОЦ): ИНДИКАТИВНЫЙ ПОДХОД
Фальков Валерий Николаевич
Толстиков Андрей Викторович
Тюменский государственный университет, Тюмень, Россия
vnfalkov@utmn.ru
Тюменский государственный университет, Тюмень, Россия
a.v.tolstikov@utmn.ru
Латышев
Андрей Сергеевич
Барабашев Алексей Георгиевич
Тюменский государственный университет, Тюмень, Россия
a.s.latyshev@utmn.ru
университет «Высшая школа экономики», Москва, Россия Тюменский государственный университет, Тюмень, Россия
abarabashev@hse.ru
Национальный исследовательский
DOI: 10.19181^^^.2019.1.2.1
АННОТАЦИЯ
Оценка эффективности научных исследований проводится, как правило, с помощью библиометрических инструментов аналитики научных публикаций (уровень публикаций, замеряемый посредством отсылки к квартилям журналов в основных международных базах Web of Science, Scopus, Google Scholar, etc.; выявление принадлежности публикаций к перечням ведущих издательств; установление показателей цитируемости публикаций). Аналитика научных публикаций в первую очередь используется для того, чтобы определить, соответствуют ли преподаватели и научные сотрудники требованиям КПЭ (ключевые показатели эффективности), значимы ли проводимые ими научные исследования.
В то же время существуют иные инструменты оценки эффективности научных исследований, учитывающие их комплексную, научную и образовательную природу. Такие оценки интегрированы в оценку эффективности (исследовательское превосходство) университетов, научных организаций. Сочетание экспертных, библиометрических оценок научных исследований, оценок их использования в образовательных программах - характерная черта комплексной оценки исследовательского превосходства. Тем не менее оценка экономической (прикладной) эффективности научных исследований не выступает в качестве самостоятельного компонента оценки исследовательского превосходства, является частью оценки общей ресурсной базы университетов, научных организаций (средства от НИОКР рассматриваются как часть средств университета, научной организации).
В связи с созданием научно-образовательных центров (НОЦ) в Российской Федерации возникает потребность использования инструментов оценки, включающих в себя не два, а три основополагающих компонента: 1) оценка научной значимости исследований НОЦ; 2) оценка качества образовательных программ, их соответствия целям и задачам НОЦ; 3) оценка эффективности использования результатов научных исследований НОЦ и человеческого потенциала НОЦ в реальном секторе экономики. К сожалению, второй и третий компоненты этой оценки недостаточно разработаны.
В статье рассматриваются индикативные инструменты оценки научных исследований, которые можно использовать при формировании оценки экономической эффективности НОЦ и качества образовательных программ в разрезе их вклада в экономическую эффективность НОЦ. Эти инструменты способны обеспечить учёт прикладной (экономической) эффективности научных исследований и образовательных программ. Предлагается способ интеграции индикативных показателей регионального развития с теми показателями, ука-
занными в Постановлении Правительства Российской Федерации (2019), которые могут быть непосредственно отнесены к учёту экономической эффективности научных исследований и образовательных программ центров развития компетенций (ЦРК), осуществляемых в НОЦ.
КЛЮЧЕВЫЕ СЛОВА:
эффективность научных исследований; научно-образовательные центры; центры развития компетенций; экономическая эффективность науки; индикативные показатели
ДЛЯ ЦИТИРОВАНИЯ:
Фальков В. Н., Толстиков А. В., Латышев А. С., Барабашев А.Г. О возможностях совершенствования оценки эффективности научно-образовательных центров (НОЦ): индикативный подход // Управление наукой: теория и практика. 2019. Т. 1. № 2. С. 15-37. DOI: 10.19181^т^р.2019.1.2.1
ПОСТАНОВКА ПРОБЛЕМЫ
Оценка эффективности научных исследований является важной частью системы управления наукой, способствуя лучшему распределению ресурсов и пониманию перспективности научных направлений. Совершенствование инструментов оценки эффективности научных исследований необходимо не только для управления наукой, но и для самих исследователей, а также для граждан. Без проведения регулярной оценки принимаемые решения по управлению научными исследованиями оказываются ущербными, исследователи теряют ориентиры востребованности своей работы, а граждане перестают понимать, зачем и для чего нужно поддерживать науку, если польза от вложения средств в неё сомнительна.
Хорошо сформированная система оценки эффективности научных исследований способствует развитию науки, помогает получать лучшие результаты. И наоборот, плохо выстроенная, подверженная произволу, несправедливая, гипертрофированная в некоторых своих звеньях система оценки может породить возмущение и обиду исследователей (подорвать их желание работать), привести к дискредитации системы управления наукой, укрепить общество в скептическом отношении к науке.
Появление новых форм организации научных исследований должно сопровождаться совершенствованием инструментов оценки их эффективности. В частности, расширение исследовательской активности университетов, принятие программы «5-100» в РФ привело к существенному изменению оценок исследовательской деятельности в соединении с преподавательской активностью. Это воплотилось как в создании различных версий «Единых и/ или академических «эффективных» контрактов ППС» [1], так и в комплексных критериях оценки исследовательских университетов, в которых публикационная активность учитывается, но не исчерпывает собой требования к объёму и качеству научных исследований1. Похожая ситуация возникла и в других странах, в которых оценка университетов (исследовательское превосходство) не ограничивается библиометрическими показателями. Более того, «самоограничение» университетов библиометрическими показателями при оценке сотрудников приводит к негативным последствиям [2].
В последнее время появляются новые, находящиеся в стадии становления формы организации научных исследований, выходящие за пределы университетов и собственно академических организаций. В СССР в 1960 — 80 гг. лидирующими формами были академгородки и наукограды, комбинирующие в себе институты РАН и образовательные организации. В настоящее время происходит смещение в сторону включения экономической компоненты в
1 Министерство образования и науки Российской Федерации (2014). От 24 февраля 2014 г, № АП-166/02 «Перечень требований к отчётам по реализации планов мероприятий вузами, отобранными по результатам конкурса на предоставление государственной поддержки ведущим университетам Российской Федерации в целях повышения их конкурентоспособности среди ведущих мировых научно-образовательных центров, программ повышения конкурентоспособности («дорожных карт»).
исследовательско-образовательные кластеры, призванного обеспечить опережающее развитие в сфере исследований и разработок. В первую очередь это технопарки, инновационные и исследовательские центры, инкубаторы новых технологий, индустриальные кластеры, лаборатории, проекты, программы. Одной из последних российских форм организации управления наукой и научными исследованиями, увеличения эффективности науки в её комплексе с практикой (имея в виду экономическую эффективность, внедрение результатов научных исследований, взаимодействие с индустриальными партнерами) и образованием стало создание научно-образовательных центров (НОЦ)2. В результате возникает потребность в пополнении (расширении) инструментов оценки эффективности научных исследований. В их состав должны быть включены такие показатели, которые могли бы отобразить экономическую эффективность — (инновационную эффективность научных исследований, в смысле появления новых видов востребованных продуктов производства, использующих технологические решения, полученные в результате этих исследований, то есть продуктов производства, обладающих значительной наукоёмкостью. Ключевой момент в становлении НОЦ — как измерять эффективность НОЦ на всех этапах, от производства идей, инновационного обучения в областях производства идей, через этапы разработки технологий, использующих эти идеи, и до этапа создания востребованных наукоёмких продуктов и промышленных технологий. Это особенно важно для Российской Федерации, поскольку необходимо уйти от «экономики природной ренты», перейти к экономике, в которой человеческий капитал высокого качества определяет производство продуктов с высокой добавленной стоимостью (наукоёмких, высокотехнологичных продуктов).
ИССЛЕДОВАТЕЛЬСКИЕ ВОПРОСЫ, ОПРЕДЕЛЯЮЩИЕ ПОДХОД К АНАЛИЗУ ЛИТЕРАТУРЫ
Поставим три вопроса относительно того, как проводить оценку экономической эффективности научных исследований в составе НОЦ:
■ Возможно ли выявить вклад НОЦ в инновационное экономическое развитие региона? Можно ли оценить экономическую эффективность НОЦ с помощью анализа трендов в изменении показателей регионального инновационного экономического развития? Сложность этого вопроса (и обоснования гипотезы, что такое можно сделать) состоит в том, что надо выделить именно вклад НОЦ в инновационное развитие региона, отделив его от вклада других организаций, условий, обстоятельств, решений, принимаемых как на уровне региона, так и на федеральном уровне.
■ Возможно ли определить экономическую эффективность НОЦ с помощью оценки суммарного вклада инвесторов в предлагаемые НОЦ тех-
2 Постановление Правительства Российской Федерации от 30 апреля 2019 г, № 537 «О мерах государственной поддержки научно-образовательных центров мирового уровня на основе интеграции образовательных организаций высшего образования и научных организаций и их кооперации с организациями, действующими в реальном секторе экономики».
нологии (динамика инвестиций)? Каким может быть механизм этой оценки?
■ Возможно ли определить общественную полезность инновационных продуктов, созданных на основании технологий, разработанных в НОЦ, посредством оценок граждан и организаций (социологические опросы)? Как это сделать?
Ключевым, и самым проблематичным, представляется первый из вопросов. Именно его изучению (конкретизации) и обоснованию будет посвящен основной объём статьи.
ОБЗОР ИССЛЕДОВАНИЙ И ПОДХОДОВ К ПРОБЛЕМЕ
Подходы к оценке эффективности исследовательской деятельности можно разделить на несколько направлений, рассматривающих научные исследования либо как самостоятельный объект, либо как часть системы «наука - образование», либо как часть ещё более широкой системы «наука - образование — реальный сектор экономики».
(1). Наиболее разработан библиометрический подход, оценивающий научные исследования с точки зрения уровня публикации результатов, цити-руемости и доступности исследовательских работ. Потребность в применении этого подхода в РФ связана с особенностями целевого финансирования науки, выделением целевых подотчётных бюджетных средств для федеральных университетов, исследовательских университетов, исследовательских институтов отделений РАН, а также с попытками выявить наиболее востребованные в российских научных сообществах результаты, не учитываемые международными базами научного цитирования [3, 4]. Поскольку большинство научных исследований в РФ публикуются на русском языке в отечественных журналах, книгах, сборниках материалов конференций и т.д., для их библиометрической оценки пришлось развивать особые инструменты, постепенно усложняющиеся и расширяющиеся. С самого начала (2005 г., проект, инициированный Минобрнауки РФ) созданный Российский индекс научного цитирования (РИНЦ, или же RISC) был интегрирован с базой текстов публикаций eLIBRARY, что дало возможность масштабного охвата научных журналов, других публикационных исследовательских материалов в связке с их библиографическими данными. В последующем произошла частичная интеграция РИНЦ с международными платформами: c 2015 г. в РИНЦ был создан раздел RSCI, являющийся российской частью платформы Web of Science. Важно отметить, что в этот раздел входят российские исследовательские журналы, учитываемые как часть международной платформы Web of Science. История и современное состояние библиометриче-ской оценки публикаций, развития РИНЦ, его интеграции с eLIBRARY и международными платформами рассмотрена в статье [5].
Основные недостатки библиометрического подхода к оценке научных исследований, отмечаемые во время дискуссий в академической среде3, за-
В особенности в университетах, входящих в программу «5-100».
3
ключаются как во внутренних проблемах неравенства представленности научных направлений в международных платформах, различиях самих платформ и проблем с их репутацией (Web of Science, Scopus в первую очередь), так и в том, что академическая репутация исследователей не определяется исключительно квартилями журналов, в которых они публикуются.
(2). Оценка эффективности научных исследований в рамках более широкой системы «наука—образование» в РФ стала востребованной в 2010-е гг., в связи с началом работы программы «5-100»4. Произошла интеграция би-блиометрических показателей публикационной активности в комплексную оценку исследовательского превосходства университетов, рассчитываемую не только по количеству статей в научных журналах, индексируемых в международных базах данных Web of Science/Scopus, но и по другим показателям результативности университетов. Рассматривается позиция университетов в ведущих общих и предметных международных рейтингах университетов, при составлении которых учитывается не только публикационная активность, но и другие параметры, характеризующие репутацию университетов и исследователей, их ресурсную базу, качество и объёмы образовательных программ. Аналитика оценок эффективности научных исследований университетов по программе «5-100» проводится, помимо публикационной активности, в основном по направлениям: сопоставление оценок по общим и предметным международным рейтингам; исследование качества и особенностей экспертных оценок, используемых в международных рейтингах университетов, их направлений и программ; разработка технологий оценки международной вовлечённости (численности иностранных НПР и студентов); изучение методик расчёта оценки учёта среднего балла ЕГЭ; разработка оценок, определяющих качество аспирантских и докторантских программ, эффективность программ повышения квалификации и профессиональной переподготовки НПР в университетах; формирование инструментов оценок ресурсной базы университетов.
Следует подчеркнуть, что комплексная оценка исследовательского превосходства университетов соединяет образование, науку и экономику. Такая оценка не сводит качество образовательной деятельности к оценке полноты представленности дисциплин в учебных планах образовательных программ. Она учитывает результаты образовательной деятельности: удаётся ли подготавливать кадры для научных исследований, сохранения и развития научных школ, идут ли выпускники в аспирантуру, в научные организации и лаборатории (как в университете, так и вне него), готовятся ли специалисты для реального сектора, востребованы ли выпускники образовательных программ работодателем.
В Великобритании аналогом российской оценки академического превосходства университетов, обладающим важными специфическими чертами, выступает программа [6], действующая с 2014 г.5 и заменившая собой
4 Указ Президента РФ от 07.05. 2012 № 599 «О мерах по реализации государственной политики в области образования и науки».
5 Исходные данные этой системы оценки предоставлены И. Г Дежиной, указавшей на её важность и специфику (в особенности на использование кейсов при оценке).
программу Research Assessment Exercize. Цели данной программы: обеспечение отчётности расходования выделенных университетам средств, бенчмаркинг университетских практик исследований и образования, выборочное финансирование наиболее перспективных научных исследований. В отличие от российской программы «5-100», охватывающей только некоторые университеты и определяющей особый порядок их финансирования, эта программа открыта для всех университетов. Кроме того, она не довольствуется сбором отчётов, а основывается на экспертных оценках, осуществляемых по областям образования (в настоящее время имеются 34 экспертные панели, состоящие из экспертов, назначенных четырьмя органами, контролирующими фонды для высшего образования) [7]. Эти эксперты представляют университеты и ряд других организаций. Процесс экспертизы детально регламентирован. Оценка проводится по трём направлениям: качество результатов исследований (с учётом результатов в открытом доступе c использованием системы SHERPA по определённому квотному числу избранных сотрудников, контракты которых включают в себя требования проводить исследования); определённое квотное количество кейсов, описывающих воздействие проводимых исследований на экономику и общество; количественные данные по студентам, НПР, оборудованию, бюджету университета [8]. Хороший пример руководства этими положениями демонстрирует Шотландия [9].
Ещё одним примером оценки эффективности научных исследований выступает подход, применяемый в Италии [10]. Особенности этого подхода: соединение оценки эффективности научных исследований с процессом аккредитации университетов; акцент на самооценку университетами уровня своих исследований (для этого в университетах созданы специальные аккре-дитационные подразделения); выделение требований наличия публикаций в собственно национальных изданиях на итальянском языке (по утверждённому списку журналов) как пререквизитного условия конкурсного замещения должностей ППС.
К основным недостаткам описанных выше систем оценок, по нашему мнению, относится недостаточный учёт экономической эффективности научных исследований. Во всех названных системах оценка экономической эффективности исследований отнесена к оценке ресурсной базы университетов, поскольку доходы от научных исследований рассматриваются как часть общих доходов6. В то же время следует отметить, что такое отношение к экономической инновационной ценности исследований умаляет значимость доходов от научных исследований. Это — не столько часть общих доходов организаций, сколько особые доходы, ценность их для экономики и общества намного выше7, нежели пополнение бюджета организаций, по-
В Великобритании пункт оценки воздействия на экономику и общество описывает, скорее, не эффективность научных исследований, а их общее влияние, определяемое через кейсы.
Именно поэтому, мы полагаем, для технологических инновационных компаний характерны резкие скачкообразные приросты в маржинальном распределении прибыли, обусловленные результатами исследовательской деятельности (гипотеза была проверена для небольших биотехнологических компаний) [11].
3
скольку они обеспечивают приращение инновационного экономического потенциала региона, ведут к внедрению новых технологий, появлению новых видов наукоёмких продуктов и технологий, востребованных организациями реального сектора экономики, изменению качества экономики и социальных отношений, наконец, к развитию человечества как 1^епю818 Иоттит (человечество изобретательное).
(3). Экономическая составляющая научных исследований чаще всего оценивается с помощью расчёта имеющейся, ожидаемой или предполагаемой прибыли от внедрения научно-технологических разработок (экономический эффект). В последнем случае эта оценка является частью инвестиционного проекта (его ТЭО), составляемого на основе анализа предполагаемых бизнес-процессов компании. Стимулирование эффективности инновационной деятельности особенно важно для развивающихся стран, в которых правительства заинтересованы в осуществлении «технологического рывка в развитии». Обсуждение проблем повышения эффективности инноваций в деловом секторе, с акцентом на анализ российских реалий, проведён в статье [12]. В России экономическая эффективность инноваций недостаточно высока [13], в том числе по причинам централизованной иерархической системы управления наукой [14], несмотря на усилия Правительства РФ по увеличению эффективности научных исследований [15].
Поскольку научные и образовательные организации обладают специфическими бизнес-процессами, производят особого рода продукты, анализ их эффективности оставляет потенциальную экономическую (прикладную) ценность научных исследований в стороне, концентрируясь в основном на библиометрической оценке публикаций и на качестве образовательных программ. Этому способствует понимание того обстоятельства, что экономическая эффективность научных исследований может быть отложенной по времени на значительный срок, если считать, что их результаты окажутся востребованными, что в свою очередь проблематично. С другой стороны, сами НИОКР достаточно затратны, а также несут значительные риски неопределённости выгоды8, которые надо оптимизировать [16]. Поэтому только в случае предполагаемой серьёзной, зачастую внеэкономической выгоды их поддержка осуществляется в приоритетном режиме. Например, для государства это происходит в случаях разработки перспективных для поддержания обороноспособности военных продуктов, национальных имиджевых проектов (включая прорывные инфраструктурные), социально важных медицинских препаратов, инструментов и технологий, критических для экстренного сохранения окружающей среды технологий и производств, наконец, социальных и технологических механизмов обеспечения безопасности, способствующих стабильности государств и систем власти. Сюда же
Так, менее 5% получаемых в области «чистой» математики результатов применяются в естественных науках; менее 10% результатов в области теоретической физики используются в экспериментальной физике на горизонте в 10 лет; результаты экологических исследований в биологии крайне редко воплощаются в разработке новых технологий сохранения окружающей среды, и, наконец, использование рекомендаций управленческого консалтинга на основе данных при принятии государственных управленческих решений происходит менее чем в 15% случаев.
3
относится государственная поддержка исключительно затратных мегапро-ектов (зачастую представляемых как национальные имиджевые), одним из теневых стимулов которой является возможность получать коррупционные доходы за счёт неопределённостей, возникающих при масштабных тратах средств на НИОКР9.
Комплексный характер экономической эффективности научных исследований должен включать в себя образовательный аспект. Должна осуществляться оценка инновационной эффективности образовательных программ, реализуемых на интерактивной основе [17]. Это, в первую очередь, должны быть программы для руководителей по выработке компетенций одновременно научного лидерства и руководства научно-техническими проектами (двухъядерная модель центров развития компетенций), с постановкой предпринимательской логики. Именно уровень руководителей является ключевым, поскольку знания об инновациях (результатах научных исследований) должны использоваться, их необходимо продвигать, учитывая реальные запросы экономики. Руководители должны уметь это делать, реализовывать реальные проекты «здесь и сейчас», а не только завтра. Для этого должны разрабатываться особые программы дополнительного профессионального образования ДПО, что наиболее важно для развивающихся стран [18].
Создание в 2019 г. первых региональных научно-образовательных центров (НОЦ) в России ещё более усложнило задачу разработки оценки комплексной эффективности научных исследований. Помимо потребности в оценке образовательной эффективности поддержки научных исследований, появилась потребность формирования оценки эффективности научных исследований, которая учитывала бы результаты внедрения (наукоёмкие продукты), причём не на основе оценки маржинального распределения прибыли, поскольку НОЦ не являются бизнес-компаниями, или государственными корпорациями, или же проектами РРР, хотя и финансируются государством совместно с бизнесом. Для этого Постановлением Правительства РФ10 установлены критерии эффективности НОЦ, введены требования для ответственных за создание НОЦ организаций (согласно Постановлению, п. 2, «без проведения конкурсного отбора определяются научно-образовательные центры мирового уровня, созданные в Пермском крае, Белгородской, Кемеровской, Нижегородской и Тюменской областях»). В составе НОЦ требуется создать центры комплексного развития компетенций руководителей научных, научно-технических проектов и лабораторий (ЦРК)11 и разработать критерии эффективности их работы.
Это наблюдение косвенно подтверждается частотой открываемых коррупционных дел в отношении затратных мегапроектов, а также объёмами средств вменяемых хищений.
Постановление Правительства Российской Федерации от 30 апреля 2019 г., № 537 «О мерах государственной поддержки научно-образовательных центров мирового уровня на основе интеграции образовательных организаций высшего образования и научных организаций и их кооперации с организациями, действующими в реальном секторе экономики».
ЦРК создаются в соответствии с п. 1.3 Федерального проекта «Развитие кадрового потенциала в сфере исследований и разработок» Национального проекта «Наука» для содействия участникам НОЦ.
9
ТЕХНИЧЕСКАЯ ГИПОТЕЗА И ПРОЕКТНОЕ ПРЕДЛОЖЕНИЕ
Мы предполагаем, что сформированные в «Правилах предоставления грантов в форме субсидий из федерального бюджета на оказание государственной поддержки НОЦ...», далее «Правила»12 (утверждены Постановлением Правительства РФ13), показатели деятельности НОЦ за 3 года (п. 11д) недостаточны для выявления экономической эффективности НОЦ, понимаемой как «коммерциализация результатов интеллектуальной деятельности, производства и увеличения объёма новой и усовершенствованной высокотехнологической продукции» (п. 5г). В качестве технической (инструментальной) гипотезы исследования мы выдвигаем утверждение, что возможно выявить недостающие показатели эффективности и предложить схему их соединения с показателями из «Правил».
Тем самым мы предполагаем далее сформировать проектное предложение: будет представлен механизм соединения показателей экономической эффективности НОЦ из «Правил» и недостающих показателей. Мы считаем, что недостающие показатели — это индикативные показатели верхнего уровня (показатели регионального инновационного развития). Мы опишем, как это можно сделать (отбор показателей регионального инновационного развития, принципы их совмещения с показателями из «Правил» и с внутренними показателями эффективности НОЦ).
ИССЛЕДОВАНИЕ СОСТАВА ПОКАЗАТЕЛЕЙ ЭФФЕКТИВНОСТИ
НОЦ И ВОЗМОЖНОСТИ ЕГО СОВЕРШЕНСТВОВАНИЯ
Представим перечень показателей внешнего мониторинга реализации плана мероприятий для расчёта субсидий, т.е., по существу, показателей для оценки эффективности НОЦ (Перечень требований, п. 2.3), в виде таблицы 1, с разнесением показателей по трём группам оценки эффективности НОЦ14. Распределим вклад показателей в группы оценки согласно критериям: (+) — показатель полностью соответствует группе оценки; (+/-) — показатель в основном соответствует группе оценки; (-/+) — показатель частично соответствует группе оценки; (-) — показатель не относится к группе оценки.
В столбце «Оценка экономической эффективности» в требующих пояснения случаях сделаем краткие комментарии, почему мы оценили вклад показателя в формирование оценки экономической эффективности именно таким образом.
12 Название взято из Инструктивного письма Минобрнауки России от 31 мая 2019 г, № МН-7.3/217 «О центрах компетенции руководителей научных, научно-технических проектов и лабораторий». Приложение 1 «Методические рекомендации по формированию на базе научно-образовательных центров мирового уровня центров развития компетенций руководителей научных, научно-технических проектов и лабораторий, а также разработки программ деятельности («дорожных карт») центров развития компетенций руководителей научных, научно-технических проектов и лабораторий».
13 Постановление Правительства Российской Федерации от 30 апреля 2019 г, № 537 «О мерах государственной поддержки научно-образовательных центров мирового уровня на основе интеграции образовательных организаций высшего образования и научных организаций и их кооперации с организациями, действующими в реальном секторе экономики».
14 Следует отметить, что все эти показатели относятся к оценкам ex-post.
Таблица 1.
Показатели из «Требований», распределение по трём группам
Описание показателя Оценка Оценка Оценка
собственно научной эффективности научных исследований (вклад в развитие науки как таковой) эффективности образовательных мероприятий по поддержке научных исследований экономической эффективности (использование в реальном секторе экономики)научных исследований
1. Позиция вузов, входящих в НОЦ, в международных предметных и общих рейтингах(п. 2.3.1) + + -/+ (косвенно, по параметру: ресурсная база вуза)
2. Количество статей в международных базах научного цитирования (п. 2.3.2) + -/+
3. Количество цитирований статей в научных журналах, входящих в международные базы научного цитирования (п. 2.3.3) + -/+
4. Удельный вес численности иностранных НПР (п. 2.3.4) +/- +/- -
5. Удельный вес численности иностранных студентов (п. 2.3.5) +/-
6. Средний балл ЕГЭ принятых студентов (п. 2.3.6) - +/- -
7. Доля доходов из внебюджетных источников (п. 2.3.7) +/- (напрямую, по параметру: ресурсная база вуза)
8. Отчёт о целевом расходовании средств субсидии (п. 2.4) +/- +/- -/+ (косвенно,входит в другие пункты данной таблицы, в том числе в п. 1, 7, 9, 10, 12, 13, 15)
9. Отчёт об использовании средств субсидии и софинансирования (п. 2.5) +/- +/- +/- (напрямую, по параметру: софинансирование для получения наукоёмких продуктов)
10. Отчёт о совершенствовании системы управления вузом, включая привлечение международных специалистов (п. 2.6) +/- +/- +/- (напрямую, по параметру: привлечение руководителей, обладающих компетенциями обеспечивать внедрение результатов научных исследований в экономику)
Описание показателя Оценка Оценка Оценка
собственно научной эффективности эффективности образовательных экономической эффективности
научных исследова- мероприятий по (использование
ний (вклад в разви- поддержке в реальном секторе
тие науки как научных экономики)научных
таковой) исследований исследований
11. Отчёт о продвижении + - -
реферируемых журналов
вуза в международных
базах научного цитирования (п. 2.7) '
12. Отчёт о мерах по +/- +/- +/- (напрямую, по
формированию кадрового параметру: подготовка
резерва руководящего состава вуза (п. 2.8) руководителей вуза, обладающих компетенциями обеспечивать внедрение результатов научных исследований в экономику)
13. Отчёт о привлечении +/- +/- +/- (напрямую, по
молодых НПР в вуз (п. 2.9) параметру: привлечение молодых НПР, активно участвующих в процессах внедрения)
10. Отчёт об академической +/- +/- -
мобильности вуза (п. 2.10)
11. Отчёт о мерах по +/- +/- -
развитию аспирантуры и
докторантуры (п. 2.11)
12. Отчёт о мерах по +/- +/- -
поддержке в вузе студентов,
аспирантов и НПР (п. 2.12)
13. Отчёт о внедрении новых образовательных -/+ +/- -
программ в сотрудничестве с ведущими зарубежными
университетами и научными
организациями (п. 2.13)
14. Отчёт о привлечении зарубежных студентов (п. 2.14) +
15. Отчёт вуза по +/- +/- +/- (напрямую, по
реализации плана научно- параметру: план
исследовательских в части создания
и опытно- высокотехнологичных
конструкторских работ, продуктов, потенциально
в том числе совместно с пользующихся спросом)
высокотехнологичными
компаниями (п. 2.15)
16. Приложения по ? ? ?
усмотрению вуза
Из таблицы видно, во-первых, что оценка НОЦ отождествлена с оценкой вузов, входящих в НОЦ, что является существенным упрощением состава, функций и требований к НОЦ. Во-вторых, из групп оценки эффективности более всего представлена группа оценки собственно научной эффективности (по строкам: 4 показателя с вкладом в оценку «+», 10 — «+/-»), затем следует группа оценки эффективности образовательных мероприятий (по строкам: 2 показателя с вкладом в оценку « + », 11 — «+/-»). Группа оценки экономической эффективности научных исследований представлена недостаточно (по строкам: 6 показателей с вкладом в оценку НОЦ «+/-»), что означает недостаточную ясность в представлениях о том, как оценивать работу НОЦ в плане создания высокотехнологичных наукоёмких продуктов, пользующихся спросом, как и что НОЦ могут вносить в инновационное экономическое развитие регионов.
Основные недостатки предлагаемой оценки экономической эффективности НОЦ таковы:
Не представлена связь эффективности НОЦ и инновационного экономического развития региона. Такое развитие изучается с помощью индикативных оценок [19]. Неясно, как оценить, что даёт НОЦ региону.
Нет представлений о том, как осуществлять оценку эффективности образовательных программ ЦРК (для руководителей), призванных обеспечить руководство внедрением результатов научных исследований в реальную экономику.
В целом эффективность научных исследований рассматривается изолированно от образовательной инновационной эффективности и экономической эффективности научных исследований.
Мы полагаем, что для анализа эффективности НОЦ возможно использовать потенциал индикативных оценок регионального уровня. Рассмотрим, какие индикативные оценки можно использовать для пополнения перечня показателей эффективности НОЦ. Это оценки инновационной эффективности регионов, основанные на показателях эффективности работы высших должностных лиц и органов исполнительной власти, а также на показателях эффективности, относящихся к составляющим федеральных и национальных проектов, в которых участвует регион. Первоначальный перечень
показателей эффективности был разработан в 2017 г.15, в настоящее время
«■» 16 перечень показателей сокращён и модернизирован16.
Отнесём к показателям, характеризующим инновационную экономическую эффективность, те показатели Указа, которые в непосредственном виде включают в себя использование инновационных высокотехнологичных продуктов. Вот их перечень.
(I). Количество высокопроизводительных рабочих мест во внебюджетном секторе экономики. — Следует учитывать количество мест, организованных в связи с производством инновационных высокотехнологичных продуктов.
15 Указ Президента Российской Федерации от 14 ноября 2017 г., № 548 «Об оценке эффективности деятельности органов исполнительной власти субъектов Российской Федерации».
16 Указ Президента Российской Федерации от 25 апреля 2019г., № 193 «Об оценке эффективности деятельности высших должностных лиц (руководителей высших исполнительных органов государственной власти) субъектов Российской Федерации и деятельности органов исполнительной власти субъектов Российской Федерации».
(II). Численность занятых в сфере малого и среднего предпринимательства, включая индивидуальных предпринимателей. — Следует учитывать число занятых в производстве инновационных высокотехнологичных продуктов.
(III). Производительность труда в базовых несырьевых отраслях экономики. — Следует учитывать производительность труда в базовых несырьевых отраслях производства инновационных высокотехнологичных продуктов.
(IV). Уровень реальной среднемесячной заработной платы. - Следует учитывать реальную среднемесячную заработную плату лиц, участвующих в производстве инновационных высокотехнологичных продуктов.
(V). Объём инвестиций в основной капитал, за исключением инвестиций инфраструктурных монополий (федеральные проекты) и бюджетных ассигнований федерального бюджета. - Следует учитывать объём инвестиций в основной капитал компаний по производству высокотехнологичных продуктов, за исключением инвестиций инфраструктурных монополий. При этом важно отдельной строкой учитывать объём инвестиций в специализированные программы привлечения, обучения и развития персонала, занятого в области исследования и разработок, за исключением инвестиций на эти цели инфраструктурных монополий.
(VI). Уровень образования. - Следует учитывать уровень образования руководителей высокотехнологичных компаний (по факту прохождения ими соответствующего ДПО для руководителей в ЦРК).
Дополнительно, среди показателей федеральных проектов, в которых участвует регион, можно выбрать показатели, связанные с производством тех важных для региона инновационных высокотехнологичных продуктов, которые разрабатываются в соответствии со специализацией НОЦ. Так, для Западно-Сибирского межрегионального НОЦ (Тюменская область, Ханты-Мансийский автономный округ, Ямало-Ненецкий автономный округ) это будут следующие три показателя (по приоритетным направлениям научно-технологического развития, определённым Стратегией научно-технологического развития Российской Федерации): биологическая безопасность человека, животных и растений; арктические проекты (для данного НОЦ -Арктика: ресурсы «холодного мира» и качество окружающей среды, человек в Арктике); цифровая трансформация нефтегазовой индустрии. В итоге для Западно-Сибирского межрегионального НОЦ получим, с учётом трёх показателей приоритетных направлений, 9 показателей (регионального) инновационного уровня.
Наше проектное предложение по оценке экономической эффективности НОЦ заключается в установлении способа связи названных выше показателей (назовём их показателями верхнего регионального уровня) с показателями эффективности НОЦ (показателями, установленными для НОЦ в Постановлении Правительства). А именно: мы предлагаем двухуровневую систему оценки. Верхний уровень связан с региональными показателями эффективности и с показателями приоритетных направлений научно-технологического развития, нижний уровень - с показателями эффективности НОЦ (рис. 1).
I II III IV V VI VII VIII IX
Количество рабочих мест Численность занятых Уровень производитель-ности труда Заработная плата Инвестиции в капитал Уровень образования Биологическая безопасность Арктика: ресурсы и качество среды Цифровая трансформация нефтегазовой индустрии
А А Ж
(7)
(9)
(10)
(12)
(13)
(15)
Внебюд- Субсидии и Руководство Кадровый резерв Молодые НПР Реализация
жетные софинанси- вузов вузов плана НИОКР
доходы рование (результаты)
Рис. 1. Связь показателей эффективности: «регион - НОЦ»
Для каждого из показателей эффективности НОЦ устанавливается связь с показателями эффективности региона (стрелки). В частности:
■ Показатель для НОЦ (7) «доля доходов вуза/НОЦ из внебюджетных источников» связан с двумя показателями эффективности региона: показателем (IV) «уровень реальной среднемесячной заработной платы в регионе», поскольку часть доходов будет использоваться для оплаты труда участников НОЦ и лиц, привлекаемых на основе ГПД; показателем (V) «объем инвестиций в основной капитал, за исключением средств от федеральных проектов и бюджетных ассигнований», поскольку внебюджетные доходы НОЦ связаны с инвестиционной активностью со стороны бизнеса.
■ Показатель для НОЦ (9) «использование средств субсидий и финансирования» связан с показателем эффективности региона (V) «объём инвестиций в основной капитал, за исключением средств от федеральных проектов и бюджетных ассигнований», поскольку для НОЦ важно получать инвестиции в основной капитал помимо федеральных средств.
■ Показатель для НОЦ (10) «совершенствование системы управления вузом/НОЦ, включая привлечение международных специалистов» связан с показателем эффективности региона (VI) «уровень образования в регионе», поскольку уровень высшего образования в регионе зависит от системы управления образованием вуза/НОЦ.
■ Показатель для НОЦ (12) «формирование кадрового резерва руководящего состава вуза/НОЦ» также связан с показателем эффективности региона (VI) «уровень образования в регионе», поскольку уровень выс-
шего образования в регионе зависит от насыщения новыми кадрами системы управления образованием вуза/НОЦ. Этот показатель может быть рассчитан как количество слушателей, успешно прошедших программы ЦРК для руководителей научных, научно-технических проектов и лабораторий (что соответствует плану мероприятий по направлению «Кадры и образование» Национальной программы «Цифровая экономика Российской Федерации», в котором упоминаются ЦРК).
■ Показатель для НОЦ (13) «привлечение в вуз/НОЦ молодых НПР» связан с тремя показателями эффективности региона: (I) «количество высокопроизводительных рабочих мест во внебюджетном секторе экономики», поскольку молодые НПР, работая в НОЦ, будут обеспечивать увеличение количества высокопроизводительных рабочих мест в регионе; (II) «численность занятых в малых и средних предприятиях», поскольку они участвуют в НОЦ, одной из задач которого является научно-технологическое обеспечение производства высокотехнологичных продуктов; (VI) «уровень образования в регионе», поскольку уровень высшего образования в регионе зависит от качества НПР вуза/НОЦ (для пункта IV — с поправкой на уровень привлекательности вуза/НОЦ на рынке труда для особо востребованных специальностей).
■ Показатель для НОЦ (15) «реализация плана НИОКР вуза/НОЦ» связан с показателями эффективности приоритетных направлений научно-технологического развития, по которым оценивается регион VII, VIII, IX.
Эффективность работы НОЦ по показателям, отражающим экономическую эффективность проводимых в НОЦ научных исследований, можно рассчитывать следующим образом. Следует выявить годовые тренды для каждого из показателей уровня НОЦ и уровня региона. Это можно сделать, если данные собраны.
Мы предлагаем простую, ясную для понимания ступенчатую систему оценки, не использующую коэффициенты.
Если для НОЦ тренд показателя (обозначены треугольниками) положи-
«■» 17
тельный и одновременно положителен тренд17 по связанному с ним региональному показателю (по всем показателям в случае нескольких связанных, см. рис. 1), то НОЦ по данному показателю работал в отчётном году полностью эффективно.
Если для НОЦ тренд показателя положительный, но тренд по связанному с ним региональному показателю (показателям) отрицательный (в случае нескольких показателей появляется возможность градации), то НОЦ по данному показателю работал в отчётном году частично эффективно, то есть его оценка должна быть положительной, но с поправкой на то, что регион по данному направлению находится в зоне отрицательной динамики и НОЦ не смог переломить «ситуацию в целом». В этом случае НОЦ будет заинтересован во вкладе в положительную региональную динамику по направлению, а не останется в стороне, полагая, что это — не его проблема18.
17 За тот же год, что означает необходимость координации сбора отчётности по региону и НОЦ.
18 Отметим, что обратная позиция (в защиту максимальной эффективности НОЦ, обеспечившего положительные показатели своей работы в условиях отрицательной динамики региона по данному направлению) не может быть, как мы считаем, принята. Даже если НОЦ добился результатов в сложных региональных условиях, что характеризует НОЦ положительно,
Если для НОЦ тренд показателя отрицательный, но тренд по связанному с ним региональному показателю (показателям) положительный (в случае нескольких показателей появляется возможность градации), то НОЦ по данному показателю работал в отчётном году частично неэффективно, поскольку всё-таки регион по данному показателю в отчётном периоде прогрессировал, работа НОЦ не привела к «региональному провалу», и её можно корректировать в ситуации положительной общей динамики, не прибегать к крайним мерам.
Если, наконец, для НОЦ тренд показателя отрицательный и тренд по связанному с ним региональному показателю (показателям) также отрицательный (в случае нескольких показателей появляется возможность градации), то НОЦ по данному показателю работал в отчётном году неэффективно (полностью неэффективно в случае отрицательного тренда всех связанных региональных показателей, сколько бы их ни было). В таком случае потребуется принятие серьёзных мер к НОЦ как организационного, так и финансового характера.
Таким образом, экономическая эффективность регионального НОЦ естественным образом сочетается с эффективностью региона, отражая вклад НОЦ.
РЕЗУЛЬТАТЫ ПРОЕКТНОГО ИССЛЕДОВАНИЯ И ДИСКУССИЯ
Нами обоснована возможность и предъявлены контуры механизма оценки экономической эффективности научных исследований, проводимых в региональных НОЦ. Эта оценка, как показано, может осуществляться посредством соотнесения двух уровней (видов) показателей: установленных в Постановлении Правительства РФ19 показателей эффективности НОЦ, имеющих прямое отношение к экономическим результатам их деятельности, и показателей, характеризующих оценку эффективности регионов, заданных Указом Президента РФ20 в той их части, которая относится к экономической эффективности (трудовые ресурсы, заработная плата, инвестиции и т.п.), а также к показателям эффективности приоритетных направлений научно-технологического развития, по которым оценивается регион .
Если оценка собственно научной значимости исследований и оценка качества образовательных программ университетов могут существовать сами
поскольку зачастую легче достичь результатов тогда, когда «всё растет, как на дрожжах», признание полной эффективности НОЦ по рассматриваемому направлению представляется неоправданным. Обосновать необходимость максимальной оценки по данному направлению (и финансовой поддержки, следующей отсюда) НОЦ в условиях общего регионального «провала» по этому направлению общественно невозможно (аналогично приоритетное увеличение оплаты государственных служащих в сравнении с другими категориями работников в существующих экономических условиях чревато возникновением общественного напряжения).
Постановление Правительства Российской Федерации (2019). От 30 апреля 2019 г., № 537 «О мерах государственной поддержки научно-образовательных центров мирового уровня на основе интеграции образовательных организаций высшего образования и научных организаций и их кооперации с организациями, действующими в реальном секторе экономики».
Указ Президента Российской Федерации от 25 апреля 2019г., № 193 «Об оценке эффективности деятельности высших должностных лиц (руководителей высших исполнительных органов государственной власти) субъектов Российской Федерации и деятельности органов исполнительной власти субъектов Российской Федерации"».
19
по себе, без связи с эффективностью региона в целом, то экономическая эффективность НОЦ может быть установлена только в связи с результатами развития региона. Более того, учитывая специфику НОЦ (его цели и задачи), оценка образовательной эффективности НОЦ будет заметно отличаться от традиционно применяемой оценки качества образовательных программ: а) она будет относиться только к программам для кадрового резерва руководителей (программы ЦРК), вырабатывающим объединённые друг с другом компетенции руководства научными исследованиями и научно-технические проектные компетенции доведения результатов этих исследований до этапа создания востребованного рынком высокотехнологичного инновационного продукта, технологии; б) она будет оценивать качество образовательных программ с учётом грантов, субсидий из бюджетов РФ и субъектов РФ, а также муниципалитетов, внебюджетных средств, полученных от реализации проектов (по нашему мнению, ключевым здесь является объём привлечённого внебюджетного финансирования); в) она будет нацелена на то, как в образовательных программах НОЦ происходит изучение научно-технологических инноваций, как слушателей программ учат организовать их поддержку, как разрабатывать наукоёмкие технологии и осуществлять их трансфер.
Для реализации этого механизма должны быть предприняты шаги по нормативному закреплению связи показателей эффективности НОЦ с показателями эффективности регионов. Это, в принципе, заложено в Постановлении Правительства РФ, предлагающего самим НОЦ установить дополнительные критерии эффективности своей деятельности. Кроме того, необходимо уточнить параметры и сроки сбора данных, осуществляемого для оценки эффективности регионов. Именно: количество высокопроизводительных рабочих мест, организованных в связи с производством инновационных высокотехнологичных продуктов, необходимо учитывать отдельной строкой как часть общего количества организованных высокопроизводительных мест; производительность труда в базовых несырьевых отраслях производства инновационных высокотехнологичных продуктов — как часть производительности труда в базовых несырьевых отраслях производства; уровень реальной среднемесячной заработной платы лиц, участвующих в производстве инновационных высокотехнологичных продуктов, учитывать как компонент уровня реальной среднемесячной заработной платы в регионе; объём инвестиций в основной капитал компаний по производству высокотехнологичных продуктов, за исключением инвестиций инфраструктурных монополий, учитывать как часть объёма инвестиций в основной капитал, за исключением инвестиций инфраструктурных монополий; уровень образования руководителей высокотехнологичными компаниями учитывать как часть уровня образования в регионе.
В теоретическом плане мы исходим из положения, что оценка экономической эффективности НОЦ может быть построена с учётом разработок в области теории индикативного оценивания. Эта теория особенно развита для международных оценок (с помощью индексов и индикаторов), а также в последние годы для оценок с помощью показателей регионального развития (РФ, ЕС, КНР, Южная Корея, США и т.д.). Соединение инструментов индикативного оценивания и научно-образовательных оценок (библиометри-
ческие оценки, оценки исследовательского превосходства) может способствовать улучшению управления наукой как деятельностью, приносящей экономический эффект.
ЛИТЕРАТУРА
1. Никулина И. Е. Эффективный контракт в вузе как драйвер повышения качества труда научно-педагогических работников // Высшее образование в России. 2018. Т. 27. №5. С. 9-19.
2. Pisar P., Spikal M. Negative Effects of Performance Based Funding of Universities: Case of Slovakia // The NISPAcee Journal of Public Administration and Policy. 2018. Vol. X. No. 2. P. 171-189.
3. Pislyakov V. Why should we create national citation indexes? // Science and Technical Libraries. 2007. No. 2. P. 65-71.
4. Tretyakova O.V. Development of national citation index as a condition for the formation of a system to evaluate scientific research performance // Economic and Social Changes: Facts, Trends, Forecast. 2015. Vol. 37. No. 1. P. 230-245.
5. Moskaleva O., Pislyakov V., Sterligov I., Akoev M. and Shabanova S. Russian Index of Science Citation: Overview and review [Электронный ресурс] // Sci-entometrics. 2018. 116 (1). P. 449-462. URL: https://science.urfu.ru/ru/publi-cations/russian-index-of-science-citation-overview-and-review-2 (дата обращения: 16.07.2019).
6. Research Excellence Framework (2019) [Электронный ресурс]: URL: https://www.ref.ac.uk/ (дата обращения: 16.07. 2019).
7. What is the REF? (2019) [Электронный ресурс]: URL: https://www.ref. ac.uk/about/what-is-the-ref/ (дата обращения: 20.07. 2019).
8. Audit Guidance, REF (2019) [Электронный ресурс]: URL: https://www. ref.ac.uk/publications/audit-guidance-201904/ (дата обращения: 20.07. 2019).
9. Scottish Funding Council Research Strategy 2017 - 2018 (2017) [Электронный ресурс]: URL: http://www.sfc.ac.uk/web/FILES/ResearchInnovation/Re-search_strategy_post-RKEC.pdf (дата обращения: 16.07.2019).
10. ANVUR (2019). Italian National Agency for the Evaluation of Universities and Research Institutes [Электронный ресурс]: URL: https://rio.jrc.ec.europa. eu/en/organisations/national-agency-evaluation-university-and-research-sys-tem-anvur (дата обращения: 20.07. 2019).
11. Бредихин С., Линтон Д., Матоско Т. Почему и как стоимость наукоемких компаний нарушает финансовую теорию: эффекты для политики и управления // Форсайт. 2017. Т. 11. № 1. C. 24-30.
12. КэлофД. Повышение эффективности инновационной деятельности компаний // Форсайт. 2018. Т. 12. № 3. С. 30-33.
13. Filippov S. Emerging Russian Multinationals: Innovation, technology and internationalization // Journal of East-West Business. 2011. Vol. 17. No. 2-3, P. 184-194.
14. Dezhina I.G. Science and Innovation Policy of the Russian Government: A variety of instruments with uncertain outcomes? // Public Administration Issues. Special Issue (electronic edition). 2017. P. 7-26. (дата обращения: 25.07. 2019).
15. Gohberg L. & Roud V. Structural Changes in the National Innovation Systems: Longitudinal study of innovation modes in Russian industry // Economic Change and Restructuring. 2015. Vol. 49. No. 2-3. P. 269-288.
16. Mazzucato M. The Entrepreneurial State: Debunking Public vs. Private Sector Myths. 2011. London: Anthem Press. 266 p.
17. Lundvall B.-A. (ed). National Systems of Innovation: Towards a theory of innovation and interactive learning. London: Pinter Publ., 1992. 291 p.
18. Crowley F. & Bourke J. The Influence of the Manager on Firm Innovation in Emerging Economies // International Journal of Innovation Management. 2018. Vol. 22. No 3.
19. Барабашев А. Г., Макаров А. А., Макаров И. А. О совершенствовании индикативных оценок качества государственного управления // Вопросы государственного и муниципального управления. 2019. № 2. С. 7-38.
ON POSSIBILITIES TO IMPROVE THE EVALUATION OF EFFECTIVENESS OF RESEARCH-EDUCATIONAL
Статья поступила в редакцию 25.09.19
Valery N. Falkov
Andrei V. Tolstikov
University of Tymen, Tyumen, Russian Federation
vnfalkov@utmn.ru
University of Tymen, Tyumen, Russian Federation
a.v.tolstikov@utmn.ru
Andrey S. Latyshev
Alexey G. Barabashev
University of Tymen, Tyumen, Russian Federation
a.s.latyshev@utmn.ru
Higher School of Economics, Moscow, Russian Federation University of Tymen, Tyumen, Russian Federation
abarabashev@hse.ru
DOI: 10.19181/smtp.2019.1.2.1
Abstract. Evaluation of the effectiveness of scientific research produced, as the rule, by using the bibliometric instruments of the analytics of research publications (level of publications, measured by its reference with the quartiles of research journals in main bibliometric international bases of knowledge Web of Sciences, Scopus, Google Scholar, etc.; exploration of its attributing to the lists of leading international publishing houses; citation indexes of publications). The analytics of research publications in first line is used for the purposes to find, are researchers are fulfilled their KPI, or not, are their research is valuable for scientific community.
Same time, other instruments of the effectiveness evaluation of research exists, that are taking into account its complexity, its scientific and educational nature. Such evaluations are mostly integrated into the evaluation of effectiveness (research excellence) of universities and other research organizations. Combination of expert, bibliometric evaluations of research, its usage in educational programs is the specific feature of the complex evaluation of effectiveness in the terms of research excellence evaluation procedures. Unfortunately, economic (applied) instruments of research effectiveness evaluation are not introduced properly yet, it is mostly evaluated as the part of resource base of universities and scientific organizations (resources obtained from research-based innovative products are considered as the part of general resources).
Due to the recent establishing of Research-educational Centers (REC) in Russian Federation, the necessity to explore complex multi-component evaluations of REC, including not 2, but 3 main components, as effectiveness of research in REC itself, as their educational programs economic effectiveness, and the research outcomes for real sector of economy. Unfortunately, 2nd and 3rd components evaluations are underdeveloped right now.
In the article the indicative instruments for evaluations of research are analyzed with the purpose to apply it for REC and for the quality of educational programs evaluation takin in mind its input into the economic effectiveness of REC. Such an instruments are capable to provide the accurate measuring of economic effectiveness of research and educational programs of REC. We are propose the instruments that are allows to integrate the indicators of regional effectiveness introduced by President of Russia Decree (2019) with some from indicators of effectiveness of REC that are introduced by Government of Russia (2019) and can be attributed to economical effectiveness of REC and of educational programs that are realized in the Centers of Competency Development (CCD) belonged to REC.
Keywords: scientific research effectiveness; research-educational centers; center of competency development, economic effectiveness of research; indexes and indicators of effectiveness
For sitas: Falkov, V., Tolstikov, A., Latyshev, A., Barabashev, A. (2019). On Possibilities to Improve the evaluation of Effectiveness of Research-Educational Centers (REC): indicative approach. Upravlenie naukoj: teoriya i praktika. Vol. 1. No 2. P. 15-37. DOI: 10.19181/smtp.2019.1.2.1
REFERENCES
1. Nikulina, E. (2018). An effective contract at the university as a driver for improving the quality of work of scientific and pedagogical workers. Vysshee obrazovanie v Rossii. Vol. 27. No. 5. P. 9-19. (In Russ)
2. Pisar, P. and Spikal, M. (2018). Negative Effects of Performance Based Funding of Universities: Case of Slovakia. The NISPAcee Journal of Public Administration and Policy. Vol. X. No. 2. P. 171-189.
3. Pislyakov, V. (2007). Why should we create national citation indexes? Science and Technical Libraries. No. 2. P. 65-71.
4. Tretyakova, O.V. (2015). Development of national citation index as a condition for the formation of a system to evaluate scientific research performance. Economic and Social Changes: Facts, Trends, Forecast. Vol. 37. No. 1. P. 230-245.
5. Moskaleva, O., Pislyakov, V., Sterligov, I., Akoev, M. and Shabanova, S. (2018). Russian Index of Science Citation: Overview and review [Electronniy resurs] // Scientometrics. 116(1). P. 449-462. URL: https://science.urfu.ru/ru/publications/russian-index-of-science-cita-tion-overview-and-review-2 (Accessed: 16.07. 2019). (In Russ)
6. Research Excellence Framework (2019) [Electronniy resurs]: URL: https://www.ref.ac.uk/ (Accessed: 16.07. 2019).
7. What is the REF? (2019) [Electronniy resurs]: URL: https://www.ref.ac.uk/about/what-is-the-ref/ (Accessed: 20.07. 2019).
8. Audit Guidance, REF (2019) [Electronniy resurs]: URL: https://www.ref.ac.uk/publica-tions/audit-guidance-201904/ (Accessed: 20.07. 2019).
9. Scottish Funding Council Research Strategy 2017 - 2018 (2017) [Electronniy resurs]: URL: http://www.sfc.ac.uk/web/FILES/ResearchInnovation/Research_strategy_post-RKEC.pdf (Accessed: 16.07. 2019).
10. ANVUR (2019). Italian National Agency for the Evaluation of Universities and Research Institutes [Electronniy resurs]: URL: https://rio.jrc.ec.europa.eu/en/organisations/nation-al-agency-evaluation-university-and-research-system-anvur (Accessed: 16.07. 2019).
11. Bredikhin, S., Linton, D., Matosko, T. (2017). Why and how the value of high-tech companies violates financial theory: effects for politics and management. Forsait. Vol. 11. No. 1. P. 24— 30. (In Russ).
12. Kelof, D. (2018). Improving the efficiency of innovative activities of companies. Forsait. Vol. 12. No. 3. P. 30-33. (In Russ).
13. Filippov, S. (2011). Emerging Russian Multinationals: Innovation, technology and internationalization. Journal of East-West Business. Vol. 17. No. 2-3, P. 184-194.
14. Dezhina, I.G. (2017). Science and Innovation Policy of the Russian Government: A variety of instruments with uncertain outcomes? Public Administration Issues. Special Issue (electronic edition). P. 7-26. doi: 10.17323/1999-5431-2017-0-5-7-26 (Accessed: 25.07. 2019).
15. Gohberg, L. & Roud, V. (2015). Structural Changes in the National Innovation Systems: Longitudinal study of innovation modes in Russian industry/ Economic Change and Restructuring. Vol. 49. No. 2-3. P. 269-288.
16. Mazzucato, M. (2011). The Entrepreneurial State: Debunking public vs. Private Sector Myths. London, Anthem Press. 266 p.
17. Lundvall, B.-A. (ed). (1992). National Systems of Innovation: Towards a theory of innovation and interactive learning. London: Pinter Publ., 291 p.
18. Crowley, F. & Bourke, J. (2018). The Influence of the Manager on Firm Innovation in Emerging Economies. International Journal of Innovation Management. Vol. 22. No 3.
19. Barabashev, A., Makarov, A., Makarov, I. (2019). On the improvement of indicative assessments of the quality of public administration. Voprosy gosudarstvennogo i munitsipal'nogo uprav-leniya. No. 2. P. 7-38. (In Russ).
The paper was submitted 25.09.19
