О некоторых концептуальных основах и подходах к оценке инновационной политики: теоретико-методологический анализ и эмпирическое исследование

Матризаев Бахадыр Джуманиязович

Вестник Томского государственного университета. Экономика. 2019. № 45

УДК 338.28

Б01: 10.17223/19988648/45/3

Б.Д. Матризаев

О НЕКОТОРЫХ КОНЦЕПТУАЛЬНЫХ ОСНОВАХ И ПОДХОДАХ К ОЦЕНКЕ ИННОВАЦИОННОЙ ПОЛИТИКИ: ТЕОРЕТИКО-МЕТОДОЛОГИЧЕСКИЙ АНАЛИЗ И ЭМПИРИЧЕСКОЕ ИССЛЕДОВАНИЕ

В статье рассматриваются концептуальные основы и теоретические подходы к оценке инновационной политики в современных условиях. В частности, на основе эмпирических исследований автором предпринимается попытка выявить признаки, подтверждающие, действительно ли европейские страны организуют и проводят оценки инновационной политики системного подхода, и если да, то что их характеризует. В работе также проводится сравнительный анализ концептуальных моделей, которые пытаются объяснить, как происходит взаимосвязь между научными и технологическими исследованиями и рыночными возможностями для инноваций. Данный сравнительный анализ проводится на основе многоуровневой модели оценки инновационной политики. В настоящем исследовании также представлены эмпирические свидетельства о том, как страны Европейского союза организуют свою практику оценки инновационной политики. Эмпирическая оценка построена на основе предлагаемых автором четырех атрибутов, которые определяют идеальную модель оценки инновационной политики. Вместе с тем в исследовании представлен сравнительный анализ России в контексте стран БРИКС и на основе этого анализа проводится эмпирическое обобщение, свидетельствующее о том, что в этих странах не хватает организационных и взаимодополняющих возможностей, чтобы соответствовать масштабам инновационных преимуществ, наблюдаемых в странах с высоким уровнем дохода на душу населения. Настоящее исследование представляет собой попытку разработки и применения новой концептуальной основы макростратегического планирования инновационного развития России и может способствовать разработке эффективных критериев оценки ее устойчивого инновационного роста в современных условиях. Ключевые слова: инновационная политика, оценка инновационной политики, модели оценки, охват, системная перспектива, временной характер, экспертиза.

Введение

В последние десятилетия все больше внимания уделяется необходимости предоставления разработчиками инновационной политики более всеобъемлющих и основанных на знаниях инструментов для разработки инновационной политики. Сложность инновационных систем и последние изменения в новых инициативах в области инновационной политики требуют более сложных компетенций и знаний в качестве ключевых источников для изучения инновационной политики. Дальнейшие улучшения в области научно-технического прогнозирования, оценки технологий и оценки

инновационной политики в основном рассматриваются в качестве ключевых областей для изучения эффективной, всеобъемлющей и стратегической политики [36]. В нашем исследовании основное внимание уделяется одной из них, а именно оценке инновационной политики. В частности, целью данного исследования является изучение того, в какой степени страны внедрили практику системно-ориентированной оценки инновационной политики, и если да, то в какой степени.

Как правило, основные акторы (участники и регуляторы), по-видимому, следуют общепринятому понятию инновационной системы при определении правил игры в области инновационной политики [36]. Однако до сих пор неясно, в какой степени практика оценки инновационной политики также охватывает системно-ориентированный аспект. Как мы приведем в настоящем исследовании, большинство научных публикаций рассматривает этот вопрос исключительно с нормативной точки зрения, предлагая конкретные модели того, как акторы и эксперты могли бы взаимодействовать в данном аспекте. Причем некоторые из этих нормативных моделей предполагают интеграцию различных видов оценок инновационной политики для получения логически взаимоувязанного представления [23, с. 167-172; 38]. Другие, напротив, уделяют больше внимания интеграции результатов оценок политики с упором на информацию о конкретных проблемах и узких местах в инновационной системе [12, 32]. Несмотря на актуальность этих нормативных моделей при проведении оценки инновационной политики, до сих пор не существуют эмпирические исследования, посвященные подтверждению предположений о том, действительно ли европейские страны формируют и реализуют политику оценки инновационной политики на основе системного подхода, и если да, то что является их характерным признаком. Другими словами, в макроинновационной науке все еще ощущается острый недостаток эмпирических исследований о текущей практике вышеупомянутой оценки в разных странах [40].

Опираясь на вышеупомянутые научные подходы, в статье разрабатывается концепция «системно-ориентированной оценки инновационной политики». Мы определяем ее как регулярный и наукоемкий набор практик, оценивающий влияние инновационной политики на инновационную систему. Ключевые атрибуты, составляющие концепцию «системно-ориентированная оценка инновационной политики», используются в качестве аналитических измерений и характеризуют эмпирические данные о фактической практике оценки в государствах-членах ЕС. Таким образом, главный вопрос нашего исследования заключается в следующем: как далеко и если да, то каким образом государства-члены ЕС разрабатывают системно-ориентированные оценки инновационной политики? Структура исследования построена следующим образом. После анализа теоретико-методологической базы в исследовании дается четкое определение системно-ориентированной оценки инновационной политики на основе четырех атрибутов. Эти атрибуты вводятся в анализ с целью проведения упорядоченного эмпирического анализа, и они отражают источники данных и некото-

рые важные методологические аспекты анализа. Далее приводится анализ, в котором сначала рассматривается, как страны ЕС функционируют с точки зрения каждого из представленных четырех атрибутов, а затем рассматривается четырехкратная типология, характеризующая каждую из стран ЕС. В выводах обобщаются полученные результаты, приводится сравнительный межстрановой анализ и обсуждаются дальнейшие пути совершенствования исследований.

Теоретико-методологический анализ существующих моделей оценки инновационной политики

За последние два десятилетия инновационный системный подход получил значительную поддержку как среди ученых, так и среди основных акторов инновационной системы. Этот подход рассматривает инновации как сложный социальный процесс кумулятивного характера, встроенный в сложные институциональные и организационные национальные контексты [37]. В ней выдвигается понятие инноваций как результата сложных взаимодействий и динамики в своеобразном социально-экономическом контексте экономики. Тем не менее чем более доминирующим становится инновационный системный подход, тем более очевидными становятся ограничения нынешних оценок инновационной политики.

Уделяя особое внимание взаимодействию и интерактивному взаимодействию, системный подход к инновационной политике требует более сложных инструментов, позволяющих регуляторным органам лучше понимать общесистемное воздействие инструментов и сочетаний инновационной политики [48]. В своей фундаментальной работе о новых рубежах оценочных исследований Ирвин Феллер [26] размышлял о необходимости более всеобъемлющих подходов, вытекающих, с одной стороны, из инновационного системного подхода, а с другой - из традиционной практики исследовательской оценки отдельных программ НИОКР. Некоторые единичные оценки все больше воспринимаются слишком ограниченными, чтобы дать ответы на вопросы о влиянии общественных инициатив в масштабах экономики. В частности, он отмечал: «...существующие оценки лишь слегка затрагивают вопрос о том, как стратегии, поведение, эффективность секторов или акторов, описанных в национальной инновационной таксономии, меняются в результате кумулятивного долгосрочного воздействия кластера программ» [26].

Аналогичным образом в своей работе Молас-Галларт и Дэвис утверждают, что «практика оценки инновационной политики продолжает отставать от достижений в теории инноваций. Теория инноваций породила последующие поколения более сложных концептуальных моделей, которые пытаются объяснить, как происходит взаимосвязь между научными и технологическими исследованиями и рыночными возможностями для инноваций» [41]. Тем не менее, по мнению этих авторов, большая часть оценок, проводимых сегодня, по-прежнему проводится на уровне проектов и про-

грамм и в основном основывается на простых моделях оценки воздействия и учета. Вместе с тем они подчеркивают, что обобщение и интеграция результатов, касающихся конкретных стратегий и программ, во всеобъемлющую систему оценки последствий политики в рамках национальных инновационных систем является непростой задачей. Инновационный системный подход и теоретическая основа подразумевают, что «их трудно использовать в практике оценки, что, в конечном итоге, приводит к разрыву между практикой оценки и теорией о научно-технологической инновационной (НТИ) политике» [41].

В ответ на необходимость выхода за рамки множества изолированных индивидуальных оценок, ориентированных на программы, ряд моделей предложил различные способы руководства практикой регуляторных органов и непосредственно акторов. В самой ранней работе Э. Арнольд [12] предлагает способ оценки исследовательской и инновационной политики в мире инновационных систем. Точнее, он предлагает подход к оценке, который предусматривает «в большей степени взаимодействие этих инструментов с окружающей средой». Его модель сочетает в себе три уровня: традиционные программы оценок, которые должны быть расширены с целью выявления закономерности между программами через систему мета-оценок; оценки состояния инновационной системы на основе ряда общесистемных измерений (например, инновационность бизнеса, адекватность и обеспеченнность инфраструктуры, условия регуляторной среды для инновационной деятельности и т.д.) и подсистемы оценок, которые ориентированы на конкретные возможные узкие места на мезоуровне.

Аналогичная многоуровневая модель предлагается Дж. Джорданом и Д. Хейджом. Основное внимание авторы уделяют разработке эпистемологической и индикаторной модели для интеграции оценок конкретных инструментов инновационной политики, проводя различие между микро- и мезо-уровнями [32] и макроуровнем [29]. Опираясь на исследования Э. Арнольда [12], авторы стремятся изложить «теоретически обоснованную структуру индикаторов инновационных систем (ISF) для оценок научно-технологического развития, которые могут помочь правительственным и регулятор-ным органам в формулировании и переформулировании политики».

Вместе с тем в рамках других подходов основное внимание уделяется характеру оценочных данных и материалов, на которых в настоящее время основывается оценка. В этом смысле Дж. Эдлер с соавт. [22] предложили «использовать существующие оценки для изучения результативности политики и ее воздействия на системный уровень». В рамках этой системы они разделяют две концепции, а именно синтез оценок и мета-анализ, которые служат основой для общей структуры для использования и анализа существующих данных. Под синтезом оценок понимается «агрегированный анализ на основе многочисленных отчетов об оценках аналогичных программ или проектов» [22]. Со своей стороны, мета-анализ позволяет «улучшить сопоставление и понимание регуляторных мер и их последствий с учетом результатов большого числа оценок» [22]. Таким образом,

если первые агрегируют и синтезируют имеющиеся данные, то вторые обеспечивают основу для контекстуализации этих аргументов в более широком контексте, позволяя получить более стратегическое представление.

Из вышесказанного мы можем предполагать два основных подхода. Первый подход, разработанный Арнольдом и Джорданом-Хейджом, берет за основу инновационную систему и направлен на определение конкретных показателей и условий, которые служат базисом для интеграции оценки конкретных инструментов и сочетаний инновационной политики. Второй подход Дж. Эдлер [22] и Е. Магро [38] начинают с уже существующих оценок инновационной политики и предлагают активные усилия и средства для генерации синтеза и мета-анализа из них, интегрируя их с целью создания комплексной системы, ориентированной на оценку инновационной политики.

Исследование системно-ориентированной оценки инновационной политики

Определение и прикладное значение. Какими бы полезными ни были нормативные модели, рассмотренные нами в предыдущем разделе, по-прежнему существует необходимость в разработке аналитической основы для эмпирического изучения нынешней практики на страновом уровне. Более конкретно нам необходимо определить концепцию «системно-ориентированной оценки инновационной политики» таким образом, чтобы можно было провести эмпирический анализ практики стран ЕС. Для этого следует четко определить, была ли разработана конкретной страной системная оценка инновационной политики. Четкое определение и его опе-рационализация позволят нам понять сложность практической реальности, избегая при этом классической проблемы, распространенной в социальных науках, так называемой проблемы «растяжение понятий» [47]. Кроме того, четкая концепция имеет важное значение для уточнения конкретных атрибутов, которые ее определяют, и для выделения аналитических аспектов, необходимых для проведения эмпирических исследований и для характеристики разнообразия эмпирической практики.

Мы рассматриваем системно-ориентированную оценку инновационной политики как фундаментальный инструмент для создания сильных, всеобъемлющих и стратегических систем. Его цель заключается в обеспечении общего, критического и стратегического обзора результативности инновационной политики в контексте результативности всей инновационной системы. Исходя из всего этого, мы определяем «системно-ориентированную оценку инновационной политики» как регулярный и основанный на знаниях набор компетенций, который оценивает влияние инновационной политики в рамках инновационной системы. Важно вспомнить, что аналитические концепции в социальных науках состоят из атрибутов [47], которые являются существенными аналитическими элементами в сравнительных исследованиях [15]. Таким образом, мы выделяем четыре

определяющих признака в системно-ориентированных оценках инновационной политики: широкий охват элементов оценки; системную перспективу оценки результативности инновационной политики и результативности инновационной системы; высокую регулярность практики оценки и разнообразие экспертных знаний. Выбор, определение и операционализация этих четырех атрибутов описаны ниже.

Наше определение системно-ориентированной оценки инновационной политики можно рассматривать как «идеальный тип»: понятие, определяющее общие черты ожидаемых явлений и используемое в аналитических целях [28]. Идеальные модели формируются дедуктивно из теоретических усилий и направлены на обеспечение четкого руководства для эмпирического анализа [49]. Однако поскольку они «идеальны», их маловероятно найти в «чистоте» или «целостном» виде в реальном мире. Они абстрактны и не обязательно могут быть на 100% воспроизведены в эмпирической сложности социальных явлений.

Исходя из этого, мало ожидаемо, что страны будут проводить идеальные виды системно-ориентированной оценки инновационной политики, поскольку она является очень трудной с учетом сложности задачи. Вместо этого в нашем эмпирическом анализе мы ожидаем найти лишь несколько стран, которые проводят «системно-ориентированную оценку инновационной политики» или настойчиво выполняют четыре атрибута, которые определяют нашу идеальную модель (табл. 1).

Таблица 1. Четыре признака, определяющие понятие «системно-ориентированная оценка инновационной политики», их операционализация и измерение

Определение атрибутов

Операционализация для эмпирического анализа

Результаты измерений

Охват

Степень, в которой оценка охватывает три наиболее важных элемента (см. ячейку справа)

Системная перспектива

Степень, в которой страны анализируют перспективы инновационной политики производительность и эффективность инновационной системы

Временный характер (темпоральность)_

Мы изучаем, проводят ли страны оценку следующих трех элементов: инструменты инновационной политики ; сочетание инновационной политики;

социально-экономические показатели

Мы изучаем вопрос о том, готовили ли страны отчеты с системной точки зрения

Значение 2: при наличии значительного числа и сложных форм оценок.

Значение 1: меньшее число оценок и меньшая сложность. Значение 0: очень мало или ничего из вышеперечисленного.

Значение 2: отчеты содержат обширный анализ системной перспективы.

Значение 1: отчеты содержат лишь ограниченный анализ системной перспективы. Значения 0: нет отчетов.

Значение 2: оценки проводятся с высоким уровнем регулярности.

Степень регулярности оценки по всем трем элементам охвата

Экспертиза:

Степень участия различных экспертов в проведении оценки трех вышеперечисленных элементов

Мы изучаем, проводили ли страны оценки на регулярной основе

Мы изучаем вопрос о том, используют ли страны разнообразный опыт в области оценки, особенно сочетание национального и международного, внутреннего (министерского/государственного) и внешнего (частные консультационные фирмы, университеты, аналитические центры и т.д.)_

Значение 1: некоторые оценки проводятся регулярно, а другие эпизодически. Значение 0: оценки имеют эпизодический и специальный характер.

Значение 2: когда страна имеет сильную комбинацию национальных и международных оценок, которые являются либо внутренними, либот внешними правительству. Значение 1: когда страна имеет значительный показатель только двух из вышеперечисленных.

Значение 0: если страна имеет только один или не имеет ни одного из вышеперечисленных

Первый атрибут, охват, относится к степени, в которую вовлечены наиболее важные элементы (области) оценки. Этот атрибут ссылается на содержимое того, что фактически оценивается. Он инспирирован более ранними исследованиями, которые рассматривают, насколько обширен объект оценки на самом деле [18]. В нашем исследовании мы операциона-лизируем «охват» на три элемента, а именно: оценку инструментов инновационной политики, смешанной инновационной политики и оценку социально-экономических показателей.

Второй признак в нашем определении системно-ориентированных оценок инновационной политики связан с ее системной перспективой. Этот атрибут очень важен по теоретическим причинам. Теория гласит, что национальные системы инноваций основаны на двух измерениях, а именно: на институциональном устройстве (формальные и неформальные правила игры и рамочные условия - здесь включая инновационную политику) и социально-экономическом измерении (производственный сектор, осуществляющий инновации) [37]. По этой причине страны с системно-ориентированной инновационной политикой должны будут учитывать системную перспективу, чтобы оценивать оба значения. Этот атрибут имеет важное значение для нашего определения, поскольку цель системно-ориентированной оценки инновационной политики заключается в обеспечении общего и стратегического обзора эффективности инновационной

политики в контексте эффективности системы инноваций. Это происходит, как правило, в форме того, что Дж. Эдлер концептуализировал как «мета-анализ», который обеспечивает основу для контекстуализации доказательств различных оценок инновационной политики в контексте эффективности инновационной системы [22].

Третьим атрибутом, определяющим «системно ориентированные оценки инновационной политики», является временной характер (темпораль-ность), а именно степень определенной регулярности оценки трех элементов охвата (инструментов политики, комплекса мер политики и социально-экономических показателей) и отчетов с системной перспективой. Этот атрибут является частью нашего определения системно-ориентированной оценки инновационной политики, поскольку временной аспект практики оценки является фундаментальным аспектом. Кроме того, темпораль-ность - это аспект, который ранее включался в оценочные исследования в качестве основополагающего аспекта различных подходов стран к практике оценки [18]. В нашем исследовании мы операционализируем темпо-ральность, рассматривая, проводили ли страны оценки на регулярной основе или нет. Следует признать, что различные виды оценок могут иметь разный временной характер, например, отчеты, в которых рассматривается системная перспектива, часто подготавливаются в связи с конкретными стратегическими событиями, в частности, в преддверии или после крупных политических реформ; в то же время оценки социально-экономических показателей могут проводиться регулярно каждый год. В целом временность является важным атрибутом, поскольку для разработки политики на основе фактических данных требуется не только оценка различных аспектов инновационной политики, но и регулярное обновление всего комплекса оценок.

Наконец, четвертый определяющий атрибут «системно-ориентированной оценки политики в области внедрения новаций» относится к экспертному опыту оценок, а именно к различным экспертным знаниям, связанным с проведением различных элементов оценки. Этот четвертый признак является важной частью концепции, поскольку он связан с формирующим аспектом оценки в контексте государственной политики (а не с суммирующим аспектом оценки). Теоретическое предположение состоит в том, что чем шире база знаний, тем шире формирующее измерение оценочной практики. Формирующая оценка государственной политики делает акцент на обучении как конечной цели оценки. Поэтому для лучшего понимания того, как политика достигает своих результатов, ей необходима широкая база знаний и опыта [46].

В процессе практической реализации мы изучаем, используют ли страны разнообразные знания и опыт в оценке, в частности, сочетают ли они национальный и международный опыт (проводимый международными организациями, такими как ОЭСР, ЕС, Всемирный банк), а также внутренний (проводимый правительственными учреждениями) и внешний опыт (частными консультантами, университетами, аналитическими центрами и

т.д.). В контексте нашей концептуализации «системно-ориентированных оценок инновационной политики» этот признак особенно актуален в связи с широко распространенными компетенциями, необходимыми для проведения различных элементов оценок и для решения сложных задач, связанных с проведением содержательного обзора.

Методология исследования и данные. Стратегия поиска данных в нашем исследовании заключалась в использовании последовательного повторного поиска для сбора различных типов данных в качестве средства получения надежных эмпирических данных. Во-первых, мы использовали в общей сложности 62 полуструктурированных интервью, имеющихся в открытом доступе по всем странам ЕС: 52 с представительными экспертами и 10 с академическими/независимыми исследователями. Все используемые интервью были проведены в период с января 2016 г. по июнь 2017 г., и по меньшей мере 2 интервью в каждой стране ЕС. Второй набор данных, использованных в настоящем исследовании, был взят из источников Обсерватории исследований и инноваций (научной и инновационной обсерватории) и Репозитория оценок научной и инновационной политики).

Следующим этапом исследования было присвоение конкретных значений атрибутам каждой страны (табл. 2). Мы присвоили баллы 0, 1 или 2 в зависимости от интенсивности данных, описанных ранее (см. табл. 1). Что касается присвоения значений, то важно отметить два методологических вопроса. Во-первых, создание аналитической концептуальной основы, нацеленной на использование в эмпирическом контексте, требует того или иного способа присвоения значений эмпирическим данным. Присвоение значения может быть осуществлено качественно (качественный анализ случаев с углубленным богатым описанием, связывающий описательные эмпирические данные с атрибутами понятия) или количественно (то же самое можно сделать, присвоив количественные значения каждому атрибуту исследуемых эмпирических случаев). Каждый метод имеет свои плюсы и минусы: качественный обеспечивает очень богатый и углубленный анализ в каждом конкретном случае, который подходит для нескольких случаев; количественный метод обеспечивает лучший обзор и общее указание общих тенденций, что подходит для больших значений. В нашем исследовании мы выбрали количественный подход к присвоению значений для эмпирического анализа, поскольку у нас есть относительно большая выборка случаев (все государства-члены ЕС). Это позволит нам поддерживать анализ на таком уровне, чтобы мы могли осмысленно сравнивать изучаемые страны.

Во-вторых, мы присваиваем порядковые значения 0, 1 или 2 в соответствии с показателями страны по каждому из четырех атрибутов. Такое упорядочение полезно, поскольку оно обеспечивает концептуально надежный обзор практики оценки в странах ЕС, позволяя проводить межстрано-вой сравнительный анализ.

Эмпирический анализ

В данном разделе представлены эмпирические данные о том, как страны ЕС организуют свою практику оценки инновационной политики. Мы также рассматриваем результаты по каждому из четырех атрибутов. После этого будут представлены результаты межстранового сравнительного анализа.

Охват. Степень охвата этих трех элементов оценки в странах ЕС весьма разнообразна. Что касается оценки инструментов политики, то мы разделили страны на три категории: страны, в которых оцениваются все инструменты политики; страны, в которых оцениваются лишь некоторые инструменты политики; и страны, в которых оцениваются (или просто контролируются, а не оцениваются как таковые) лишь немногие инструменты политики. В первой категории мы имеем такие страны, как Австрия, Бельгия, Дания, Финляндия, Франция, Германия, Ирландия, Нидерланды, Швеция и Соединенное Королевство. В этих странах наблюдается сильная тенденция к оценке каждой программы, и поэтому мы присваиваем им 2 балла (см. табл. 2). Некоторые из этих стран имеют жесткие структуры для проведения оценок, основанные на правовых или квазиправовых актах. Например, в Нидерландах оценки программ привязаны к общим бюджетным рамкам, где каждый инструмент должен быть оценен. В других странах нет конкретного юридического обязательства оценивать каждую программу, но у них есть сильная культура оценки. Например, в Австрии или Великобритании существует сильная традиция оценки всех программ инновационной политики или так называемое «общее ожидание», что все программы должны быть оценены.

Таблица 2. Баллы, связанные с четырьмя атрибутами, определяющими системно-ориентированную оценку инновационной политики

Охват

Оценка Темпо-

Страна Оценка инструментов политики Оценка смешанной политики социально-экономической эффективности Системная перспектива раль-ность (временной характер) Экспертиза (внутренняя/ внешняя) Итоговое значение

Австрия 2 2 1 2 2 2 11

Бельгия 2 1 1 1 1 2 8

Болгария 0 0 0 1 0 1 2

Хорватия 0 0 0 1 0 1 2

Кипр 0 0 0 0 0 0 0

Чешская 0 0 1 1 0 1 3

Республика

Дания 2 2 1 1 1 2 9

Эстония 1 1 1 1 1 2 7

Финляндия 2 2 1 2 2 2 11

Франция 2 1 1 2 1 2 9

Охват

Оценка Темпо-

Страна Оценка инструментов политики Оценка смешанной политики социально-экономической эффективности Системная перспектива раль-ность (временной характер) Экспертиза (внутренняя / внешняя) Итоговое значение

Германия 2 1 2 2 2 1 10

Греция 0 0 0 0 0 0 0

Венгрия 1 0 0 1 1 1 4

Ирландия 2 2 2 2 2 1 11

Италия 1 0 0 0 0 0 1

Латвия 1 0 1 1 1 1 5

Литва 1 0 1 2 1 2 7

Люксембург 0 0 0 1 0 1 2

Мальта 0 0 0 0 0 0 0

Польша 1 1 1 2 1 2 8

Португалия 1 0 1 0 0 1 3

Румыния 0 0 1 0 0 1 2

Словакия 0 0 1 0 0 0 1

Словения 1 0 1 2 1 2 7

Испания 1 0 1 1 1 1 5

Швеция 2 1 2 2 2 2 11

Нидерланды 2 2 2 2 2 2 12

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

Соединенное 2 1 1 1 2 1 8

Королевство

Другая группа имеет менее развитые традиции и меньше правовых требований для оценки программ, однако эти страны по-прежнему проводят значительную оценку инструментов инновационной политики. К таким странам относятся Венгрия, Испания, Италия, Латвия, Литва, Польша, Португалия, Словения и Эстония (оценка 1 в табл. 2). Многие из этих стран оценивают воздействие своих инструментов инновационной политики в соответствии с правилами структурных фондов ЕС. Хотя «правила ЕС» предписывают лишь некоторые минимальные требования в отношении строгости оценок, страны этой группы разработали подходы, которые превышают эти минимальные требования.

Наконец, странами, в отношении которых имеется очень мало свидетельств проведения оценок инструментов инновационной политики (т.е. получивших 0 баллов в табл. 2), являются Болгария, Греция, Кипр, Люксембург, Мальта, Румыния, Словакия, Хорватия и Чешская Республика. Эти страны, как правило, прибегают либо к абсолютному минимуму, требуемому правилами структурного фонда ЕС, либо их практика ближе к описательному мониторингу, чем к реальным оценкам.

В качестве второго элемента атрибута охвата мы рассматриваем оценки смешанной инновационной политики. Концепция смешанной политики стала популярной в литературе по инновационной политике как результат

новых комбинаций регуляторных решений и расширения и углубления инновационной политики. В целом следует признать, что оценка смешанной инновационной политики на практике является сложной задачей. Трудности возникают скорее в связи с вопросами координации и управления, чем в связи с конкретными техническими вопросами. Как таковая одна из главных задач смешанной инновационной политики - выйти за пределы стандартных оценок воздействия, поиск оптимальных стратегий и расширение инструментов для оптимального сочетания политики. По мнению большинства экспертов [37], оптимальное сочетание регуляторных мер является труднодостижимым именно потому, что оно зависит от динамичного институционального контекста, в котором проводится инновационная политика.

В последние годы в целом возросло внимание, уделяемое концепции смешанной политики. Это проявляется в так называемом «третьем поколении» теорий разработки инновационной политики [30]. Этот интерес довольно быстро передается регуляторным органам, по крайней мере на поверхностном уровне, о чем свидетельствует все более широкое использование термина «комплекс мер политики» в регламентирующих документах. В частности, Европейская комиссия в своей Стратегии по исследованиям и инновационным достижениям самоуправляемой специализации [28, с. 864-873], например, дает явное определение смешанной политики в качестве одного из шести шагов на пути к умной стратегии специализации, и это позволило данной терминологии получить широкое распространение в литературе по инновационной политике.

Наши данные показывают, что смешанные оценки инновационной политики, будучи относительно новым явлением, не так широко распространены, как оценки инструментов политики. Мы определили три группы стран по уровню сочетания оценок. Во-первых, есть страны, которые провели оценки дополнительного характера и (или) взаимодополняемости своих подходов. Во-вторых, некоторые страны рассматривают вопрос о взаимодействии в области инновационной политики в меньших масштабах, зачастую в рамках других видов оценок. Хотя эти страны не применяют оценки смешанной политики в чистом виде, они занимаются вопросами, касающимися смешанной политики, и поэтому такие усилия следует признать. В-третьих, есть страны, в которых очень слабы или вообще отсутствуют признаки проведения оценок смешанной политики.

В первой группе мы находим Австрию, Данию, Финляндию, Ирландию и Нидерланды. Например, в Дании датское агентство по науке, технологиям и инновациям заказало проведение двух исследований для оценки воздействия и взаимодействия различных программ на результаты деятельности компаний [19]. В Финляндии различные мета-анализы объединяются вместе, чтобы получить представление об эффективности смешанной политики. В Ирландии анализ комплекса мер политики является неотъемлемой частью их всеобъемлющей программы оценок [20]. В Нидерландах был проведен анализ комплекса мер политики для оценки взаимодействия

между инструментами в рамках так называемой «политики высшего звена» - стратегической инициативы, выдвинутой правительством Нидерландов и направленной на повышение конкурентоспособности приоритетных секторов на основе сочетания мер политики.

Вторая группа состоит из стран, в которых мы обнаружили некоторые признаки смешанной политики. Это Бельгия, Эстония, Франция, Германия, Польша, Швеция, Соединенное Королевство. Например, инновационное агентство развития предпринимательства проводит полугодовые оценки последствий своей политики, решения и эффекты дополнительности политики.

К третьей группе стран, которые, как представляется, не оценивают интерактивные последствия своих политических подходов, относятся Болгария, Венгрия, Греция, Испания, Италия, Кипр, Латвия, Литва, Люксембург, Мальта, Португалия, Румыния, Словакия, Словения, Хорватия и Чешская Республика.

Системная перспектива. Что касается результатов, в которых рассматривается системная перспектива, то наши данные показывают, что подавляющее большинство государств-членов ЕС признает важность уде-ления внимания эффективности инновационной политики и системы инноваций. Однако уровень внимания к этим вопросам в разных странах неодинаков. После приведенных выше трехмасштабных измерений в первой группе мы обнаружили следующие страны: Австрию, Финляндию, Францию, Германию, Ирландию, Литву, Нидерланды, Польшу, Словению и Швецию. Во всех этих странах был подготовлен один или несколько отчетов, в которых подробно анализировалась эффективность политики с экономической точки зрения в отношении инновационной деятельности. Примером последнего является австрийская «системная оценка», проводимая Консорциумом научно-исследовательских институтов. Он сочетает в себе анализ австрийской инновационной политики с анализом австрийских показателей роста производительности и инноваций, ее внешней конкурентоспособности и инновационной деятельности компаний [10]. Аналогичным образом германская комиссия экспертов по научным исследованиям и инновациям провела обстоятельный анализ вопросов, таких как ограниченная цифровизация и предпринимательство в германской инновационной системе и ее политике.

В промежуточную группу вышли страны, которые имеют связь с системной перспективой, уделяя особое внимание оценке политического аспекта, но в меньшей степени его связи с инновационной деятельностью страны. Здесь мы находим Бельгию, Болгарию, Хорватию, Чешскую Республику, Данию, Эстонию, Германию, Венгрию, Латвию, Испанию, Люксембург и Соединенное Королевство. В большинстве этих стран Европейская комиссия содействовала проведению коллегиального обзора, при этом основное внимание уделяется эффективности политики, а не ее связи с эффективностью инновационной системы. Следует при этом отметить, что хотя Соединенное Королевство является активным участником в области «охвата» и в области смешанной политики и экономических оценок; оно, как представля-

ется, не в полной мере использует этот потенциал, поскольку располагает ограниченным числом докладов, в которых действительно рассматривается системная перспектива. Возможно, сам размер ее экономики и ее сложная инновационная система представляют собой проблему в этих условиях.

И наконец, последняя группа стран, не имеющих значимых связей с системной перспективой, а именно Греция, Италия, Кипр, Мальта, Португалия, Румыния и Словакия. Эти страны не принимали участия ни в одном из экспертных обзоров, проводимых при содействии Европейской комиссии, ОЭСР или какой-либо другой международной организации, и мы не нашли никаких других доказательств этой связи.

Временный характер (темпоральность). При анализе следующего признака - темпоральности - применяется приведенная выше классификация стран по трем основным группам в соответствии с анализированными данными. Во-первых, у нас есть страны с высокой степенью темпорально-сти, где довольно часто и регулярно проводятся различного рода оценки. Во-вторых, у нас есть страны со средней степенью темпоральности, где одни виды оценок проводятся часто, а другие - гораздо реже. Наконец, у нас есть страны с низкой степенью регулярности. В первой группе стран мы находим Австрию, Финляндию, Германию, Ирландию, Нидерланды, Великобританию и Швецию. В этих странах высокая регулярность оценочной деятельности, причем различные элементы инновационной системы оцениваются часто и последовательно. Во второй группе - Бельгия, Дания, Эстония, Франция, Венгрия, Латвия, Литва, Польша, Словения и Испания. Эти страны демонстрируют средний уровень темпоральности, это означает, что их практика оценки является очень частой в одних аспектах, но менее частой в других. В третьей группе мы имеем такие страны, как Хорватия, Чешская Республика, Кипр, Греция, Италия, Люксембург, Мальта, Португалия, Румыния и Словакия. В этих странах общий уровень темпоральности низок, оценки проводятся редко.

Экспертиза. В качестве четвертого признака мы рассматриваем разнообразие экспертных знаний, используемых при системно-ориентированных оценках инновационной политики. В частности, мы рассматриваем степень, в которой государства-члены ЕС объединяют национальные и международные, внутренние (министерские / государственные) и внешние (например, частные консультационные компании, университеты, аналитические центры) экспертные знания при оценке своей политики в области инноваций. Мы оцениваем значение стран в соответствии с разнообразием этого опыта. Во-первых, существуют страны, которые используют диверсифицированный опыт, в которых этот опыт является как внутренним, так и внешним по отношению к национальным правительственным органам и где международный опыт используется при оценке инновационной политики. Во-вторых, у нас есть страны с менее дифференцированной экспертизой в области оценки, где присутствуют только две из перечисленных выше баз экспертизы. Наконец, мы находим страны, в которых приводится только одна из упомянутых основ экспертных знаний.

В первой группе мы имеем Австрию, Бельгию, Данию, Эстонию, Финляндию, Францию, Литву, Нидерланды, Польшу, Словению и Швецию. Эти страны используют в своих оценках все три экспертные оценки. Например, Финляндия обладает мощным потенциалом в области оценки в своем инновационном агентстве TEKES и Государственном научно-исследовательском учреждении VTT, а также активно использует внешних консультантов и академические учреждения. Кроме того, она провела два международных обзора: обзор инноваций ОЭСР [44] и более ранний международный обзор [43]. В качестве двух других примеров можно привести такие страны как Литва и Польша, которые продемонстрировали использование различных методов оценки своей инновационной политики. Литва также провела обзор инноваций ОЭСР [43] и обзор CREST [12], в то время как правительственный аналитический центр MOSTA, а также эксперты по оценке частного сектора, внесли значительный вклад в ее оценочную деятельность. В Польше - польское агентство по развитию предпринимательства (ПАРП) использует внутренние ресурсы, а также внешних экспертов для оценки инновационной политики. В международном аспекте Всемирный банк провел стратегический обзор польской инновационной системы [33].

Во вторую группу входят Болгария, Венгрия, Германия, Ирландия, Испания, Латвия, Люксембург, Португалия, Румыния, Соединенное Королевство, Хорватия и Чешская Республика. Они используют более ограниченный спектр знаний, сочетая внутренний/внешний с государственным. Например, Германия, Ирландия и Соединенное Королевство, как правило, применяют сложную систему оценок, однако все три страны используют почти исключительно национальный опыт для оценки своей инновационной политики.

В третьей группе мы находим Кипр, Грецию, Италию, Мальту и Словакию. В этих странах в целом отмечается низкий уровень оценочной деятельности, и они, как правило, используют лишь одну базу экспертных знаний для проведения своих немногочисленных оценок.

Выводы

В нашем исследовании представлены новые эмпирические данные о недостаточно изученном явлении в исследованиях в области инновационной политики и оценки, а именно о прикладном характере «системных оценок инновационной политики». Мы концептуализировали этот термин, определяя его четыре составляющих атрибута, которые затем были опера-ционализированы и измерены. Результаты показывают, что только 6 из 28 стран ЕС разработали практику системной оценки инновационной политики (Нидерланды, Австрия, Финляндия, Германия, Ирландия и Швеция). Эти страны с большой интенсивностью выполняют четыре атрибута, которые определяют системноориентированную оценку инновационной политики. Это широкий охват оценок, а также анализ системных взаимосвязей между результатами осуществления инновационной политики и

социально-экономическими показателями и высокий уровень регулярности (темпоральности) этих оценок.

Наши выводы также указывают на ряд весьма актуальных вопросов для дальнейшего исследования. Наиболее очевидные эмпирические вопросы связаны с тем, как и в какой степени используются системные оценки инновационной политики. Иными словами, являются ли они трансформирующими в смысле стимулирования соответствующих процессов обучения при разработке инновационной политики? Каким образом данные, полученные в ходе системных оценок инновационной политики, используются в качестве источника для изучения инновационной политики?

В целом, подводя итоговую оценку сравнительного анализа в нашем исследовании, можно свидетельствовать о том, что организационный потенциал или взаимодополняющие активы экономик России в частности и БРИКС в целом по-прежнему существенно низки по сравнению со странами Европейского союза. Новизна нашего исследования заключается не только в описании тенденций и ранжировании стран Европейского союза и БРИКС, но и в более глубоком понимании профилей их структуры инновационной системы, что, в свою очередь, может помочь нам понять перспективы их долгосрочного роста.

Что же касается отдельной российской проблематики, то в целом можно сформулировать, что главными препятствиями ее эффективной инновационной политики являются несистематичность, непоследовательность и фрагментарность. И здесь, на наш взгляд, необходимо обратить особое внимание на повышение качества методологических инструментов оценки качества инновационной политики. Одним из путей решения данного вопроса, мы считаем, является скорейшее широкое внедрение и развитие концепции смешанной политики как одного из наиболее эффективных инструментов оценки инновационной политики.

Литература

1. Абалкин Л.И. Возвращение в политическую экономию // Эко. 2009. № 1. С. 142-152.

2. Гохберг Л.М. (ред.) Прогноз научно-технологического развития Российской Федерации: 2030. М. : Министерство образования и науки Российской Федерации; Национальный исследовательский университет «Высшая школа экономики», 2014.

3. Идрисов Г.И., Княгинин В.Н., Кудрин А.Л., Рожкова Е.С. Новая технологическая революция: вызовы и возможности для России // Вопросы экономики. 2018. № 4. С. 5-25.

4. Леонтьев В. Избранные произведения : в 3 т. / науч. ред., вступ. статья А.Г. Гранберга. М. : Экономика, 2006-2007.

5. Маркс К. Капитал : Критика политической экономики. Т. 1, кн. 1: Процесс производства капитала. М. : Политиздат, 1988. 891 с.

6. Матризаев Б.Д. Макростратегии инновационного развития и глобальный экономический рост: Макроэкономический анализ, тренды, прогнозы. М. : URSS, 2018. 256 с.

7. Матризаев Б.Д. Глобальное инновационное лидерство: макроконтуры и моделирование его концептуальной основы // Муниципальная академия. 2018. № 1. С. 85-91.

8. Медведев Д.А. Россия-2024: Стратегия социально-экономического развития // Вопросы экономики. 2018. № 10. С. 5-28.

9. Яковец Ю.В. Глобальные экономические трансформации XXI века. М., 2011.

10. Aiginger, K., Falk, R., Reinstaller A., 2009. Evaluation of Government Funding in RTDI From a Systems Perspective in Austria: Synthesis Report [reaching Out to the Future Needs Radical Change; Towards a New Policy for Innovation, Science and Technology in Austria: the Summary Report Is Based on Nine Special Reports]. WIFO, 56-76.

11. Aranguren, M.J., Magro, E., Wilson, J.R., 2017. Regional competitiveness policy evaluation as a transformative process: from theory to practice. Environ. Plan. C: Politics Space 35, 703-720.

12. Arnold, E., 2004. Evaluating research and innovation policy: a systems world needs systems evaluations. Res. Eval. 13, 3-17.

13. Borras, S., 2011. Policy learning and organizational capacities in innovation policies. Sci. Public Policy 38, 725-734.

14. Borras, S., Hejlund, S., 2015. Evaluation and policy learning: the learners' perspective. Eur. J. Polit. Res. 54, 99-120.

15. Collier, D., Laporte, J., Seawright, J., 2008. Typologies: forming concepts and creating categorical variables. In: Box-Steffensmeier, J., Brady, H.E., Collier, D. (Eds.), The Oxford Handbook of Political Methodology. Oxford University Press, Oxford, pp. 152-173.

16. Cunningham, Pea., 2007. Policy Mix Peer Reviews: Country Report. United Kingdom. a Report of the CREST Policy Mix Expert Group, Brussels.

17. Cunningham, P., Edler, J., Flanagan, K., Larédo, P., 2016. The innovation policy mix. In: Edler, J., Cunningham, P., Gok, A., Shapira, P. (eds.), Handbook of Innovation Policy Impact. Edward Elgar, Cheltenham.

18. Dahler-Larsen, P., 2012. The Evaluation Society. Stanford University Press, Stanford, CA. Daly, M., Christensen, M.L., 2016. The Effect of Multiple Participations in the Danish Innovation and Research Support System. Centre for Economic Business Research (CEBR), Copenhagen, 100-150.

19. DASTI, 2014. The Short-run Impact on Total Factor Productivity Growth of the Danish Innovation and Research Support System, Research and Innovation: Analysis and Evaluation No. 2. Copenhagen, 67-87.

20. Department_of_Jobs, Ea.I., 2015. Evaluation of Enterprise Supports for Enterprise: Synthesis Report and Conclusions. Dublin, 77-79.

21. Edler, J., 2007. Policy Mix Peer Reviews: Country Report. Lithuania, a Report of the CREST Policy Mix Expert Group, Brussels.

22. Edler, J., Ebserberger, B., Lo, V., 2008. Improving policy understanding by means of secondary evaluation. R&D Eval. 17, 175-186.

23. Edler, J., Berger, M., Dinges, M., Gok, A., 2012. The practice of evaluation in innovation policy in Europe. Res. Eval. 21, 167-182.

24. Edquist, C., 2005. Systems of innovation. Perspectives and challenges. In: Fagerberg, J., Mowery, D.C., Nelson, R.R. (Eds.), The Oxford Handbook of Innovation. Oxford University Press, Oxford.

25. EFI, 2017. Report on Research, Innovation and Technological Performance in Germany 2017. EFI, Berlin.

26. Feller, I., 2007. Mapping the frontiers of evaluation of public-sector R&D programs. Sci. Public Policy 34, 681-690.

27. Flanagan, K., Uyarra, E., Laranja, M., 2011. Reconceptualising the' policy mix' for in-novation. Res. Policy 40, 702-713.

28. Foray, D., Goddard, J., Goenaga, X., Landabaso, M., McCann, P., Morgan, K., Nau-welaers, C., Ortega-Argilés, R., 2012. Guide to Research and Innovation Strategies for Smart Specialisations (RIS3). European Commission, Brussels, 864-873.

29. Goertz, G., 2006. Social Science Concepts. A User's Guide. Princeton University Press, Research Policy 48 (2019) 312-321, Princeton.

30. Hage, J., Jordan, G., Mote, J., 2007. A theory-based innovation systems framework for evaluating diverse portfolios of research, part two: macro indicators and policy interventions. Sci. Public Policy 34, 731-741.

31. Howlett, M., Rayner, J., 2007. Design principles for policy mixes: cohesion and coherence in 'new governance arrangements'. Policy Soc. 26 (4), 1-18.

32. Jordan, G.B., Hage, J., Mote, J., 2008. A theories-based systemic framework for evalu-ating diverse portfolios of scientific work, part 1: micro and meso indicators. New Dir. Eval. 2008, 7-24.

33. Kapil, N., 2013. Poland - Enterprise Innovation Support Review: From Catching up to Moving Ahead. World Bank, Washington DC, 11-18.

34. Koenraad, D., Veugelers, R., 2015. In: Overheid, V. (ed.), Vlaams Indicatorenboek, Brussels.

35. Kuhlmann, S., Boekholt, P., Georghiou, L., Guy, K., Heraud, J.-A., Laredo, P., Lemola, T., Loveridge, D., Luukkonen, T., Moniz, A., Polt, W., Rip, A., Sanz-Menendez, L., Smits, R.E., 1999. Improving Distributed Intelligence in Complex Innovation Systems, Munich Personal RePEc Archive.

36. Kuhlmann, S., Shapira, P., Smits, R.E., 2010. Introduction. A systemic perspective: the innovation policy dance. In: Smits, R.E., Kuhlmann, S., Shapira, P. (Eds.), The Theory and Practice of Innovation Policy. An International Research Handbook. Edward Elgar, Cheltenham, pp. 1-22.

37. Lundvall, B.-A., 1992. National Systems of Innovation: Towards a Theory of Innovation and Interactive Learning. Pinter, London, 66-78.

38. Magro, E., Wilson, J.R., 2013. Complex innovation policy systems: towards an evaluation mix. Res. Policy 42, 1647-1656.

39. Magro, E., Wilson, J.R., 2015. Evaluating territorial strategies. In: Valdaliso, J.M., Wilson, J.R. (Eds.), Strategies for Shaping Territorial Competitiveness. Routledge, Abingdon, UK and New York, USA, 344-378.

40. Martin, B.R., Nightingale, P., Yegros-Yegros, A., 2012. Science and technology stud-ies:exploring the knowledge base. Res. Policy 41, 1182-1204.

41. Molas-Gallart, J., Davies, A., 2006. Toward theory-led evaluation: the experience of European science, technology, and innovation policies. Am. J. Eval. 27, 64-82.

42. Nelson, R.R., 1993. National Innovation Systems: A Comparative Analysis. Oxford Univ. Press, New York.

43. OECD, 2016. OECD Reviews of Innovation Policy: Lithuania 2016. OECD, Paris, 25-28.

44. OECD, 2017. OECD Reviews of Innovation Policy: Finland 2017. OECD, Paris, 3033.

45. Office_of_the_Government_of_the_Czech_Republic, 2013. Methodology of Evaluation of Research Organizations and Evaluation of Finished Programmes (Valid for Years 2013-2015). Prague.

46. Sanderson, I., 2002. Evaluation, policy learning and evidence-based policy making. Public Adm. 80, 1-22.

47. Sartori, G., 1970. Concept misformation in comparative politics. Am. Polit. Sci. Rev. 64, 1033-1053.

48. Smits, R., Kuhlmann, S., 2004. The rise of systemic instruments in innovation policy. Int. J. Foresight Innov. Policy 1, 4-32.

49. Swedberg, R., 2012. Theorizing in sociology and social sciences: turning to the context of discovery. Theory Soc. 41, 1-40.

Matrizaev B.J., Financial University under the Government of the Russian Federation (Mos-kow, Russian Federation). E-mail: [email protected]

ON SOME CONCEPTUAL BASES AND APPROACHES TO THE EVALUATION OF INNOVATION POLICY: THEORETICO-METHODOLOGICAL ANALYSIS AND EMPIRICAL RESEARCH

Keywords: innovation policy, evaluation of innovation policy, evaluation models, coverage, system perspective, time character, expertise.

DOI: 10.17223/19988648/45/3

The article discusses the conceptual framework and theoretical approaches to the evaluation of innovation policy in modern conditions. In particular, on the basis of empirical research, the author attempts to identify signs confirming whether the European countries organize and evaluate the innovation policy of a systematic approach, and if so, what characterizes them. The paper also provides a comparative analysis of conceptual models that attempt to explain the relationship between scientific and technological research and market opportunities for innovation. This comparative analysis is based on a multi-level model of innovation policy evaluation.

This study also provides empirical evidence on how European Union countries organize their innovation policy assessment practices. The empirical evaluation is based on four attributes proposed by the author, which determine the ideal model of innovation policy evaluation.

At the same time, the study presents a comparative analysis of Russia in the context of the BRICS countries, and on the basis of this analysis, an empirical generalization is carried out indicating that these countries do not have enough organizational and complementary capabilities to match the scale of innovative advantages observed in countries with high per capita income.

This study is an attempt to develop and apply a new conceptual framework for macro-strategic planning of innovative development of Russia and can contribute to the development of effective criteria for assessing its sustainable innovative growth in modern conditions.

References

1. Abalkin, L.I. Vozvrashchenie v politicheskuyu ehkonomiyu // EHko. 2009. № 1. S. 142-152.

2. Gohberg, L. M. (red.) (2014). Prognoz nauchno-tekhnologicheskogo razvitiya Ros-sijskoj Federacii: 2030 M.: Ministerstvo obrazovaniya i nauki Rossijskoj Federacii; Nacion-al'nyj issledovatel'skij universitet «Vysshaya shkola ehkonomiki».

3. Idrisov, G.I., Knyaginin, V.N., Kudrin, A.L., Rozhkova, E.S. Novaya tekhnolog-icheskaya revolyuciya: vyzovy i vozmozhnosti dlya Rossii. Voprosy ehkonomiki. 2018. № 4. str. 5-25.

4. Leont'ev, V. Izbrannye proizvedeniya: v 3 t. / Nauch. red., vstup. stat'ya A. G. Granberga. M.: EHkonomika, 2006-2007.

5. Marks, K. Kapital : Kritika politicheskoj ehkonomiki. T. 1, Kn. 1. Process proizvodstva kapitala / ; In-t marksizma-leninizma pri CK KPSS. M. : Politizdat, 1988. 891s.

6. Matrizaev B.D. Makrostrategii innovacionnogo razvitiya i global'nyj ehkonomicheskij rost: Makroehkonomicheskij analiz, trendy, prognozy. M.: URSS, 2018. 256 s.

7. Matrizaev B.D. Global'noe innovacionnoe liderstvo: makrokontury i modelirovanie ego konceptual'noj osnovy // Municipal'naya akademiya, 2018. № 1. S. 85-91.

8. Medvedev D.A. Rossiya-2024: Strategiya social'no- ehkonomicheskogo razvitiya. Voprosy ehkonomiki. 2018. № 10. str. 5-28.

9. YAkovec YU.V. Global'nye ehkonomicheskie transformacii XXI veka. Izdatel'stvo «EHkonomika», 2011

10. Aiginger, K., Falk, R., Reinstaller, A., 2009. Evaluation of Government Funding in RTDI From a Systems Perspective in Austria: Synthesis Report [reaching Out to the Future Needs Radical Change; Towards a New Policy for Innovation, Science and Technology in Austria: the Summary Report Is Based on Nine Special Reports]. WIFO, 56-76.

11. Aranguren, M.J., Magro, E., Wilson, J.R., 2017. Regional competitiveness policy evaluation as a transformative process: from theory to practice. Environ. Plan. C: Politics Space 35, 703-720.

12. Arnold, E., 2004. Evaluating research and innovation policy: a systems world needs systems evaluations. Res. Eval. 13, 3-17.

13. Borras, S., 2011. Policy learning and organizational capacities in innovation policies. Sci. Public Policy 38, 725-734.

14. Borras, S., Hejlund, S., 2015. Evaluation and policy learning: the learners' perspective. Eur. J. Polit. Res. 54, 99-120.

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

15. Collier, D., Laporte, J., Seawright, J., 2008. Typologies: forming concepts and creating categorical variables. In: Box-Steffensmeier, J., Brady, H.E., Collier, D. (Eds.), The Oxford Handbook of Political Methodology. Oxford University Press, Oxford, pp. 152-173.

16. Cunningham, Pea., 2007. Policy Mix Peer Reviews: Country Report. United Kingdom. a Report of the CREST Policy Mix Expert Group, Brussels.

17. Cunningham, P., Edler, J., Flanagan, K., Laredo, P., 2016. The innovation policy mix. In: Edler, J., Cunningham, P., Gok, A., Shapira, P. (Eds.), Handbook of Innovation Policy Impact. Edward Elgar, Cheltenham.