CC BY
305
pISSN 2073-1477 Инновации и инвестиции
eISSN 2311-8733
СОВРЕМЕННЫЕ МЕТОДЫ ОЦЕНКИ ЭФФЕКТИВНОСТИ ГОСУДАРСТВЕННОЙ ПОДДЕРЖКИ ИННОВАЦИОННОЙ ДЕЯТЕЛЬНОСТИ В РЕГИОНЕ
Надежда Тимофеевна АВРАМЧИКОВА3', Дмитрий Олегович ВОЛКОВь
а доктор экономических наук, профессор кафедры финансов и кредита,
Сибирский государственный университет науки и технологий имени академика М.Ф. Решетнева,
Красноярск, Российская Федерация
avr-777@yandex.ru
ORCID: отсутствует
SPIN-код: 7209-4268
ь аспирант кафедры финансов и кредита,
Сибирский государственный университет науки и технологий имени академика М.Ф. Решетнева,
Красноярск, Российская Федерация
volkov.do@mail.ru
ORCID: отсутствует
SPIN-код: отсутствует
' Ответственный автор
История статьи: Аннотация
Получена 14.12.2017 Предмет. Рассмотрены современные методы оценки эффективности государственной
Получена в доработанном поддержки инновационной деятельности, широко применяемые на региональном виде 15.01.2018 уровне при оценке эффективности использования бюджетных средств, выделенных
Одобрена 22.01.2018 на конкурсной основе для поддержки различных проектов.
Доступна онлайн 13.04.2018 Цели. Выявление проблем, связанных с оценкой эффективности государственной
поддержки инновационной деятельности на региональном уровне. Выработка УДК 332.146.2 качественно новой стратегии, предполагающей экспертную оценку государственной
JEL: Н81, N90, 038, R53 поддержки, учитывающей мнение получателей государственной поддержки и
квалифицированных экспертов.
Методология. Использовались методы логического и статистического анализа. Результаты. Сформулировано новое определение экспертной оценки: «Метод организации работы по определению эффективности государственной поддержки инновационной деятельности коллективом квалифицированных экспертов на основе проведенного опроса субъектов инновационной деятельности, полученных Ключевые слова: статистических, аналитических и отчетных данных с целью последующего принятия
государственная поддержка, эффективных управленческих решений в условиях неустойчивости современной инновационная экономической и политической системы».
деятельность, метод Выводы. Применение предлагаемого метода экспертных оценок позволит повысить
экспертных оценок, обоснованность решений, учесть многочисленные факторы, оказывающие влияние
механизм государственного на результативность механизмов поддержки, и выявить существующие взаимосвязи управления, оценка между эффективной государственной поддержкой и повышением инновационной
эффективности активности в стране.
© Издательский дом ФИНАНСЫ и КРЕДИТ, 2017
Для цитирования: Аврамчикова Н.Т., Волков Д.О. Современные методы оценки эффективности государственной поддержки инновационной деятельности в регионе // Региональная экономика: теория и практика. - 2018. - Т. 16, № 4. - С. 724 - 742. https://doi.Org/10.24891/re.16.4.724
Введение
Научно-технический прогресс способствует активному созданию и внедрению инноваций, повышает конкурентоспособность отдельных
организационно-правовых структур и народного хозяйства в целом, а также положительно влияет на темпы роста национальной экономики. Однако достижение высоких темпов инновационного развития
может быть обеспечено лишь при непосредственном участии государства, задачей которого является не только создание необходимых хозяйственных, финансово-кредитных и организационно-правовых условий для развития инновационной деятельности, но и выработка и реализация инновационной стратегии, направленной на консолидацию усилий государства, науки и бизнеса для наиболее эффективного использования инновационного потенциала хозяйствующих субъектов [1].
Реализуемые в настоящее время в стране механизмы управления процессами государственной поддержки инновационной деятельности характеризуются формальным и бессистемным подходом со стороны органов власти, отсутствием учета причинно-следственных связей, несоответствием целей ожидаемым результатам от предоставленных мер поддержки, слабым взаимодействием субъектов инновационной деятельности и неспособностью принимать правильные решения в динамично изменяющихся экономических условиях. Все эти факторы приводят к необходимости совершенствования структуры рыночных институтов, отвечающей требованиям современной экономики, и формирования нового, более гибкого механизма планирования и оценки эффективности государственной поддержки инновационной деятельности1.
Современные методы оценки эффективности государственной поддержки инновационной деятельности
Процесс создания инноваций подразделяется на несколько этапов и зависит прежде всего от знаний, навыков и квалификации людей, однако и государство играет значительную роль, которая заключается, прежде всего, в формировании действенных механизмов поддержки и стимулирования инновационной активности, регулировании инновационных процессов, создании благоприятного климата и предоставлении огромного спектра социальных благ для ученых
1 Анчишкин А.И. Наука, техника, экономика. М.: Экономика, 1989, 386 с.
и предпринимателей. Все эти меры способствует развитию экономики, формируя сильную научно-техническую базу за счет реализации имеющегося научного потенциала, и создают дополнительные стимулы для субъектов инновационной деятельности2.
В условиях динамично развивающихся экономических отношений, санкций со стороны США и Европейского союза, а также ограниченности бюджетных ресурсов особую актуальность приобретает совершенствование механизма управления и оценки эффективности государственной поддержки инновационной деятельности.
В настоящее время применяется несколько основных методов оценки эффективности государственной поддержки инновационной деятельности.
Оценка экономической эффективности инвестиционных проектов, поддержанных государством сводится к стандартной процедуре оценки экономической
эффективности инвестиционных проектов. При данном подходе проект считается экономически эффективным, если он удовлетворяет следующим критериям: дешевизна проекта; минимизация риска инфляционных потерь; краткость срока окупаемости; стабильность или концентрация поступлений; высокая рентабельность как таковая и после дисконтирования; отсутствие более выгодных альтернатив [2]. Соответственно, и государственная поддержка в этом случае считается эффективной.
Однако инновационная деятельность характеризуется высоким уровнем
неопределенности и динамики всех факторов, определяющих ее результаты, именно поэтому оценка эффективности государственного финансирования инновационного проекта не должна быть тождественна оценке эффективности инвестиционного проекта [3].
2 Charmes J., Gault F., Wunsch-Vincent S. Formulating an Agenda for the Measurement of Innovation in the Informal Economy. URL:
https://www.researchgate.net/publication/274389809_FORMULA TING_AN_AGENDA_FOR_THE_MEASUREMENT_OF_INN OVATION IN THE INFORMAL ECONOMY
Сущность такого метода, как анализ показателей результативности государственных программ и проектов, заключается в анализе показателей результативности расходования бюджетных средств, выделенных как в рамках отдельно взятых проектов, так и в рамках реализации мероприятий государственных программ. Из множества показателей, применяемых при данном подходе, основными являются:
- количество вновь созданных высокопроизводительных рабочих мест;
- объем налоговых поступлений в бюджеты бюджетной системы Российской Федерации;
- объем привлеченных инвестиций.
Данный метод в настоящее время активно применяется на региональном уровне при оценке эффективности бюджетных средств, выделенных на конкурсной основе для поддержки инновационных проектов. Зачастую такие показатели устанавливаются на федеральном уровне и рекомендуются региональным властям. Это является условием софинансирования из федерального бюджета. Существенным недостатком является то, что данные показатели широко используются для оценки эффективности государственной поддержки различных направлений деятельности, а не только инновационной сферы, и во многих случаях результаты анализа приводят к выводу о том, что сравнительная эффективность средств, выделенных на развитие инновационной деятельности, оказывается ниже, чем в других сферах. Так, при определении эффективности государственной поддержки по показателю количества вновь созданных
высокопроизводительных рабочих мест на рубль бюджетных инвестиций можно заметить, что эффективность поддержки окажется низкой, так как стоимость созданного рабочего места на предприятиях научно-технической сферы значительно выше (дороже), чем стоимость рабочего места в сфере продаж и услуг.
Если оценивать эффективность
государственной программы поддержки
по объему привлеченных инвестиций, то, по мнен и ю авторов , нео бход и мо дифференцировать механизмы
государственной поддержки по их применимости к различным стадиям инновационного проекта, поскольку проекту на начальном этапе для привлечения инвестиций сложнее найти инвестора, чем проекту, уже прошедшему эту стадию и активно развивающемуся. Основные инвестиции в проекты на начальной стадии направляются в случае, если проект реализуется при поддержке крупного предприятия или в рамках государственного заказа. Если же инвестор (в том числе государство) изначально не заинтересован в поддержке проекта, то чтобы привлечь инвестиции, компании необходимо представить уже практически готовый проект и доказать его инвестиционную привлекательность. В общем случае, с учетом характера инновационной деятельности, такие проекты представляют для инвестора повышенный риск.
Таким образом, можно выделить основные недостатки применения метода анализа показателей результативности государственных программ и проектов для оценки эффективности государственной поддержки:
- показатели оценки зачастую не отражают действительных целей программы поддержки и государственной программы;
- большинство показателей не учитывают специфику и характер инновационной деятельности, и применяются в различных государственных программах поддержки бизнеса (показатели носят универсальный характер);
- при планировании целевых показателей не учитываются ряд экономических и конъюнктурных условий;
- для изменения показателей в процессе планирования необходимо серьезное обоснование, основанное на математических расчетах, квалифицированном мнении экспертов и непосредственных участников инновационного процесса.
Однако необходимо понимать, что оценка эффективности государственной поддержки не должна сводиться только к мониторингу показателей, отражающих результаты реализации проектов и государственных программ. Гораздо важнее сформировать эффективный набор механизмов и инструментов поддержки, обеспечивающих максимальную эффективность как для получателей государственной поддержки, так и для государства.
Третий метод оценки - анализ статистических показателей, характеризующих инновационную деятельность - основывается на анализе показателей официальных статистических данных. Подобный подход лежит в основе формирования крупнейших отечественных рейтингов:
- «Рейтинг инновационных регионов России», составляемый Ассоциацией инновационных регионов России (АИРР);
- «Рейтинг инновационного развития субъектов Российской Федерации», составляемый Национальным исследовательским университетом «Высшая школа экономики» (НИУ ВШЭ).
Согласно данному методу, на основе данных статистики, публикуемых в открытом доступе, производится сбор показателей, характеризующих социально-экономические условия инновационной деятельности, научно-технический потенциал, уровень инновационной активности, качество региональной инновационной политики. Полученные показатели подвергаются математическим расчетам, проводится сравнительный анализ и выявляются факторы, влияющие на их значение. На основе проведенного анализа составляется рейтинг инновационного развития, позволяющий оценить эффективность государственной поддержки и имеющий практическое значение при принятии управленческих решений органами государственной власти.
В ходе исследования авторами отмечены следующие недостатки данного метода.
Статистические показатели зачастую не отражают реальную ситуацию, поскольку их формированием занимаются
преимущественно органы власти,
заинтересованные не в достоверности данных, а в высокой оценке своей деятельности. Официальные показатели в данном случае используются в качестве показателей эффективности деятельности органов государственной власти.
Для проведения детального анализа показателей, исследования факторов, влияющих на их результативность, и формирования наиболее достоверного рейтинга необходимо достаточное количество финансовых и трудовых ресурсов. В России подобные исследования в настоящее время способны проводить преимущественно крупные организации, имеющие в своей структуре подразделения, осуществляющие научно-исследовательскую деятельность, такие как Экспертно-аналитический комитет АИРР, Институт статистических исследований и экономики знаний НИУ ВШЭ.
Далеко не всегда возможно определить прямое влияние государственной поддержки на формирование отдельно взятого статистического показателя. Некоторые показатели характеризуют эффективность государственной поддержки только косвенно и для того, чтобы выявить данный факт, иногда необходимо провести ряд сложных математических расчетов и (или) воспользоваться мнением квалифицированного эксперта, что также требует дополнительных усилий и ресурсов.
Расчет интегрального показателя на основе данных, полученных в результате анализа нескольких блоков (групп) показателей — метод оценки эффективности государственной поддержки инновационной деятельности, уже достаточно изученный российскими учеными Н.А. Дубровиной и Е.С. Храмовой [4] и основанный на определении и расчете интегрального показателя инновационной деятельности, а именно - комплексного показателя. Этот показатель определяется на основе нескольких блоков показателей, характеризующих материально-техническую, рыночную составляющие, организационно-
экономический уровень производства, научно-исследовательскую активность, финансовые результаты деятельности, инновационную активность и другие результаты. По мнению О.О. Емельянова [5], такая методика позволяет учесть ресурсную, результатную и статистическую компоненты инновационной деятельности предприятия. Также за основу можно взять показатели, анализируемые в рассмотренных методах оценки
эффективности государственной поддержки инновационной деятельности. Данный метод, несомненно, дает свои результаты, он, по сути, сводится к оценке эффективности реализации инвестиционного проекта и совокупности механизмов поддержки, применимых к отдельно взятому субъекту инновационной деятельности - получателю государственной поддержки.
Поскольку каждое предприятие имеет свое экономическое содержание и структуру ресурсного обеспечения, самостоятельно принимает решение о том, что, сколько и каких товаров производить (оказывать услуг), где и как их реализовывать и, наконец, как распределять полученный доход (фонды возмещения, оплаты труда, накопления), то делать выводы об эффективности инновационной деятельности на основании оценки интегрального показателя конкретного предприятия нецелесообразно и
необъективно.
Кроме того, для формирования интегрального показателя на основе расчета укрупненных показателей инновационной деятельности предприятия необходимо определить значимость (удельный вес) каждой группы показателей на основе их рейтинговой оценки. Такую оценку должен проводить не один специалист, а группа квалифицированных экспертов, занимающихся теоретическим и практическим изучением данного направления или работающих непосредственно в предметной области деятельности
предприятия.
Например, рассмотрим подход к оценке эффективности государственной поддержки при помощи расчета интегрального
показателя, предложенный Н.Г. Уразовой3. Автор предлагает осуществить оценку и формирование оптимального инвестиционного портфеля инновационных проектов, поддерживаемых государством, путем решения двухкритериальной математической модели, где в качестве критерия эффективности выбрана не максимизация дохода от поддержанного проекта, а максимизация добавленной стоимости на рубль бюджетных вложений.
Согласно данному методу, система показателей оценки эффективности включает три блока «монопоказателей»: один из них характеризует инновационную активность страны или региона, другой включает общепринятые показатели экономической эффективности инвестиционных проектов, третий блок характеризует эффективность государственной поддержки.
Особенностью показателей, используемых в данном методе, по мнению Н.Г. Уразовой, является то, что они непосредственно связаны с целями государственной поддержки и методами, направленными на достижение целей. Показатели, выбранные для оценки эффективности государственной поддержки и формирования оптимального инвестиционного портфеля инновационных проектов, выбраны таким образом, чтобы расчет сводился к минимизации рисков, а механизмы поддержки были нацелены, главным образом, на повышение инвестиционной привлекательности проекта и, соответственно, рост инновационной активности. Кроме того, данный метод позволяет оценить сравнительную
эффективность различных программ государственной поддержки путем
агрегирования всех трех блоков «монопоказателей» в итоговый оценочный интегральный показатель.
Данную систему показателей целесообразно использовать для комплексной оценки
3 Уразова Н.Г. Подходы к оценке эффективности государственной поддержки инновационной деятельности: материалы региональной научно-практической конференции «Социально-экономические проблемы региона». Иркутск, 2005. С. 108-112.
экономической эффективности программ государственной поддержки инновационной деятельности. Она позволит выявить существующие взаимосвязи между эффективной государственной поддержкой и повышением инновационной активности в стране. Однако многие показатели, используемые в данном методе, являются специфическими и не могут применяться повсеместно, что требует проводить дополнительный анализ зависимости показателей, добавляя новые, которые бы в полной мере отражали действительную экономическую ситуацию. В существующих условиях такое планирование и выбор показателей требуют привлечения
дополнительных человеческих (экспертных) ресурсов, поскольку появляется множество разнообразных факторов, влияющих на развитие инновационной деятельности как экономической категории и требующих детального подхода.
Общий смысл оценки эффективности государственной поддержки инновационной деятельности заключается в проведении анализа различных показателей (финансовых, показателей результативности государственных программ и проектов, официальных статистических показателей).
Отмеченные в ходе анализа недостатки, свойственные имеющимся методам, свидетельствуют о несовершенстве методов анализа показателей для оценки эффективности государственной поддержки инновационной деятельности в
существующих динамично изменяющихся социально-экономических условиях, что обусловливает необходимость разработки новых методик оценки эффективности государственной поддержки инновационной деятельности, учитывающих мнение получателей государственной поддержки и квалифицированных экспертов.
Анализ зарубежного опыта оценки эффективности государственной поддержки инновационной деятельности
Анализируя зарубежный опыт оценки эффективности государственной поддержки
инновационной деятельности, можно отметить, что ведущие международные организации разработали собственные системы показателей, характеризующие степень развития инновационных систем национальных экономик. Оценка
эффективности инновационной среды является отражением как внешних условий, в которых она развивается, так и условий, создаваемых государством при помощи управления инновационными процессами и оказания всевозможной поддержки субъектам
ч 4
инновационной деятельности4.
В мировой практике используется глобальный индекс инноваций (The Global Innovation Index)5 - индекс, характеризующий инновационное развитие стран мира, находящихся на разных уровнях экономического развития. Рассматриваемый индекс состоит из двух больших блоков, отражающих входные (Innovation Input) -ресурсные - и выходные (Innovation Output) -результатные - условия, влияющие на создание инноваций. Данные блоки включают группы показателей, характеризующие имеющиеся ресурсы и условия для создания инноваций, а также достигнутые практические результаты от создания и коммерциализации инноваций. На сегодняшний день глобальный индекс отражает инновационную
деятельность по более чем 80 показателям. Общее значение глобального инновационного индекса определяется как среднее арифметическое из входящего и исходящего индексов оценки инноваций. Сбор показателей для проведения оценки и формирования рейтинга осуществляется преимущественно из ежегодных
статистических отчетов, составленных по результатам мониторинга и обследования предприятий и государственных организаций. Собранные показатели нормируются и рейтингуются целым штатом экспертов.
4 Escalona Reynoso R., Bernard A., Saisana M. et al. Benchmarking Innovation Performance at the Global and Country Levels. In: The Global Innovation Index 2015. Effective Innovation Policies for Development, Geneva, 2015, pp. 65-80. URL: https://www.globalinnovationindex.org/userfiles/file/reportp df/gii-2015-v5.pdf
5 Global Innovation Index 2017.
URL: https://www. globalinnovationindex. org
Некоторые показатели в чистом виде не представлены в статистических отчетах, поэтому требуют определения зависимостей и проведения расчетов. Таким образом, итоговый индекс представляет собой соотношение понесенных затрат и достигнутого эффекта, что позволяет объективно оценить эффективность усилий по развитию инноваций в той или иной стране6. Однако показатели, используемые в статистических отчетах и обследованиях, зачастую оказываются недостоверными, поскольку их формированием занимаются, как правило, органы власти различных уровней и от того, насколько выполнен план по достижению показателей, в т.ч. и статистических, зависит эффективность деятельности как отдельного органа власти в частности, так и в целом государственного аппарата. Об этих фактах также упоминают в своих научных трудах R. Smits и S. Kuhlmann [6]. Несмотря на то, что данный индекс не позволяет определить условия, влияющие на эффективность инновационного развития на региональном уровне, и является ресурсо- и трудозатратным, так как в работу по его вычислению вовлечено целое научное сообщество, методика анализа инновационной деятельности, по мнению автора, достойна применения и тиражирования.
Другой важный рейтинг - Индекс глобальной конкурентоспособности (The Global Competitiveness Index) - оценивает способность стран обеспечить высокий уровень благосостояния своих граждан, что в первую очередь зависит от того, насколько эффективно страна использует имеющиеся ресурсы7. Отметим, что для поддержания уровня жизни в условиях свободного рынка необходимо постоянное повышение производительности труда и качества товаров и услуг. Рассматриваемый индекс включает 113 переменных, характеризующих конкурентоспособность стран мира с
6 Primi A. The Evolving Geography of Innovation: A Territorial Perspective. In: The Global Innovation Index 2013. The Local Dynamics of Innovation, Geneva, 2013, pp. 69-78. URL: http://www.wipo. int/edocs/pubdocs/en/economics/gii/gii_2013 .pdf
7 Global Talent Competitiveness Index 2017 Launch. URL: http://www.gtci2017.com
различным уровнем экономического развития [7]. Методология расчета Индекса глобальной конкурентоспособности включает три основных этапа.
На первом этапе проводится опрос руководителей компаний и других субъектов инновационной деятельности - получателей государственной поддержки. Осуществляется агрегирование данных опросов всех респондентов с учетом количества и структуры выставленных оценок.
Осуществляется сбор данных международной статистики (hard data), которыми дополняют агрегированные данные (survey data), собранные методом опроса. В результате формируется весь спектр показателей -оценочных индикаторов.
На втором этапе из всего спектра 113 оценочных индикаторов формируются 12 укрупненных показателей.
На третьем этапе на основании анализа укрупненных показателей эксперты определяют страновой индекс глобальной конкурентоспособности.
Результаты проведенного анализа Индекса глобальной конкурентоспособности и Глобального индекса инноваций
представляются в виде ежегодного сравнительного отчета, для визуализации используют ранжирование показателей по странам, совмещенные радиальные диаграммы (в виде паутины), расчет изменения рангов и другие аналитические инструменты [8]. Все страны в рейтинге подразделяются на две группы:
- инновационные (лидерами в данном сегменте являются Швейцария, США, Япония, Корея, Сингапур и др.), по-прежнему остающиеся мировыми лидерами в обеспечении инновационных продуктов и услуг;
- неинновационные, где технологические улучшения достигаются в основном путем копирования технологий, разработанных в странах первой группы [9].
По мнению специалистов информационно-аналитического агентства «Центр гуманитарных технологий», воспользоваться своими конкурентными преимуществами России мешают низкая эффективность работы государственных институтов, недостаточный инновационный потенциал, слабая развитость финансового рынка и дефицит доверия инвесторов к финансовой системе8. В последние два года к указанным отрицательным факторам добавились ослабление внутреннего спроса, экономические санкции со стороны стран Северной Америки и Западной Европы, а также внешняя неопределенность относительно будущего цен на минеральные ресурсы. Как и ранее, ключевыми проблемами для экономического развития в России представители бизнеса называют коррупцию, неэффективность государственного аппарата, высокие налоговые ставки. Все эти факторы способствуют неэффективному распределению ресурсов страны и препятствуют росту конкурентоспособности.
На фоне очевидных достоинств основных зарубежных рейтинговых оценок имеются некоторые недостатки и трудности в отношении применимости данных рейтингов для оценки эффективности государственной поддержки инновационной деятельности и объективности результатов анализа.
Используемые статистические показатели зачастую оказываются недостоверными, поскольку их формированием занимаются заинтересованные органы власти и подведомственные им учреждения, работа которых в большей степени оценивается при помощи общественно значимого показателя. Имеют место факты, когда для выполнения государственного задания органы власти корректируют показатели: государственное задание практически всегда выполняется на 100%.
При реализации данного механизма отсутствует детализированная оценка состояния в субъектах и юрисдикциях.
8 Всемирный экономический форум: Рейтинг глобальной конкурентоспособности 2016-2017. URL: http://gtmarket.ru/news/2016/09/28/7304
Занимаясь поиском причин, при проведении анализа необходимо в первую очередь «углубиться» до уровня отдельных административно-территориальных единиц государства (субъектов федерации и муниципальных образований) [10].
Во многих регионах отсутствуют средства для обеспечения эффективного механизма государственного управления и развития инновационной деятельности, не говоря уже о проведении подобного рода исследований. Исследования такого масштаба и качества, по мнению автора, способна проводить только достаточно обеспеченная в ресурсном и кадровом отношении организация. В России одной из таких организаций является, например, Национальный исследовательский университет «Высшая школа экономики».
Основная ценность указанных методик проведения оценки эффективности государственной поддержки инновационной деятельности для нашей страны заключаются в необходимости привлечения
квалифицированных экспертов, способных адекватно интерпретировать собранные аналитические данные и определить вектор развития государственной поддержки инновационной деятельности в условиях влияния отрицательных экономических факторов и ограниченности бюджетных ресурсов [11].
В ходе проведенного исследования автором выявлено, что привлечение квалифицированных экспертов для оценки эффективности государственной поддержки инновационной деятельности используется в различных методиках по-разному: в одних эксперты привлекаются для определения удельного веса показателя (группы показателей), чтобы затем рассчитать интегральный показатель, в других - на основании анализа показателей экспертами выстраивается общий индекс инновационного развития, определяющий эффективность государственной поддержки. Однако механизм применения метода экспертных оценок для оценки эффективности государственной поддержки инновационной деятельности еще недостаточно изучен и требует детального
рассмотрения. По мнению авторов, необходимо уточнить понятие экспертной оценки применительно к оценке эффективности государственной поддержки инновационной деятельности; определить особенности организации и проведения оценки эффективности государственной поддержки инновационной деятельности по методу экспертных оценок; выделить основные этапы применения метода экспертных оценок; обосновать
эффективность применения данного метода; предложить подход к практическому применению метода экспертных оценок институтам, использующим инструменты оценки эффективности государственной поддержки инновационной деятельности; предложить подход к использованию полученных результатов оценки при принятии управленческих решений органами государственного управления и лицами, принимающими решения.
Метод экспертных оценок
С учетом характера инновационной деятельности, отличающейся качественной новизной производимой высокотехнологичной продукции, сложностью и, как следствие, повышенной степенью риска, возникает необходимость применения методов экспертных оценок, основанных на анализе статистических и аналитических данных.
По мнению Н.А. Шишкиной [12], применение метода экспертных оценок целесообразно в тех случаях, когда выбор, обоснование и оценка результатов принятого решения не могут быть определены на основе точных математических расчетов. В этом случае, по мнению авторов, является целесообразным адаптировать метод экспертных оценок для оценки эффективности государственной поддержки и принимаемых управленческих решений в сфере научно-технического и инновационного развития страны.
В ходе исследования авторами уточнено понятие экспертной оценки. Предложена следующая формулировка: «Метод
организации работы по определению эффективности государственной поддержки
инновационной деятельности коллективом квалифицированных экспертов на основе проведенного опроса субъектов
инновационной деятельности, полученных статистических, аналитических и отчетных данных с целью последующего принятия эффективных управленческих решений в условиях неустойчивости современной экономической и политической системы».
Для оценки эффективности государственной поддержки инновационной деятельности, в отличие от оценки эффективности инновационного проекта, необходимо в каче с тв е экс п ерто в п ри вл екать п ре и му ще ств енно п олу чате лей
государственной поддержки: руководителей компаний, научных коллективов и директоров институтов инновационного развития.
При этом экспертные группы необходимо дифференцировать по стадиям проработанности инновационного проекта и мерам поддержки, которыми они пользуются. Другими словами, следует разграничить научные коллективы, получающие
преимущественно грантовую поддержку или субсидию на развитие проекта и создание малого инновационного предприятия с целью выхода на рынок, и компании, уже осуществляющие свою деятельность или осваивающие новые рынки, для которых помимо финансовых мер поддержки не меньшую актуальность приобретают и имущественные, организационные, налоговые и иные механизмы поддержки.
Для проведения исследования предлагается использовать метод проведения индивидуального экспертного опроса (анкетирования) с последующим коллективным обсуждением [13]. Каждому эксперту, работающему отдельно, предоставляется перечень вопросов,
позволяющий охарактеризовать эффективность механизма государственной поддержки. Аналогичный опрос проводится и для субъектов инновационной деятельности (не являющихся экспертами) в дистанционном формате в процессе предварительного сбора и анализа информации, и такой представляет собой один из этапов определения эффективности государственной поддержки
инновационной деятельности методом экспертных оценок. Вопросы формулируются максимально конкретно, большинство из них предполагает однозначный ответ.
Предлагаемая примерная форма анкеты для проведения экспертного опроса субъектов малых инновационных предприятий представлена в табл. 19.
Использование данного метода предполагает создание в составе органов государственного управления в области регулирования научной, научно-технической инновационной
деятельности рабочей группы, организующей по поручению лица, принимающего решение, деятельность экспертов, объединенных в экспертную комиссию.
Предлагается выделить следующие основные этапы проведения экспертных оценок эффективности государственной поддержки инновационной деятельности (табл. 2).
По результатам оценки итоговый экспертный отчет должен содержать:
- заключение об эффективности и (или) неэффективности реализуемых мер поддержки;
- предложения по введению новых, упразднению неэффективных и изменению существующих механизмов поддержки с целью обеспечения их максимальной эффективности, полезности и доступности для субъектов инновационной деятельности;
- предложения по развитию ИИР, предоставляющих государственную поддержку;
- предложения об изменении действующих нормативных правовых актов в сфере поддержки научной, научно-технической и инновационной деятельности, а также актов, регламентирующих условия и порядок предоставления поддержки;
9 Статус резидента особой экономической зоны (ОЭЗ) и резидента территории опережающего социально-экономического развития (ТОСЭР) устанавливается в соответствии с Федеральным законом от 22.07.2005 № 116-ФЗ «Об особых экономических зонах в Российской Федерации» и Федеральным законом от 29.12.2014 № 473-ФЗ «О территориях опережающего социально-экономического развития в Российской Федерации» соответственно.
- предложения по повышению открытости и доступности мер государственной поддержки, в том числе для отдаленных и слабозаселенных районов;
- предложения по выработке показателей эффективности расходования бюджетных средств, соотносящихся с непосредственными целями государственной поддержки, и механизмы их достижения;
- определение приоритетов научно-технического развития территории;
- иные положения, позволяющие принимать управленческие решения, позволяющие сделать государственную поддержку максимально эффективной и клиентоориентированной.
Таким образом, применение метода экспертных оценок при определении эффективности государственной поддержки инновационной деятельности позволит:
- при принятии управленческих решений сместить акцент на более востребованные и результативные механизмы государственной поддержки, полностью или частично отказавшись от неэффективных;
- корректировать целевые ориентиры и результаты математических и статистических методов, применяемых при оценке эффективности государственной поддержки, в сторону достижения большего экономического эффекта для поддерживаемых субъектов;
- сформировать систему показателей эффективности государственной поддержки инновационной деятельности, позволяющую определить отдачу вложенных бюджетных средств в развитие экономики и выявить наиболее приоритетные направления развития инновационного предпринимательства в условиях ограниченности бюджетных ресурсов;
- разработать мероприятия по развитию институтов инновационного развития, использующих инструменты оценки эффективности государственной поддержки инновационной деятельности;
- повысить инвестиционную привлекательность целой территории или отдельных компаний на рынке за счет более взвешенного подхода к предоставлению государственной поддержки;
- повысить эффективность расходования бюджетных средств и эффективность государственного управления в целом.
Заключение
Анализ основных методологических и методических подходов, применяемых к оценке эффективности государственной поддержки инновационной деятельности в России, свидетельствует, что большинство используемых методов не позволяет адекватно распределять имеющиеся ресурсы для достижения максимального результата в условиях ограниченности бюджетных средств
и применять зарубежные механизмы оценки, основанные на комплексном анализе множества показателей. Согласно данным методикам, показатели агрегируют в группы, а затем вычисляется интегральный
(результирующий) показатель, на основании которого выполняется рейтингование. На всех этапах показатели подвергаются анализу со стороны ученых и специалистов-экспертов, что значительно усложняет процедуру оценивания. Поэтому применение предлагаемого метода экспертных оценок, основанное на мнениях квалифицированных экспертов, в дополнение к применяемым математическим и статистическим методам оценки эффективности, позволит повысить обоснованность решений, учесть многочисленные факторы, оказывающие влияние на результативность механизмов поддержки.
Таблица 1
Форма анкеты экспертного опроса для субъектов малого инновационного предпринимательства
Table 1
A form of expert survey questionnaire for subjects of small innovative entrepreneurship
Определение проблем ведения малого инновационного бизнеса и эффективности предоставляемых мер
государственной поддержки инновационнои деятельности
№ анкеты присваивается и заполняется организатором
ФИО эксперта заполняется экспертом
ВОПРОСЫ
1) В какой сфере Вы ведете бизнес?
□ Энергетика □ Охрана окружающей □ Синтез лекарственных □ Индустрия наносистем
и энергосбережение среды и рациональное природопользование средств и пищевых добавок и материалов
□ Химия и новые □ Машиностроение □ Информационные системы □ Биотехнологии
материалы и технологии
□ Производство и переработка сельскохозяйственного сырья
2) Каков возраст Вашей компании?
□ Менее 1 года □ 1-3 года □ 3-5 лет □ более 5 лет
Продолжение таблицы
Определение проблем ведения малого инновационного бизнеса и эффективности предоставляемых мер государственной поддержки инновационной деятельности_
3) Укажите численность Ваших работников
□ До 5 чел.
□ До 15 чел.
□ До 50 чел.
□ От 50 до 100 чел.
4) Какая система налогообложения Вами применяется?
□ Общая
□ Патентная
□ Упрощенная
□ Иная
5) Какие меры поддержки применяются Вами на данном этапе развития бизнеса?
□ Финансовые
□ Имущественные
□ Образовательные
□ Консультационные
□ Проведение маркетинговых исследований, разработка бизнес-плана
□ Бухгалтерское сопровождение
□ Налоговые льготы
□ Повышение спроса на товары, работы, услуги
6) Является ли Ваша компания резидентом бизнес-инкубатора, промышленного или технологического парка, участником инновационного кластера?_
□ Резидент бизнес-инкубатора_
□ Резидент промышленного парка_
□ Резидент
технологического кластера
□ Участник
инновационного кластера
7) Является ли Ваша компания резидентом ОЭЗ или ТОСЭР?
□ Резидент ОЭЗ
□ Резидент ТОСЭР
8) Какие из применяемых механизмов поддержки не принесли ожидаемого эффекта (оказались недостаточными, не решили возникших проблем)?_
□ Финансовые
□ Имущественные
□ Образовательные
□ Консультационные
□ Проведение маркетинговых исследований, разработка бизнес-плана
□ Бухгалтерское сопровождение
□ Налоговые льготы
□ Повышение спроса на товары, работы, услуги
9) Какие меры поддержки считаете наиболее эффективными?
□ Финансовые
□ Имущественные
□ Образовательные
□ Консультационные
□ Проведение маркетинговых исследований, разработка бизнес-плана
□ Бухгалтерское сопровождение
□ Налоговые льготы
□ Повышение спроса на товары, работы, услуги
□ Иные
10) Оцените уровень существующей государственной поддержки инновационного предпринимательства на территории города(региона)_
□ Достаточный
□ Недостаточный
□ Затрудняюсь ответить
□ Свое предложение
11) Насколько доступной является информация о существующих мерах государственной поддержки инновационной деятельности на территории города (региона)?_
□ Достаточный
□ Недостаточный
□ Затрудняюсь ответить
□ Иное
12) Ваши предложения в части разработки новых механизмов поддержки инновационной деятельности (какие меры Вы считаете наиболее необходимыми и эффективными)?_
Данный вопрос предполагает открытый ответ
Источник: авторская разработка Source: Authoring
Таблица 2
Основные этапы метода экспертных оценок Table 2
The main steps of the expert evaluation method
Наименование этапа
Основное содержание этапа
Ожидаемый результат
Определение организаторов
Органом государственного управления в области регулирования научной, научно-технической инновационной деятельности создается рабочая группа, которая и организует по поручению лица, принимающего решение, деятельность экспертов, объединенных в экспертную комиссию
Формирование рабочей группы, ответственной за организационно-техническое сопровождение деятельности экспертов и анализ полученных результатов
Анализ затрат
Планирование финансовых и организационных затрат для проведения экспертизы и оплаты труда экспертов_
Составление сметы расходов на осуществление экспертами своих функций, на приобретение материально-технических средств, аренду помещения, типографские расходы_
Опрос (анкетирование) субъектов инновационной деятельности - получателей государственной поддержки
Проведение опроса субъектов инновационной деятельности, являющихся получателями государственной поддержки и заинтересованных в совершенствовании механизмов поддержки_
Проведение опроса не менее 500 респондентов по каждой группе субъектов ИД. Получение информации об удовлетворенности и эффективности предоставленной поддержки
Анализ результатов опроса
(анкетирования)_
Анализ статистических
показателей_
Анализ показателей результативности государственных программ и нормативной базы
Проведение анализа собранных показателей с помощью применения математических методов, формирование блоков показателей, определение основных факторов, влияющих на значение и результативность показателя. Анализ существующей нормативной базы в сфере государственной поддержки инновационной деятельности_
Формирование блоков показателей, характеризующих эффективность инновационной деятельности и эффективности государственной поддержки. Представление обобщенных результатов анализа в виде рейтинговых шкал, диаграмм и в ином воспринимаемом виде
Определение состава экспертной комиссии
Формирование группы экспертов методом «снежного кома». При этом экспертные группы необходимо дифференцировать по стадиям проработанности инновационного проекта и мерам поддержки, которыми они пользуются_
Определение качественного и количественного состава экспертной комиссии, состоящего преимущественно из получателей государственной поддержки и принадлежащих одной группе субъектов ИД
Проведение экспертного опроса (анкетирования)
Проведение индивидуального экспертного опроса (анкетирования) как предварительной стадии перед последующим коллективным обсуждением. Каждому эксперту, работающему отдельно, предоставляется перечень вопросов, позволяющий охарактеризовать эффективность предоставленных механизмов государственной поддержки_
Получение информации об эффективности государственной поддержки, предоставленной организации или научному коллективу, в состав которых входит эксперт
Анализ экспертного опроса
Проведение анализа результатов экспертного опроса, определение основных факторов, влияющих на эффективность государственной поддержки_
Представление результатов экспертного опроса в структурированной форме. Подготовка итогового экспертного отчета на основании ранее проведенных исследований для представления его на обсуждение экспертов_
Продолжение таблицы
Наименование этапа_Основное содержание этапа_Ожидаемый результат_
Экспертная оценка Проведение коллективного Принятие итогового экспертного отчета
обсуждения итогового отчета с целью (или отдельных рекомендаций), который определения эффективности официально утверждается председательствующим,
государственной поддержки подписывается каждым членом экспертной
инновационной деятельности комиссии, присутствующим на заседании и является
основанием для обязательного рассмотрения и принятия мер реагирования лицом, принимающим
_решение (ЛПР)_
Доведение результатов до Направление итогового отчета Представление итогового экспертного отчета
ЛПР в государственный орган, на рассмотрение ЛПР. Изучение предложений,
осуществляющий регулирование представленных в экспертном отчете и
в сфере научной, научно-технической рассмотрение возможностей для их последующей и инновационной деятельности реализации
(руководителю органа, ЛПР) для
дальнейшего принятия решений_
Информирование заинтересованных Подготовка рассылки итогового экспертного отчета лиц и субъектов инновационной всем заинтересованным лицам и субъектам
деятельности о результатах инновационной деятельности о результатах
экспертизы экспертизы. Размещение итогового экспертного
отчета на официальном сайте государственного _органа и подведомственных учреждений_
Источник: Данелян Т.Я. Формальные методы экспертных оценок // Статистика и экономика. 2015. № 1. С. 183-187. URL: https://cyberleninka.ru/artide/n/formalnye-metody-ekspertnyh-otsenok
Source: Danelyan T.Ya. [Formal methods of expert estimations]. Statistika i ekonomika = Statistics and Economics, 2015, no. 1, pp. 183-187. URL: https://cyberleninka.ru/artide/n/formalnye-metody-ekspertnyh-otsenok (In Russ.)
Информирование о результатах экспертизы
Список литературы
1. Ерошкин А.М., Плисецкий Д.Е. Роль инноваций в стимулировании роста и повышении конкурентоспособности национальных экономик // Экономический анализ: теория и практика. 2012. № 27. С. 20-30. URL: https://cyberleninka.ra/article/v/roHnnovatsiy-v-stimulirovanii-rosta-i-povyshenii-konkurentosposobnosti-natsionalnyh-ekonomik
2. Зайков К.С., Калинина М.Р., Кондратов Н.А., Тамицкий А.М. Инновационный вектор экономического развития северных и арктических территорий России и стран Северной Европы // Экономические и социальные перемены: факты, тенденции, прогноз. 2017. Т. 10. № 3. С. 59-77. URL: http://library.vscc.ac.ru/Files/articles/1499687158_5977.pdf
3. Уразова Н.Г. Методический подход к формированию эффективного механизма государственной поддержки инновационной деятельности // Вестник Иркутского государственного технического университета. 2006. Т. 2. № 4. С. 58-60.
URL: https://cyberleninka.ru/artide/v/metodicheskiy-podhod-k-formirovaniyu-effektivnogo-mehanizma-gosudarstvennoy-podderzhki-innovatsionnoy-deyatelnosti-1
4. Дубровина Н.А., Храмова Е.С. Метод оценки эффективности инновационной деятельности промышленного предприятия // Вестник Самарского государственного университета. 2013. № 4. С. 137-146. URL: https://cyberleninka.ru/article/v/metod-otsenki-effektivnosti-innovatsionnoy-deyatelnosti-promyshlennogo-predpriyatiya
5. Емельянов О.О. Концептуальная модель оценки эффективности инновационной деятельности // Фундаментальные исследования. 2014. № 11. Ч. 7. С. 1604-1608. URL: https://fundamental-research.ru/ru/article/view?id=35816
6. Smits R., Kuhlmann S. The Rise of Systemic Instruments in Innovation Policy. International Journal of Foresight and Innovation Policy, 2004, vol. 1, no. 1/2, pp. 4-32.
URL: https://doi.org/10.1504/IJFIP.2004.004621
7. Московкин В.М., Cuзьенго М. Анализ глобальной конкурентоспособности стран Субсахаржой Африки с помощью GCI-методологии // Научный результат: сетевой научно-практический журнал. Сер. Экономические исследования. 2014. Т. 1. № 2. С. 51-77. URL: https://cyberleninka.ru/article/v/analiz-globalnoy-konkurentosposobnosti-stran-subsaharckoy-afriki-s-pomoschyu-gci-metodologii
8. Яшин С.Н., Крюкова Т.М. Методика комплексной оценки эффективности инновационной деятельности промышленных предприятий на основе формирования системы экономических показателей // Труды НГТУ им. Р.Е. Алексеева. 2010. № 1. С. 251-258. URL: http://www.nntu.ru/trudy/2010/01/2010-01.pdf
9. Аврамчикова Н.Т., Чувашова М.Н. Инструменты оценки технологического состояния отраслей экономики ресурсно-ориентированного региона // Вестник Сибирского государственного аэрокосмического университета имени академика М.Ф. Решетнева. 2014. № 1. С. 186-189. URL: https://vestnik.sibsau.ru/vestnik/1889/
10. Barbosa N., Faria A.P. Innovation across Europe: How Important Are Institutional Differences? Research Policy, 2011, vol. 40, iss. 9, pp. 1157-1169.
URL: https://doi.org/10.1016/j.respol.2011.05.017
11. Федорова Е.В. Критерии оценки инновационной деятельности регионов в рамках универсальной системной методики // Международный технико-экономический журнал. 2013. № 6. C. 21-23.
12. Шишкина Н.А. Роль и значение метода экспертных оценок в системе оценивания качества инновационных проектов // Вестник Красноярского государственного аграрного университета. 2013. № 2. С. 162-165. URL: https://cyberlemnka.ra/arüde/v/roH-znacherne-metoda-ekspertnyh-otsenok-v-sisteme-otsemvamya-kachestva-innovatsionnyh-proektov
13. Дорохова Ю.В., Гончарук Н.С. Использование метода экспертных оценок при прогнозировании социальных процессов // Среднерусский вестник общественных наук. 2013. № 1. С. 34-44. URL: https://cyberlemnka.ru/artide/v/ispolzovarne-metoda-ekspertnyh-otsenok-pri-prognozirovanii-sotsialnyh-protsessov
Информация о конфликте интересов
Мы, авторы данной статьи, со всей ответственностью заявляем о частичном и полном отсутствии фактического или потенциального конфликта интересов с какой бы то ни было третьей стороной, который может возникнуть вследствие публикации данной статьи. Настоящее заявление относится к проведению научной работы, сбору и обработке данных, написанию и подготовке статьи, принятию решения о публикации рукописи.
pISSN 2073-1477 eISSN 2311-8733
Innovation and Investment
MODERN METHODS TO ASSESS THE EFFECTIVENESS OF STATE SUPPORT FOR INNOVATION IN THE REGION
Nadezhda T. AVRAMCHIKOVA3', Dmitrii O. VOLKOVb
a Reshetnev Siberian State University of Science and Technology, Krasnoyarsk, Russian Federation avr-777@yandex.ru ORCID: not available
b Reshetnev Siberian State University of Science and Technology, Krasnoyarsk, Russian Federation volkov.do@mail.ru ORCID: not available
• Corresponding author
Article history:
Received 14 December 2017 Received in revised form 15 January 2018 Accepted 22 January 2018 Available online 13 April 2018
JEL classification: H81, N90, O38, R53
Keywords: innovative activity, State support, method of expert evaluations, mechanism of State administration, efficiency assessment
Abstract
Importance This article considers the modern methods of estimation of efficiency of State support of innovative activity, widely applied at the regional level to assess the efficiency of budget funds use.
Objectives The article aims to identify problems related to the assessment of the effectiveness of State support for innovation activities at the regional level, and develop a qualitatively new evaluation strategy, involving an expert assessment of State support, which takes into account the opinion of recipients of such support and qualified experts. Methods For the study, we used the methods of logical and statistical analyses. Results The article formulates a new definition of expert estimation method, and it proposes the one to assess the effectiveness of State support in the sphere of scientific, technical and innovative development of the country.
Conclusions We believe that applying the proposed expert assessment method will help enhance the validity of decisions, take into account a great number of factors influencing the effectiveness of support mechanisms, and identify the existing relationships between effective State support and increase of innovation activity in the country.
© Publishing house FINANCE and CREDIT, 2017
Please cite this article as: Avramchikova N.T., Volkov D.O. Modern Methods to Assess the Effectiveness of State Support for Innovation in the Region. Regional Economics: Theory and Practice, 2018, vol. 16, iss. 4, pp. 724-742. https://doi.org/10.24891/re.16A724
References
1. Eroshkin A.M., Plisetskii D.E. [The role of innovation in promoting growth and increasing the competitiveness of national economies]. Ekonomicheskii analiz: teoriya i praktika = Economic Analysis: Theory and Practice, 2012, no. 27, pp. 20-30. URL: https://cyberleninka.ru/article/v/rol-innovatsiy-v-stimulirovanii-rosta-i-povyshenii-konkurentosposobnosti-natsionalnyh-ekonomik (In Russ.)
2. Zaikov K.S., Kalinina M.R., Kondratov N.A. Tamitskii A.M. [Innovation course of economic development in the Northern and Arctic territories in Russia and in the Nordic countries]. Ekonomicheskie i sotsialnye peremeny: fakty, tendentsii, prognoz = Economic and Social Changes: Facts, Trends, Forecast, 2017, vol. 10, no. 3, pp. 59-77.
URL: http://library.vscc.ac.ru/Files/articles/1499687158_5977.pdf (In Russ.)
3. Urazova N.G. [A methodological approach to the formation of an effective mechanism of State support of innovation activities]. Vestnik Irkutskogo gosudarstvennogo tekhnicheskogo universiteta = Bulletin of Irkutsk State Technical University, 2006, vol. 2, no. 4, pp. 58-60. URL: https://cyberleninka.ru/article/n/metodicheskiy-podhod-k-formirovaniyu-effektivnogo-mehanizma-gosudarstvennoy-podderzhki-innovatsionnoy-deyatelnosti-1 (In Russ.)
4. Dubrovina N.A., Khramova E.S. [The method of evaluation of efficiency of innovative activity of an industrial enterprise]. Vestnik Samarskogo gosudarstvennogo universiteta = Vestnik of Samara State University, 2013, no. 4. pp. 137-146. URL: https://cyberleninka.ru/article/Zv/metod-otsenki-effektivnosti-innovatsionnoy-deyatelnosti-promyshlennogo-predpriyatiya (In Russ.)
5. Emel'yanov O.O. [A conceptual model of efficiency assessment of innovative activity]. Fundamentalnye issledovaniya = Fundamental Research, 2014, vol. 11, no. 7. pp. 1604-1608. URL: https://fundamental-research.ru/ru/article/view?id=35816 (In Russ.)
6. Smits R., Kuhlmann S. The Rise of Systemic Instruments in Innovation Policy. International Journal of Foresight and Innovation Policy, 2004, vol. 1, no. 1/2, pp. 4-32.
URL: https://doi.org/10.1504/IJFIP.2004.004621
7. Moskovkin V.M., Siz'engo M. [The analysis of global competitiveness of Sub-Saharan Africa countries by means of GCI-methodology]. Nauchnyi rezul'tat. Seriya: Ekonomicheskie issledovaniya = Research Result. Series: Economic Research, vol. 1, no. 2, pp. 51-77. URL: https://cyberleninka.ru/article/v/analiz-globalnoy-konkurentosposobnosti-stran-subsaharckoy-afriki-s-pomoschyu-gci-metodologii (In Russ.)
8. Yashin S.N., Kryukova T.M. [Estimation integrated procedure effectiveness innovative activity plant facilities on basis of forming system economic indexes]. Trudy NGTU im. R.E. Alekseeva = Transactions of NNSTU n.a. R.E. Alekseev, 2010, no. 1, pp. 251-258.
URL: http://www.nntu.ru/trudy/2010/01/2010-01.pdf (In Russ.)
9. Avramchikova N.T., Chuvashova M.N. [Estimating tools of the technological state of the economic branches in the region which focuses on resources]. Vestnik Sibirskogo gosudarstvennogo aerokosmicheskogo universiteta imeni akademika M.F. Reshetneva = Vestnik of Siberian State Aerospace University, 2014, no. 1, pp. 186-189.
URL: https://vestnik.sibsau.ru/vestnik/1889/ (In Russ.)
10. Barbosa N., Faria A.P. Innovation across Europe: How Important Are Institutional Differences? Research Policy, 2011, vol. 40, iss. 9, pp. 1157-1169.
URL: https://doi.org/10.1016/j.respol.2011.05.017
11. Fedorova E.V. [Evaluation criteria of regions' innovative activity with the universal system method]. Mezhdunarodnyi tekhniko-ekonomicheskii zhurnal = The International Technical-Economic Journal, 2013, no. 6, pp. 21-23. (In Russ.)
12. Shishkina N.A. [The role and significance of the expert assessment method in the system of innovative project quality evaluation]. Vestnik KrasGAU = Bulletin of KrasGAU, 2013, no. 2,
pp. 162-165. URL: https://cyberleninka.ru/article/v/rol-i-znachenie-metoda-ekspertnyh-otsenok-v-sisteme-otsenivaniya-kachestva-innovatsionnyh-proektov (In Russ.)
13. Dorokhova Yu.V., Goncharuk N.S. [Using expert assessments for predicting social processes]. Srednerusskii vestnik obshchestvennykh nauk = Central Russian Journal of Social Sciences, 2013, no. 1, pp. 34-44. URL: https://cyberleninka.ru/article/v/ispolzovanie-metoda-ekspertnyh-otsenok-pri-prognozirovanii-sotsialnyh-protsessov (In Russ.)
Conflict-of-interest notification
We, the authors of this article, bindingly and explicitly declare of the partial and total lack of actual or potential conflict of interest with any other third party whatsoever, which may arise as a result of the publication of this article. This statement relates to the study, data collection and interpretation, writing and preparation of the article, and the decision to submit the manuscript for publication.
