CC BY
105
Развитие методологии оценки эффективности научно-инновационных программ с учетом зарубежного опыта
Р. М. Мельников,
д. э. н., доцент, профессор кафедры государственного регулирования экономики Института государственной службы и управления ФГБОУ ВО Российская академия народного хозяйства и государственной службы при Президенте Российской Федерации
rmmel@mail.ru
В статье проводится сравнительный анализ зарубежных и российских методических подходов к оценке эффективности и результативности государственных научно-инновационных программ и обосновываются предложения по их совершенствованию. Аргументируется авторская позиция, что используемые в России упрощенные подходы, не предусматривающие оценивания и мониторинга показателей широкого воздействия научно-инновационных программ на масштабы и характер инновационной трансформации российской экономики, способствуют неэффективному расходованию бюджетных средств. Для повышения эффективности государственных инвестиций в реализацию российских научно-инновационных программ предлагается акцентировать внимание на предварительной оценке и последующем мониторинге результатов, достигаемых инновационно активными компаниями благодаря использованию научных разработок, созданных в процессе выполнения программы, и предоставляемому государственными институтами развития посевному и венчурному финансированию.
Обосновывается авторская методика оценки сравнительной эффективности научно-инновационных проектов и подпрограмм, основанная на синтезе логической модели трансформации ресурсного обеспечения в конечные результаты и математической модели многомерной свертки данных, которая позволяет обеспечить сбалансированность учета различных областей оценки результатов реализации программы (непосредственных результатов, среднесрочных результатов и широких последствий). Демонстрируется, как для выявления наиболее эффективных проектов и подпрограмм на стадиях разработки и реализации программы может быть использована модель линейного программирования, позволяющая определять степень удаленности проекта/подпрограммы от эффективной границы трансформации ресурсного обеспечения в конечные результаты программы.
Ключевые слова: оценка эффективности научно-инновационных программ, мировой опыт оценки результатов научных исследований, оптимизация портфеля инновационных проектов, ключевые показатели эффективности.
Введение
В последние годы за рубежом, особенно в США, большое внимание уделяется совершенствованию методологии и практики оценки эффективности и результативности реализации государственных научно-инновационных программ [1-7]. Это обусловлено стремлением обеспечить высокую эффективность использования ограниченных инвестиционных ресурсов государственного бюджета с учетом существования альтернативных вариантов их использования, пониманием важности роли научно-технической и инновационной политики как инструмента повышения темпов роста национальной экономики и обеспечения условий для осуществления ее структурной трансформации, а также стремлением добиться на этих направлениях существенных результатов за счет отбора и последующей реализации наиболее перспективных проектов и инициатив.
В проекте Национального доклада об инновациях в России предусматривается использование современных зарубежных подходов и показателей для оценки эффективности управления развитием национальной инновационной системы России в целом, что нашло выражение в спецификации «панели управления» инновационным развитием [8], однако в центре внимания не находится вопрос оценки результатов реали- ^ зации отдельных научно-инновационных программ. с^ При разработке предложений по совершенствованию ^ применяемых подходов к оценке эффективности ^ государственных научно-инновационных программ ^ российскими авторами, как правило, недостаточно ^ учитывается имеющийся зарубежный опыт [9-11]. 2
Поскольку развитие методологии управления реализацией государственных научно-инновационных ^ программ является для России ничуть не менее актуальной задачей, чем для ведущих технологически О развитых стран мира, представляет несомненный ^Е
CD
О CN
со N о
J <
со
о
интерес анализ того, какие подходы к оценке результатов научно-инновационных программ применяются в настоящее время в международной практике, а также определение того, в какой степени они могут быть использованы для совершенствования процедур принятия решений по поводу формирования и корректировки научно-инновационных программ в российских условиях.
Современные зарубежные подходы к оценке эффективности и результативности государственных научно-инновационных программ
Основные показатели, используемые в зарубежной практике оценки эффективности и результативности государственных научно-инновационных программ, достаточно удачно сгруппированы в логической модели оценки научно-инновационной программы, разработанной аналитиками дирекции Программы высоких технологий (Advanced Technology Program) США под руководством Дж. Уриано [2] и завоевавшей широкое признание других зарубежных исследователей. В соответствии с этой логической моделью оценка эффективности и результативности государственной научно-инновационной программы предполагает расчет четырех групп показателей, характеризующих ресурсное обеспечение (input), непосредственные результаты программы (output), среднесрочные результаты программы (outcome) и широкие последствия (impact).
Выделенное ресурсное обеспечение в результате выполнения комплекса работ, предусмотренных механизмом реализации программы, приводит к получению непосредственных результатов. Однако этого недостаточно для успеха программы, поскольку непосредственные результаты не отражают эффекты программы с позиций конечных бенефициаров, т. е. населения, получающего возможность приобретения инновационной продукции, и бизнеса, извлекающего прибыль в процессе коммерциализации инноваций, и не учитывают внешние эффекты от распространения создаваемых знаний. Поэтому помимо показателей, характеризующих непосредственные результаты, требуется рассчитывать показатели, характеризующие среднесрочные результаты и широкие последствия.
Непосредственные результаты программы включают научные публикации, разработанные прототипы продуктов и процессов, результаты тестовых испытаний, доклады на научно-практических семинарах и конференциях. Среднесрочные результаты программы характеризуют практическое внедрение разработанных технико-технологических решений, а также распространение новых знаний, созданных в результате проведенных исследований, и их использование для других целей. Широкие последствия отражают влияние результатов программы на чистые выгоды от использования разработанных продуктов и технологий с позиций общества в целом, включая воздействия на занятость и доходы различных экономических агентов, качество здравоохранения и охраны окружающей среды.
Развитие методологии оценки эффективности и результативности научно-инновационных программ в США на современном этапе связано с принятием законов об оздоровлении американской экономики и реинвестировании [12] и модернизации системы оценки эффективности и результативности деятельности органов исполнительной власти [13]. В рамках реализации положений этих законов Административно-бюджетным управлением и Управлением по научно-технической политике США было определено, что агентства, финансирующие научно-инновационные программы, должны характеризовать их ожидаемые конечные результаты с использованием количественно измеримых и содержательных показателей и оценивать фактическую успешность реализации этих программ [14]. Обязательным элементом процесса подготовки и обоснования бюджетных заявок на продолжение финансирования программ стала выступать оптимизация бюджетных инвестиций в реализацию научно-технических и инновационных проектов, предполагающая перераспределение финансовых ресурсов от менее эффективных подпрограмм в пользу более эффективных. При этом в качестве приоритетного механизма реализации научно-инновационных программ была определена модель «открытых инноваций», предусматривающая вовлечение широкого круга участников в разработку и коммерциализацию перспективной научно-технической идеи.
В порядке реализации положений законов [12, 13] по инициативе администрации Б. Обамы для оценки эффективности и результативности государственных научно-инновационных программ было принято решение о разработке и внедрении системы STAR METRICS [15-17]. STAR METRICS ориентируется на расчет количественно измеримых показателей на основе информации, представленной в существующих базах данных. По замыслу инициаторов проекта, эта система должна повысить подотчетность исследователей при одновременном снижении административной нагрузки на них, а также сформировать широкий и репрезентативный набор данных для обоснования выводов о результативности научных исследований, финансируемых из государственного бюджета США.
Задачи первого, уже реализованного этапа развертывания системы достаточно скромны и предусматривают расчет показателей вклада финансируемых за счет государственного бюджета США научных исследований в формирование и поддержание высококвалифицированных рабочих мест. При этом учитывается вовлеченность в реализацию научных проектов соисполнителей, аспирантов и студентов, а также возможность поддержания рабочих мест за счет накладных расходов по реализации проектов. До начала работ по внедрению системы STAR METRICS такого рода данные не собирались, а в условиях высокой безработицы, обусловленной прохождением острой фазы финансово-экономического кризиса, они потребовались для обоснования решений о выделении бюджетных ресурсов. Второй этап, который в настоящее время в полной мере не реализован, предусматривает гораздо более детальный и комплексный
анализ среднесрочных и долгосрочных результатов проводимых исследований и разработку индикаторов, отражающих их воздействие на экономический рост, распространение научных знаний, развитие социальной сферы, включая здравоохранение, и изменение состояния окружающей природной среды.
Для этого предполагается решить две группы взаимосвязанных задач. Первой является создание сети SciENcv, в которой каждый ученый получает свой уникальный идентификационный номер и должен заполнять профиль, характеризующий основное содержание и результаты его исследований. В профиле отражается информация о научных интересах исследователя, выполняемых им проектах и подготовленных по их результатам научным публикациям. Этот профиль одновременно служит интерфейсом между ученым и государственными агентствами, финансирующими научные исследования. Данные профиля используются при подаче заявок на финансирование новых проектов, подготовке отчетности по выполняемым проектам и другой документации.
Вторая группа задач заключается в создании системы анализа данных профилей и других имеющихся баз данных с использованием продвинутых методов анализа данных (data mining), позволяющих прослеживать эффекты, оказываемые результатами проведенных исследований. В перспективе разработчики системы рассчитывают использовать при осуществлении автоматизированной обработки информации не только базы данных по непосредственным результатам финансируемых исследований, но и связывать с конкретными научными проектами такие характеристики более отдаленных и широких последствий проведенных исследований, как создаваемые спиноффы и старта-пы и выдаваемые лицензии на право коммерческого использования запатентованных технологических решений.
В то же время наиболее комплексные оценки широких последствий реализации научно-инновационных программ в настоящее время осуществляются в рамках достаточно трудоемких исследований, которые не сводятся к формированию и использованию четко структурированных баз данных. По мнению автора, возможности системы STAR METRICS несколько преувеличены, и она едва ли позволит осуществлять действительно полноценную оценку широких последствий реализации научно-инновационных программ. Однако она упрощает взаимодействие ученых с государственными научными фондами, а также позволяет осуществлять мониторинг показателей ресурсного обеспечения, непосредственных и среднесрочных результатов исследований в разрезе различных государственных агентств, программ, исследовательских центров и даже отдельных ученых.
В Великобритании в последние годы была внедрена принципиально иная система оценки результативности научно-инновационных программ, выполняемых в университетах — REF (система оценки качества исследований, Research Excellence Framework) [1820]. Если система STAR METRICS ориентирована на использование информационных технологий и количественных показателей, то система REF — на
широкое привлечение экспертов и преимущественно качественный подход.
В системе REF интегральная оценка результативности исследований строится на основе агрегирования результатов для трех областей оценки — качества непосредственных результатов исследований, широких последствий результатов исследований и конкурентоспособности исследовательской среды. По каждой из областей оценки выставляется балл по 5-балльной шкале (от 0 до 4 баллов, или «звезд»). При формировании интегральной оценки вклад оценки качества непосредственных результатов исследований составляет 65%, вклад широких последствий результатов исследований — 20%, а конкурентоспособности исследовательской среды — 15%.
Основными критериями оценки качества непосредственных результатов исследований являются оригинальность, строгость аргументации и существенность вклада в развитие научного направления. Оценка выставляется экспертами по результатам изучения представленных научных публикаций, а также с учетом библиометрических показателей.
Широкие последствия результатов исследований включают все эффекты, которые проявляются за пределами сферы академической науки. Основные их них заключаются в осваиваемых инновациях, в том числе в социальной сфере. Критериями оценки широких последствий являются сфера их влияния и значимость влияния. Сфера влияния отражает широту применения результатов исследований, а значимость влияния — их преобразовательный эффект, обеспечивающий совершенствование конкретных продуктов и процессов.
Оценка широких последствий проводится по результатам анализа представленных экспертам кейс-стади конкретных примеров широких последствий и обобщающих отчетов о широких последствиях, которые отражают характер взаимодействия с пользователями результатов проведенных исследований, а также эффекты использования результатов исследований на практике. Включение элементов оценки широких последствий позволяет отразить вклад финансируемых исследований в социально-экономическое развитие и их практическую значимость. Это одно из проявлений глобальной тенденции к повышению степени подотчетности получателей бюджетных ресурсов, которые в современных условиях должны демонстрировать социально-экономическую отдачу от инвестиций в науку, в том числе фундаментальную.
Область оценки, характеризующая конкурентоспособность исследовательской среды, дает возможность поддерживать исследовательские центры, которые аккумулировали высокий потенциал, позволяющий им на регулярной основе получать содержательные научные результаты, оказывающие влияние на развитие академической науки, а также востребованные хозяйственной практикой.
Методология REF позволяет давать достаточно комплексную и объективную оценку результативности исследований, проводимых научными и научно-образовательными организациями. Однако она является крайне трудоемкой, поскольку, в отличие от
со о
CN
со N о
J <
со О
методологии STAR METRICS, существенно зависит от результатов экспертных оценок, а также требует подготовки материалов для последующей экспертной оценки самими исследовательскими центрами.
Особенности методов оценки эффективности и результативности государственных научно-инновационных программ в России и пути их совершенствования с учетом зарубежного опыта
Практика оценки эффективности инвестиций в реализацию научно-инновационных программ в России на современном этапе заключается в разработке и последующем мониторинге систем целевых индикаторов. Однако при этом не учитывается логическая модель Программы высоких технологий США [2], которая за рубежом получила достаточно широкое признание. Основной проблемой является необоснованное игнорирование показателей широких последствий и чрезмерный акцент на показателях ресурсного обеспечения.
Например, распределение целевых индикаторов государственной программы «Развитие науки и технологий» на 2013-2020 гг. [21] по областям оценки, предусмотренным логической моделью программы высоких технологий США, можно представить в табл. 1.
Как свидетельствует табл. 1, большинство целевых индикаторов программы характеризуют ее ресурсное обеспечение. Лишь три индикатора могут рассматриваться как характеризующие среднесрочные результаты программы. Ни один их индикаторов не может быть отнесен к показателям широких последствий и не отражает ожидаемые результаты использования исследований и разработок российской промышленностью. Поэтому программа может быть формально признана успешной, даже если ее результаты не будут способствовать инновационной модернизации
российской промышленности и не принесут никаких реальных социально-экономических выгод в долгосрочной перспективе.
Еще менее сбалансированной представляется система целевых индикаторов ФЦП «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 20142020 гг.» (табл. 2).
В системе целевых индикаторов этой программы вообще не представлены не только показатели широких последствий, но и показатели среднесрочных результатов. Поэтому программа может быть признана успешно реализующейся даже в том случае, если ее результаты вообще не будут восприняты и использованы ни промышленностью, ни даже исследовательским сообществом.
Гораздо более сбалансированной является система целевых индикаторов подпрограммы «Создание и развитие инновационного центра «Сколково» государственной программы «Экономическое развитие и инновационная экономика» [22] (табл. 3).
Данная система показателей позволяет осуществлять мониторинг реализации проекта «Сколково» с использованием логической модели, предусматривающей последовательную трансформацию непосредственных результатов (новых технико-технологических решений) в коммерчески востребованные инновационные продукты и виды деятельности, создающие новые высокопроизводительные рабочие места. Кроме того, представленные в системе целевые индикаторы комплексно отражают интересы и результаты деятельности различных стейкхолдеров, включающих бизнес, ученых, студентов и общество в целом.
В то же время подходы к определению целевых индикаторов этой подпрограммы не вполне соответствуют лучшей мировой практике и не могут рассматриваться как абсолютно корректные. В частности, такой показатель ресурсного обеспечения, как объем
Таблица 1
Распределение целевых индикаторов государственной программы «Развитие науки и технологий»
на 2013-2020 гг. по областям оценки
Ресурсное обеспечение Непосредственные результаты Среднесрочные результаты Широкие последствия
Отношение средней зарплаты научных сотрудников к средней зарплате по субъекту РФ. Средний возраст исследователей. Удельный вес исследователей в возрасте до 39 лет. Доля кандидатов и докторов наук в численности исследователей до 39 лет. Удельный вес средств, полученных от выполнения научной деятельности, в общем объеме средств ведущих российских университетов. Удельный вес стоимости машин и оборудования в возрасте до 5 лет в общей стоимости машин и оборудования в организациях, выполняющих исследования и разработки. Удельный вес затрат на технологические инновации, выполненные собственными силами, в общем объеме затрат на технологические инновации в сфере исследований и разработок. Доля затрат на приобретение машин, оборудования, программных средств в общем объеме затрат на технологические инновации. Удельный вес исследователей в возрасте до 39 лет в численности исследователей, направленных на стажировку в зарубежные научные организации Удельный вес РФ в общем числе публикаций в мировых научных журналах, индексируемых в Web of Science. Число публикаций в журналах из списка ВАК на 100 исследователей. Число публикаций в журналах Scopus на 100 исследователей. Число публикаций в журналах Web of Science на 100 исследователей. Число отечественных патентных заявок на изобретения, поданных в РФ, в расчете на 10 тыс. человек населения. Удельный вес публикаций в соавторстве с зарубежными учеными в общем числе публикаций российских авторов в журналах Web of Science. Удельный вес публикаций в соавторстве с зарубежными учеными в общем числе публикаций российских авторов в журналах Scopus Число цитирований в расчете на одну публикацию российских исследователей в журналах Web of Science. Доля инновационной продукции в общем объеме продукции в сфере исследований и разработок. Доля новых для рынка сбыта организаций инновационных товаров в объеме инновационных товаров в сфере исследований и разработок Целевые индикаторы отсутствуют
Таблица 2
Распределение целевых индикаторов ФЦП «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2014-2020 гг.» по областям оценки
Ресурсное обеспечение Непосредственные результаты Среднесрочные результаты Широкие последствия
Средний возраст исследователей - участников программы. Доля исследователей в возрасте до 39 лет. Количество новых рабочих мест. Объем привлеченных внебюджетных средств. Дополнительный объем внутренних затрат на исследования и разработки, в том числе за счет внебюджетных средств Число публикаций по результатам в ведущих научных журналах. Число поданных патентных заявок Целевые индикаторы отсутствуют Целевые индикаторы отсутствуют
частных инвестиции, привлеченных в инновационную экосистему «Сколково», включая инвестиции в проекты компаний-участников и Сколтех, определяется путем суммирования качественно разнородных показателей — частных инвестиций, привлеченных компаниями - участниками проекта «Сколково», и доходов от выполнения контрактных исследований Сколтеха.
К числу показателей непосредственных результатов проекта, отраженных в системе целевых индикаторов инновационного центра, можно отнести показатели количества патентных заявок, полученных патентов и публикаций в журналах, индексируемых Web of Science. Однако показатели цитируемости этих публикаций и патентов, используемые в международной практике для характеристики среднесрочных результатов проекта и их воздействия на академическое сообщество и развитие актуальных технологических направлений, для проекта «Сколково» не определяются.
Особый интерес вызывает показатель интегрального вклада проекта «Сколково» в экономику Российской Федерации, поскольку он представляет собой едва ли не единственную в отечественной практике попытку оценить широкое воздействие результатов научно-инновационной программы на социально-экономическое развитие России. Однако методология расчета этого показателя представляется достаточно спорной.
Интегральный вклад проекта «Сколково» в экономику Российской Федерации определяется по формуле:
ВВПСк = ВВПСк. вып + ВВПНИОКР + ВВПСк. дев.
ВВП
Ск. вып
определяется как добавленная стоимость, созданная компаниями - участниками «Сколково», бывшими компаниями - участниками «Сколково»,
компаниями, основанными выпускниками Сколтех, а также компаниями, основанными бывшими сотрудниками компаний - участников проекта «Сколково». ВВПНИОКр определяется как добавленная стоимость, созданная в результате внедрения разработок центров НИОКР ключевых партнеров проекта «Сколково». ВВПСкдев определяется как добавленная стоимость, созданная девелоперами, участвующими в создании и развитии инфраструктуры инновационного центра «Сколково».
При этом предполагается, что единственным фактором, определяющим возможность создания добавленной стоимости, является какая-то взаимосвязь соответствующего проекта с инновационным центром «Сколково», которая может быть сильной или слабой. Попытки определить понижающие коэффициенты для проектов, характеризующихся относительно слабой взаимосвязью со «Сколково», не предпринимается, хотя любой методический подход к разработке данных коэффициентов вряд ли может оказаться вполне убедительным.
Кроме того, следует отметить, что прирост ВВП существенно и качественно отличается от чистых выгод проекта, рассчитываемых в соответствии с методологией анализа издержек и выгод. В частности, в состав чистых выгод проекта корректнее включать не всю заработную плату персонала, в той или иной степени испытывающего позитивное влияние проекта «Сколково», а только ту ее часть, которая превышает заработную плату соответствующих наемных работников в случае, если проект «Сколково» не был бы реализован. В целом корректная оценка вклада проекта «Сколково» в развитие народного хозяйства нашей страны требует определения альтернативного сценария, предусматривающего расчет доходов всех основных стейкхолдеров проекта при отказе от его реализации.
Неоправданный акцент на показателях непосредственных результатов при игнорировании показателей
Таблица 3
Распределение целевых индикаторов подпрограммы «Создание и развитие инновационного центра «Сколково» государственной программы «Экономическое развитие и инновационная экономика» по областям оценки
Ресурсное обеспечение Непосредственные результаты Среднесрочные результаты Широкие последствия
Объем частных инвестиций, привлеченных в «Сколково», включая инвестиции в проекты компаний-участников и Сколтех. Коэффициент пригодности инновационного центра для жизни и работы Число заявок на регистрацию объектов интеллектуальной собственности, созданных в ИЦ «Сколково». Количество патентов, полученных на территориях иностранных государств, включая США, Европу, Японию. Число публикаций в журналах Web of Science на 1 исследователя Сколтех Выручка компаний - участников проекта «Сколково», полученная от результатов исследовательской деятельности. Доля выпускников Сколтех, вовлеченных в инновационную деятельность. Сокращение средних сроков коммерциализации проектов участников проекта «Сколково» Интегральный вклад проекта «Сколково» в экономику РФ
со о
CN
со N о
J <
со О
Таблица 4
Распределение ключевых показателей эффективности ОАО «РВК» по областям оценки
Ресурсное обеспечение Непосредственные результаты Среднесрочные результаты Широкие последствия
Общий объем инвестиционных обязательств (коммитментов) ОАО «РВК» на конец года. Общий объем специализированных фондов (посевных, ранней стадии, инфраструктурных и отраслевых кластерных), созданных с участием капитала ОАО «РВК». Доля инвестиций в компании предпосевной и посевной стадий в общем объеме инвестиций фондов ОАО «РВК» Доля частного капитала в общем объеме капитала инновационных и сервисных компаний, получивших инвестиции фондов ОАО «РВК». Общее число инновационных проектов (команд), принявших участие в конкурсах, премиях и отборах, организованных и поддержанных ОАО «РВК» Общий объем венчурных фондов и венчурных секций фондов прямых инвестиций, действующих на российском рынке. Общий объем инвестиций в инновационные компании на венчурном рынке РФ за год Ключевые показатели эффективности отсутствуют
со о
CN
со сч о
J <
со
о
широкого воздействия прослеживается при рассмотрении системы ключевых показателей, определенных направлениями работы ОАО «РВК» на 2014-2016 гг. [23]. Как следует из табл. 4, ни один из ключевых показателей эффективности ОАО «РВК» не отражает результатов работы получателей венчурных инвестиций и не основан на сопоставлении полученных результатов с объемом освоенного финансирования.
По мнению авторов направлений работы ОАО «РВК» на 2014-2016 гг. [23], основным показателем, характеризующим эффективность инвестиционной деятельности ОАО «РВК», является общий объем инвестиционных обязательств (коммитментов) на конец года. Однако вряд ли можно согласиться с тем, что данный показатель действительно отражает эффективность инвестиционной деятельности. Он характеризует активность менеджмента ОАО «РВК» по освоению государственных финансовых ресурсов, выделенных на формирование и развитие национальной системы венчурного инвестирования, но никак не результаты реализации инновационных проектов портфельных компаний — ни для ОАО «РВК», ни для созданных с его участием венчурных фондов, ни для портфельных компаний, ни для их сотрудников, ни для национальной экономики в целом.
Обращает на себя внимание то обстоятельство, что в системе ключевых показателей эффективности ОАО «РВК» не нашли отражения показатели, отражающие результаты выходов венчурных фондов из проинвести-рованных портфельных компаний, хотя к 2016 г. такие выходы должны уже быть осуществлены в массовом порядке. Не осуществляется мониторинг доли затрат на НИОКР в выручке портфельных компаний, что не позволяет судить о том, в какой степени ОАО «РВК» способствует повышению инновационной активности российского бизнеса. Более тонкие и теоретически обоснованные методы, основанные на сопоставлении теневых прибылей портфельных компаний в сценариях с созданием и без создания ОАО «РВК», также не применяются.
В целом система ключевых показателей эффективности ОАО «РВК» сформулирована таким образом, что она позволяет контролировать только динамику освоения средств, выделенных государством на формирование системы венчурного инвестирования, но не результаты этого инвестирования. Однако о результатах такого инвестирования можно судить на основе других показателей, которые приведены в Направлениях работы ОАО «РВК» на 2014-2016 гг.
По состоянию на 31.12.2012 г. объем средств, перечисленных в фонды, созданные с участием капитала ОАО «РВК», составил 11 млрд руб. Объем средств, планируемых на операционные расходы компании в соответствии с бизнес-планами ОАО «РВК», составляет около 1 млрд руб. в год. При этом объем выручки компаний, профинансированных фондами ОАО «РВК», в 2012 г. составил 3,372 млрд руб., а отчисления в бюджеты всех уровней и внебюджетные фонды этих компаний составили 0,351 млрд руб. Таким образом, годовая выручка всех компаний, профинансированных фондами, созданными с участием ОАО «РВК», существенно меньше объема инвестиций, направленных ОАО «РВК» в эти фонды (в которые помимо государственных средств поступает еще и частный капитал), а отчисления в бюджет и внебюджетные фонды портфельных компаний существенно меньше затрат на содержание аппарата управления ОАО «РВК».
По мнению автора, это свидетельствует о крайне низкой эффективности деятельности ОАО «РВК» с позиций оказания широкого воздействия на инновационную трансформацию российской экономики. Однако менеджмент ОАО «РВК» имеет возможность утверждать, что средний уровень исполнения ключевых показателей эффективности в 2010-2011 гг. составлял около 100%, а в 2012 г. — 107,33%. Такая ситуация обусловлена тем, что утвержденные ключевые показатели ОАО «РВК» никак не отражают эффективность использования выделяемого финансирования портфельными компаниями.
Оценка сравнительной эффективности научно-инновационных проектов и подпрограмм с использованием метода многомерной свертки данных
В процессе формирования, а также промежуточной и итоговой оценки эффективности научно-инновационных программ необходимо выявлять наиболее и наименее эффективные проекты и подпрограммы с учетом множественности областей оценки и раскрывающих их частных критериев. По мнению автора, перспективным инструментом решения этой задачи является метод многомерной свертки данных (data envelopment analysis, DEA), разработанный А. Чарнсом, В. Купером и Е. Родсом [24]. Метод многомерной свертки данных является методом математического программирования, позволяющим рассчитать сравнительную эффективность множества единиц
принятия решений исходя из информации о значениях множества входных и выходных показателей.
Пусть рассматривается n научно-инновационных проектов. Каждый проект потребляет m различных входных ресурсов и производит s различных выходных результатов. Проект P- (j=1, ..., n) потребляет количества X={xij} входных ресурсов (i=1, ..., m) и производит количества Yj={yrj} выходных результатов (r=1, ..., s). Предполагается, что Xj>0 и yrj> 0. Весовые коэффициенты при входных и выходных показателях (переменные модели DEA) обозначаются как вектора v ={vi} и u ={ur}.
Тогда сравнительная эффективность проекта Po может быть определена в результате решения следующей задачи линейного программирования [25]:
шах ео=^игуг(),
при ограничениях 2
ViX-i0 = í
2 ury¿j ur >0,
-I>¿Xij<0.
i
Vi>0.
<0 ,V/,
отражающий долю совокупных взвешенных результатов проекта Р{), обеспечиваемых областью оценки О^. Чем больше Б^, тем больше рейтинг эффективности проекта Р0 зависит от показателей результатов, входящих в область оценки О^. Поэтому Б^ можно рассматривать как показатель значимости, присвоенный области оценки результатов проекта О^ при определении рейтинга сравнительной эффективности проекта Р0.
Для того, чтобы обеспечить желательную сбалансированность учета различных областей оценки результатов реализации проекта, можно ввести нижнее и верхнее ограничения для показателей значимости отдельных областей оценки:
Тогда при использовании формата модели линейного программирования задачу оптимизации для определения рейтинга эффективности проекта Р0 можно записать как
Стандартная постановка задачи математического программирования при использовании метода DEA не предусматривает дифференциацию выходных показателей по областям оценки. При этом оценки эффективности строятся таким образом, что проект, характеризующийся максимальным отношением значения одного из выходных показателей к значению одного из входных показателей, признается абсолютно эффективным вне зависимости от того, какими являются значения прочих входных и выходных показателей. Однако это противоречит заложенной в логическую модель научно-инновационной программы идее сбалансированности между такими областями оценки, как непосредственные результаты, среднесрочные результаты и широкие последствия.
Изменим постановку задачи, чтобы обеспечить учет всех областей оценки при определении рейтинга эффективности проекта. Пусть Oí, ...,O¿ представляет разбиение набора выходных показателей на k областей оценки.
Введем показатель
при ограничениях
2 игУг] Ц %ij — 0, V/, Lk^uryr0 < ^uryrо,VA, Цигуго< Uh 2 игуг(),\/k, z¿r>0,Vr; v¡>0 У i.
(1)
(2)
(3)
(4)
(5)
(6)
В качестве иллюстрации возможности применения данного метода для оценки эффективности научно-инновационных проектов и оптимизации научно-инновационной программы рассмотрим следующую модельную ситуацию. Пусть каждый проект характеризуется системой показателей, представленной в табл. 5.
Конкретные значения входных и выходных показателей 20 научно-инновационных проектов, а также результаты решения задачи линейного программирования (1)-(6) при £¿=0,2 и Ц^=0,5 представлены в табл. 6.
Таблица 5
Распределение целевых индикаторов научно-инновационных проектов по областям оценки
Ресурсное обеспечение Непосредственные результаты Среднесрочные результаты Широкие последствия
Объем финансирования (.1). Численность задействованного персонала(.2) Количество публикаций в отечественных рецензируемых журналах (у^. Количество публикаций в зарубежных рецензируемых журналах (^Х Количество патентных заявок (уз) Количество цитирований в отечественных рецензируемых журналах (у4). Количество цитирований в зарубежных рецензируемых журналах (У5). Затраты на внедрение технологий, разработанных в результате реализации проекта (Уб). Количество аспирантов и студентов, привлеченных к реализации проекта (у7) Добавленная стоимость производства инновационной продукции (у8). проекта для консолидированного бюджета (у9). проекта для общества в целом (ую)
со о
(N
ю с^ о
<
CQ О
Таблица 6
Значения целевых индикаторов научно-инновационных проектов и оценки их сравнительной эффективности
Пр. X! х2 У\ У2 У3 У 4 У 5 У6 У7 У 8 У 9 у10 е
1 2100 8 12 1 0 55 0 3500 3 9600 2000 3800 0,677
2 3000 7 12 2 1 60 7 5600 2 16000 3000 5600 0,624
3 2800 8 9 0 1 30 0 5000 2 14800 2200 4400 0,564
4 1800 7 8 1 0 30 3 3400 3 7200 1200 2200 0,669
5 2900 9 14 1 0 58 2 4700 4 13400 2200 4600 0,650
6 2400 9 9 1 0 40 2 3600 2 11000 2000 4100 0,493
7 1900 7 12 1 1 52 5 5200 2 11500 1850 3500 0,782
8 2200 6 12 2 1 58 9 6800 2 17500 3150 6100 0,892
9 3100 8 14 1 1 56 5 7700 2 21000 4100 7200 0,607
10 2900 7 12 1 1 48 4 6600 2 18000 3500 6200 0,622
11 1800 8 20 2 80 1 3400 4 9600 2000 3600 1
12 2300 7 12 2 1 64 6 5900 3 16000 3200 6400 0,874
13 2100 6 16 2 1 72 3 5200 2 14400 2600 5200 0,853
14 3800 8 20 4 110 18 11000 5 32000 6000 11000 1
15 2600 5 11 0 1 36 0 7200 2 19800 3000 5200 0,927
16 3100 10 16 1 1 64 4 8100 4 24000 3700 7900 0,764
17 1500 7 10 0 40 0 3000 4 10000 1800 3600 0,991
18 2200 6 15 2 1 65 10 8500 5 14000 2200 3800 1
19 2500 8 12 1 1 50 5 7500 0 16000 2400 5200 0,630
20 3200 9 30 3 2 120 12 14000 3 40000 8200 14800 1
Результаты расчетов показывают, что четыре проекта из 20 рассматриваемых (с номерами 11, 14, 18, 20) попадают на эффективную границу и получают рейтинг сравнительной эффективности 1,000. Еще 5 проектов (с номерами 8, 12, 13, 15, 17) могут рассматриваться как характеризующиеся высокой эффективностью в сравнении с другими рассматриваемыми проектами. Два проекта (с номерами 3 и 6) демонстрируют достаточно низкий уровень сравнительной эффективности.
Низкая эффективность проекта 3 обусловлена скромными значениями показателей среднесрочных результатов и широких последствий. Данный проект характеризуется наименьшими показателями цити-руемости среди всех рассматриваемых проектов, в том числе проектов, характеризующихся меньшим объемом финансирования и меньшей численностью задействованного персонала, и не способствует росту человеческого капитала большого числа аспирантов и студентов. Значения показателей широких последствий, отражающих результаты внедрения новых технико-технологических решений в хозяйственную практику, для данного проекта также ^ одни из худших среди всех рассматриваемых проектов в расчете на единицу выделяемого ресурсного ¿о обеспечения.
Проект 6 является не самым худшим с точки ^ зрения ожидаемых результатов внедрения новых ^ технико-технологических решений в хозяйственную ^ практику, но не предполагает подготовки по его резуль-|Е татам большого количества научных публикаций и не ^ предусматривает подачу патентной заявки. С учетом достаточно большого требуемого объема финансиро-О вания и численности задействованного персонала это ^ оказывает негативное влияние на его итоговый рейтинг ^ эффективности.
Расчеты по предложенной нами методике, базирующейся на синтезе логической модели Программы высоких технологий США и модели многомерной свертки данных Чарнса-Купера-Родса, могут проводиться как на стадии отбора проектов для включения в научно-инновационную программу, так и в процессе мониторинга реализации программы, а также на стадии подведения итогов ее реализации. Однако если на стадии формирования программы используются прогнозные оценки показателей результатов реализации отдельных проектов, то в дальнейшем появляется возможность использования фактической информации о результатах реализации отдельных проектов и программы в целом. Полученные оценки сравнительной эффективности проектов могут использоваться для выявления и тиражирования лучших практик, а также для перераспределения объемов финансирования с учетом фактических и ожидаемых результатов деятельности отдельных исследовательских центров, выполняющих включенные в программу научно-инновационные проекты.
Заключение
Применяемые в настоящее время в России методические подходы к оценке эффективности и результативности государственных научно-инновационных программ в значительной мере игнорируют современные разработки зарубежных ученых и лучшую мировую практику. Используемые в нашей стране упрощенные подходы, не предусматривающие оценивания и мониторинга показателей широкого воздействия научно-инновационных программ на масштабы и характер инновационной трансформации российской экономики, способствуют неэффективному расходованию бюджетных средств. Для по-
вышения эффективности государственных инвестиций в реализацию российских научно-инновационных программ необходимо перемещение акцентов на предварительную оценку и последующий мониторинг результатов, достигаемых инновационно активными компаниями благодаря использованию научных разработок, созданных в процессе выполнения программы, и предоставляемому государственными институтами развития посевному и венчурному финансированию. Для выявления наиболее эффективных проектов и подпрограмм на стадиях разработки и реализации программы может быть использована модель линейного программирования, позволяющая определить степень удаленности проекта/подпрограммы от эффективной границы трансформации ресурсного обеспечения в конечные результаты программы.
Список использованных источников
1. G. Fahrenkrog et al. RTD evaluation tool box: Assessing the socioeconomic impact of RTD Policy. Seville: European Commission Joint Research Centre, 2002.
2. R. Ruegg, I. Feller. A toolkit for evaluating public R&D investment. Models, methods, and findings from ATP's first decade. Gaithersburg: National Institute of Standards and Technology, 2003.
3. R. Ruegg, G. Jordan. Overview of evaluation methods for R&D program. A directory of evaluation methods relevant to technology development programs. US Department of Energy, Office of Energy Efficiency and Renewable Energy, 2007.
4. J. Reed, G. Jordan, E. Vine. Impact evaluation framework for technology deployment programs. US Department of Energy, Office of Energy Efficiency and Renewable Energy, 2007.
5. S. Marjanovic, S. Hanney, S. Wooding. A historical reflection on research evaluation studies, their recurrent themes and challenges. Santa Monica: RAND Corporation, 2009.
6. S. Guthrie, W. Wamae, S. Diepeveen, S. Wooding, J. Grant. Measuring research. A guide to research evaluation frameworks and tools. Santa Monica: RAND Corporation, 2013.
7. Evaluating outcomes of publicly-funded research, technology and development programs: Recommendations for improving current practice. American Evaluation Association, 2015.
8. Национальный доклад об инновациях в России-2015 (проект). http://www.rusventure.ru/ru/programm/analytics/docs/ NROI_RVC.pdf.
9. Н. О. Васецкая, А. В. Федотов. Проблема оценки эффективности инвестиций в научные исследования в России//Научные труды Северо-Западного института управления. Т. 5. № 3. 2014. С. 313-318.
10. А. Р. Ефимов. Эволюция системы показателей результативности государственной поддержки инноваций на примере инновационного центра «Сколково»//Национальные интересы: приоритеты и безопасность. № 32. 2014. С. 22-34.
11. В. Д. Богатырева, Д. В. Горбунов. Методологический подход к оценке эффективности и результативности бюджетных расходов в инновационной сфере//Вестник Самарского государственного университета. Серия «Экономика и управление». № 9/2. 2015. C. 192-203.
12. Public Law 111-5 of February 17, 2009 «American Recovery and Reinvestment Act». https://www.gpo.gov/fdsys/pkg/BILLS-111hr1enr/pdf/BILLS-111hr1enr.pdf.
13. Public Law 11-352 ofJanuary 4, 2011 «GPRA Modernization Act of 2010». https://www.gpo.gov/fdsys/pkg/PLAW-111publ352/ pdf/PLAW-111publ352.pdf.
14. Offices of Management and Budget and Science and Technology Policy. Memorandum for the heads of executive departments and agencies, Subject: Science and Technology Priorities for the FY2015 Budget. https://www.whitehouse.gov/sites/default/files/omb/ memoranda/2013/m-13-16.pdf.
15. Science and Technology for America's Reinvestment: Measuring the Effects of Research on Innovation, Competitiveness and Science. https://www.starmetrics.nih.gov.
16. J. Lane, S. Bertuzzi. Measuring the results of science investments// Science. Vol. 331. 2011. P. 678-680.
17. M. Largent, J. Lane. STAR METRICS and the science of science policy//Review of Policy Research. Vol. 29. No. 3. 2012. P. 431-438.
18. Research Excellence Framework.http://www.ref.ac.uk.
19. Assessment framework and guidance on submissions. REF 02.2011. Bristol: HEFCE, 2011.
20. Research Excellence Framework 2014: The results. REF 01.2014. Bristol: HEFCE, 2014.
21. Постановление Правительства Российской Федерации № 301 от 15 апреля 2014 г. «Об утверждении государственной программы Российской Федерации «Развитие науки и технологий» на 2013-2020 гг.».
22. Постановление Правительства Российской Федерации № 316 от 15 апреля 2014 г. «Об утверждении государственной программы Российской Федерации «Экономическое развитие и инновационная экономика».
23. Направления работы ОАО «РВК» на 2014-2016 гг.: утверждены решением совета директоров ОАО «РВК» от 30.07.2013, протокол № 7. http://www.rusventure.ru/ru/company/legal_basis/ directions_RVC_2014_2016.pdf.
24. A. Charnes, W. Cooper, E. Rhodes. Measuring the efficiency of decision making units//European Journal of the Operational Research. No. 2. 1978. P. 429-444.
25. A. Charnes, W. Cooper, A. Lewin, L. Seiford. Data envelopment analysis: theory, methodology and applications. Boston: Kluwer, 1994.
Enhancement of research and development programs evaluation methodology in the light of international experience
R. M. Melnikov, doctor of economic sciences, associate professor, professor of department of state regulation of economy, Institute of public administration and management, Russian Presidential Academy of National Economy and Public Administration.
The article compares international and Russian techniques for the evaluation of research and development programs and develops suggestions on their enhancement. The author argues that the simplified techniques commonly used in Russia do not provide proper basis for the appraisal and monitoring of the impact of research and development programs on innovative transformation of the Russian economy. As a result of this practice the budget expenditure on science and innovation is frequently non-efficient. The enhancement of efficiency of public investment in research and development programs requires emphasis on careful appraisal and monitoring of economic results of innovators using knowledge created and disseminated within program execution as well as seed and venture capital provided by state development institutions.
The author justifies a technique for the comparative evaluation of research and development projects and subprograms based on a synthesis of the logic model of transformation of inputs into outcomes and impacts and a mathematical model of data envelopment analysis. The advantage of the technique is a necessary balance between program results evaluation areas (outputs, outcomes and impacts). The author demonstrates the identification process of the most efficient projects and subprograms at the formation and execution phases of the program via a solution of the linear programming model. The model affords to reveal the project/subprogram distance from the efficiency frontier of inputs' transformation into outputs, outcomes and impacts.
Keywords: research and development programs evaluation, international experience of research evaluation, optimization of innovative projects portfolio, key performance indicators.
CD
о
CN
со n о
J <
CQ О
