CC BY
140ISSN 2311-8725 (Online) ISSN 2073-039X (Print)
Инвестиционный анализ
ЗАРУБЕЖНЫЕ ПОДХОДЫ К ОЦЕНКЕ ЭФФЕКТИВНОСТИ ГОСУДАРСТВЕННЫХ ИНВЕСТИЦИИ В РЕАЛИЗАЦИЮ НАУЧНО-ИННОВАЦИОННЫХ ПРОГРАММ И ВОЗМОЖНОСТИ ИХ ИСПОЛЬЗОВАНИЯ В РОССИЙСКИХ условиях
Роман Михайлович МEЛЬНИКОВ
доктор экономических наук, профессор кафедры государственного регулирования экономики,
Российская академия народного хозяйства и государственной службы при Президенте Российской Федерации,
Москва, Российская Федерация
rmmel@mail.ru
История статьи:
Принята 10.02.2016 Одобрена 28.03.2016
УДК 338.28
JEL: C61, H63, O32, O38
Ключевые слова: научно-инновационные программы, инвестиции, логическая модель, многомерная свертка данных
Аннотация
Предмет. Проводится сравнительный анализ зарубежных и российских методических подходов к оценке эффективности государственных инвестиций в реализацию научно-инновационных программ и обосновываются предложения по их совершенствованию. Цели. Выявление резервов совершенствования российской практики оценки эффективности государственных инвестиций в реализацию научно-инновационных программ. Методология. Используются методы разработки логических моделей трансформации ресурсного обеспечения научно-инновационных программ в их конечные результаты и математический аппарат линейного программирования.
Результаты. Предлагается авторская методика оценки сравнительной эффективности научно-инновационных проектов и подпрограмм, основанная на синтезе логической модели программы высоких технологий США и метода многомерной свертки данных и обеспечивающая сбалансированность учета различных областей оценки результатов выполнения программы (непосредственных результатов, среднесрочных результатов и широких последствий).
Выводы. Применяемые в настоящее время в России методические подходы к оценке эффективности государственных инвестиций в реализацию научно-инновационных программ в значительной мере игнорируют современные разработки зарубежных ученых и лучшую мировую практику. Используемые в нашей стране упрощенные подходы, не предусматривающие оценивания и мониторинга показателей широкого воздействия научно-инновационных программ на масштабы и характер инновационной трансформации российской экономики, способствуют неэффективному расходованию бюджетных средств. Для повышения эффективности государственных инвестиций в реализацию российских научно-инновационных программ необходимо перемещение акцентов на предварительную оценку и последующий мониторинг результатов, достигаемых инновационно активными компаниями благодаря использованию научных разработок, созданных в процессе выполнения программы. Для выявления наиболее эффективных проектов и подпрограмм на стадиях разработки и реализации программы может быть использована модель линейного программирования, позволяющая определить степень удаленности проекта (подпрограммы) от эффективной границы трансформации ресурсного обеспечения в конечные результаты программы.
© Издательский дом ФИНАНСЫ и КРЕДИТ, 2016
В последние годы за рубежом, особенно в США, большое внимание уделяется совершенствованию методологии и практики оценки эффективности инвестирования в реализацию научно-инновационных программ [1-7]. Это обусловлено стремлением обеспечить высокую эффективность использования ограниченных инвестиционных ресурсов государственного бюджета с учетом существования альтернативных вариантов их использования, пониманием важности роли научно-технической и инновационной политики как инструмента повышения темпов роста национальной экономики и обеспечения условий для осуществления ее структурной трансформации, а также стремлением добиться на
этих направлениях существенных результатов за счет отбора и последующей реализации наиболее перспективных проектов и инициатив.
Достаточно удачно основные показатели, используемые при оценке эффективности в реализацию научно-программ, сгруппированы модели оценки научно-программы, разработанной аналитиками дирекции программы высоких технологий (Advanced Technology Program) США под руководством Дж. Уриано [2, с. 63-67] и завоевавшей широкое признание других исследователей. В соответствии с этой логической
инвестирования инновационных в логической инновационной
моделью оценка эффективности
и результативности научно-инновационной программы с позиции выполнения ее миссии и достижения стратегических целей предполагает расчет четырех групп показателей, характеризующих ресурсное обеспечение (input), непосредственные результаты программы (output), среднесрочные результаты программы (outcome) и широкие последствия (impact).
Выделенное ресурсное обеспечение в результате выполнения комплекса работ, предусмотренных механизмом реализации программы, приводит к получению непосредственных результатов. Однако этого недостаточно для успеха программы, поскольку непосредственные результаты не отражают эффектов программы с позиций конечных бенефициаров, то есть населения, получающего возможность приобретения инновационной продукции, и бизнеса, извлекающего прибыль в процессе коммерциализации инноваций, и не учитывают внешних эффектов от распространения создаваемых знаний. Поэтому помимо показателей, характеризующих непосредственные результаты, требуется рассчитывать показатели, характеризующие среднесрочные результаты и широкие последствия.
Непосредственные результаты программы включают научные публикации, разработанные прототипы продуктов и процессов, результаты тестовых испытаний, доклады на научно-практических семинарах и конференциях. Среднесрочные результаты программы характеризуют практическое внедрение разработанных технико-технологических решений, а также распространение новых знаний, созданных в результате проведенных исследований, и их использование для других целей.
Широкие последствия отражают влияние результатов программы на чистые выгоды от использования разработанных продуктов и технологий с позиций общества в целом, включая воздействия на занятость и доходы различных экономических агентов, качество здравоохранения и охраны окружающей среды
При оценке эффективности и результативности научно-инновационных программ на различных стадиях их жизненного цикла используются как результаты мониторинга целевых индикаторов по данным статистического и оперативного учета, так результаты обработки мнений экспертов. Метод
экспертных оценок является достаточно трудоемким, но широко признанным, позволяющим обеспечить гибкость и многоаспектность анализа и обоснования управленческих решений. Применительно к оценке уровня и качества научных результатов академическое сообщество склонно считать метод экспертных оценок наиболее объективным [6, с. 155]. Однако применительно к оценке широких последствий программы мнения экспертов, представляющих академическое сообщество, могут являться достаточно субъективными.
Библиометрические методы позволяют фиксировать непосредственные результаты программы, представленные публикациями и патентами, а также исследовать процесс распространения научных знаний с помощью анализа цитирований. Частота цитирований может отражать значимость научных результатов, полученных в рамках реализации программы, для других исследователей и выступать важным показателем среднесрочных результатов программы.
В то же время стандартные библиометрические показатели характеризуются множеством недостатков. Достаточно проблемным является вопрос учета качества при использовании количества публикаций и патентов для измерения непосредственных результатов программы, а количества цитирований - для измерения среднесрочных результатов.
Для решения этой проблемы предлагаются различные подходы, предусматривающие взвешивание публикаций по индексам качества и статуса научных журналов, а также проведение корректировок на самоцитирования. Однако учет качества публикаций остается несовершенным, как и обработка ссылок в связи с неточностью их оформления [8].
Наиболее научно обоснованным методом оценки широких последствий научно-инновационных проектов и программ является метод анализа издержек и выгод. Этот метод позволяет измерить в денежном выражении и сопоставить между собой издержки и выгоды, осуществляемые и получаемые от момента начала до момента завершения проекта (программы).
Итоговые результаты анализа представляются в формате стандартных показателей оценки
эффективности инвестиций, что позволяет сравнивать эффективность научно-инновационных программ с эффективностью программ, имеющих другие задачи и сферу реализации.
Основная проблема при проведении анализа издержек и выгод заключается в оценке внешних эффектов. Применительно к научно-инновационным проектам и программам основные классы внешних эффектов включают внешние эффекты от распространения знаний (knowledge spillovers) и рыночные внешние эффекты (market spillovers) [9]. Внешние эффекты от распространения знаний представляют собой выгоды экономических агентов от получения и практического использования знаний инноватора при условии, что инноватор не получает за это никакой денежной компенсации.
Рыночные внешние эффекты представляют собой выгоды потребителей от приобретения инновационных товаров и услуг, которые характеризуются пониженными ценами и повышенным качеством по цене, что не полностью компенсирует прирост качества товара и расширение спектра его функциональных возможностей.
Эмпирические исследования эффективности инвестиций в НИОКР с использованием методологии анализа издержек и выгод, начиная с пионерной работы Э. Мэнсфилда [10], продемонстрировали, что за счет положительных внешних эффектов общественная эффективность инвестиций в НИОКР промышленных фирм статистически значимо превышает их коммерческую эффективность.
Поскольку инвестиционные решения компаний частного сектора базируются только на учете выгод, которые получает сама компания-инноватор, без финансовой поддержки государственного сектора частный сектор склонен инвестировать в НИОКР существенно меньше, чем это оптимально с позиций общества в целом.
Процесс формирования внешних эффектов от распространения знаний, полученных в результате НИОКР коммерческих структур, субсидируемых государством, действительно работает
в американской экономике, характеризующейся присутствием на рынке множества игроков и достаточно острой конкуренцией. Однако специфика российской экономики ограничивает масштабы и значимость внешних эффектов от распространения знаний. Ее характеризуют высокая монополизация внутренних рынков
и концентрация бюджетов НИОКР в крупных государственных корпорациях. Поэтому различия между коммерческой и общественной эффективностью инвестиций в НИОКР для российской экономики существенно меньше, чем для американской.
При оценке фактических последствий реализации научно-инновационной программы метод анализа издержек и выгод может использоваться в упрощенной версии, которая является практически реализуемой. Например, метод отслеживания коммерциализации технологий [11], применяемый департаментом энергетики США, предусматривает следующий подход к оценке фактической эффективности реализации программ энергосбережения.
В качестве выгод реализации программы рассматривается достигнутая в результате внедрения инновационных энергосберегающих технологий экономия электроэнергии, умноженная на средний тариф на электроэнергию. Для расчета чистых экономических выгод от реализации программы стоимость экономии электроэнергии уменьшается на расходы по реализации программы и оценочные расходы по установке энергосберегающего оборудования, которые принимаются равными экономии энергии в течение первых двух лет после перехода на инновационные энергосберегающие технологии.
Результаты расчетов, проведенных с использованием этой методики, свидетельствуют о высокой эффективности инвестиций в разработку энергосберегающих технологий в США.
В последние годы в наиболее технологически развитых странах мира предпринимаются серьезные усилия по формированию и использованию в бюджетном процессе единых концептуальных подходов к оценке эффективности и результативности научно-инновационных программ. С 2001 по 2010 г. в США для этих целей использовалась система рейтинговой оценки программ (Program Assessment Rating Tool, PART) [12-14]. Однако по инициативе администрации Б. Обамы для оценки эффективности и результативности научно-инновационных программ было принято решение о разработке и внедрении новой системы STAR METRICS [15-17].
В отличие от PART, STAR METRICS ориентируется не на экспертные оценки с их обоснованием, а на расчет количественно
измеримых показателей на основе информации, представленной в существующих базах данных.
По замыслу инициаторов проекта, эта система должна повысить подотчетность исследователей при одновременном снижении административной нагрузки на них, а также сформировать широкий и репрезентативный набор данных для обоснования выводов о результативности научных исследований, финансируемых из
государственного бюджета США.
Задачи первого, уже реализованного этапа развертывания системы достаточно скромны и предусматривают расчет показателей вклада финансируемых за счет государственного бюджета США научных исследований в формирование и поддержание высококвалифицированных рабочих мест. При этом учитывается вовлеченность в реализацию научных проектов соисполнителей, аспирантов и студентов, а также возможность поддержания рабочих мест за счет накладных расходов по реализации проектов. До начала работ по внедрению системы STAR METRICS такого рода данные не собирались, а в условиях высокой безработицы, обусловленной прохождением острой фазы финансово-экономического кризиса, они потребовались для обоснования решений о выделении бюджетных ресурсов.
Второй этап, который в настоящее время в полной мере не реализован, предусматривает гораздо более детальный и комплексный анализ среднесрочных и долгосрочных результатов проводимых исследований и разработку индикаторов, отражающих их воздействие на экономический рост, распространение научных знаний, развитие социальной сферы, включая здравоохранение, и изменение состояния окружающей природной среды.
Для этого предполагается решить две группы взаимосвязанных задач. Первой является создание сети SciENcv, в которой каждый ученый получает свой уникальный идентификационный номер и должен заполнять профиль, характеризующий основное содержание и результаты его исследований. В профиле отражается информация о научных интересах исследователя, выполняемых им проектах и подготовленных по их результатам научным публикациям. Этот профиль одновременно служит интерфейсом между ученым и государственными структурами, финансирующими научные исследования. Данные профиля используются при подаче заявок на
финансирование новых проектов, подготовке отчетности по выполняемым проектам и другой документации.
Вторая группа задач заключается в создании системы анализа данных профилей и других имеющихся баз данных с использованием продвинутых методов анализа данных (data mining), позволяющих прослеживать эффекты, оказываемые результатами проведенных исследований.
В перспективе разработчики системы рассчитывают использовать при осуществлении автоматизированной обработки информации не только базы данных по непосредственным результатам финансируемых исследований, но и связывать с конкретными научными проектами такие характеристики более отдаленных и широких последствий проведенных исследований, как создаваемые спиноффы и стартапы, а также выдаваемые лицензии на право коммерческого использования
запатентованных технологических решений.
В то же время наиболее комплексные оценки широких последствий реализации научно-инновационных программ в настоящее время осуществляются в рамках достаточно трудоемких исследований, которые не сводятся к формированию и использованию четко структурированных баз данных.
По мнению автора, возможности системы STAR METRICS несколько преувеличены, и она едва ли позволит осуществлять действительно
полноценную оценку широких последствий реализации научно-инновационных программ. Однако она упрощает взаимодействие ученых с государственными научными фондами, а также позволяет осуществлять мониторинг показателей ресурсного обеспечения, непосредственных и среднесрочных результатов исследований в разрезе различных государственных агентств, программ, исследовательских центров и даже отдельных ученых.
В Великобритании в последние годы была внедрена принципиально иная система оценки результативности научно-инновационных программ, выполняемых в университетах - REF (Research Excellence Framework - система оценки качества исследований) [18, 19]. Если система STAR METRICS ориентирована на использование информационных технологий и количественных показателей, то система REF - на широкое
привлечение экспертов и преимущественно качественный подход.
В системе REF интегральная оценка результативности исследований строится на основе агрегирования результатов для трех областей оценки - качества непосредственных результатов исследований, широких последствий результатов исследований, а также конкурентоспособности исследовательской среды. По каждой из областей оценки выставляется балл по пятибалльной шкале (от 0 до 4 баллов, или «звезд»).
При формировании интегральной оценки вклад оценки качества непосредственных результатов исследований составляет 65%, вклад широких последствий результатов исследований - 20%, а конкурентоспособности исследовательской среды - 15%.
Основными критериями оценки качества непосредственных результатов исследований являются оригинальность, строгость аргументации и существенность вклада в развитие научного направления. Оценка выставляется экспертами по результатам изучения представленных научных публикаций, а также с учетом библиометрических показателей.
Широкие последствия результатов исследований включают все эффекты, которые проявляются за пределами сферы академической науки. Основные их них заключаются в осваиваемых инновациях, в том числе в социальной сфере.
Критериями оценки широких последствий являются сфера и значимость их влияния. Сфера влияния отражает широту применения результатов исследований, а значимость - их преобразовательный эффект, обеспечивающий совершенствование конкретных продуктов и процессов.
Оценка широких последствий проводится по результатам анализа представленных экспертам кейс-стади конкретных примеров этих последствий и обобщающих отчетов, которые отражают характер взаимодействия с пользователями результатов проведенных исследований, а также эффекты использования результатов исследований на практике. Включение элементов оценки широких последствий позволяет отразить вклад финансируемых исследований в социально-экономическое развитие и их практическую значимость.
Область оценки, характеризующая
конкурентоспособность исследовательской среды, дает возможность поддерживать
исследовательские центры, которые аккумулировали высокий потенциал, позволяющий им на регулярной основе получать содержательные научные результаты, оказывающие влияние на развитие академической науки, а также востребованные хозяйственной практикой.
Методология REF позволяет давать достаточно комплексную и объективную оценку результативности исследований, проводимых научными и научно-образовательными организациями. Однако она является крайне трудоемкой, поскольку, в отличие от методологии STAR METRICS, существенно зависит от результатов экспертных оценок, а также требует подготовки материалов для последующей экспертной оценки самими исследовательскими центрами.
Практика оценки эффективности инвестиций в реализацию научно-инновационных программ в России на современном этапе заключается в разработке и последующем мониторинге систем целевых индикаторов. Однако при этом не учитывается логическая модель программы высоких технологий США [2, с. 63-67], которая за рубежом получила достаточно широкое признание.
Основной проблемой является необоснованное игнорирование показателей широких последствий и чрезмерный акцент на показателях ресурсного обеспечения.
Например, распределение целевых индикаторов государственной программы «Развитие науки и технологий» на 2013-2020 годы по областям оценки, предусмотренным логической моделью программы высоких технологий США, имеет вид, представленный в табл. 1.
Большинство целевых индикаторов программы характеризуют ее ресурсное обеспечение. Лишь три индикатора могут рассматриваться как характеризующие среднесрочные результаты программы. Ни один из индикаторов не может быть отнесен к показателям широких последствий и не отражает ожидаемых результатов использования исследований и разработок российской промышленностью. Поэтому программа может быть формально признана успешной, даже если ее результаты не будут способствовать инновационной модернизации российской промышленности и не принесут
никаких реальных социально-экономических выгод в долгосрочной перспективе.
Гораздо более сбалансированной является система целевых индикаторов подпрограммы «Создание и развитие инновационного центра «Сколково» государственной программы «Экономическое развитие и инновационная экономика» (табл. 2).
Данная система показателей позволяет осуществлять мониторинг реализации проекта «Сколково» с использованием логической модели, предусматривающей последовательную трансформацию непосредственных результатов (новых технико-технологических решений) в коммерчески востребованные инновационные продукты и виды деятельности, создающие новые высокопроизводительные рабочие места. Кроме того, представленные в системе целевые индикаторы комплексно отражают интересы и результаты деятельности различных стейкхолдеров, включающих бизнес, ученых, студентов и общество в целом.
В процессе формирования, а также промежуточной и итоговой оценок эффективности научно-инновационных программ необходимо выявлять наиболее и наименее эффективные проекты и подпрограммы с учетом множественности областей оценки
и раскрывающих их частных критериев.
По мнению автора, перспективным инструментом решения этой задачи является метод многомерной свертки данных (data envelopment analysis, DEA), разработанный А. Чарнсом, В. Купером и Е. Родсом [20]. Метод многомерной свертки данных является методом математического программирования, позволяющим рассчитать сравнительную эффективность множества единиц принятия решений исходя из информации о значениях множества входных и выходных показателей.
Пусть рассматривается n научно-инновационных проектов. Каждый проект потребляет m различных входных ресурсов и производит s различных выходных результатов. Проект Pj (j = 1,...,n) потребляет количество Xj = {Xj} входных ресурсов (i = 1,...,m) и производит количество Yj = {yrj} выходных результатов (r = 1,.,s). Предполагается, что Xj > 0 и yj > 0. Весовые коэффициенты при входных и выходных показателях (переменные модели DEA) обозначаются как векторы v = {v;} и
u = {Ur}.
Тогда сравнительная эффективность проекта P0 может быть определена в результате решения
следующей задачи линейного программирования [21]:
при ограничениях
Стандартная постановка задачи математического программирования при использовании метода DEA не предусматривает дифференциации выходных показателей по областям оценки. При этом оценки эффективности строятся таким образом, что проект, характеризующийся максимальным отношением значения одного из выходных показателей к значению одного из входных показателей, признается абсолютно эффективным вне зависимости от того, какими являются значения прочих входных и выходных показателей.
Однако это противоречит заложенной в логическую модель научно-инновационной программы идее сбалансированности между такими областями оценки, как непосредственные результаты, среднесрочные результаты и широкие последствия.
Изменим постановку задачи, чтобы обеспечить учет всех областей оценки при определении рейтинга эффективности проекта.
Пусть Oi,...,Ok представляет разбиение набора выходных показателей на K областей оценки.
Введем следующий показатель:
Он отражает долю совокупных взвешенных результатов проекта Ро, обеспечиваемых областью оценки Ok. Чем больше Sk, тем больше рейтинг эффективности проекта P0 зависит от показателей результатов, входящих в область оценки Ok. Поэтому Sk можно рассматривать как показатель значимости, присвоенный области оценки результатов проекта Ok при определении рейтинга сравнительной эффективности проекта
P0.
Экономический анализ: теория и практика
Чтобы обеспечить желательный баланс учета различных областей оценки результатов реализации проекта, можно ввести нижнее и верхнее ограничения для показателей значимости отдельных областей оценки:
Тогда при использовании формата модели линейного программирования задачу оптимизации для определения рейтинга эффективности проекта Ро можно записать как
при следующих ограничениях:
В качестве иллюстрации возможности применения данного метода для оценки эффективности научно-инновационных проектов и оптимизации научно-инновационной программы рассмотрим следующую модельную ситуацию. Пусть каждый проект характеризуется системой показателей, представленной в табл. 3.
Economic Analysis: Theory and Practice
Конкретные значения входных и выходных показателей 20 научно-инновационных проектов, а также результаты решения задачи линейного программирования (1)-(6) при Lk = 0,2 и Uk = 0,5 представлены в табл. 4.
Результаты расчетов показывают, что четыре проекта из 20 рассматриваемых (№ 11, 14, 18, 20) попадают на эффективную границу и получают рейтинг сравнительной эффективности 1. Еще пять проектов (№ 8, 12, 13, 15, 17) могут рассматриваться как характеризующиеся высокой эффективностью в сравнении с другими рассматриваемыми проектами. Два проекта (№ 3, 6) демонстрируют достаточно низкий уровень сравнительной эффективности.
Расчеты по предложенной методике, базирующейся на синтезе логической модели программы высоких технологий США и модели многомерной свертки данных Чарнса - Купера -Родса, могут проводиться как на стадии отбора проектов для включения в научно-инновационную программу, так и в процессе мониторинга реализации программы, а также на стадии подведения итогов ее реализации. Однако если на стадии формирования программы используются прогнозные оценки показателей результатов реализации отдельных проектов, то в дальнейшем появляется возможность использования фактической информации о результатах реализации отдельных проектов и программы в целом.
Полученные оценки сравнительной эффективности проектов могут использоваться для выявления и тиражирования лучших практик, а также для перераспределения объемов финансирования с учетом фактических и ожидаемых результатов деятельности отдельных исследовательских центров, выполняющих включенные в программу научно-инновационные проекты.
5 (2016) 112-123
Таблица 1
Распределение целевых индикаторов государственной программы «Развитие науки и технологий» на 2013-2020 годы по областям оценки
_Область оценки_Целевые индикаторы_
Ресурсное обеспечение Отношение средней зарплаты научных сотрудников к средней зарплате по субъекту
Федерации.
Средний возраст исследователей.
Удельный вес исследователей в возрасте до 39 лет.
Доля кандидатов и докторов наук в численности исследователей до 39 лет. Удельный вес средств, полученных от выполнения научной деятельности, в общем объеме средств ведущих российских университетов.
Удельный вес стоимости машин и оборудования в возрасте до пяти лет в общей стоимости машин и оборудования в организациях, выполняющих исследования и разработки.
Удельный вес затрат на технологические инновации, выполненные собственными силами, в общем объеме затрат на технологические инновации в сфере исследований и разработок.
Доля затрат на приобретение машин, оборудования, программных средств в общем объеме затрат на технологические инновации.
Удельный вес исследователей в возрасте до 39 лет в численности исследователей,
_направленных на стажировку в зарубежные научные организации_
Непосредственные результаты Удельный вес РФ в общем количестве публикаций в мировых научных журналах,
индексируемых в WEB of Science.
Количество публикаций в журналах из списка ВАК на 100 исследователей. Количество публикаций в журналах Scopus на 100 исследователей. Количество публикаций в журналах WEB of Science на 100 исследователей. Количество отечественных патентных заявок на изобретения, поданных в РФ, в расчете на 10 тыс. чел. населения.
Удельный вес публикаций в соавторстве с зарубежными учеными в общем количестве публикаций российских авторов в журналах WEB of Science. Удельный вес публикаций в соавторстве с зарубежными учеными в общем
_количестве публикаций российских авторов в журналах Scopus_
Среднесрочные результаты Количество цитирований в расчете на одну публикацию российских исследователей
в журналах WEB of Science.
Доля инновационной продукции в общем объеме продукции в сфере исследований и разработок.
Доля новых для рынка сбыта организаций инновационных товаров в объеме
_инновационных товаров в сфере исследований и разработок_
Широкие последствия_Целевые индикаторы отсутствуют_
Источник: авторская разработка Таблица 2
Распределение целевых индикаторов подпрограммы «Создание и развитие инновационного центра «Сколково» государственной программы «Экономическое развитие и инновационная экономика» по областям оценки
_Область оценки_Целевые индикаторы_
Ресурсное обеспечение Объем частных инвестиций, привлеченных в «Сколково», включая инвестиции
в проекты компаний-участников и Сколтех.
_Коэффициент пригодности инновационного центра для жизни и работы_
Непосредственные результаты Количество заявок на регистрацию объектов интеллектуальной собственности,
созданных в «Сколково».
Количество патентов, полученных на территориях иностранных государств.
_Количество публикаций в журналах WEB of Science на одного исследователя Сколтех
Среднесрочные результаты Выручка компаний - участников проекта «Сколково», полученная от результатов
исследовательской деятельности.
Доля выпускников Сколтех, вовлеченных в инновационную деятельность. Сокращение средних сроков коммерциализации проектов участников проекта
_«Сколково»_
Широкие последствия_Интегральный вклад проекта «Сколково» в экономику РФ_
Источник: авторская разработка
Экономический анализ: теория и практика Economic Analysis: 5 (2016) 112-123 Theory and Practice
Таблица 3 Распределение целевых индикаторов научно-инновационных проектов по областям оценки
Область оценки Целевые индикаторы
Ресурсное обеспечение Объем финансирования Xl. Численность задействованного персонала X2
Непосредственные результаты Количество публикаций в отечественных рецензируемых журналах У1. Количество публикаций в зарубежных рецензируемых журналах у2. Количество патентных заявок у3
Среднесрочные результаты Количество цитирований в отечественных рецензируемых журналах у4. Количество цитирований в зарубежных рецензируемых журналах у5. Затраты на внедрение технологий, разработанных в результате реализации проекта у6. Количество аспирантов и студентов, привлеченных к реализации проекта у7
Широкие последствия Производства инновационной продукции у8. NPV проекта для консолидированного бюджета у9. NPV проекта для общества в целом ую
Источник: авторская разработка
Таблица 4
Значения целевых индикаторов научно-инновационных проектов и оценки их сравнительной эффективности
Проект Xi X2 yi У2 Уз У4 У5 Уб У7 У8 У9 У10 e
1 2 100 8 12 1 0 55 0 3 500 3 9 600 2 000 3 800 0,677
2 3 000 7 12 2 1 60 7 5 600 2 16 000 3 000 5 600 0,624
3 2 800 8 9 0 1 30 0 5 000 2 14 800 2 200 4 400 0,564
4 1 800 7 8 1 0 30 3 3 400 3 7 200 1 200 2 200 0,669
5 2 900 9 14 1 0 58 2 4 700 4 13 400 2 200 4 600 0,65
6 2 400 9 9 1 0 40 2 3 600 2 11 000 2 000 4 100 0,493
7 1 900 7 12 1 1 52 5 5 200 2 11 500 1 850 3 500 0,782
8 2 200 6 12 2 1 58 9 6 800 2 17 500 3 150 6 100 0,892
9 3 100 8 14 1 1 56 5 7 700 2 21 000 4 100 7 200 0,607
10 2 900 7 12 1 1 48 4 6 600 2 18 000 3 500 6 200 0,622
11 1 800 8 20 2 0 80 1 3 400 4 9 600 2 000 3 600 1
12 2 300 7 12 2 1 64 6 5 900 3 16 000 3 200 6 400 0,874
13 2 100 6 16 2 1 72 3 5 200 2 14 400 2 600 5 200 0,853
14 3 800 8 20 4 2 110 18 11 000 5 32 000 6 000 11 000 1
15 2 600 5 11 0 1 36 0 7 200 2 19 800 3 000 5 200 0,927
16 3 100 10 16 1 1 64 4 8 100 4 24 000 3 700 7 900 0,764
17 1 500 7 10 0 0 40 0 3 000 4 10 000 1 800 3 600 0,991
18 2 200 6 15 2 1 65 10 8 500 5 14 000 2 200 3 800 1
19 2 500 8 12 1 1 50 5 7 500 0 16 000 2 400 5 200 0,63
20 3 200 9 30 3 2 120 12 14 000 3 40 000 8 200 14 800 1
Источник: авторская разработка
Список литературы
1. Fahrenkrog G. et al. RTD Evaluation Tool Box: Assessing the Socio-Economic Impact of RTD Policy. Seville: European Commission Joint Research Centre, 2002.
2. Ruegg R., Feller I. A Toolkit for Evaluating Public R&D Investment. Models, Methods, and Findings from ATP's First Decade. Gaithersburg: National Institute of Standards and Technology, 2003.
3. Ruegg R., Jordan G. Overview of Evaluation Methods for R&D Program. A Directory of Evaluation Methods Relevant to Technology Development Programs. US Department of Energy, Office of Energy Efficiency and Renewable Energy, 2007.
4. Reed J., Jordan G., Vine E. Impact Evaluation Framework for Technology Deployment Programs. US Department of Energy, Office of Energy Efficiency and Renewable Energy, 2007.
5. Marjanovic S., Hanney S., Wooding S. A Historical Reflection on Research Evaluation Studies, Their Recurrent Themes and Challenges. Santa Monica: RAND Corporation, 2009.
6. Guthrie S., Wamae W., Diepeveen S., Wooding S., Grant J. Measuring Research. A Guide to Research Evaluation Frameworks and Tools. Santa Monica: RAND Corporation, 2013.
7. Evaluating Outcomes of Publicly-Funded Research, Technology and Development Programs: Recommendations for improving current practice. American Evaluation Association, 2014.
8. Kapeller J. Citation Metrics: Serious Drawbacks, Perverse Incentives and Strategic Options for Heterodox Economics // American Journal of Economics and Sociology. 2010. Vol. 69. № 5. P. 1376-1408.
9. Jaffe A. Economic Analysis of Research Spillovers: Implications for the Advanced Technology Program. Gaithersburg: National Institute of Standards and Technology, 1996.
10. Mansfield E. Social and Private Rates of Return From Industrial Innovations // Quarterly Journal of Economics. 1977. Vol. 91. № 2. P. 221-240.
11. Methodology for Technology Tracking and Assessment of Benefits. In: Industrial Technologies Program: Summary of Program Results for CY 2009. US Department of Energy, 2009.
12. Gilmour J., Lewis D. Assessing Performance Assessment for Budgeting: The Influence of Politics, Performance, and Program Size in FY 2005 // Journal of Public Administration Research and Theory.
2006. Vol. 16. № 2. P. 169-186.
13. Gilmour J. Implementing OMB's Program Assessment Rating Tool (PART): Meeting the challenges of integrating budget and performance // OECD Journal on Budgeting. 2007. Vol. 7. № 1. P. 1-40.
14. Guide to the Program Assessment Rating Tool (PART). Washington: Office of Management and Budget,
2007.
15. Lane J. Lets's Make Science Metrics More Scientific // Nature. 2010. Vol. 464. P. 488-489.
16. Lane J., Bertuzzi S. Research Funding. Measuring the Results of Science Investments // Science. 2011. Vol. 331. P. 678-680.
17. Largent M., Lane J. STAR METRICS and the Science of Science Policy // Review of Policy Research. 2012. Vol. 29. № 3. P. 431-438.
18. REF 2014: Assessment Framework and Guidance on Submissions. Bristol, HEFCE, 2011. URL: http://urlid.ru/af95.
19. REF 2014: The Results. Bristol, HEFCE, 2014. URL: http://urlid.ru/af94.
20. Charnes A., Cooper W., Rhodes E. Measuring the Efficiency of Decision Making Units // European Journal of Operational Research. 1978. Vol. 2. Iss. 6. P. 429-444.
21. Charnes A., Cooper W., Lewin A., Seiford L. Data Envelopment Analysis: Theory, Methodology and Applications. Boston: Kluwer, 1994.
Экономический анализ: Economic Analysis:
теория и практика 5 (2016) 112-123 Theory and Practice
ISSN 2311-8725 (Online) Investment Analysis
ISSN 2073-039X (Print)
FOREIGN APPROACHES TO EVALUATING THE RETURN ON PUBLIC INVESTMENT IN RESEARCH AND DEVELOPMENT PROGRAMS AND THEIR APPLICABILITY UNDER RUSSIAN CONDITIONS
Roman M. MEL'NIKOV
Russian Presidential Academy of National Economy and Public Administration, Moscow, Russian Federation rmmel@mail.ru
Article history:
Received 10 February 2016 Accepted 28 March 2016
JEL classification: C61, H63, O32, O38
Keywords: research and development program, public investment, logical model, envelopment analysis
Abstract
Importance The article compares international and Russian methodological approaches to evaluation of return on public investments in research and development programs, and underpins proposals for their enhancement.
Objectives The study aims to reveal reserves to improve the Russian practice of evaluation of public investment efficiency in research and development programs.
Methods The study draws upon the methodology for designing the logic models to transform the inputs of research and development programs into their outcomes, and a mathematical technique of linear programming.
Results I developed a unique technique to assess the comparative efficiency of R&D projects and subprograms based on the synthesis of the U.S. Advanced Technology Program's logic model and the data envelopment analysis model by A. Charnes, W. Cooper and E. Rhodes. The advantage of the technique is a balance between program results evaluation areas (outputs, outcomes and impacts). Conclusions To enhance the efficiency of public investments in R&D programs, it is required to shift the emphasis to preliminary assessment and subsequent monitoring of economic results of innovators using knowledge created and disseminated within the program execution. I advocate a linear programming model as a means of detecting the most efficient projects and subprograms at the formation and execution phases of the R&D program. The model enables to reveal how far the project (or subprogram) is from the efficient border of inputs transformation into outputs, outcomes and impacts.
© Publishing house FINANCE and CREDIT, 2016
References
1. Fahrenkrog G. et al. RTD Evaluation Toolbox: Assessing the Socio-economic Impact of RTD Policies. Seville, European Commission Joint Research Centre, 2002.
2. Ruegg R., Feller I. A Toolkit for Evaluating Public R&D Investment. Models, Methods, and Findings from ATP's First Decade. Gaithersburg, National Institute of Standards and Technology, 2003.
3. Ruegg R., Jordan G. Overview of Evaluation Methods for R&D program. A Directory of Evaluation Methods Relevant to Technology Development Programs. U.S. Department of Energy, Office of Energy Efficiency and Renewable Energy, 2007.
4. Reed J., Jordan G., Vine E. Impact Evaluation Framework for Technology Deployment Programs. US Department of Energy, Office of Energy Efficiency and Renewable Energy, 2007.
5. Marjanovic S., Hanney S., Wooding S. A Historical Reflection on Research Evaluation Studies, Their Recurrent Themes and Challenges. Santa Monica, RAND Corporation, 2009.
6. Guthrie S., Wamae W., Diepeveen S., Wooding S., Grant J. Measuring Research. A guide to Research Evaluation Frameworks and Tools. Santa Monica, RAND Corporation, 2013.
7. Evaluating Outcomes of Publicly-Funded Research, Technology and Development Programs: Recommendations for Improving Current Practice. American Evaluation Association, 2014.
8. Kapeller J. Citation Metrics: Serious Drawbacks, Perverse Incentives, and Strategic Options for Heterodox Economics. American Journal of Economics and Sociology, 2010, vol. 69, no. 5, pp. 1376-1408.
9. Jaffe A. Economic Analysis of Research Spillovers: Implications for the Advanced Technology Program. Gaithersburg, National Institute of Standards and Technology, 1996.
10. Mansfield E. Social and Private Rates of Return from Industrial Innovations. Quarterly Journal of Economics, 1977, vol. 91, no. 2, p. 221-240.
11. Methodology for Technology Tracking and Assessment of Benefits. In: Industrial Technologies Program: Summary of Program Results for CY 2009. US Department of Energy, 2009.
12. Gilmour J., Lewis D. Assessing Performance Assessment for Budgeting: The Influence of Politics, Performance, and Program Size in FY 2005. Journal of Public Administration Research and Theory, 2006, vol. 16, no. 2, pp.169-186.
13. Gilmour J. Implementing OMB's Program Assessment Rating Tool (PART): Meeting the Challenges of Integrating Budget and Performance. OECD Journal on Budgeting, 2007, vol. 7, no. 1, pp. 1-40.
14. Guide to the Program Assessment Rating Tool (PART). Washington, Office of Management and Budget,
15. Lane J. Lets's Make Science Metrics More Scientific. Nature, 2010, vol. 464, pp. 488-489.
16. Lane J., Bertuzzi S. Research Funding. Measuring the Results of Science Investments. Science, 2011, vol. 331, pp. 678-680.
17. Largent M., Lane J. STAR METRICS and the Science of Science Policy. Review of Policy Research, 2012, vol. 29, no. 3, pp. 431-438.
18. REF 2014: Assessment Framework and Guidance on Submissions. Bristol, HEFCE, 2011. Available at: http://urlid.ru/af95.
19. REF 2014: The Results. Bristol, HEFCE, 2014. Available at: http://urlid.ru/af94.
20. Charnes A., Cooper W., Rhodes E. Measuring the Efficiency of Decision Making Units. European Journal of Operational Research, 1978, vol. 2, iss. 6, pp. 429-444.
21. Charnes A., Cooper W., Lewin A., Seiford L. Data Envelopment Analysis: Theory, Methodology and Applications. Boston, Kluwer, 1994.
2007.
