CC BY
14
ИННОВАЦИОННАЯ ЭКОНОМИКА
Оценка достижения основных результатов (эффектов)
I V/ V/
федеральной целевой программы
В. Б. Михайлец, И. В. Радин, К. В. Шуртаков,
к. т. н., доцент, ведущий зам. генерального директора,
с. н. с. специалист руководитель отдела
e-mail: [email protected] e-mail: [email protected] e-mail: [email protected]
Отдел информационно-аналитического и организационного обеспечения, ФГБНУ «Дирекция научно-технических программ», Москва
Приведены оценки достижения основных результатов (эффектов) федеральной целевой программы «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2007-2013 гг.», с помощью разработанного методического инструментария, базирующегося на использовании оценочных функций.
Ключевые слова: программно-целевое планирование, показатели программы, оценочные функции, интегральная оценка результативности.
о сч
ю 00
со
S S
J <
CD
В настоящем исследовании оценивается степень достижения основных результатов (эффектов) федеральной целевой программы «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2007-2013 гг.» (далее — Программы). Считается, что выбранная система плановых показателей Программы, заданными в ходе ее разработки и скорректированные в процессе ее реализации, сбалансирована и увязана с ее целями и задачами, адекватно отражает эффективность ее выполнения, а заданные значения показателей являются оптимальными в смысле обеспечения разумного превышения эффектов от результатов над затратами. При этом, под оценкой достижения плановых показателей Программы понимается процесс сопоставления заданных (план) и реально достигнутых (факт) значений показателей Программы с помощью оценочных функций [1].
Для оценки достижения основных результатов (эффектов) Программы был предложен [1] интегральный показатель оценки результативности, представляющий собой средневзвешенное значение оценок выполнения индикаторов и показателей Программы:
Р = WI* ЯI + Wм* ям + яЕ + яс, (1)
где WI, Wм, WE, Wс — значимости (весомости) оценок выполнения совокупностей целевых индикаторов (I),
макроэкономических (М), микроэкономических (Е) показателей и показателей социально-экономической эффективности (С) Программы соответственно; Я^ ям, яЕ, яс — оценки выполнения совокупностей целевых индикаторов (I), макроэкономических (М), микроэкономических (Е) показателей и показателей социально-экономической эффективности (С) Программы, соответственно.
Оценки выполнения совокупностей индикаторов и показателей являются, в свою очередь, средневзвешенными значениями оценок выполнения индикаторов и показателей, входящих в каждую из совокупностей:
(2)
RM~^WMiRMv
г=\
(3)
(4)
(5)
где WIi, Wм¡, W^i, WCi — значимости (весомости) оценок выполнения целевых индикаторов (I), макроэкономических (М), микроэкономических (Е) показателей и показателей социально-экономической эффектив-
ности (С) Программы, соответственно; RIi, RMi, REi, RCi — оценки выполнения целевых индикаторов (I), макроэкономических (М), микроэкономических (Е) показателей и показателей социально-экономической эффективности (С) Программы, соответственно.
Интегральную оценку эффективности (успешности) Программы Ro было предложено [1] представлять как среднее арифметическое значение оценок степени достижения показателей P и Q, где Q — соответствие реальных затрат запланированному уровню бюджетных затрат на реализацию Программы с ограничением на возможность равенства этих показателей нулю:
' 0,5 ОР+й), если РФ 0 Л ОФ 0 0, если Р= 0 V (2=0. ^
R0 =
Оценочные функции, рекомендуемые для
Указанное ограничение вызвано исключительной важностью оценок P и Q. Если хотя бы одна из этих оценок окажется равной нулю, то это будет означать нулевую успешность программы.
Так как плановые значения отдельных показателей заданы (рассчитаны) разработчиками Программы в виде чисел или диапазонов чисел, то для оценки степени достижения (или оценки выполнения) каждого показателя целесообразно использовать соответствующую этому показателю оценочную функцию R.
Из всех рассмотренных в [1] оценочных функций наиболее применимыми представляются те функции, шкалы которых ограничены числами 0 и 1, что позволя-
Таблица1
оценки выполнения показателей Программы
№ пп Графический вид оценочной функции Аналитический вид оценочной функции
1 RQ 1 0,8 0,6 0,4 0,2 0 г) 3 0,2 0, 4 0,6 0,8 1 I Пороговая оценочная функция R (I) при желаемом превышении показателя I заданного числа Iz f 0, если /< Iz R=\ И, если/>/2, R — оценка; I — достигнутое значение показателя; Iz — заданное значение показателя (здесь и далее показаны условные значения показателей)
2 R0 1 0,8 0,6 0,4 0,2 °( 0 / 3 0,2 0 1,4 0,6 0,8 1 I Оценочная функция R (/) для показателя I, при негативном отношении к превышению заданного значения Iz (//4, если /<4 R=\ 10, если l>lz
3 RQ 1 0,8 0,6 0,4 0,2 0 ) 0 1 2 3/ Оценочная функция R (Г) для показателя I при положительном отношении к достижению заданного диапазона {/zmin, /гmax} и умеренно негативном отношении к превышению заданного значения показателя lz тах /0, если /< lz min R=U> если/2тй</</2тах \4maxA еСЛИ l>lz
4 RQ 1 0,8 0,6 0,4 0,2 0 г) 0 0,2 0,4 0 ,6 0,8 11 Оценочная функция R (/) для показателя I при умеренно положительном отношении к частичному выполнению требуемого значения Iz min, положительном отношении к достижению заданного диапазона {Izmin, Iz max} и негативном отношении к превышению заданного значения показателя Iz max /J/4min» если I <IZmin R=\l> еСЛИ4тт</^4тах \0, если I>IZ
Таблица 2
Оценочные функции, не рекомендуемые для оценки выполнения показателей Программы
№ пп Графический вид оценочной функции Аналитический вид оценочной функции
5 R( 3 2 1 0 0 i,5 0 0,5 1 1,5 / Оценочные функции R (I) на основе соотношения достигнутого I и заданного значений показателя 1х при желаемом повышении значений показателя -■к
6 R 6 3 0 -3 -6 (I),R(II) Л 2-10 1 2 IJI Оценочные функции R (I) на основе соотношения достигнутого I и заданного значений показателя 1х при не желаемом повышении значений показателя «4
ИННОВАЦИОННАЯ ЭКОНОМИКА
О (N
Ю 00
СО
J <
CQ О
ет оценивать степень достижения всех без исключения показателей в единой шкале оценок, предотвращая тем самым смешение с оценками по шкалам с бесконечными краями, учитывающими сомнительные достоинства «перевыполнения плановых показателей».
Предлагается использовать следующие оценочные функции Я (см. табл. 1).
Так, оценка соответствия реальных бюджетных затрат запланированному уровню бюджетных затрат на реализацию программ ( должна осуществляться при помощи оценочной функции (2), см. табл. 1.
Следует отметить, что все оценочные функции для показателей, задаваемых числом, легко трансформируются в оценочные функции для показателей, задаваемых диапазонами.
Довольно часто в качестве оценочных функций предлагается использовать соотношения достигнутого и заданного значений показателя (см. табл. 2).
Такие оценочные функции не рекомендуется использовать в оценках степени достижения тех или иных показателей государственных программ из-за отсутствия четко очерченных оценочных шкал, а также возможности получения бесконечных оценок, в том числе отрицательных.
Следует также отметить часто не замечаемый существенный недостаток оценочной функции (5), см. табл. 2, состоящий в том, что по умолчанию предполагается равенство нулю минимального планового значения показателя, что далеко не всегда приемлемо и может приводить к существенному завышению результатов оценки качества или эффективности тех или иных объектов.
Так, например, предполагалось [2] оценивать эффективность Программы на основании фактических количественных оценок целевых индикаторов ежегодно в процентах по следующей формуле:
Э= 1-
(7)
где п — количество целевых индикаторов; х^ — планируемое значение г-го целевого индикатора; Хф^ — фактическая количественная оценка г-го целевого индикатора.
Недостатки такой оценки очевидны:
• как и функция (5) из табл. 2, формула (7) допускает получение значения эффективности Программы свыше 100%, даже если по большинству индикаторов получены нулевые фактические оценки, а по остальным индикаторам достигнуто существенное (в разы) превышение фактических значений индикаторов над плановыми значениями индикаторов;
• неочевидно, что Э=120% лучше (или хуже), чем Э=100%;
• для расчета эффективности Программы используются только одна совокупность из 10-ти целевых индикаторов, и никак не учитываются три другие совокупности (М, Е, С) плановых показателей, содержащих в общей сложности 21 показатель;
• непонятно, что понимается под плановым значением х, если плановые значения целевых индикаторов заданы не числом, а диапазоном;
• формула (7) неявно предполагает значимость (весомость) всех индикаторов одинаковой, и такое предположение ничем не обосновано.
В отличие от формулы (7) в предлагаемом оценочном инструментарии значимости оценок выполнения показателей (WB, WMi, WEi, WCi) и их совокупностей (Wj, WM, WE, Wc) отражают важность (весомость) каждого из показателей и их совокупностей с точки зрения достижения целей Программы. Значимости показателей были рассчитаны по данным экспертного опроса [1].
Предлагаемый методический инструментарий для оценки достижения основных результатов Программы реализован в виде таблицы-алгоритма в формате Excel и позволяет:
• оценивать степень достижения результатов Программы в целом за весь период ее реализации по шкале оценок интегральных показателей P, Q и RO от 0 до 100%;
• давать оценки степени выполнения, как отдельных показателей Программы, так и их совокупностей по годам и за весь период реализации Программы;
• проводить анализ влияния отдельных показателей и их совокупностей на значения интегральных показателей.
Результаты апробации предлагаемого методического инструментария по оценке достижения основных результатов (эффектов) реализации Программы по годам и итоговые представлены для наглядности в табл. 3-6.
В табл. 3 представлены плановые и реально достигнутые значения целевых индикаторов Программы по годам и итоговые. Реально достигнутые значения целевых индикаторов Программы взяты с официального сайта [2]: за 2007-2012 гг. указаны годовые значения, за 2013 г. — результаты за 9 месяцев 2013 г. В качестве оценочной функции для всех 10 индикаторов взята функция (1) из табл. 1, где за плановое значение индикатора принято его минимальное значение Jz min. Значимости (веса) индикаторов и их совокупности были определены на предыдущих этапах работы посредством проведения экспертного опроса [1]. В табл. 3 представлены основные результаты расчетов — оценка достижения отдельных целевых индикаторов и их совокупности по годам и итоговая (ОИ = 70%) на 1 октября 2013 г.
В табл. 4-6 представлены плановые и реально достигнутые значения макроэкономических (М), микроэкономических (Э) и социально-экономических (С) показателей по годам и итоговые. Реально достигнутые значения этих показателей Программы взяты из официальных отчетов о научно-исследовательских работах, подготовленных в рамках Программы по государственным контрактам № 02.562.11.8001 и 14.562.12.8001.
В качестве оценочной функции для всех показателей, кроме Э5 и Э6, взята функция (1) из табл. 1, где за плановое значение индикатора принято его минимальное значение Jz min. Для показателей Э5 (средний возраст машин и оборудования организаций научной сферы, участвующих в реализации соответствующих мероприятий Программы) и Э6 (изменение среднего
Таблица 3
Общая оценка достижения целевых индикаторов (И) по годам и итоговая
Обозначение Наименование Значимость показателя Ед. изм. 2007 2008 2009 2010 2011 2012 9 месяцев 2013 2007-2013
Целевые индикаторы Программы
И1 Объем дополнительного производства новой и усовершенствованной высокотехнологичной продукции за счет коммерциализации созданных передовых технологий (требуемые значения) млрд руб. 5 6 13 14 13 14 23 24 27 28 28 29 33 35 142 150
Объем дополнительного производства новой и усовершенствованной высокотехнологичной продукции за счет коммерциализации созданных передовых технологий (достигнутые значения) млрд руб. 6,002 15,3 18,9 38,4 53,91 43,4 27,17 203,082
ОИ1 Оценка 10% % 100,0% 100,0% 100,0% 100,0% 100,0% 100,0% 0,0% 100,0%
И2 Дополнительный объем экспорта высокотехнологичной продукции (требуемые значения) млрд руб. 1 1,5 3 3,5 1 1,5 2 3,5 8 9 9 9,5 15 15,5 39 44
Дополнительный объем экспорта высокотехнологичной продукции (достигнутые значения) млрд руб. 0,812 1,66 2,34 7,8 9,05 9,7 4,42 35,782
ОИ2 Оценка 10% % 0,0% 0,0% 100,0% 100,0% 100,0% 100,0% 0,0% 0,0%
ИЗ Объем привлеченных внебюджетных средств (требуемые значения) млрд руб. 5 5,5 6,5 7 5,5 6 3 3,8 12,4 12,8 12 12,1 14,6 14,8 59 62
Объем привлеченных внебюджетных средств (достигнутые значения) млрд руб. 7,461 9,35 7,28 3,6 8,92 12,935 10,26 59,806
ОИЗ Оценка 10% % 100,0% 100,0% 100,0% 100,0% 0,0% 100,0% 0,0% 100,0%
И4 Дополнительный объем внутренних затрат на исследования и разработки, включая внебюджетные средства (требуемые значения) млрд руб. 14 14,5 18 18,5 16 16,5 7,7 8 31,5 32 30 30,5 36,8 37 154 157
Дополнительный объем внутренних затрат на исследования и разработки, включая внебюджетные средства (достигнутые значения) млрд руб. 15,323 18,64 16 8,82 21,83 28,109 25,356 134,078
ОИ4 Оценка 10% % 100,0% 100,0% 100,0% 100,0% 0,0% 0,0% 0,0% 0,0%
И5 Количество разработанных конкурентоспособных технологий, предназначенных для коммерциализации (требуемые значения) Ед. 5 6 16 18 13 14 20 21 13 15 26 27 28 29 121 130
Количество разработанных конкурентоспособных технологий, предназначенных для коммерциализации (достигнутые значения) Ед. 6 28 123 43 43 31 14 288
ОИ5 Оценка 10% % 100,0% 100,0% 100,0% 100,0% 100,0% 100,0% 0,0% 100,0%
И6 Количество внедренных передовых коммерческих технологий (требуемые значения) Ед. 1 1 1 2 2 2 1 1 1 1 1 2 1 1 8 10
Количество внедренных передовых коммерческих технологий (достигнутые значения) Ед. 5 2 17 27 1 1 0 53
ОИ6 Оценка 10% % 100,0% 100,0% 100,0% 100,0% 100,0% 100,0% 0,0% 100,0%
И7 Количество внедренных критических технологий, по которым РФ имеет мировой приоритет (требуемые значения) Ед. 0 1 1 1 1 1 0 1 1 1 1 2 1 1 5 8
Количество внедренных критических технологий, по которым РФ имеет мировой приоритет (достигнутые значения) Ед. 1 1 1 1 1 1 0 6
ОИ7 Оценка 10% % 100,0% 100,0% 100,0% 100,0% 100,0% 100,0% 0,0% 100,0%
И8 Количество новых организаций, обладающих приборной научной базой мирового уровня (требуемые значения) Ед. 1 2 1 2 1 1 0 0 1 1 1 2 1 1 6 9
Количество новых организаций, обладающих приборной научной базой мирового уровня (достигнутые значения) Ед. 3 1 1 0 1 1 0 7
ОИ8 Оценка 10% % 100,0% 100,0% 100,0% 100,0% 100,0% 100,0% 0,0% 100,0%
И9 Количество новых рабочих мест для высококвалифицированных работников (требуемые значения) тыс. мест 2,5 3 3,5 4 3 3,5 2 3 6 7 8,5 9 11 11,5 36,5 41
Количество новых рабочих мест для высококвалифицированных работников (достигнутые значения) тыс. мест 3,1 1,38 1,215 0,788 0,026 10,877 6,69 24,076
ОИ9 Оценка 10% % 100,0% 0,0% 0,0% 0,0% 0,0% 100,0% 0,0% 0,0%
И10 Количество молодых специалистов, привлеченных к выполнению исследований и разработок (требуемые значения) тыс. чел. 1,5 2 2 2,5 1,5 2 1 1,5 3 3,5 5 5,5 6 6,5 20 23,5
Количество молодых специалистов, привлеченных к выполнению исследований и разработок (достигнутые значения) тыс. чел. 6,382 3,4 7,93 5,2 9,584 11,3 9,047 52,843
ОИ10 Оценка 10% % 100,0% 100,0% 100,0% 100,0% 100,0% 100,0% 100,0% 100,0%
ОИ Общая оценка достижения целевых индикаторов % 90,0% 80,0% 90,0% 90,0% 70,0% 90,0% 10,0% 70,0%
WИ Значимость совокупности (группы) целевых индикаторов 33%
о
ю оо
со
и <
СЮ
Таблица 4
Общая оценка достижения макроэкономических показателей (М) по годам и итоговая
о
ю оо
со
и <
СЮ
Обо- Наименование Значи- Ед. 2007 2008 2009 2010 2011 2012 9 месяцев 2007- 2013
значе- мость изм. 2013
ние показателя
Макроэкономические показатели экономической эффективности Программы
М1 Прирост валового внутреннего продукта за счет реализации мероприятий Программы (требуемые значения) п. п. 0,023 0,023 0,021 0,021 0,01 0,01 0,018 0,018 0,018 0,018 0,018 0,018 0,018 0,018
Прирост валового внутреннего п. п. 0,016 0,055 0,01 0,006 0,015 -0,028 -0,011 Среднее
продукта за счет реализации мероприятий Программы (достигнутые значения) значение оценки
ОМ1 Оценка 15% % 0,0% 100,0% 100,0% 0,0% 0,0% 0,0% 0,0% 28,6%
М2 Доля внутренних затрат на исследования и разработки в валовом внутреннем продукте (требуемые значения) % 1,59 1,59 1,63 1,63 1,64 1,64 1,65 1,65 1,74 1,74 1,76 1,76 1,77 1,77
Доля внутренних затрат на ис- % 1,586 1,62 1,64 1,65 1,7 1,75 1,77 Среднее
следования и разработки в валовом значение
внутреннем продукте (достигнутые значения) оценки
ОМ2 Оценка 15% % 0,0% 0,0% 100,0% 100,0% 0,0% 0,0% 100,0% 42,9%
М3 Прирост доли внутренних затрат на исследования и разработки в валовом внутреннем продукте (требуемые значения) п.п. 0,05 0,05 0,06 0,06 0,04 0,04 0,02 0,02 0,08 0,08 0,08 0,08 0,08 0,08
Прирост доли внутренних затрат на исследования и разработки в п.п. 0,046 0,05 0,04 0,02 0,04 0,05 0,038 Среднее значение
валовом внутреннем продукте (достигнутые значения) оценки
ОМ3 Оценка 15°% % 0,0% 0,0% 100,0% 100,0% 0,0% 0,0% 0,0% 28,6%
М4 Доля средств внебюджетных источников во внутренних затратах на исследования и разработки (требуемые значения) % 45,5 45,5 45,8 45,8 45,8 45,8 45,7 45,7 46,8 46,8 47 47 47,2 47,2
Доля средств внебюджетных ис- % 45,61 45,84 45,83 45,57 46,47 47 47,1 Среднее
точников во внутренних затратах на исследования и разработки (достиг- значение оценки
нутые значения)
ОМ4 Оценка 3°% % 100,0% 100,0% 100,0% 0,0% 0,0% 100,0% 0,0% 57,1%
М5 Прирост доли средств внебюджетных источников во внутренних затратах на исследования и разработки (требуемые значения) п.п. 0,7 0,7 0,8 0,8 0,6 0,6 0,3 0,3 1 1 1,1 1,1 1,2 1,2
Прирост доли средств внебюджетных п.п. 0,81 0,84 0,63 0,17 0,77 1,04 0,84 Среднее
источников во внутренних затратах на исследования и разработки (до- значение оценки
стигнутые значения)
ОМ5 Оценка 6% % 100,0% 100,0% 100,0% 0,0% 0,0% 0,0% 0,0% 42,9%
М6 Доля высокотехнологичной продукции в общем объеме экспорта продукции (требуемые значения) % 5,23 5,23 5,98 5,98 6,76 6,76 7,73 7,73 8,83 8,83 10,11 10,11 10,18 10,18
Доля высокотехнологичной про- % 5,21 5,94 6,78 7,76 8,83 10,06 10,03 Среднее
дукции в общем объеме экспорта значение
продукции (достигнутые значения) оценки
ОМ6 Оценка 10% % 0,0% 0,0% 100,0% 100,0% 100,0% 0,0% 0,0% 42,9%
М7 Прирост доли высокотехнологичной продукции в общем объеме экспорта продукции (требуемые значения) п.п. 0,03 0,03 0,06 0,06 0,01 0,01 0,03 0,03 0,06 0,06 0,11 0,11 0,18 0,18
Прирост доли высокотехнологичной п.п. 0,009 0,019 0,024 0,07 0,06 0,06 0,03 Среднее
продукции в общем объеме экспорта продукции (достигнутые значения) значение оценки
ОМ7 Оценка 6% % 0,0% 0,0% 100,0% 100,0% 100,0% 0,0% 0,0% 42,9%
М8 Доля российской высокотехнологичной продукции на мировом рынке высокотехнологичной продукции (требуемые значения) % 0,363 0,363 0,369 0,369 0,388 0,388 0,42 0,42 0,45 0,45 0,46 0,46 0,49 0,49
Доля российской высокотехнологич- % 0,362 0,3668 0,389 0,423 0,457 0,49 0,482 Среднее
ной продукции на мировом рынке значение
высокотехнологичной продукции оценки
(достигнутые значения)
ОМ8 Оценка 15% % 0,0% 0,0% 100,0% 100,0% 100,0% 100,0% 0,0% 57,1%
М9 Прирост доли российской высокотехнологичной продукции на мировом рынке (требуемые значения) п.п. 0,002 0,002 0,004 0,004 0,001 0,001 0,002 0,002 0,004 0,004 0,005 0,005 0,008 0,008
Прирост доли российской высоко- п.п. 0,0009 0,0017 0,0017 0,005 0,006 0,006 0,002 Среднее
технологичной продукции на миро- значение
вом рынке (достигнутые значения) оценки
ОМ9 Оценка 15% % 0,0% 0,0% 100,0% 100,0% 100,0% 100,0% 0,0% 57,1%
ОМ Общая оценка достижения макроэко- % 9,0% 24,0% 100,0% 76,0% 46,0% 33,0% 15,0% 43,3%
номических показателей
WМ Значимость совокупности (группы) макроэкономических показателей 26%
Таблица 5
Общая оценка достижения микроэкономических показателей (Э) по годам и итоговая
Обо-значение Наименование Значимость показателя Ед. изм. 2007 2008 2009 2010 2011 2012 9 месяцев 2013 2007-2013
Микроэкономические показатели экономической эффективности Программы
Э1 Доля инновационно активных предприятий в общем числе предприятий промышленности (требуемые значения) % 13,6 13,6 14,8 14,8 9,5 9,5 9,5 9,5 9,5 9,5 16 16 18 18
Доля инновационно активных предприятий в общем числе предприятий промышленности (достигнутые значения) % 9,4 13,044 9,68 9,39 9,3 9,64 9,67 Среднее значение оценки
ОЭ1 Оценка 15% % 0,0% 0,0% 100,0% 0,0% 0,0% 0,0% 0,0% 14,3%
Э2 Прирост доли инновационно активных предприятий в общем числе предприятий промышленности (требуемые значения) п.п. 1,1 1,1 1,8 1,8 0,04 0,04 0,01 0,01 1,5 1,5 2 2 3,6 3,6
Прирост доли инновационно активных предприятий в общем числе предприятий промышленности (достигнутые значения) п.п. 0,04 0,044 0,04 0,02 0,05 0,06 0,05 Среднее значение оценки
ОЭ2 Оценка 11% % 0,0% 0,0% 100,0% 100,0% 0,0% 0,0% 0,0% 28,6%
Э3 Доля высокотехнологичной продукции в объеме произведенной промышленной продукции (требуемые значения) % 8,8 8,8 9,23 9,23 9,66 9,66 10,15 10,15 10,62 10,62 11,1 11,1 11,12 11,12
Доля высокотехнологичной продукции в объеме произведенной промышленной продукции (достигнутые значения) % 8,79 9,26 9,69 10,14 10,67 11,12 11,07 Среднее значение оценки
ОЭ3 Оценка 22% % 0,0% 100,0% 100,0% 0,0% 100,0% 100,0% 0,0% 57,1%
Э4 Прирост доли высокотехнологичной продукции в объеме произведенной промышленной продукции (требуемые значения) п.п. 0,04 0,04 0,06 0,06 0,06 0,06 0,09 0,09 0,09 0,09 0,1 0,1 0,12 0,12
Прирост доли высокотехнологичной продукции в объеме произведенной промышленной продукции (достигнутые значения) п.п. 0,03 0,09 0,09 0,094 0,16 0,12 0,07 Среднее значение оценки
ОЭ4 Оценка 22% % 0,0% 100,0% 100,0% 100,0% 100,0% 100,0% 0,0% 71,4%
Э5 Средний возраст машин и оборудования организаций научной сферы, участвующих в реализации соответствующих мероприятий Программы (требуемые значения) лет 19,6 19,6 19,7 19,7 19,8 19,8 20 20 20 20 19,7 19,7 19,3 19,3
Средний возраст машин и оборудования организаций научной сферы, участвующих в реализации соответствующих мероприятий Программы (достигнутые значения) лет 19,6 20,3 18,8 21,2 21,3 21,7 22,1 Среднее значение оценки
ОЭ5 Оценка 11% % 100,0% 0,0% 100,0% 0,0% 0,0% 0,0% 0,0% 28,6%
Э6 Изменение среднего возраста машин и оборудования организаций научной сферы, участвующих в реализации соответствующих мероприятий Программы (требуемые значения) лет -0,4 -0,4 -0,9 -0,9 -0,7 -0,7 -0,8 -0,8 -1,4 -1,4 -2 -2 -3,7 -3,7
Изменение среднего возраста машин и оборудования организаций научной сферы, участвующих в реализации соответствующих мероприятий Программы (достигнутые значения) лет -0,4 -0,33 -2,4 -0,6 -1,1 -1,3 -1,3 Среднее значение оценки
ОЭ6 Оценка 19% % 100,0% 0,0% 100,0% 0,0% 0,0% 0,0% 0,0% 28,6%
ОЭ Общая оценка достижения микроэкономических показателей % 30,0% 44,0% 100,0% 33,0% 44,0% 44,0% 0,0% 42,1%
WЭ Значимость совокупности (группы) микроэкономических показателей 21%
о
ю оо
со
и <
СЮ
Таблица 6
Общая оценка достижения социально-экономических показателей (С) и трех интегральных показателей P, Q и Ro
по годам и итоговая
Обозначение Наименование Значимость показателя Ед. изм. 2007 2008 2009 2010 2011 2012 9 месяцев 2013 2007-2013
Показатели социально-экономической эффективности Программы
С1 Доля исследователей до 39 лет в общем числе исследователей (требуемые значения) % 29,8 29,8 29,4 29,4 29,2 29,2 28,4 28,4 29,5 29,5 29,8 29,8 30,2 30,2
Доля исследователей до 39 лет в общем числе исследователей (достигнутые значения) % 30,3 29,56 29,3 28,46 29,3 29,6 31 Среднее значение оценки
ОС1 Оценка 11% % 100,0% 100,0% 100,0% 100,0% 0,0% 0,0% 100,0% 71,4%
С2 Прирост доли исследователей до 39 лет в общем числе исследователей (требуемые значения) п.п. 0,6 0,6 0,7 0,7 0,8 0,8 0,4 0,4 1,3 1,3 1,4 1,4 1,6 1,6
Прирост доли исследователей до 39 лет в общем числе исследователей (достигнутые значения) п.п. 1,1 0,86 0,9 0,46 1,1 1,2 2,4 Среднее значение оценки
ОС2 Оценка 11% % 100,0% 100,0% 100,0% 100,0% 0,0% 0,0% 100,0% 71,4%
С3 Количество созданных новых рабочих мест для высококвалифицированных работников (требуемые значения) тыс. мест 2,5 3 3,5 4 3 3,5 2 3 6 7 8,5 9 11 11,5 36,5 41
Количество созданных новых рабочих мест для высококвалифицированных работников (достигнутые значения) тыс. мест 3,1 1,38 1,215 0,788 0,026 10,877 6,69 24,076
ОС3 Оценка 18% % 100,0% 0,0% 0,0% 0,0% 0,0% 100,0% 0,0% 0,0%
С4 Численность молодых специалистов, привлеченных к выполнению исследований и разработок (требуемые значения) тыс. чел. 1,5 2 2 2,5 1,5 2 1 1,5 3 3,5 5 5,5 6 6,5 20 23,5
Численность молодых специалистов, привлеченных к выполнению исследований и разработок (достигнутые значения) тыс. чел. 6,382 3,4 7,93 5,2 9,584 11,3 9,047 52,843
ОС4 Оценка 20% % 100,0% 100,0% 100,0% 100,0% 100,0% 100,0% 100,0% 100,0%
С5 Налоговые поступления в бюджеты всех уровней от реализации мероприятий Программы с учетом дисконтирования (требуемые значения) млрд руб. 3,4 3,4 8,4 8,4 10,6 10,6 13,8 13,8 20,1 20,1 27,7 27,7 40,4 40,4 40,4 40,4
Налоговые поступления в бюджеты всех уровней от реализации мероприятий Программы с учетом дисконтирования (достигнутые значения) млрд руб. 2,23 5,24 10,58 12,17 17,5 21,5 24,2 24,2
ОС5 Оценка 20% % 0,0% 0,0% 0,0% 0,0% 0,0% 0,0% 0,0% 0,0%
С6 Коэффициент бюджетной эффективности Программы за истекший период ее реализации (требуемые значения) % 29 31 35 38 27 30 39 42 24 29 25 30 40 45
Коэффициент бюджетной эффективности Программы за истекший период ее реализации (достигнутые значения) % 20 21,1 28,6 28,3 29,9 28,4 26,5 Среднее значение оценки
ОС6 Оценка 20% % 0,0% 0,0% 100,0% 0,0% 100,0% 100,0% 0,0% 42,9%
ОС Общая оценка достижения социально-экономических показателей % 60,0% 42,0% 62,0% 42,0% 40,0% 58,0% 42,0% 44,3%
WС Значимость совокупности (группы) социально-экономических показателей 20%
|
Р Интегральный показатель оценки результативности Программы по годам и итоговый 50,3% 50,3% 89,1% 64,8% 52,3% 59,1% 15,6% 52,1%
й Соответствие реальных затрат запланированному уровню бюджетных затрат на реализацию Программы по годам и итоговое 95,9% 99,6% 99,8% 99,9% 79,2% 98,7% 44,1% 83,9%
»0 Интегральная оценка эффективности (успешности) Программы по годам и итоговая 73,1% 74,9% 94,5% 82,3% 65,8% 78,9% 29,9% 68,0%
о
ю оо
со
О!
<
СО
возраста машин и оборудования организаций научной сферы, участвующих в реализации соответствующих мероприятий Программы) взята оценочная функция, являющая зеркальным отображением функции (1) из табл. 1, где за плановое значение индикатора принято его максимальное значение 12 тах. Значимости (веса) показателей и их совокупностей были определены на предыдущих этапах работы посредством проведения экспертного опроса [1].
В табл. 4-6 представлены основные результаты расчетов — оценки достижения отдельных показателей и их совокупностей (М, Э и С) по годам и итоговые (ОМ = 43,3%, ОЭ = 42,1% и ОС = 44,3%) на 1 октября 2013 г.
В последних трех строках табл. 6 приведены результаты расчетов — оценки достижения трех интегральных показателей Р, 22 и Я0 по годам и итоговые. Значения Р рассчитаны по данным табл. 3-6. Значения 22 взяты из официальных отчетов. Значения Яо рассчитаны по формуле (6).
На 1 октября 2013 г. оценки достижения основных итоговых результатов Программы следующие:
• интегральный показатель оценки результативности Программы (итоговый на 1 октября 2013 г.) Р=52,1%;
• финансовый показатель — соответствие реальных затрат запланированному уровню бюджетных затрат на реализацию Программы (итоговое на 1 октября 2013 г.) 2=83,9%;
• интегральная оценка эффективности (успешности) Программы (итоговая на 1 октября 2013 г.) Я0=68,0%.
Оценка достижения трех интегральных показателей Р,
а оценочные функции — (1)
Остается открытым вопрос: насколько интегральные показатели Р, и, соответственно, Я0 (при тех же 22) чувствительны к изменению «весов» отдельных показателей и «вида оценочных функций»?
Далее приведены итоговые данные в виде трех таблиц (табл. 7-9) по оценке достижения трех интегральных показателей Р, 2 и Яо. Значения Р рассчитаны по тем же исходным данным табл. 3-6, в которых произведена замена «весов» показателей и «вида оценочных функций» следующим образом:
• табл. 7 — значимости всех показателей равнозначны; оценочная функция (1) — для всех показателей, кроме Э5 и Э6, и оценочная функция (2) — для 2;
• табл. 8 — значимости совокупностей и всех показателей те же самые, что и в табл. 3-6 (рассчитаны по данным экспертного опроса); в качестве оценочной функции для всех показателей, кроме Э5 и Э6, взята функция (3) из табл. 1, а для Э5 и Э6 — функция (4) из табл. 1, т. е. «перевыполнение» плановых показателей считается сомнительным достоинством; для Ц — оценочная функция (2) из табл. 1;
• табл. 9 — значимости совокупностей и всех показателей те же самые, что и в табл. 3-6 (рассчитаны по данным экспертного опроса); в качестве оценочной функции для всех показателей, кроме Э5 и Э6, взята функция (5) из табл. 2, а для Э5 и Э6 — функция (6) из табл. 2, т. е. поощряется и «недовыполнение» и «перевыполнение» плановых показателей; для 22 — оценочная функция (2) из табл. 1.
Хотя итоговые значения трех интегральных показателей Р, 22 и Яо в табл. 7 совпадают с расчетом в
Таблица 7
2 и Яо, если значимости всех показателей равнозначны, для показателей и (2) для 2
Обозначение Наименование Значимости показателей и оценочные функции 2007 2008 2009 2010 2011 2012 9 месяцев 2013 20072013
Р Интегральный показатель оценки результативности Программы по годам и итоговый Значимости всех показателей равнозначны. Оценочные функции (1) для показателей и (2) для 2 54,8% 51,6% 90,3% 64,5% 48,4% 54,8% 16,1% 52,1%
Соответствие реальных затрат запланированному уровню бюджетных затрат на реализацию Программы по годам и итоговое 95,9% 99,6% 99,8% 99,9% 79,2% 98,7% 44,1% 83,9%
Яо Интегральная оценка эффективности (успешности) Программы по годам и итоговая 75,4% 75,6% 95,1% 82,2% 63,8% 76,8% 30,1% 68,0%
Таблица 8
Оценка достижения трех интегральных показателей Р, 2 и Яо, если значимости совокупностей и всех показателей взяты по данным экспертного опроса, а оценочные функции — (3) и (4) для показателей и (2) для 2
Обозначение Наименование Значимости показателей и оценочные функции 2007 2008 2009 2010 2011 2012 9 месяцев 2013 20072013
Р Интегральный показатель оценки результативности Программы по годам и итоговый Значимости совокупностей и всех показателей по данным экспертного опроса. Оценочные функции (3) и (4) для показателей и (2) для 2 39,1% 41,6% 67,8% 46,5% 40,4% 50,7% 12,8% 39,2%
Соответствие реальных затрат запланированному уровню бюджетных затрат на реализацию Программы по годам и итоговое 95,9% 99,6% 99,8% 99,9% 79,2% 98,7% 44,1% 83,9%
Яо Интегральная оценка эффективности (успешности) Программы по годам и итоговая 67,5% 70,6% 83,8% 73,2% 59,8% 74,7% 28,4% 61,6%
о
Таблица 9
Оценка достижения трех интегральных показателей Р, Ц и Я0, если значимости совокупностей и всех показателей взяты по данным экспертного опроса, а оценочные функции — (5) и (6) для показателей и (2) для Ц
Обозначение Наименование Значимости показателей и оценочные функции 2007 2008 2009 2010 2011 2012 9 месяцев 2013 20072013
P Интегральный показатель оценки результативности Программы по годам и итоговый Значимости совокупностей и всех показателей взяты по данным экспертного опроса, а оценочные функции — (5)и (6) для показателей и(2)для Ц 138,2% 104,3% 204,6% 233,8% 117,9% 97,8% 61,1% 129,7%
Q Соответствие реальных затрат запланированному уровню бюджетных затрат на реализацию Программы по годам и итоговое 95,9% 99,6% 99,8% 99,9% 79,2% 98,7% 44,1% 83,9%
RO Интегральная оценка эффективности (успешности) Программы по годам и итоговая 117,1% 101,9% 152,2% 166,8% 98,6% 98,3% 52,6% 106,8%
табл. 6, использовать одинаковые веса для 31 показателя, которые разбиты на 4 совокупности, неправомерно.
Например, показатели И9 (количество новых рабочих мест для высококвалифицированных работников) и И10 (количество молодых специалистов, привлеченных к выполнению исследований и разработок), входящие в совокупность из 10 целевых индикаторов, входят одновременно (под номерами С3 и С4 соответственно) и в совокупность «социально-экономических показателей», состоящую из 6 показателей. В табл. 7 оценки одних и тех же показателей учитываются дважды, что логически ошибочно.
Результаты, представленные в табл. 8, в которой перевыполнение плана считается сомнительным достоинством, показывают следующее.
В первую очередь это касается целевых индикаторов И5 (количество разработанных конкурентоспособных технологий, предназначенных для коммерциализации) и И10 (количество молодых специалистов, привлеченных к выполнению исследований и разработок), итоговые значения по которым превысили плановые 12 тах более чем в 2,2 раза, и И6 (количество внедренных передовых коммерческих технологий), итоговое значение по которому превысило плановое 12 тах в 5,3 раза. Оценочная функция (3) из табл. 1, задающая негативное отношение к «перевыполнению плана», уменьшает оценки по этим показателям до 45,1; 44,5 и 18,9% для И5, И10 и И6, соответственно, что влечет уменьшение итогового интегрального показателя оценки результативности Программы с 52,1% (табл. 6) до 39,2% (табл. 8), и,
Таблица 10
Дополнительные оценочные функции, выбранные для тестирования методики оценки эффективности (успешности) Программы
№пп Графический вид оценочной функции Аналитический вид оценочной функции
7 Rt( 1 0,8 0,6 0,4 0,2 0 1 0 / 0 2 4 6 8 10 I Оценочная функция Rt (/) для показателя /, требуемые значения которого заданы диапазоном {/min Дтах}, при желаемом повышении показателя и безразличном отношении к превышению значения /тах /0, если /</min fö(/)=|(/-/mm)/(/max-/mm) \1, если />/тах
8 Rt 1 1 0,8 0,6 0,4 0,2 (/) \ ) 2 4 6 8 10 / Оценочная функция Rt (/) для показателя I, требуемые значения которого заданы диапазоном {/min Дтах}, при не желаемом повышении показателя и безразличном отношении к превышению значений 1т[п /1, если 1<1тт Rt(l)= | (4ах" Wmax-4m) \1, если />/тах
9 Rt( 1 0,8 0,6 0,4 0,2 °i 0 / 0 2 4 6 8 10 I Оценочная функция Rt (I) для показателя /, требуемые значения которого заданы диапазоном {/min Дтах}, при желаемом повышении показателя I, «бытовом» восприятии диапазона {/min, /тах} и безразличном отношении к превышению значения /min /0, если /<0 |///mm \1, если />/min
10 Rt( 1 0,9 0,8 0,7 0,6 0,5 :/) \ 0 2 4 6 8 10 / Оценочная функция Rt (I) для показателя I, требуемые значения которого заданы диапазоном {/min Дтах}, при не желаемом повышении показателя I, «бытовом» восприятии диапазона {/min, /тах} и безразличном отношении к превышению значения/тах / 1, если I < /тах Й(/И7 д 1 тах/
Таблица 11
Оценка достижения трех интегральных показателей Р, Ц и Я0, если значимости совокупностей и всех показателей взяты по данным экспертного опроса, а оценочные функции — (7) и (8) для показателей и (2) для Ц
Обозначение Наименование Значимости показателей и оценочные функции 2007 2008 2009 2010 2011 2012 9 месяцев 2013 20072013
Р Интегральный показатель оценки результативности Программы по годам и итоговый Значимости совокупностей и всех показателей взяты по данным экспертного опроса, а оценочные функции — (7)и (8) для показателей и (2) для Ц 50,3% 47,0% 83,9% 64,0% 52,3% 47,9% 18,3% 45,2%
Ц Соответствие реальных затрат запланированному уровню бюджетных затрат на реализацию Программы по годам и итоговое 95,9% 99,6% 99,8% 99,9% 79,2% 98,7% 44,1% 83,9%
Яо Интегральная оценка эффективности (успешности) Программы по годам и итоговая 73,1% 73,3% 91,9% 81,9% 65,8% 73,3% 31,2% 64,5%
Таблица 12
Оценка достижения трех интегральных показателей Р, Ц и Яо, если значимости совокупностей и всех показателей взяты по данным экспертного опроса, а оценочные функции — (9) и (10) для показателей и (2) для Ц
Обозначение Наименование Значимости показателей и оценочные функции 2007 2008 2009 2010 2011 2012 9 месяцев 2013 20072013
Р Интегральный показатель оценки результативности Программы по годам и итоговый Значимости совокупностей и всех показателей взяты по данным экспертного опроса, а оценочные функции — (9) и (10) для показателей и (2) для Ц 87,6% 78,3% 95,9% 83,7% 77,5% 81,1% 54,1% 82,1%
Ц Соответствие реальных затрат запланированному уровню бюджетных затрат на реализацию Программы по годам и итоговое 95,9% 99,6% 99,8% 99,9% 79,2% 98,7% 44,1% 83,9%
Яо Интегральная оценка эффективности (успешности) Программы по годам и итоговая 91,8% 89,0% 97,8% 91,8% 78,3% 89,9% 49,1% 83,0%
соответственно, уменьшение итоговой интегральной оценки успешности Программы Ц с 68% (табл. 6) до 61,6% (табл. 8). Так «наказывать» за излишнее рвение, по меньшей мере некорректно.
При этом, также весьма сомнительно «поощрять» перевыполнение плана по индикаторам И5, И10 и И6 и оценивать их в 222, 225 и 530%, соответственно, что дает оценку эффективности Программы по формуле (7) в 167% уже по трем индикаторам, что также нелогично.
Одновременное поощрение как «недовыполнения» так и «перевыполнения» плановых показателей показано в табл. 9.
Для оценки эффективности (успешности) Программы возможно использование и других оценочных функций, помимо перечисленных выше и в [1]. Выбор тех или иных оценочных функций зависит в том числе и от предпочтений лиц, принимающих решения. Для демонстрации возможностей предлагаемого методического инструментария были выбраны дополнительно следующие оценочные функции Ш (см. табл. 10).
Оценочные функции (7) и (8) из табл. 10 преобразуют заданный диапазон {1т1п, 1тах} требуемых значений показателя I в шкалы оценок {0, 1}. Предполагается, что при задании требований сознательно предусматривалась необходимость достижения значений показателя I только из указанного диапазона без «наказания» или «поощрения» при выходе за его пределы. Результаты применения оценочных функций (7) и (8) показаны в табл. 11.
Оценочные функции (9) и (10) из табл. 10 учитывают возможность так называемого «бытового» восприятия заданного диапазона {1т1п, 1тах}, когда считается, что требования к показателю I полностью
выполнены при попадании значения показателя в пределы заданного диапазона и частично выполнены при выходе за его пределы. Вопрос о мере выполнения (невыполнения) предъявленных требований при «бытовом» восприятии заданного диапазона {!т1п, 1тах} является спорным и в общем случае неразрешимым без установления дополнительной верхней или нижней границ для показателя. И поскольку при установленных границах диапазона ожидать дополнительных границ бессмысленно, часто для оценки используют соотношения вида 1/1г или 1г/1, неявно устанавливая тем самым ноль в качестве границы для первого соотношения и бесконечность — для второго. Результаты применения оценочных функций (9) и (10) показаны в табл. 12.
Таким образом, представленные выше результаты расчетов показывают довольно сильные зависимости интегральных показателей Программы от «вида оценочных функций» и «весов» отдельных показателей. Полученные в данной работе оценки являются неофициальными и должны рассматриваться лишь в качестве результатов тестирования предлагаемого методического инструментария.
Выводы
1. Предложенный методический инструментарий легко перестраивается для анализа и оценки достижения основных результатов (эффектов) реализации как отдельных мероприятий федеральной целевой программы так и программы в целом, с иным наборов целевых индикаторов и показателей, таких как: количество опубликованных статей в реферируемых журналах, количество патентов, защищенных диссертаций и т. п.
о
ю оо
со
<
со О
2. Интегральная оценка эффективности (успешности) Программы Шо может способствовать однозначности понимания результатов оценки лицами, принимающими решения.
3. Показатели любой федеральной целевой программы должны быть простыми, понятными и однозначными. Каждый целевой показатель программы должен иметь свой паспорт, в котором четко должно быть установлено: по каким формулам и на базе каких официальных статистических данных должен производиться его расчет и последующая оценка.
Список использованных источников
1. В. Б. Михайлец, И. В. Радин, К. В. Шуртаков. Вопросы разработки методического инструментария для оценки достижения плановых показателей целевых программ//Инновации, № 6, 2013.
2. http://www.fcpir.ru/catalog.aspx?CatalogId=2132.
An evaluation of achievement of main results (effects) of Federal target program
V. B. Mikhailets, PhD (in Technical Sciences), lecturer, Deputy head, analytical and organizational support, FGFRI «Directorate science and technology programs».
I. V. Radin, Leading specialist of the information, analytical and organizational support, FGFRI «Directorate science and technology programs».
K. V. Shurtakov, Leading specialist of the information, analytical and organizational support, FGFRI «Directorate science and technology programs».
Given the evaluation of achievement of main results (effects) of Federal target program «Research and development on priority directions of scientific and technological complex of Russia for 2007-2013», with using the developed methodical approach based on the use of evaluation functions.
Keywords: program-target planning, indicators of the program, the evaluation functions, integral assessment of effectiveness.
Сформирована программа Конгресса по интеллектуальной собственности Expopriority'2014
21 апреля 2014 г. в ЦВК «Экспоцентр» в рамках международного форума «Интеллектуальная собственность - XXI век» состоится Конгресс по интеллектуальной собственности Expopriority'2014.
Мероприятия Конгресса объединены общей ключевой темой - практика правовой защиты интеллектуальной собственности в России и мире.
На конференции «Развитие национальных доменов России в эпоху появления новых доменов верхнего уровня. Каким Интернет будет завтра?» специалисты обсудят тренды мирового и российского рынков регистрации доменных имен, новые тенденции в вопросах защиты прав владельцев ИС в доменной индустрии, обменяются мнениями о первых итогах приоритетной регистрации в некоторых новых доменах верхнего уровня. Особое внимание будет уделено российским проектам внедрения доменов: .MOSCOW, .МОСКВА, .ДЕТИ, .РУС.
Тему защиты ИС в сети Интернет продолжит круглый стол «Интернет в интересах правообладателей: утопия или реальность?», посвященный вопросам снижения нелегального контента в сети и инициативам государства, направленным на противодействия нарушениям интеллектуальных прав в Интернет.
Участники круглого стола «Перспективы развития законодательства в сфере авторского права и смежных прав» обсудят ряд международных договоров, администрирование которых осуществляет Всемирная организация интеллектуальной собственности (ВОИС), в разработке которых Российская Федерация принимала активное участие, но на сегодняшний момент их не подписала.
Среди мероприятий конгресса - семинары на тему «Политика интеллектуальной собственности университетов: российский и зарубежный опыт» и «Практика защиты и охраны интеллектуальной собственности на выставочных мероприятиях», мастер-классы, «Ярмарка доменов».
Свое участие в дискуссии подтвердили представители Всемирной организации интеллектуальной собственности (Швейцария), Министерства культуры Российской Федерации, Торгово-промышленной палаты Российской Федерации, Фонда содействия развития технологий и инфраструктуры Интернета, Международного сетевого технического центра (МСТЦ), RU-CENTER, ФГБОУ ВПО РГАИС, НИУ ВШЭ, УрФУ, юридической фирмы Jacobacci&Associates (Италия), Центра трансфера технологий и инноваций (Словения), ЗАО «Экспоцентр».
Expopriority'2014 - первый этап объединения двух мероприятий, которое завершится в 2015 году. Результатом станет проведение 21-25 апреля 2015 года масштабного многоформатного форума, включающего в себя тематическую и выставочную программы. «Интеллектуальная собственность России» - качественно новое и oj самое крупное мероприятие в сфере интеллектуальной собственности в России.
Пресс-служба ЗАО «Экспоцентр», тел.: 8 (495) 605-71-54, 605-68-28, [email protected], www.expocentr.ru.
о
со
J <
со О
