CC BY
34
ИННОВАЦИОННАЯ ЭКОНОМИКА
Модернизация методики оценки эффективности федеральной целевой программы «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 20142020 гг.» с помощью аппарата оценочных функций
В. И. Балюк,
зам. руководителя
В. Б. Михайлец,
к. т. н., доцент, зам. руководителя
И. В. Радин,
ведущий специалист
К. В. Шуртаков,
зам. генерального директора, руководитель отдела
Отдел информационно-аналитического и организационного обеспечения, ФГБНУ «Дирекция научно-технических программ», Москва
Для оценки эффективности федеральной целевой программы «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2014-2020 гг.» предложено использовать интегральный показатель оценки результативности, представляющий собой средневзвешенное значение интегральных оценок выполнения всех мероприятий программы. Оценки достижения плановых значений индикаторов и показателей мероприятий рассчитываются с помощью оценочных функций.
Ключевые слова: федеральная целевая программа, исследования и разработки, индикаторы и показатели мероприятий, оценочные функции, весомости показателей, оценка эффективности программы.
ю
о
со ел
<
СО О
Введение
В соответствии с методикой, приведенной в приложении к официальному тексту федеральной целевой программы «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2014-2020 гг.» (далее — Программы) [1], оценка эффективности Программы должна учитывать как полноту достижения целевых индикаторов и показателей, так и соответствие фактических и планируемых размеров финансового обеспечения ее реализации.
Показатель общей эффективности (ПР) реализации Программы, согласно методике, рассчитывается по формуле:
ПР = ПДЦ (1 + ЭС),
(1)
При этом показатель ПДЦ должен рассчитываться по формуле (2):
ПДЦ = М 2ИЬ (2)
ы
где М — число целевых индикаторов и показателей Программы; И — соотношение фактического и планового значений к-го целевого индикатора (показателя) Программы.
Показатель ЭС должен рассчитываться по формуле (3):
ЭС = (ЗБ-ЗФ)/ЗБ,
(3)
где ПДЦ — показатель степени достижения целевых индикаторов и показателей Программы; ЭС — показатель соответствия фактического уровня затрат на реализацию Программы запланированному уровню.
где ЗБ — запланированный объем затрат средств федерального бюджета на реализацию Программы; ЗФ — фактический объем затрат средств федерального бюджета на реализацию Программы.
Положительное значение показателя ЭС свидетельствует о наличии экономии средств федерального бюджета при реализации Программы и высокой эффективности использования средств бюджета.
ИННОВАЦИОННАЯ ЭКОНОМИКА
Таблица 1
Наименование мероприятий Программы, результативность которых должна оценивается
по 185 индикаторам и показателям
№ п/п № мероприятия Наименование мероприятия Количество индикаторов и показателей мероприятия
1 1.1 Проведение исследований, направленных на формирование системы научно-технологических приоритетов и прогнозирование развития научно-технологической сферы 11
2 1.2 Проведение прикладных научных исследований для развития отраслей экономики 27
3 1.3 Проведение прикладных научных исследований и разработок, направленных на создание продукции и технологий 27
4 1.4 Проведение прикладных научных исследований, направленных на решение комплексных научно-технологических задач 27
5 2.1 Проведение исследований в рамках международного многостороннего и двустороннего сотрудничества 29
6 2.2 Поддержка исследований в рамках сотрудничества с государствами - членами Европейского союза 29
7 2.3 Организация участия в крупных международных научных и научно-технических мероприятиях 4
8 3.1.1 Поддержка и развитие уникальных научных установок 10
9 3.1.2 Поддержка и развитие центров коллективного пользования научным оборудованием 11
10 3.2 Обеспечение развития информационной инфраструктуры 3
11 3.3.1 Развитие системы демонстрации и популяризации результатов и достижений науки 2
12 3.3.2 Развитие системы коммуникаций научной общественности (в том числе проведение конференций, семинаров) 4
13 4.1 Развитие материально-технической базы научно-технической сферы 1
Значение показателя общей эффективности реализации Программы ПР, превышающее единицу, свидетельствует о высокой эффективности реализации Программы.
Данная методика имеет существенные недостатки.
Во-первых, при ЗФ = 0, т.е. при максимальной экономии средств федерального бюджета при реализации Программы, показатель (1 + ЭС) = 2, показатель общей эффективности реализации Программы ПР будет равен единице уже при значении показателя ПДЦ = 0,5. Таким образом, методика допускает возможность положительного оценивания эффективности Программы при полном отсутствии ее бюджетного финансирования и выполнения целевых индикаторов только наполовину, что не может быть признано приемлемым ни при каких обстоятельствах.
Во-вторых, данная методика оценки эффективности Программы предполагает учет только семи целевых индикаторов Программы, хотя по 13 мероприятиям Программы (см. табл. 1) предусмотрено 185 целевых индикаторов и показателей.
Для устранения недостатков приведенной выше методики предлагается методика оценки эффективности Программы, построенная на основе выполнения всех 13 мероприятий Программы с учетом 185 индикаторов и показателей. Это полностью согласуется с декларацией третьего раздела Программы о том, что достижение цели и решение задач Программы осуществляются путем скоординированного выполнения комплекса взаимоувязанных по срокам, ресурсам, исполнителям и результатам мероприятий. Предлагаемая методика является развитием ранее разработанного [2] и апробированного [3] методического инструментария, с успехом применявшегося для независимой оценки достижения основных результатов (эффектов) предыдущей федеральной целевой про-
граммы «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2007-2013 гг.». Основой разработанного в [2] инструментария стал интегральный показатель оценки результативности Программы, представляющий собой средневзвешенное значение оценок выполнения 31 индикатора и показателя, разбитых на 4 группы (совокупности), причем для оценки был использован оригинальный аппарат оценочных функций. В [3] было показано, что предложенный и апробированный методический инструментарий может быть легко перестроен для анализа и независимой оценки достижения основных результатов (эффектов) реализации как отдельных мероприятий программы, так и федеральной целевой программы в целом с иным набором целевых индикаторов и показателей, таких как: количество опубликованных статей в реферируемых журналах, количество патентов, защищенных диссертаций и т. п.
В настоящей работе предлагается модернизировать интегральный показатель оценки результативности программы с учетом особенностей новой Программы таким образом, чтобы он представлял собой средневзвешенное значение интегральных оценок выполнения всех 13 мероприятий Программы, каждое из которых имеет свой уникальный набор индикаторов и показателей.
1. Разработка организационно-методического обеспечения оценки результативности и эффективности мероприятий Программы
Каждое из 13 мероприятий Программы характеризуется определенным набором индикаторов и показателей, заданным разработчиками Программы [4].
Например, мероприятие 1.1 «Проведение исследований, направленных на формирование системы
ю
о
со
СП
<
со О
ИННОВАЦИОННАЯ ЭКОНОМИКА
научно-технологических приоритетов и прогнозирование развития научно-технологической сферы» характеризуется:
• четырьмя целевыми индикаторами мероприятия (И1.1.1, И1.1.2, И1.1.3, И1.1.4), которые в своем условном обозначении содержат букву «И»;
• двумя дополнительными индикаторами мероприятия (Д2.1 и Д5.1), которые в своем условном обозначении содержат букву «Д»;
• пятью показателями результативности мероприятия, которые в своем условном обозначении содержат букву «П» (см. табл. 2).
В первые две строчки табл. 2 добавлены два дополнительных финансовых показателя: «Средства федерального бюджета» (СФБ) и «Внебюджетные средства» (ВБС).
Целевые индикаторы И1.1.1, И1.1.2 — не числовые. Они требуют утвердительных (+) или отрицательных (-) ответов на поставленные вопросы. Остальные индикаторы и показатели — числовые. В табл. 2 предусмотрены столбцы:
Набор индикаторов и по
• «План (мероприятия)», в который должны быть занесены плановые значения индикаторов и показателей, установленные организатором конкурса на 2014 г. К этим индикаторам и показателям относятся: И1.1.1, И1.1.2, И1.1.3, И1.1.4, Д5.1.
• «План (исполнителей)», в который должны быть занесены плановые значения индикаторов и показателей, принятые победителями конкурсов в качестве обязательств на 2014 г. К этим индикаторам и показателям относятся: И1.1.3, Д2.1, П4.1.
• «Факт», в который должны быть занесены достигнутые значения индикаторов и показателей на конец 2014 г. по всем исполняющимся проектам (контрактам) в рамках мероприятия 1.1.
• «Количество проектов», в каждой строке которого должно быть указано число проектов (контрактов), имеющих соответствующий этой строке показатель «факт» в текущем году.
По заполняемости столбцов табл. 2 по итогам каждого года индикаторы и показатели можно условно разделить на четыре группы:
Таблица 2
ателей мероприятия 1.1
Меро- Усл. обо- Индикатор/показатель Ед. изм. 2014
приятие значение План (мероприятия) План (исполнителей) Факт Кол-во проектов, ед.
Мероприятие 1.1 СФБ Средства федерального бюджета млн руб. 505,74 х
ВБС Внебюджетные срества млн руб. 0 х
И 1.1.1 Рекомендации по определению и корректировке научно-технологических приоритетов исследований и разработок (+) х
И 1.1.2 Предложения по реализации эффективной государственной политики, направленной на развитие сектора исследований и разработок (+) х
И 1.1.3 Число публикаций по результатам исследований и разработок в научных журналах, индексируемых в базе данных Scopus или в базе данных «Сеть науки» (Web of Science) ед. 5
И 1.1.4 Доля исследователей в возрасте до 39 лет в общей численности исследователей - участников проектов мероприятия % 33,2 х
Д 5.1 Средний возраст исследователей - участников проектов мероприятия (не более) лет 47 х
Д 2.1 Число диссертаций на соискание ученых степеней, защищенных по результатам исследований и разработок ед. х
П 2.2.1 Число цитирований в расчете на 1 публикацию по результатам исследований и разработок в научных журналах, индексируемых в базе данных Scopus ед. х х
П 2.2.2 Число цитирований в расчете на 1 публикацию по результатам исследований и разработок в научных журналах, индексируемых в базе данных «Сеть науки» (Web of Science) ед. х х
П 4.1 Число публикаций по результатам исследований и разработок, выполненных в соавторстве с иностранными авторами, в научных журналах, индексируемых в базе данных Scopus или в базе данных «Сеть науки» (Web of Science) ед. х
П 4.2.1 Число цитирований в расчете на 1 публикацию по результатам исследований и разработок, выполненную в рамках мероприятия в соавторстве с иностранными авторами, в научных журналах, индексируемых в базе данных Scopus ед. х х
П 4.2.2 Число цитирований в расчете на 1 публикацию по результатам исследований и разработок, выполненную в рамках мероприятия в соавторстве с иностранными авторами, в научных журналах, индексируемых в базе данных «Сеть науки» (Web of Science) ед. х х
ИННОВАЦИОННАЯ ЭКОНОМИКА
• первая группа (И1.1.3): «План (мероприятия)», «План (исполнителей)» и «Факт»;
• вторая (СФБ, ВБС, И1.1.1, И1.1.2, И1.1.4, Д5.1): «План (мероприятия)», «Факт»;
• третья (Д2.1, П4.1): «План (исполнителей)» и «Факт»;
• четвертая (П2.2.1, П2.2.2, П4.2.1, П4.2.2): «Факт». Два дополнительно введенных финансовых показателя: СФБ и ВБС, отнесены ко второй группе, так как по требованиям финансовой дисциплины значения «план исполнителей» и «факт» должны строго совпадать.
Если четыре последних столбца таблицы, относящихся к 2014 г., «растиражировать вправо» на каждый последующий год Программы вплоть до 2020 г. со своими плановыми значениями индикаторов и показателей, то получится полная форма для отражения реализации мероприятия 1.1 в динамике по годам 2014-2020.
Таблица может быть продолжена вниз за счет последовательного присоединения индикаторов и показателей по каждому следующему мероприятию: 1.2, 1,3 и т. д. Таким образом, табл. 2 представляет собой лишь левый верхний угол большой (развернутой) таблицы, которая здесь не приводится из-за недостатка места.
В табл. 3 представлена сводная информация по всем индикаторам и показателям всех 13 мероприятий в соответствии с приведенной выше классификацией индикаторов и показателей по четырем условным группам, как это сделано на примере мероприятия 1.1. При реализации предложенной классификации на практике вполне ожидаемо, что исполнители в своем большинстве не воспользуются своим правом «принять повышенные личные плановые обязательства», и тогда вместо четырех групп индикаторов и показателей останутся только вторая (вторая «поглотит»
первую) и четвертая (четвертая «поглотит» третью). Тем более, что для проведения независимой оценки показателей результативности и эффективности мероприятий Программы, в расчет следует принимать в первую очередь плановые показатели мероприятий, утвержденные в тексте Программы, и лишь в случае их отсутствия — планы исполнителей, если таковые имеются в контрактах.
Следует также отметить, что 185 индикаторов и показателей мероприятий имеют 87 уникальных буквенно-цифровых обозначений и, одновременно, 62 уникальных названия. В том числе:
• 43 уникальных буквенно-цифровых обозначения для целевых индикаторов (содержащих в своем обозначении букву «И») имеют 23 уникальных названия;
• 18 уникальных буквенно-цифровых обозначений для дополнительных индикаторов (содержащих в своем обозначении букву «Д») имеют 17 уникальных названий;
• 26 уникальных буквенно-цифровых обозначений для показателей результативности (содержащих в своем обозначении букву «П») имеют 24 уникальных названия.
Эти различия между количеством уникальных буквенно-цифровых обозначений индикаторов и показателей и их названиями объясняются тем, что одному уникальному названию может соответствовать разное буквенно-цифровое обозначение для целевого индикатора, дополнительного индикатора, показателя результативности в нескольких разных мероприятиях (см. табл. 4).
Таким образом, для оценки результативности и эффективности мероприятий новой Программы должны быть использованы обновленные по сравнению с [2, 3] методические инструменты.
Классификация индикаторов и показателей мероприятий
Таблица 3
Мероприятие Кол-во индикаторов и показателей мероприятия В том числе количество индикаторов и показателей в группах
1 2 3 4
План (меропр.) + План (исполнит.) + Факт План (меропр.) + Факт План (исполнит.) + Факт Факт
Мероприятие 1.1 11 3 2 2 4
Мероприятие 1.2 27 2 3 9 13
Мероприятие 1.3 27 3 3 9 12
Мероприятие 1.4 27 3 3 9 12
Мероприятие 2.1 29 2 3 9 15
Мероприятие 2.2 29 2 3 9 15
Мероприятие 2.3 4 3 0 0 1
Мероприятие 3.1.1 10 1 1 0 8
Мероприятие 3.1.2 11 2 1 0 8
Мероприятие 3.2 3 2 1 0 0
Мероприятие 3.3.1 2 2 0 0 0
Мероприятие 3.3.2 4 2 1 0 1
Мероприятие 4.1 1 0 1 0 0
Итого: 185 27 22 47 89
ИННОВАЦИОННАЯ ЭКОНОМИКА
Таблица 4
Буквенно-цифровые обозначения одинаковых индикаторов и показателей для разных мероприятий
Мероприятие Усл. обозначение Индикатор/показатель
Мероприятие 1.2 Д1.1 Доля завершенных проектов прикладных научно-исследовательских работ, готовых к переходу в стадию опытно-конструкторских работ (опытно-технологических работ)
Мероприятие 1.3 И1.3.5
Мероприятие 1.4 И1.4.5
Мероприятие 2.1 Д1.1
Мероприятие 2.2 Д1.1
Мероприятие 1.1 П4.1 Число публикаций по результатам исследований и разработок, выполненных в соавторстве с иностранными авторами, в научных журналах, индексируемых в базе данных Scopus или в базе данных «Сеть науки» (Web of Science)
Мероприятие 1.2 П4.1
Мероприятие 1.3 П4.1
Мероприятие 1.4 П4.1
Мероприятие 2.1 Д4.3
Мероприятие 2.2 Д4.3
ю
о
(N
CD СП
(N
J <
CQ О
Для оценки результативности отдельного мероприятия Программы, например, предлагается интегральный показатель, представляющий собой средневзвешенное значение оценок выполнения индикаторов и показателей данного мероприятия:
Р = ^ % + Wд Яд + Wn Rn>
(4)
где WИ, Wд, WП — значимости (весомости) оценок выполнения совокупностей целевых индикаторов (И), дополнительных индикаторов (Д) и показателей результативности (П) мероприятия соответственно; ЯИ, Яд, Яп — оценки выполнения совокупностей целевых индикаторов (И), дополнительных индикаторов (Д) и показателей результативности (П) мероприятия соответственно.
Оценки выполнения совокупностей индикаторов и показателей являются, в свою очередь, средневзвешенными значениями оценок выполнения индикаторов и показателей, входящих в каждую из совокупностей:
(5)
(6) (7)
индикаторов (Д) и 12 показателей результативности (П), в то время как интегральный показатель оценки результативности Р4 1 для мероприятия 4.1 «Развитие материально-технической базы научно-технической сферы» рассчитывается по 1 целевому индикатору И4.1 «Количество новых рабочих мест».
Интегральную оценку эффективности отдельного мероприятия, например Я1 2 мероприятия 1.2, можно представить, используя формулу (8), как среднее арифметическое значение оценок степени достижения показателей Р^ и ^ 2, где ^^ — соответствие
Ш факт 1.2 план 1.2) реальных затрат (Офакт 1.2) запланированному уровню бюджетных затрат Шплан 12) на
реализацию данного мероприятия 1.2 с ограничением
на возможность равенства этих показателей нулю:
^1.2
0,5(P12 + Q12), если Р1Л Q12^0, 0, если Р12=0 VQ12 = 0.
(8)
где WИ¿, Wдi, Wш — значимости (весомости) оценок выполнения целевых индикаторов (И), дополнительных индикаторов (Д) и показателей результативности (П) мероприятия соответственно; Яш, Яд^, Яш — оценки выполнения целевых индикаторов (И), дополнительных индикаторов (Д) и показателей результативности (П) мероприятия соответственно.
Здесь необходимо отметить, что, например, интегральный показатель оценки результативности Р1 2 для мероприятия 1.2 Программы следует рассчитывать по 27 индикаторам и показателям, среди которых 4 целевых индикатора (И), 11 дополнительных
То есть, если хотя бы одна из этих оценок (Р1 2 либо ^ 12) окажется равной нулю, это будет означать нулевую успешность данного мероприятия Программы.
Так как плановые значения всех целевых индикаторов мероприятий (кроме двух целевых индикаторов И1.1.1, И1.1.2 для мероприятия 1.1) и некоторых отдельных дополнительных индикаторов (Д) заданы разработчиками новой Программы в виде чисел, то для оценки степени достижения (или оценки выполнения) каждого такого индикатора целесообразно использовать соответствующую этому индикатору оценочную функцию (Яш или Яд). Для большинства индикаторов в качестве оценочной функции может быть взята функция 3 (рис. 1).
Для индикатора Д5.1 «Средний возраст исследователей - участников проектов мероприятия (не более)» в качестве оценочной функции может быть взята функция 4 (рис. 1). Для целевых индикаторов И 1.1.1, И 1.1.2 в качестве оценочной функции может быть предложена функция 1 (рис. 1), т. е. если при приемке проектов по мероприятию 1.1 экспертами
ИННОВАЦИОННАЯ ЭКОНОМИКА
ад
0.4 0.6
/
Щ1)
Рис. 1. Оценочные функции выполнения индикаторов и показателей (плановые значения показателя по оси абсцисс выбраны условно)
будет признано, что соответствующие результаты («рекомендации» и «предложения») получены, то однозначно принимается выполнение данных индикаторов на 100%. Аналогичное 100-процентное выполнение плана должно быть распространено на 2014 г. на индикаторы, плановые значения которых на 2014 г. заданы нулем, а фактическое значение может быть более или равно нулю.
Оценка ^ соответствия реальных бюджетных затрат запланированному уровню бюджетных затрат на реализацию соответствующего мероприятия Программы должна осуществляться при помощи оценочной функции 2 (рис. 1).
Что касается дополнительных индикаторов и показателей мероприятий (а таких абсолютное большинство), по которым разработчиками новой Программы не заданы их плановые значения в виде чисел, то в отношении каждого из этих индикаторов и показателей можно поступить следующим образом.
В соответствии с условной классификацией индикаторов и показателей мероприятий, приведенной в табл. 3, если по конкретному индикатору или показателю из третьей группы имеется исходная информация о «планах» большинства исполнителей, то оценка выполнения данного индикатора или показателя должна производиться по соотношению «факт»/«план исполнителей» с использованием соответствующей оценочной функции 1 (рис. 1).
Если же по конкретному индикатору или показателю из третьей группы и тем более четвертой группы отсутствует какая бы то ни была информация о «планах» исполнителей, то оценка выполнения данного индикатора или показателя должна производиться по соотношению «Факт»/«Факт предыдущего года» с использованием соответствующей оценочной
функции 1 (рис. 1). При этом по первому 2014 г. любое фактическое значение показателя, превышающее ноль, должно однозначно оцениваться как выполнение плана по данному индикатору на 100%.
Значимости (весомости) индикаторов и показателей или их совокупностей могут задаваться директивно разработчиками Программы, либо, как и в предыдущей программе [2, 3], определяться путем проведения опросов среди специалистов-экспертов и лиц, принимающих решения. При реализации таких различных подходов объективность проведения оценки показателей результативности и эффективности мероприятий Программы и Программы в целом только выиграет.
2. Оценка эффективности Программы по оценкам достижения ее целевых индикаторов и показателей
Целевые индикаторы и показатели Программы, их наименования и плановые значения на 2014 г. представлены в табл. 5.
В первые две строчки табл. 5, как и в табл. 2 (с наборами индикаторов и показателей мероприятия), в качестве двух дополнительных финансовых показателей Программы добавлены запланированные «средства федерального бюджета на прикладные научные исследования и экспериментальные разработки гражданского назначения» и привлекаемые «внебюджетные средства» в соответствии с приложениями № 4 и № 7 текста Программы.
Во втором столбце «Условное обозначение индикатора» приведены обозначения, принятые для данного исследования, так как официальных обозначений для целевых индикаторов Программы в тексте самой Программы не предусмотрено.
ю
о
со
СП
<
со О
ИННОВАЦИОННАЯ ЭКОНОМИКА
Таблица 5
Набор целевых индикаторов и показателей Программы с указанием их плановых значений на 2014 г.,
заданных в тексте Программы
Мероприятия Программы Усл. обозначение Целевые индикаторы и показатели Программы Ед. изм. 2014
план (Программы) план (исполните-лей) факт Кол-во проектов, ед.
1.1 + 1.2+1.3+ + 1.4+2.1+2.2 СФБ ПНИЭР Средства ФБ на прикладные научные исследования и экспериментальные разработки гражданского назначения млн руб. 13350,74 0 0 0
1.2+1.3+1.4+ +2.1+2.2+ +3.1.2 ВНБ ПНИЭР Внебюджетные срества на ПНИЭР млн руб. 4615 0 0 0
1.1+1.2+1.3+ + 1.4+2.1+2.2 И1 Число публикаций по результатам исследований и разработок в ведущих научных журналах ед. 400
1.2+1.3+1.4+ +2.1+2.2 И2 Число патентных заявок, поданных по результатам исследований и разработок ед. 0
1.1, 1.2, 1.3, 1.4, 2.1, 2.2 И3 Средний возраст исследователей - участников Программы лет 47
1.1, 1.2, 1.3, 1.4, 2.1, 2.2, 3.1.1, 3.1.2 И4 Доля исследователей в возрасте до 39 лет в общей численности исследователей - участников Программы % 33,2
4.1 И5 Количество новых рабочих мест тыс. рабочих мест 0
1.2+1.3+1.4+ +2.1+2.2+ +3.1.2 И6 Объем привлеченных внебюджетных средств млн руб. 4600
1.1+1.2+1.3+ + 1.4+2.1+2.2 И7 Дополнительный объем внутренних затрат на исследования и разработки, в том числе за счет внебюджетных средств млн руб. 17800
ю
о
со
СП
<
СО
о
В первом столбце «Мероприятия Программы» приведен перечень (или сумма) всех мероприятий, по результатам которых должно вычисляться фактическое (достигнутое) значение для каждого целевого индикатора Программы.
Такая форма табл. 5, с взаимно однозначным расположением столбцов в сравнении с табл. 2, позволяет расположить ее непосредственно под табл. 2, создав тем самым единый алгоритм по оценке фактически достигнутых значений целевых индикаторов и показателей Программы в их динамике по годам.
Плановые или фактически достигнутые значения четырех целевых индикаторов И1, И2, И6 и И7, например за 2014 г., получаются сложением плановых или фактически достигнутых значений индикаторов и показателей по отдельным мероприятиям за 2014 г.:
И1=И1.1.3+И1.2.1+И1.3.1+И1.4.1+И2.1.2+И 2.2.2;
И2=И1.2.2+И1.3.2+И1.4.2+И2.1.1+И 2.2.1;
И6=И1.2.4+И1.3.4+И1.4.4+И2.1.4+И2.2.4+ +ВБС (мер. 3.1.2);
И7=СФБ (мер. 1.1)+СФБ (мер. 1.2)+И1.2.4+ + СФБ (мер.1.3)+И1.3.4+СФБ (мер. 1.4)+И1.4.4+ + СФБ (мер.2.1)+И2.1.4+СФБ (мер.2.2)+И2.2.4.
Методика сбора исходной информации и расчета целевых индикаторов И3 «Средний возраст исследователей...» и И4 «Доля исследователей в возрасте до 39 лет...» описана в Приложении №3 к Программе.
Следует лишь заметить, что эту же методику нужно использовать для расчета дополнительных индикаторов Д5.1 «Средний возраст исследователей... » для мероприятий 1.1, 1.2, 1.3, 1.4, 2.1, 2.2, и индикаторов «Доля исследователей в возрасте до 39 лет...» (И1.1.4, И1.2.3, И1.3.3, И1.4.3, И2.1.3, И2.2.3, И3.1.1.2, И3.1.2.3) для мероприятий 1.1, 1.2, 1.3, 1.4, 2.1, 2.2, 3.1.1, 3.1.2 соответственно.
Сбор исходной информации по целевому индикатору Программы И5 «Количество новых рабочих мест» осуществляется только в рамках мероприятия 4.1, т. е. И5=И4.1.
Так как плановые значения всех семи целевых индикаторов Программы заданы в виде чисел, то для оценки степени достижения (или оценки выполнения) каждого целевого индикатора целесообразно использовать соответствующую этому индикатору оценочную функцию (ЛцИ^). Для шести целевых индикаторов (И1, И2, И4,И5, И6 и И7), для которых в их динамике предусмотрен ежегодный прирост численного значения индикатора, в качестве оценочной функции может быть взята функция 3 (рис. 1). При этом, 100-процентное выполнение плана должно быть предусмотрено на 2014 г. для целевых индикаторов (И2 и И5), плановые значения которых на 2014 г. заданы нулем, а фактически достигнутое значение на конец 2014 г. будет больше или равно нулю. Для индикатора И3 «Средний возраст исследователей - участников Программы», для которого в его динамике предусмотрено ежегодное уменьшение численного значения индикатора, в качестве оценочной функции может быть взята функция 4 (рис. 1).
ИННОВАЦИОННАЯ ЭКОНОМИКА
Интегральный показатель оценки результативности Программы Р вычисляется по оценкам достижения ее целевых индикаторов и показателей по формуле:
где WцИi — значимости (весомости) оценок выполнения целевых индикаторов и показателей (ЦИ) Программы; Я цЖ — оценки выполнения целевых индикаторов и показателей (ЦИ) Программы.
Интегральная оценка эффективности (успешности) Программы Яо рассчитывается по формуле:
0,5 (P+Q), если P^OAQ^O, 0, если Р = 0 V Q = 0.
(9)
где Ц — соответствие (Ц факт/Ц план) реальных затрат (Ц факт) запланированному уровню бюджетных затрат (Ц план) на реализацию тех мероприятий Программы, по результатам которых рассчитаны 7 целевых индикаторов.
3. Оценка эффективности Программы по оценкам выполнения 13 мероприятий
Интегральный показатель оценки результативности Р для новой Программы, может быть представлен как средневзвешенное значение интегральных показателей оценки результативности выполнения всех 13 мероприятий Программы:
Р = ^.1Р1.1 + ^.2Р1.2 + ^.3Р1.3 + ^.4Р1.4 +
+ Т^2.1Р2.1 + W2.2P2.2 + ^^2.3Р2.3 + ^^3.1.1Р3.1.1 + + ^^3.1.2Р3.1.2 + W3.2P3.2 + ^.3.1Р3.3.1 + + W3.3.2P3.3.2 + W4.1P4.1,
где Wll, Wl 2, ..., 1 — значимости (весомости) оценок выполнения 13 мероприятий (1.1, 1.2, ..., 4.1) соответственно; Р11, Р1 2, ..., Р4 1 — интегральные оценки выполнения 13 мероприятий (1.1, 1.2, ..., 4.1) соответственно, которые рассчитываются по формулам (4)-(7) для каждого мероприятия.
Интегральная оценка эффективности (успешности) Программы Яо рассчитывается по формуле
(9) где Ц — соответствие фактплан) реальных
затрат (Ц факт) запланированному уровню бюджетных затрат (Ц план) на реализацию всех 13 мероприятий Программы.
Выводы
Предложенная методика оценки эффективности федеральной целевой программы «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России
на 2014-2020 гг.» с помощью аппарата оценочных функций позволяет:
• оценивать эффективность Программы в шкале оценок (0,1) как по достижению только целевых индикаторов Программы, так и с учетом результативности выполнения всех мероприятий Программы по годам и за весь период ее реализации;
• принимать во внимание различные экспертные мнения о значимости (весомости) отдельных мероприятий и их отдельных показателей;
• способствовать однозначности понимания результатов оценки лицами, принимающими решения, за счет устранения недостатков и неопределенностей существующей методики.
Список использованных источников
1. Федеральная целевая программа «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2014-2020 гг.», утверждена постановлением правительства Российской Федерации № 426 от 21 мая 2013 г. http://fcpir.ru/upload/iblock/f80/ tekst-ftsp-ir-14_20_05.08.2014.pdf.
2. В. Б. Михайлец, И. В. Радин, К. В. Шуртаков. Вопросы разработки методического инструментария для оценки достижения плановых показателей целевых программ//Инновации, № 6, 2013.
3. В. Б. Михайлец, И. В. Радин, К. В. Шуртаков. Оценка достижения основных результатов (эффектов) федеральной целевой программы//Инновации, № 3, 2014.
4. Перечень целевых индикаторов и показателей мероприятий и проектов ФЦП «ИР 2014-2020». Приложение к протоколу заседания НКС программы «ИР 2014-2020» от 18 ноября 2013 г. № ПНКС-1. http://fcpir.ru/documentation/?PAGEN_1=4.
Modernization of the methodology for assessing the effectiveness of the Federal target program «Research and development on priority directions of development of scientific-technological complex of Russia for 2014-2020» with the help of device evaluation function V. I. Balyuk, PhD, Deputy head of information-analytical and organizational support, FGFRI «Directorate science and technology programs».
V. B. Mikhailets, PhD (in Technical Sciences), lecturer, Deputy head, analytical and organizational support, FGFRI «Directorate science and technology programs».
I. V. Radin, Leading specialist of the information, analytical and organizational support, FGFRI «Directorate science and technology programs».
K. V. Shurtakov, Leading specialist of the information, analytical and organizational support, FGFRI «Directorate science and technology programs».
To evaluate the effectiveness of the Federal target program «Research and development on priority directions of development of scientific-technological complex of Russia for 2014-2020» proposed to use the integral indicator of performance assessment, representing a weighted average of the integral estimates for implementation Program. Assessment of achievement of the planned values of the indicators and performance measures are calculated using the estimated functions.
Keywords: federal target program, research and development, indicators and performance measures, evaluation function, weight indicators, evaluation of the effectiveness of the program.
ю
о
(N
CD CD
(N
J <
CQ О
