Вопросы разработки методического инструментария для оценки достижения плановых показателей целевых программ Текст научной статьи по специальности «Экономика и бизнес»

Вопросы разработки методического инструментария для оценки достижения плановых показателей целевых программ

В. Б. Михайлец,

к. т. н., доцент, с. н. с. отдела информационно-аналитического и организационного обеспечения e-mail: mikhailets@fcntp.ru

И. В. Радин,

ведущий специалист отдела информационно-аналитического и организационного

обеспечения e-mail: radin@fcntp.ru

К. В. Шуртаков,

зам. генерального директора, руководитель отдела информационно-аналитического и организационного обеспечения e-mail: shurtakov@fcntp.ru

ФГБНУ «Дирекция научно-технических программ», Москва

Для оценки эффективности выполнения государственных программ предложено использовать интегральный показатель, представляющий собой средневзвешенное значение оценок достижения целевых показателей программ. Оценки достижения целевых показателей рассчитываются с помощью оценочных функций.

Приведены результаты экспертного опроса и расчетов значимостей (весомостей) всех индикаторов и показателей федеральной целевой программы «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2007-2013 гг.».

Предложенный инструментарий применим для любой государственной программы, использующей программно-целевую методологию планирования.

Ключевые слова: оценка эффективности, программно-целевое планирование, показатели программы, значимости показателей, исследования и разработки.

со

о

CN

со h-

со

J <

со

Введение

В соответствии со стратегическими ориентирами развития науки и технологий основной целью современной государственной (макроэкономической) политики России является формирование конкурентоспособного и эффективно функционирующего сектора исследований и разработок и обеспечение его ведущей роли в процессах технологической модернизации российской экономики [1-5].

Достижение этой цели в настоящее время осуществляется преимущественно за счет реализации государственных программ, в том числе федеральных целевых программ (ФЦП), направленных на финансирование перспективных исследований и разработок в приоритетных направлениях развития науки и техники.

Разработка целевых программ — это достаточно сложный итерационный процесс по определению целей и задач предстоящего комплекса мероприятий, обоснованию необходимых затрат на их реализацию,

формирование системы показателей (индикаторов) для оценки эффективности или степени выполнения программ. Научно-методической основой процесса разработки целевых программ является программно-целевая методология планирования [6, 7].

В настоящей работе рассматриваются вопросы анализа и оценки степени достижения значений плановых показателей государственных программ, задаваемых в ходе разработки программ. При этом, считается, что выбранная система показателей сбалансирована и увязана с целями и задачами соответствующей программы, адекватно отражает ее эффективность, а заданные значения показателей являются оптимальными в смысле обеспечения разумного превышения эффектов от результатов над затратами.

Под оценкой достижения значений плановых показателей государственных программ в данной работе понимается процесс сопоставления плановых и реально достигнутых значений показателей программ с помощью оценочных функций.

ПРАВО • МЕНЕДЖМЕНТ • МАРКЕТИНГ

1. Анализ и оценка достижения плановых значений показателей программ

Плановые значения отдельных показателей задаются (рассчитываются) разработчиками программ в виде чисел или диапазонов чисел [8, 9].

Если плановое значение показателя задано числом, то интерпретации оценки степени достижения или выполнения показателя разбиваются на две группы:

• оценка при желаемом превышении заданного (планового) значения показателя;

• оценка при не желаемом превышении заданного значения показателя.

Если плановое значение показателя задано диапазоном, то интерпретации оценки степени достижения показателя также разбиваются на две группы:

• оценка при желаемом повышении значения показателя;

• оценка при не желаемом уменьшении значения показателя.

1.1. Плановое значение показателя задано числом

Оценка степени достижения значения планового показателя при желаемом его превышении целесообразна с помощью пороговой оценочной функции

R — оценка; I — достигнутое значение показателя; ^ — заданное значение показателя (на рис. 1 и далее показаны условные значения показателей).

Смысл оценки с помощью пороговой оценочной функции прост.

Если достигнутое значение показателя меньше заданного, то требование не выполнено и оценка степени достижения значения планового показателя равна нулю. При равенстве или превышении заданного значения показателя требование выполнено и оценка, соответственно, равна единице.

Аналогично, при оценке степени достижения значения планового показателя при желаемом его не превышении пороговая оценочная функция имеет вид (рис. 2):

И

0, если 1> 12

1, ссл и / < /,

(2)

R — оценка; I — достигнутое значение показателя; ^ — заданное значение показателя

Пороговые оценочные функции применимы в случаях нейтрального (сдержанного) отношения к превышению (не превышению) планового значения показателя, однако иногда обоснованным и желательным является превышение плановых показателей.

При желаемом превышении заданного значения показателя степень перевыполнения плана может быть рассчитана как отношение достигнутого значения показателя к заданному (рис. 3):

(3)

О, если 1< /г ///г, если />/г.

Как следует из рис. 3, оценочная функция вида (3) показывает во сколько раз реальное значение показателя больше, чем запланированное, однако при практическом использовании такой оценочной функции надо соблюдать осторожность, особенно при расчетах интегральных оценок эффективности программ по множеству показателей из-за опасности смешения различных оценочных шкал и размывания оценочных ориентиров. Например, перевыполнение плана по одному из показателей может компенсировать невыполнение нескольких других показателей.

Еще с большей осторожностью нужно относиться к оценочной функции, учитывающей степень перевыполнения плана при желаемом не превышении заданного значения показателя (рис. 4):

Оценка, в данном случае, тем выше, чем ближе достигнутое значение к нулю, отражая плату за трудности достижения нуля. Эта оценочная функция может в значительной степени повлиять на общую оценку программы по множеству показателей из-за гиперболического характера зависимости оценки.

В случае негативного отношения к превышению планового значения показателя (иногда перевыполнение плана также нежелательно, как его невыполнение), возможно использование оценочных функций с ни-

со

о

со

со

<

со О

Рис. 1. Пороговая оценочная функция Я (I) при желаемом превышении заданного значения показателя I

Рис. 2. Пороговая оценочная функция Я(^ при желаемом не превышении заданного значения показателя I

со

о

со

со

< со

Рис. 3. Оценочная функция R (I) при желаемом превышении заданного значения показателя ^ учитывающая перевыполнение плана

спадающей после заданного или возрастающей перед заданным значением показателя оценкой (рис. 5):

Я

Л

О,если /</,„,|П /,//, если /> /,,

1/1г,е ели 1<121 О, есл и I > 1г.

(5)

(6)

Из всех рассмотренных оценочных функций для показателей, задаваемых числом, наиболее применимыми для использования в оценке эффективности целевых программ, представляются функции (5) и (6). Шкалы этих оценочных функций ограничены числами 0 и 1, что позволяет оценивать степень достижения всех без исключения показателей в единой шкале оценок, предотвращая тем самым смешение с оценками по шкалам с бесконечными краями, учитывающими сомнительные достоинства «перевыполнения плановых показателей».

1.2. Плановое значение показателя задано диапазоном

Иногда плановые значения показателей задают диапазоном и, чаще всего, диапазон значений воспринимается в нечетком («бытовом») смысле. Например, если задан диапазон значений показателя «число публикаций» 20-25, то это равносильно числу публикаций не менее 20, т. е. требуемое значение по-

Рис. 4. Оценочная функция R (I) при желаемом не превышении заданного значения показателя I, учитывающая перевыполнение плана

казателя задано числом. Понятно, что так задавать требуемые значения показателей не следует из-за неоднозначности.

Если же плановые значения показателя действительно заданы диапазоном (I, ■ „, I V то вместо

4 X НИИ' X Шал' '

пороговых оценочных функций можно использовать функции, распределяющие оценки от 0 до 1 (или от 1 до 0) между минимальным 1г ш;и, и максимальным значениями диапазона (рис. 6):

X Шал 41 '

Я

0, если /</2П,1П (¡-¡г „„„УС

(7)

-I } ССЛИ / < / < /

г шах 1 гшш/' ^ гшш— — г шах

я

^гтахД- еСЛИ/>/г,

1/1 г |шп. ССЛИ /< /2тт

Сгтах-ОД/г 0, если I >1,

(8)

^гппп)1 /¿ппп^ / — /г п1ах

По существу все описанные оценочные функции для показателей, задаваемых числом, являются частными случаями оценочных функций, задаваемых диапазоном. Действительно, если заданное значение показателя считать равным одновременно минимальному и максимальному значениям (1Х ш;и = 1Х Шах = 1х), то оценочные диапазоны, распределяющие оценки от 0 до 1, исчезают. Поэтому все описанные ранее

Рис. 5. Оценочные функции R (I) для показателей I, задаваемых числом: а — при негативном отношении к превышению заданного значения показателя I ; б — при негативном отношении к не достижению заданного значения показателя I

ПРАВО • МЕНЕДЖМЕНТ • МАРКЕТИНГ

Рис. 6. Оценочные функции Я (I) для показателей I, задаваемых диапазоном (I.

г тт> 2 тах-

а — при негативном отношении к превышению заданного значения показателя ^ тах, б — при негативном отношении к не достижению заданного значения показателя ^

оценочные функции для показателей, задаваемых числом, легко трансформируются в оценочные функции для показателей, задаваемых диапазонами. Однако теперь достижение минимального значения диапазона ассоциируется с минимальной (максимальной) оценкой в зависимости от смысла рассматриваемого показателя, а не с безусловным выполнением показателя.

Иногда в качестве оценочных функций используют соотношения достигнутого и заданного значений показателя (рис. 7):

Я=Щг, Я = 1.2 /I.

(9) (10)

приводить к существенному завышению результатов оценки качества или эффективности тех или иных объектов.

2. Интегральная оценка и анализ полноты выполнения программ

Интегральную оценку эффективности (успешности) программ предлагается представлять как среднее арифметическое значение оценок степени достижения показателей Р и соответствия реальных затрат запланированному уровню бюджетных затрат на реализацию программ () с ограничением на возможность равенства этих показателей нулю:

Такие оценочные функции не могут быть использованы в оценках степени достижения тех или иных показателей государственных программ из-за отсутствия четко очерченных оценочных шкал, а также возможности получения бесконечных оценок, в том числе отрицательных (см. рис. 7, б).

Следует также отметить очень часто не замечаемый существенный недостаток оценочной функции (9) состоящий в том, что по умолчанию предполагается равенство нулю минимального планового значения показателя, что далеко не всегда приемлемо и может

Я,

(11)

|(),5(Т + (2), если Р* 0 Л О [О, если Р=0ч()=0.

Указанное ограничение вызвано исключительной важностью оценок Р и (). Если хотя бы одна из этих оценок окажется равной нулю, то это будет означать нулевую эффективность программы.

Формула (11) для вычисления интегрального показателя оценки эффективности позволяет воспринимать интегральную оценку эффективности (успешности) программы как среднее арифметическое значение оценок выполнения всех показателей, что способствует однозначности понимания результа-

со

о

со

со

<

со О

Рис. 7. Оценочные функции Я (I) на основе соотношения достигнутого I и заданного значений показателя I : а — при желаемом повышении значений показателя; б — при не желаемом повышении значений показателя

ПРАВО • МЕНЕДЖМЕНТ • МАРКЕТИНГ

со

о

CN

со h-

со

<

СО

тов оценки лицами, принимающими решения. Часто используемое ограничение на возможность равенства нулю значений показателей в виде их произведения или среднего геометрического значения приводит к деформации оценочной шкалы, так как произведение значений оценок степени достижения показателей, меньших единицы, всегда меньше наименьшей из них. Среднее геометрическое значение, согласно известной теореме [10], не больше, чем среднее арифметическое.

Для оценки Р и () предполагается использовать только оценочные функции (5)-(8).

Оценка степени достижения показателей Р для государственных программ, с учетом приведенных выше обоснований, должна рассчитываться по формуле:

где Wij, и т. д. — значимости (вес, весомость) оценок выполнения совокупностей (групп) показателей первого, второго, третьего и т. д. уровней соответственно

N Ц 1к

ijk

i;

i ./1

и т. д. — оценки выполнения показателей

2^=1,2^=1,2^ к 1

Я Яу, Яук

первого, второго, третьего и т. д. уровней, соответственно.

Оценки выполнения показателей нижнего уровня должны вычисляться с использованием оценочных функций (5)-(8).

Например, применительно к федеральной целевой программе «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2007-2013 гг.» [8] (далее — Программа) для анализа и оценки достижения основных результатов (эффектов) Программы может быть использован интегральный показатель оценки результативности, представляющий собой средневзвешенное значение оценок выполнения индикаторов и показателей Программы:

р = W* Щ + WM* RM + WE* Re + Wc* Rc,

(13)

R

10

/ 2 WHRH,

i= 1

(14)

RM=ZwMiR

i= 1

Mi Mi'

RC =2 WCiRCi'

7=1

(15)

(16) (17)

где WI, — значимости оценок выпол-

нения совокупностей целевых индикаторов (I), макроэкономических (М), микроэкономических (Е) показателей и показателей социально-экономической эффективности (С) Программы, соответственно; Яр Ям, ЯЕ, Яс — оценки выполнения совокупностей целевых индикаторов (I), макроэкономических (М), микроэкономических (Е) показателей и показателей социально-экономической эффективности (С) Программы, соответственно.

Оценки выполнения совокупностей индикаторов и показателей являются, в свою очередь, средневзвешенными значениями оценок выполнения индикаторов и показателей, входящих в каждую из совокупностей:

где WJ¿, Wm¿, Wfi, Wa — значимости оценок выполнения целевых индикаторов (I), макроэкономических (М), микроэкономических (Е) показателей и показателей социально-экономической эффективности (С) Программы, соответственно; Rn, RMi, Re¿, RCi — оценки выполнения целевых индикаторов (I), макроэкономических (М), микроэкономических (Е) показателей и показателей социально-экономической эффективности (С) Программы, соответственно.

Оценка соответствия реальных бюджетных затрат запланированному уровню бюджетных затрат на реализацию программ Q должна осуществляться при помощи оценочной функции (6), см. рис. 5, б. Так, если реальные бюджетные затраты превысят запланированные, то соответствие отсутствует и требование не выполнено. Оценка равна нулю. На практике такая ситуация маловероятна, поскольку является нарушением финансовой дисциплины и влечет за собой серьезную ответственность государственного заказчика ФЦП перед законом. Если же реальные бюджетные затраты меньше запланированного уровня — ситуация в практике реализации ФЦП возможная и говорящая о низкой эффективности использования средств федерального бюджета, отпущенных на финансирование мероприятий ФЦП — то, чем меньше реальные затраты, тем ниже оценка. Нулевые бюджетные затраты, при ненулевых запланированных, что практически говорит о срыве выполнения ФЦП и грубом нарушении финансовой дисциплины, также приводят к нулевой оценке.

3. Проблема значимости показателей программы на примере ФЦП «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2007-2013 гг.»

Предлагаемый оценочный инструментарий предполагает знание значимостей (W) показателей, которые должны отражать их важность с точки зрения достижения целей программ.

Значимость (весомость) показателей может задаваться директивно разработчиками программ или определяться путем проведения экспертных опросов специалистов и лиц, принимающих решения. Как показывает практика, проведение опросов связано с рядом существенных трудностей организационного и психологического характера, материальных и временных затрат. Некоторый опыт анкетирования экспертов получен при определении значимости показателей (индикаторов) ФЦП «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2007-2013 гг.» (табл. 1). Результаты этого анкетирования могут

Таблица 1

Показатели (индикаторы) ФЦП «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2007-2013 гг.»

I Целевые индикаторы Программы

11 Объем дополнительного производства новой и усовершенствованной высокотехнологичной продукции за счет коммерциализации созданных передовых технологий млрд руб.

12 Дополнительный объем экспорта высокотехнологичной продукции млрд руб.

13 Объем привлеченных внебюджетных средств млрд руб.

14 Дополнительный объем внутренних затрат на исследования и разработки, включая внебюджетные средства млрд руб.

15 Количество разработанных конкурентоспособных технологий, предназначенных для коммерциализации ед.

16 Количество внедренных передовых коммерческих технологий ед.

17 Количество внедренных критических технологий, по которым Российская Федерация имеет мировой приоритет ед.

18 Количество новых организаций, обладающих приборной научной базой мирового уровня ед.

19 Количество новых рабочих мест для высококвалифицированных работников тыс. мест

110 Количество молодых специалистов, привлеченных к выполнению исследований и разработок тыс. чел.

М Макроэкономические показатели экономической эффективности Программы

М1 Прирост валового внутреннего продукта за счет реализации мероприятий Программы п. п.

М2 Доля внутренних затрат на исследования и разработки в валовом внутреннем продукте %

М3 Прирост доли внутренних затрат на исследования и разработки в валовом внутреннем продукте п. п.

М4 Доля средств внебюджетных источников во внутренних затратах на исследования и разработки %

М5 Прирост доли средств внебюджетных источников во внутренних затратах на исследования и разработки п. п.

М6 Доля высокотехнологичной продукции в общем объеме экспорта продукции %

М7 Прирост доли высокотехнологичной продукции в общем объеме экспорта продукции п. п.

М8 Доля российской высокотехнологичной продукции на мировом рынке высокотехнологичной продукции %

М9 Прирост доли российской высокотехнологичной продукции на мировом рынке п. п.

Е Микроэкономические показатели экономической эффективности Программы

Е1 Доля инновационно-активных предприятий в общем числе предприятий промышленности %

Е2 Прирост доли инновационно-активных предприятий в общем числе предприятий промышленности п. п.

Е3 Доля высокотехнологичной продукции в объеме произведенной промышленной продукции %

Е4 Прирост доли высокотехнологичной продукции в объеме произведенной промышленной продукции п. п.

Е5 Средний возраст машин и оборудования организаций научной сферы, участвующих в реализации соответствующих мероприятий Программы лет

Е6 Изменение среднего возраста машин и оборудования организаций научной сферы, участвующих в реализации соответствующих мероприятий Программы лет

С Показатели социально-экономической эффективности Программы

С1 Доля исследователей до 39 лет в общем числе исследователей %

С2 Прирост доли исследователей до 39 лет в общем числе исследователей п. п.

С3 Количество созданных новых рабочих мест для высококвалифицированных работников тыс. мест

С4 Численность молодых специалистов, привлеченных к выполнению исследований и разработок тыс. чел.

С5 Налоговые поступления в бюджеты всех уровней от реализации мероприятий Программы с учетом дисконтирования млрд руб.

С6 Коэффициент бюджетной эффективности Программы за истекший период ее реализации %

оказаться полезными и поучительными для разработчиков программ.

Для определения значимостей индикаторов и показателей Программы был проведен экспертный опрос специалистов организаций-мониторов, известных ученых, привлекаемых для экспертизы результатов выполняемых работ. Всего было опрошено 36 человек. Следует заметить, что, вообще говоря, вопрос о том, кто должен выступать в качестве экспертов для определения значимости показателей программ требует проведения отдельных исследований. Эксперты-руководители из вышестоящих инстанций, например, могут иметь мнения относительно значимостей показателей резко отличающиеся от мнений экспертов-специалистов.

В каждую ячейку специально разработанной для опроса анкеты необходимо было внести числовое значение от нуля до 100, соответствующее, по мнению эксперта, значимости показателя или их совокупности

в смысле эффективности Программы, без принятия во внимание взаимозависимости показателей и их повторы. Анкета также содержала столбец «Примечание», в который опрашиваемые эксперты могли вносить обоснование своей оценки значимости каждого из 35 показателей или высказывать свое мнение о смысле того или иного показателя и т. п.

Иными словами, экспертам предлагалось оценить: насколько объективно тот или иной показатель (индикатор) или их совокупность отражает процесс научно-технологического развития России.

Мнения экспертов о значимости показателей в шкале от 0 до 100 отражены в виде гистограмм на рис. 8, где по оси абсцисс отложена значимость, а по оси ординат — количество (%) оценок экспертов с одинаковой значимостью.

Расчет значимостей в шкале от 0 до 1 приведен в табл. 2.

ИННОВАЦИИ № 6 (176), 2013

М О)

,11J ____ , _ 1 L _1,1 J J.

й

■I_ж]

и

II

П.. ■!■■ ■!■

mi ni

У

11.1 .ijlil

0 » 40 60 »

® юо

О 20 « № №

О » 40

iliJ.iill

hiuli 0 IL

О » » 60 ®

4 20 40 № вО

Jd

о за *> «о ю

.1. . ||

о а * во во

и

0 2» « » ® ив

ш

п. л

11

Рис. 8. Гистограмм ы распределения значимостей показателей Программы по резул ьтатам экспертного опроса Примечания: 1. По оси абсцисс — значимость показателя от 0 до 100, а по оси ординат — частота, %. 2. Выделены значимости 4-х совокупностей показателей: I — целевые индикаторы; М — макроэкономические показатели; Е — микроэкономические показатели; С — социально-экономические показатели.

Таблица 2

Расчет значимостей показателей Программы по результатам экспертного опроса

Показатели Средние значения значимостей экспертов в шкале 0-100 Значимости по средним значениям Значимости совокупностей по средним значениям частных показателей Значимости по средним значениям (итоговые значения) Моды зна-чимостей экспертов в шкале 0-100 Значимости по модальным значениям экспертов Значимости совокупностей по модальным значениям частных показателей Значимости по модальным значениям (итоговые значения)

I 77,46 0,2938 0,3353 0,3146 100 0,3030 0,3440 0,3235

11 76,23 0,1210 0,0406 0,1210 100 0,1163 0,0400 0,1163

12 61,40 0,0975 0,0327 0,0975 100 0,1163 0,0400 0,1163

13 59,49 0,0944 0,0317 0,0944 100 0,1163 0,0400 0,1163

14 52,50 0,0833 0,0279 0,0833 100 0,1163 0,0400 0,1163

15 72,74 0,1154 0,0387 0,1154 100 0,1163 0,0400 0,1163

16 75,14 0,1193 0,0400 0,1193 100 0,1163 0,0400 0,1163

17 71,62 0,1137 0,0381 0,1137 100 0,1163 0,0400 0,1163

18 51,79 0,0822 0,0276 0,0822 90 0,1047 0,0360 0,1047

19 53,56 0,0850 0,0285 0,0850 0 0,0000 0,0000 0,0000

110 55,57 0,0882 0,0296 0,0882 70 0,0814 0,0280 0,0814

М 64,14 0,2433 0,2880 0,2656 80 0,2424 0,2760 0,2592

М1 65,18 0,1204 0,0347 0,1204 100 0,1449 0,0400 0,1449

М2 64,70 0,1196 0,0344 0,1196 100 0,1449 0,0400 0,1449

М3 64,39 0,1190 0,0343 0,1190 100 0,1449 0,0400 0,1449

М4 49,55 0,0916 0,0264 0,0916 20 0,0290 0,0080 0,0290

М5 46,39 0,0857 0,0247 0,0857 50 0,0725 0,0200 0,0725

М6 61,42 0,1135 0,0327 0,1135 70 0,1014 0,0280 0,1015

М7 60,27 0,1114 0,0321 0,1114 50 0,0725 0,0200 0,0725

М8 64,06 0,1184 0,0341 0,1184 100 0,1449 0,0400 0,1449

М9 65,19 0,1205 0,0347 0,1205 100 0,1449 0,0400 0,1449

Е 60,32 0,2288 0,1802 0,2045 80 0,2424 0,1840 0,2132

Е1 53,52 0,1580 0,0285 0,1580 70 0,1522 0,0280 0,1522

Е2 52,45 0,1549 0,0279 0,1549 50 0,1087 0,0200 0,1086

Е3 55,29 0,1633 0,0294 0,1633 100 0,2174 0,0400 0,2174

Е4 59,64 0,1761 0,0317 0,1761 100 0,2174 0,0400 0,2174

Е5 61,45 0,1815 0,0327 0,1815 50 0,1087 0,0200 0,1087

Е6 56,24 0,1661 0,0299 0,1661 90 0,1957 0,0360 0,1957

С 61,74 0,2342 0,1964 0,2153 70 0,2121 0,1960 0,2041

С1 58,57 0,1587 0,0312 0,1587 50 0,1020 0,0200 0,1020

С2 56,30 0,1526 0,0300 0,1526 50 0,1020 0,0200 0,1020

С3 55,91 0,1515 0,0298 0,1515 90 0,1837 0,0360 0,1837

С4 63,26 0,1714 0,0337 0,1714 100 0,2041 0,0400 0,2041

С5 68,13 0,1846 0,0363 0,1846 100 0,2041 0,0400 0,2041

С6 66,79 0,1810 0,0355 0,1810 100 0,2041 0,0400 0,2041

Гистограммы значимостей показателей Программы, полученные в результате обработки анкет экспертов, характеризуются высокой степенью равномерности распределения частот по всему диапазону значимостей от 0 до 100. Это свидетельствует о том, что мнения экспертов о показателях Программы очень различаются и различия эти обусловлены не противоположностью мнений (были бы ярко выраженные пики частот в разных частях диапазона оценок), а, скорее, недостаточным пониманием сути показателей.

Значительный разброс частот мнений экспертов по диапазону значимостей приводит к проблеме выбора статистической характеристики, наиболее достоверно отражающей превалирующие мнения экспертов. Использование среднего значения значимостей может оказаться бессмысленным при наличии, например, двух частотных пиков в противоположных концах шкалы. Более подходящей статистической характеристикой для

этих условий является мода значимостей — наиболее часто встречающееся их значение. В табл. 2 выполнен расчет значимостей показателей Программы, как на основе их средних значений, так и на основе их мод. Несмотря на большие различия между средними и модальными значениями значимостей в абсолютной шкале (0-100), значимости показателей в относительных шкалах (0-1) по средним значениям и по модам оказались очень близкими (коэффициент корреляции 0,85). Тем не менее, для практического использования при оценке эффективности программ целесообразно использовать значимости показателей, полученные по модальным значениям значимостей, данных экспертами.

Экспертный опрос практически не выявил явных предпочтений экспертов к тем или иным показателям совокупности «Целевые индикаторы». Нулевая значимость по моде показателя 19 «Количество новых рабочих мест для высококвалифицированных работ-

Таблица 3

Рекомендуемые значимости показателей для оценки эффективности ФЦП «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2007-2013 гг.»

Показатели Значимости Показатели Значимости Показатели Значимости Показатели Значимости

I 0,33 M 0,26 E 0,21 C 0,20

I1 0,10 М1 0,15 E1 0,15 С1 0,11

I2 0,10 М2 0,15 E2 0,11 С2 0,11

I3 0,10 М3 0,15 E3 0,22 С3 0,18

I4 0,10 М4 0,03 E4 0,22 C4 0,20

I5 0,10 М5 0,06 E5 0,11 C5 0,20

I6 0,10 М6 0,10 E6 0,19 C6 0,20

I7 0,10 М7 0,06

I8 0,10 М8 0,15

I9 0,10 М9 0,15

I10 0,10

со

о

CN

со h-

со

J <

СО

ников» объясняется лишь тем, что в отношении этого показателя мнения всех экспертов оказались разными. Дело в том, что при нескольких значениях величины с одинаковыми частотами их появления стандартная функция МОДА выбирает минимальное значение. В данном случае минимальным было нулевое значение значимости показателя 19.

По остальным трем совокупностям (группам) показателей дифференциация мнений экспертов более ощутима. Значимости многих показателей отличаются друг от друга в два и более раза, что не может не учитываться при оценке эффективности целевых программ.

Рекомендуемые значимости показателей для оценки эффективности Программы приведены в табл. 3.

Вопрос о возможности принятия допущения о равнозначности показателей и их совокупностей требует дополнительного изучения.

Комментарии экспертов, сопровождавшие их оценки значимости показателей из-за недостатка места в данной статье, к сожалению, привести невозможно. Поэтому, все высказывания экспертов, которые сочли возможным обосновать свои оценки значимости показателей, собраны в единую таблицу, которая размещена по электронному адресу http://yadi.Sk/d/PhA6r0wv14ln6. Выводы:

1. Система показателей программы должна быть сбалансирована, увязана с ее целями и задачами. Цели программы и ее показатели должны быть «измеримыми». Должны прослеживаться четкие причинно-следственные связи между показателями, если нет возможности выявить эти взаимосвязи в аналитической форме. Количество показателей должно быть ограничено.

2. Показатели должны быть простыми, понятными и однозначными. Каждый целевой показатель программы должен иметь свой паспорт, в котором четко должно быть установлено: по каким формулам и на базе каких официальных статистических данных должен производиться его расчет.

3. Показатели должны быть чувствительны к реализации результатов программ. Например, «Прирост доли исследователей до 39 лет в общем числе исследователей» не может быть индикатором ФЦП «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2007—2013 гг.», так как

изменение числа исследователей в стране происходит далеко не только по причине реализации мероприятий данной целевой программы. 4. Значимости (веса) показателей должны определяться по методологии, аналогичной приведенной в данной статье с привлечением независимых экспертов, например, в области стратегического планирования.

Список использованных источников

1. Постановление Правительства Российской Федерации от 2 августа 2010 г. № 588 «Об утверждении Порядка разработки, реализации и оценки эффективности государственных программ Российской Федерации».

2. Методическими указаниями по разработке и реализации государственных программ Российской Федерации, утверждены приказом Минэкономразвития России от 22 декабря 2010 г. № 670.

3. Концепция долгосрочного социально-экономического развития Российской Федерации, утверждена распоряжением Правительства Российской Федерации от 17 ноября 2008 г. №1662-р.

4. Стратегия инновационного развития Российской Федерации на период до 2020 г., утверждена распоряжением Правительства Российской Федерации от 8 декабря 2011 г. № 2227-р.

5. Основы политики Российской Федерации в области развития науки и технологий на период до 2020 г. и дальнейшую перспективу, утверждены Президентом Российской Федерации 11 января 2012 г. № Пр-83.

6. М. Н. Петров, Р. Н. Голдаков. Целевые комплексные программы в СССР и в РФ//Экономические отношения, № 1, 2011. http://www. creativeconomy.ru/articles/15683.

7. В. Андрианов. Как сделать цели долгосрочной стратегии выполнимы-ми//Финансовая газета, 02.12.2012. http://fingazeta.ru/top/kak-sdelat-tseli-dolgosrochnoy-strategii-vyipolnimyimi-181564.

8. Постановление Правительства РФ «О Федеральной целевой программе «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2007-2012 гг.» от 6 июля 2006 г., № 977-р.

9. Федеральная целевая программа «Развитие инфраструктуры наноинду-стрии в Российской Федерации на 2008-2011 гг.» (в ред. Постановлений Правительства РФ от 22.10.2008 г. №777 и от 21.06.2010 г. № 471).

10. М. Я. Выгодский. Справочник по высшей математике. М.: Гос. издательство технико-теоретической литературы, 1956.

Questions of methodology development for an evaluation of achievement of planned indicators of target programs V. B. Mikhailets, PhD (in Technical Sciences), lecturer, Deputy head, analytical and organizational support, FGFRI «Directorate science and technology programs».

I. V. Radin, Leading specialist of the information, analytical and organizational support, FGFRI «Directorate science and technology programs».

K. V. Shurtakov, Leading specialist of the information, analytical and organizational support, FGFRI «Directorate science and technology programs».

It is suggested to use integrated indicator for evaluation of state programs performance efficiency. This indicator is the average-weighted value of estimates of achievement of programs target indicators. Estimates of achievement of target indicators are calculated with the help of estimated functions.

Results of expert poll and calculations of importance (weight) of all indicators of the Federal Target Program «Research and development on priority directions of scientific and technological complex of Russia for 2007-2013» are given.

The offered methodology is applicable for any state program using program and target methodology of planning.

Keywords: efficiency evaluation, program and target planning, indicators of the program, importance of indicators, researches and development.