CC BY
536
Экономика государственного сектора
пути совершенствования методов оценки эффективности государственных программ
Андрей МАРГОЛИН
Андрей Маркович Марголин —
доктор экономических наук, профессор,
проректор, РАНХиГС
(РФ, 119571, Москва,
пр. Вернадского, 82, стр. 1).
E-mail: [email protected]
Аннотация
В статье показано, что одной из основных причин острой критики института государственных программ являются серьезные недостатки в действующих методиках обоснования эффективности их реализации. Эти недостатки связаны с существующей на федеральном и региональном уровнях управления практикой предоставления ответственным исполнителям государственных программ избыточных полномочий при утверждении таких методик; использованием нерепрезентативных оценок степени достижения плановых значений целевых индикаторов государственных программ; доминированием формальных критериев оценки качества управления программами в отличие от подходов, апробированных в мировой практике и ориентированных на содержательный анализ результатов деятельности менеджмента; применением алгоритмов расчета показателей эффективности, зачастую приводящих к логически противоречивым результатам. Приводятся рекомендации по совершенствованию методологии оценки эффективности реализации государственных программ, ключевыми из которых являются: обоснование целесообразности и раскрытие содержания модифицированного метода PART (modified Program Assessment Rating Tool method) для оценки степени достижения целей программы на основе использования трех частных рейтинговых оценок, учитывающих целесообразность продолжения реализации программы, качество управления программой и результаты ее выполнения; метод оценки результатов выполнения программы на основе алгоритма, учитывающего неравнозначность целевых индикаторов подпрограмм, самих подпрограмм и основных целевых индикаторов государственной программы; метод определения эффективности реализации программы за конкретный календарный год, основанный на корректировке интегральной оценки результатов выполнения программы с учетом соотношения фактического и планового объемов ее финансирования и динамики изменения оценок эффективности за весь предшествующий период.
Ключевые слова: государственная программа, целевые индикаторы, модифицированный
метод PART.
JEL: H43, O21, O22.
Введение
В профессиональном сообществе складывается консенсус по вопросу о недостаточной эффективности реализации государственных программ. Более того, выступая на Петербургском экономическом форуме, председатель Счетной палаты Татьяна Голикова отмечала, что институт государственных программ (далее — ГП) не состоялся, а министр финансов Антон Силуанов назвал их «мертворожденными»1. Но не получится ли так, что в случае полного отказа от ГП есть риск поступить в соответствии с максимой, авторство которой приписывается немецкому религиозному реформатору Мартину Лютеру, и вместе с грязной водой выплеснуть и ребенка?
Известно, что ГП требуют привлечения существенных инвестиционных ресурсов, не дают мгновенного эффекта, который к тому же далеко не всегда можно выразить в денежной форме. Но они тем не менее остаются признанным в мировой практике механизмом концентрации ограниченных ресурсов для решения приоритетных проблем, стоящих перед государством, особенно в тех случаях, когда возможности привлечения ресурсов негосударственного сектора экономики исчезающе малы.
Несомненно, сложившаяся практика разработки и реализации ГП не идеальна. Соответствующая правовая база не отличается стабильностью; количество программ, инициируемых государственными заказчиками, не соответствует реальным возможностям их финансирования; слабо прорабатываются альтернативные варианты достижения целей ГП и возможности привлечения внебюджетных источников финансирования; выбор целевых индикаторов (далее — ЦИ) часто является недостаточно обоснованным; качество контроля за ходом реализации программ со стороны государственных заказчиков оставляет желать лучшего; применяемые методики оценки эффективности ГП зачастую уязвимы для критики и т. д. Разработка научно обоснованных подходов к устранению каждого из этих недостатков, приведенный перечень которых не является исчерпывающим, заслуживает отдельного исследования. Вместе с тем представляется, что решение проблемы, связанной с выбором научно обоснованной методологии оценки эффективности ГП, занимает особое место. Если используемая методология либо принципиально неверна, либо присущие ей недостатки столь существенны, что получить объективные результаты оценки эффективности ГП не представляется возможным, то риски открытия финансирования тех программ, осуществление которых нецелесообразно, и, наоборот, отклонения эффективных программ многократно увеличиваются.
1 См.: Треть госпрограмм правительство признало неэффективными // Ведомости. 2017.
1 июля. https://www.vedomosti.ru/economics/news/2017/06/01/692559-gosprogramm.
Поскольку бюджетные ресурсы, без привлечения которых не обходится ни одна ГП, всегда ограничены, требования к эффективности их расходования весьма высоки. Эти требования, как правило, находят свое отражение в соответствующих методиках оценки эффективности реализации ГП, разрабатываемых с учетом накопленного мирового опыта. Аналогичные нормативные документы, регламентирующие порядок оценки эффективности ГП, действуют в России как на федеральном2, так и на региональном3 уровнях.
Помимо различных нормативных документов для обоснования рекомендаций по совершенствованию рассматриваемых методик представляют интерес и различные тематические публикации зарубежных и отечественных исследователей (например, [Кожевников, Пономарева, 2017; Левицкая, Савельев, 2016; Южаков и др., 2015; Feldman, 2017; Robinson, 2013] и др.). С учетом того, что подходы к оценке планируемой эффективности ГП в последнее время не претерпели существенных изменений и анализ их недостатков и рекомендаций по совершенствованию подробно представлен автором [Марголин, 2012], в настоящей статье основное внимание уделено исследованию проблемы оценки фактической эффективности реализации ГП, осуществляемой ежегодно при подготовке отчетов о ходе их выполнения.
Каковы содержательные аргументы, подтверждающие гипотезу о том, что применяемые методики оценки эффективности ГП нуждаются в серьезной переработке? Как необходимо изменить эти методики, чтобы выводы об эффективности реализации конкретных ГП были более объективными? Настоящая статья посвящена поиску ответов на эти взаимосвязанные вопросы. Приведенная в ней аргументация проиллюстрирована примерами из госпрограмм, представленных на портале https://programs.gov.ru/Portal/.
1. Существующие подходы к оценке эффективности государственных программ
Разнообразный мировой опыт оценки эффективности ГП укруп-ненно, без детализации можно свести к следующим направлениям:
• использование различных целевых показателей (output, outcome, impact indicators), как правило, в сопоставлении с объе-
2 Методические указания по разработке и реализации государственных программ Российской Федерации. Утверждены Приказом Министерства экономического развития от 16.09.2016 № 582. http://docs.cntd.ru/document/420377385.
3 Постановление правительства Алтайского края от 23.09.2013 № 502 «Об утверждении порядка разработки, реализации и оценки эффективности государственных программ Алтайского края (в редакции постановления правительства Алтайского края от 04.09.2015 № 353, постановления правительства Алтайского края от 25.08.2017 № 318)». http://docs.cntd.ru/ document/460187134.
мами выделяемых и фактически израсходованных бюджетных средств на реализацию программных мероприятий;
• применение рейтинговых оценок степени достижения целей ГП, в основном получаемых на основе комбинации эмпирических исследований, обобщения мнений квалифицированных экспертов и выявления степени достижения ЦИ;
• анализ «издержек и выгод» (Cost-Benefit Analysis, CBA). Этот подход применяется прежде всего при обосновании инвестиционных проектов, но и оценка эффективности государственных программ с его помощью также возможна, особенно если речь идет об оценке их общественной эффективности.
Далеко не всегда результаты реализации ГП можно выразить при помощи финансовых показателей. Приведу вполне конкретные примеры ЦИ действующих ГП в Российской Федерации, оценка степени достижения которых возможна лишь при помощи качественных характеристик, а на основе финансовых показателей не имеет практического смысла (табл. 1).
Эти примеры показывают, что для значительной части ГП определение их результативности на основе метода анализа издержек и выгод оказывается невозможным, хотя это и не означает, что поставленные цели следует достигать любой ценой и названный метод следует предать забвению. Так, в части анализа затрат на осуществление программных мероприятий учет финансовых показателей остается обязательным при использовании любого подхода к оценке эффективности ГП.
Таблица 1
Примеры целевых индикаторов государственных программ, степень достижения которых нецелесообразно оценивать на основе финансовых показателей
Государственная программа и сроки ее реализации Целевой индикатор
«Развитие образования» (2013-2020) Удельный вес численности молодых людей в возрасте от 14 до 30 лет, участвующих в деятельности молодежных общественных объединений, в общей численности молодежи в возрасте от 14 до 30 лет (%)
«Доступная среда» (2011-2020) Доля доступных для инвалидов и других маломобильных групп населения приоритетных объектов социальной, транспортной и инженерной инфраструктуры в общем количестве приоритетных объектов (%)
«Развитие культуры и туризма» (2013-2020) Количество посещений организаций культуры по отношению к уровню 2010 года (ед.)
«Охрана окружающей среды» (2012-2020) Доля территории, занятой особо охраняемыми природными территориями федерального, регионального и местного значения (%)
«Развитие науки и технологий» (2013-2020) Удельный вес РФ в общем числе публикаций в мировых научных журналах, индексируемых в базе данных WEB of Science (%)
Источник: Сводный годовой доклад о ходе реализации и оценке эффективности государственных программ Российской Федерации по итогам 2016 года. М.: Министерство экономического развития, 2017 (далее — Сводный годовой доклад). http://economy.gov.ru/minec/ about/structure/depGosZelProg/20170308003.
Например, в Австралии4 особое внимание уделяется выявлению соответствия программы ключевым приоритетам развития страны в целом; обоснованию релевантных способов оценки, включающих, где это возможно, планирование ожидаемых выгод и затрат; своевременности проведения оценки для возможности оперативного влияния на принятие принципиальных решений; учету результатов предыдущей оценки. Своеобразной визитной карточкой рассматриваемой методологии является прозрачность процесса оценки и его открытость для критики, а также соответствие этическим нормам, учет культурных особенностей и минимизация рисков нанесения вреда стейкхолдерам программы.
В Южной Корее институт оценки ГП был упразднен еще в 2006 году, а вместо него действует закон об оценке деятельности правительства, в котором синтезированы самооценка и оценка «сверху вниз». Ключевым элементом действующей системы является комитет по оценке эффективности деятельности правительства (GPEC), комитеты по самооценке отдельных министерств и управление анализа и оценки политики администрации премьер-министра (подробнее об этом см. [Hur, 2013]).
Унаследованная от централизованной плановой экономики Целевая система ответственности (Target Responsibility System, TRS) является доминирующей формой управления эффективностью деятельности правительства в Китае. Считается, что благодаря жесткой установке целевых показателей, иерархической системе подотчетности и ориентированной на карьерный рост мотивации персонала TRS вносит весомый вклад в достижение целей, поставленных правительством, и является одним из важных факторов экономического роста Китая. Тем не менее TRS присущи и существенные недостатки, связанные с практикой произвольного установления целевых показателей разными правительственными учреждениями, зачастую противоречащих друг другу и не учитывающих конкретные ситуации на местах. Для решения этой проблемы китайские органы власти пытаются реформировать систему TRS путем привлечения внешних экспертов к оценке эффективности и обеспечения большей объективности получаемых результатов (см. [Yu, Ma, 2015]).
Одним из наиболее содержательных подходов к оценке эффективности ГП является использование метода PART (Program Assessment Rating Tool), разработанного в США и получившего апробацию в разных странах мира5. Он основан на многокритериальной оцен-
4 Program Evaluation Unit 2015, Evaluation Guide. Department of Treasury, Government of Western Australia, Perth. http://www.treasury.wa.gov.au/uploadedFiles/Treasury/Program_Evaluation/ evaluation_guide.pdf.
5 См., например, Guide to the Program Assessment Rating Tool (PART). Office of Management and Budget, 2008, January. https://georgewbush-whitehouse.archives.gov/omb/performance/fy2008/ part_guid_2008.pdf.
ке характеристик реализуемых программ, представляющей собой обобщение экспертных ответов на серию тематических вопросов, сгруппированных по четырем проблемным областям:
• цели и структура программы — определяется ясность целей и важность программы, эффективность предлагаемых механизмов решения проблемы и выделения ресурсов;
• стратегическое планирование — оценивается наличие долгосрочных и промежуточных целей реализации программы и показателей ее результативности;
• управление программой — оценивается уровень менеджмента программы, включая финансовый мониторинг и контроль исполнения программных мероприятий;
• результаты выполнения программы — оценивается ход реализации программы с точки зрения поэтапного достижения долгосрочных и промежуточных целей.
Квинтэссенцией рассматриваемой методики является определение частных рейтинговых оценок по каждой из перечисленных областей, которые далее преобразуются в интегральную рейтинговую оценку эффективности ГП. С 2003 по 2008 годы с помощью PART в США была проведена оценка практически всех федеральных программ, и около 30% из них получили статус неэффективных.
Многие исследователи задавались вопросом, почему (помимо чисто политических причин) администрация Барака Обамы приняла решение полностью упразднить методику PART, вместо того чтобы внести в нее некоторые изменения, как планировалось изначально. К недостаткам методики PART, обсуждаемым в США, обычно относят чрезмерно широкую сферу применения и неочевидную достоверность экспертных оценок, сложность использования получаемых результатов для сравнительной оценки разных программ, ориентацию конгресса на собственные источники информации при принятии решений о целесообразности реализации или продолжения финансирования программ, даже вопреки результатам применения методики PART. Часто использовался и аргумент, состоящий в том, что польза методики PART вряд ли соизмерима с ресурсами и усилиями, затраченными на ее применение. В конечном счете возобладала точка зрения, в соответствии с которой внедрение методики PART не позволило создать культуру управления эффективностью ГП и она всего лишь научила топ-менеджмент федеральных ведомств красиво представлять свои отчеты на бумаге (см. [Moynihan, Lavertu, 2012; White, 2012].
После отмены этой методики в США с 2011 года действует «Усовершенствованный закон об оценке результатов деятельности государ-
ственных учреждений» (GPRA6 Modernization Act of 2010, GPRAMA). В нем содержится важнейшее требование, чтобы руководство каждого ведомства взяло на себя ответственность по достижению небольшого числа так называемых высокоприоритетных целей7.
По сути, речь идет о каскадировании целевых установок с уровня федерального правительства на уровень конкретных ведомств, разрабатывающих ежегодные планы их достижения и отчитывающихся об их выполнении перед Счетной палатой США. Оценка предполагает необходимость исчерпывающего ответа на три основных вопроса.
1. В какой степени план деятельности ведомства позволяет достичь желаемых результатов?
2. Насколько хорошо обоснованы стратегия и ресурсы, необходимые для достижения поставленных целей?
3. Насколько поставленные цели и результаты работы реально могут быть достигнуты?
Ответы на эти вопросы позволяют судить о степени достижения поставленных перед ведомством приоритетных целей и выполнении планов. При этом используются три категории оценок: отвечает требованиям (generally meets), частично отвечает требованиям (partially meets), не отвечает требованиям (falls well short of meeting). Естественно, по результатам оценивания программы могут пересматриваться деятельность ведомств, корректироваться цели и определяться новые пути их достижения.
Серьезные недостатки присущи и закону GPRAMA. В частности, несмотря на то что при его разработке предполагалась необходимость особого внимания к достоверности информации, используемой в ходе проведения оценки8, большинством ведомств требования закона воспринимались как формальность, а их выполнение ассоциировалось с мероприятием по «расстановке галочек», которое (так же как и в методике PART) приводит к перерасходу ресурсов и слабо связано с эффективностью их деятельности. Запрашиваемые показатели воспринимались как необходимые лишь для предоставления обязательной отчетности, и поэтому ведомства стремились к установлению заведомо легко достижимых целей реализации программ, чтобы, в конечном счете, застраховать себя от попадания в черный список конгресса.
Анализ показывает, что применение закона GPRAMA не привело к устранению недостатков метода PART, а идеологии этих ин-
6 GPRA — Government Performance and Results Act, принятый в 1993 году.
7 GPRA Modernization Act Provides Opportunities to Help Address Fiscal, Performance, and Management Challenges. Highlights of GAO-11-466T, a report to the Committee on the Budget, U. S. Senate. 2011, March 6. http://www.gao.gov/new.items/d11466t.pdf.
8 Этот подход получил специальное название политики, основанной на проверенных фактах (evidence-based policy agenda).
струментов оценки принципиально не отличаются друг от друга. Поэтому в США эксперты всё чаще склоняются к целесообразности введения в действие новой версии методики PART, пересмотренной с учетом требований политики, основанной на проверенных фактах, а также предполагающей оценку не только отдельных программ, но и портфелей программ, имеющих взаимосвязанные цели (подробнее об этом см. [Feldman, 2017]). Автор настоящей статьи разделяет точку зрения, изложенную в отмеченной работе, и именно идея модифицированного метода PART будет использована в дальнейшем для обоснования рекомендаций по совершенствованию методологии оценки фактической эффективности ГП.
Обратимся к анализу российского опыта решения рассматриваемой проблемы и его сопоставлению с зарубежной практикой. В настоящее время в соответствии с пунктом 85 Методических указаний по разработке и реализации государственных программ Российской Федерации, утвержденных приказом Министерства экономического развития РФ от 16.09.2016 № 5829, «Оценка эффективности государственной программы рассчитывается по методике... утвержденной ответственным исполнителем и представленной в составе дополнительных и обосновывающих материалов к государственной программе». Логика подобного подхода состоит в том, чтобы ответственный исполнитель не был связан универсальными требованиями к решению рассматриваемой проблемы и имел возможность учета специфики конкретной ГП при обосновании эффективности ее реализации.
Однако обратная сторона медали заключается в избыточной диверсификации методик оценки эффективности государственных программ со стороны их ответственных исполнителей, зачастую приводящей к утверждению таких методов определения показателей эффективности, практическое применение которых в принципе не может привести к обоснованным выводам. В настоящей статье приводятся конкретные примеры, наглядно иллюстрирующие справедливость данной гипотезы.
В частности, одной из последних по хронологии утверждения является Методика оценки эффективности реализации государственной программы Российской Федерации «Экономическое развитие и инновационная экономика», действующая на основании приказа Министерства экономического развития РФ от 17.07.2017 № 35110 (далее — Методика). Именно в этой Методике в максимальной степени синтезированы подходы к обоснованию эффективности ГП, широко применявшиеся до последнего времени. Для обоснования эффективности мероприятий подпрограмм и программы в целом используется
9 См.: http://docs.cntd.ru/document/420377385.
10 См.: http://www.consultant.ru/cons/cgi/online.cgi?req=doc&base=LAW&n=221073&fld=1 34&dst=100007,0&rnd=0.6623631302518009#08099379784946974.
единый методический подход, содержащий три последовательных шага по определению: (1) степени достижения заявленных результатов; (2) степени соответствия фактического и планового объемов использованных ресурсов; (3) интегральной оценки эффективности с учетом информации, полученной на двух предшествующих шагах11.
При всей внешней логической непротиворечивости приведенного подхода дьявол таится в деталях, содержательное исследование которых и приводит к выводам о необходимости существенного совершенствования методики оценки эффективности реализации ГП. В дальнейшем изложении рассматриваются аргументы, учитывающие мировой опыт и обосновывающие правомерность этого вывода.
В соответствии с приведенной выше Методикой оценка эффективности реализации ГП включает в себя оценку:
а) степени реализации основных мероприятий подпрограмм ГП;
б) степени соответствия запланированному уровню затрат на реализацию основных мероприятий подпрограмм ГП;
в) эффективности реализации основных мероприятий подпрограмм ГП;
г) степени достижения индикаторов подпрограмм ГП;
д) степени реализации каждой подпрограммы ГП;
е) эффективности реализации каждой подпрограммы ГП;
ж) степени достижения плановых значений ЦИ;
з) степени реализации ГП;
и) эффективности реализации ГП.
Рассматриваемая Методика имеет три ключевых структурных элемента, первый из которых ориентирован на оценку эффективности мероприятий подпрограмм ГП (пп. а, б, в), второй — на оценку эффективности подпрограмм, входящих в ГП (пп. г, д, е), третий — на оценку эффективности программы в целом (пп. ж, з, и).
Степень реализации мероприятий подпрограммы ГПСРМПГПСРМПГП предложено рассчитывать по следующей простой формуле (п. 4 Методики)12:
срмпгп = МПгп / МпПлГП, (1)
где МПГП, МПГП — количество выполненных мероприятий из числа запланированных и общее количество запланированных мероприятий соответственно.
11 Эта Методика полностью соответствует Приложению № 2 к Методическим указаниям по разработке и реализации государственных программ Российской Федерации (утверждены Приказом Министерства экономического развития РФ от 26.12.2012 № 817 и отменены в 2016 году). http://pravo.gov.ru/proxy/ips/?docbody=&nd=102349561.
12 Здесь и далее сохранены буквенные обозначения параметров, использованные в действующих методиках и нормативных документах.
Мероприятие считается выполненным на основании проводимой ответственным исполнителем экспертной оценки, учитывающей результаты анализа соответствия хода выполнения мероприятия утвержденному плану-графику и достижения качественного результата его реализации в отчетном году. По сути, оценка выполнения является дискретной (да/нет) и остается на совести ответственного исполнителя. При прочих равных условиях чем меньше общее количество плановых мероприятий, тем сильнее влияет возможное невыполнение любого из них на оценку степени реализации мероприятий подпрограммы и тем сильнее мотивация ответственного исполнителя представить дело таким образом, чтобы рассматриваемое мероприятие можно было считать выполненным.
Само применение дискретной оценки степени реализации мероприятий подпрограммы уязвимо для критики, поскольку одинаково невыполненными окажутся мероприятия со степенью выполнения, например, 90 и 20%. Тем не менее полностью отказаться от оценки степени выполнения мероприятий ГП невозможно хотя бы потому, что в отдельных подпрограммах, входящих в действующие ГП, целевые индикаторы отсутствуют и вся подпрограмма состоит из перечня конкретных мероприятий13. Но и в этом случае целесообразно ориентироваться на экспертную оценку степени выполнения мероприятий, а дискретные оценки типа «да/нет» исключить.
Аналогично определяется степень соответствия запланированному уровню затрат на реализацию мероприятия подпрограммы из федерального бюджета (п. 6 Методики):
/-^МПГП _ тсум , глсум /л\
ССЗГО Змф / Змпл , (2)
Зсум г-» сум л
мф, Змпл — фактические и плановые затраты на реализацию мероприятия соответственно.
Далее показатели, определенные по формулам (1) и (2), используются для оценки эффективности реализации основных мероприятий по формуле (п. 8 Методики):
Эрмпгп = (срмпгп + СС^Ш) / 2, (3)
где ЭРМПГП — эффективность реализации мероприятий подпрограммы.
Для того чтобы проиллюстрировать органически присущие формуле (3) недостатки, рассмотрим данные табл. 2, где сопоставляются два возможных варианта результатов оценки эффективности реали-
13 Такая ситуация имеет место, например, в подпрограмме «Общероссийская гражданская идентичность и этнокультурное развитие народов России», являющейся частью ГП «Реализация государственной национальной политики» (см. паспорт ГП: http://programs.gov.ru/Portal/ programs/quarterMonitoring?gpId=46&year=2017&quarter=4&type=pgp&id=EB999CA7-E7F2-4676-BCDE-DDB130E6B488&detail=0#404).
Таблица 2 Пример сопоставления результатов оценки эффективности реализации мероприятий подпрограммы с использованием формулы (3)
Варианты реализации мероприятий подпрограммы Показатели
степень реализации мероприятий подпрограммы, СРМПГП степень соответствия запланированному уровню затрат на реализацию подпрограммы, ССзШ™ эффективность реализации основных мероприятий подпрограммы, ЭРМПГП
Вариант 1 0,8 1,0 0,9
Вариант 2 1,0 0,8 0,9
зации мероприятий подпрограммы. Из таблицы следует, что показатель эффективности у сравниваемых вариантов одинаковый. Однако лишь на первый, весьма поверхностный, взгляд эффективность этих вариантов реализации мероприятий не отличается друг от друга.
Действительно, в первом из вариантов часть мероприятий не выполнена14, а предусмотренные в бюджете средства потрачены полностью. Во втором варианте, наоборот, полное выполнение мероприятий программы сочетается с одновременной экономией бюджетных средств. Таким образом, второй вариант значительно эффективнее первого, и то обстоятельство, что получаемые при использовании Методики показатели эффективности оказывается одинаковыми, по сути, подчеркивает нецелесообразность практического применения формулы (3).
Характерно, что если вместо полусуммы показателей СРМПГП и ССз™ в формуле (3) использовать дробь (СРМПГП / СС^Ш), то можно было бы получить более объективную характеристику эффективности реализации мероприятий подпрограммы. Тогда, например, во втором варианте табл. 2 показатель эффективности окажется равным 1,25, а в первом — 0,8, и, соответственно, более высокая сравнительная эффективность второго варианта станет очевидной. Но даже в этом случае из-за недостатков формулы (1) рассмотренный в Методике подход к оценке эффективности мероприятий подпрограммы сложно рекомендовать для практического использования.
Перейдем к рассмотрению предусмотренного Методикой алгоритма оценки эффективности реализации подпрограмм, входящих в ГП. В частности, степень реализации подпрограммы определяется следующим образом (пп. 9 и 10 Методики):
СРПГП = ЕГСДПГП/^, (4)
СДПГП = ЗППГП / ЗППГП, (5)
где СРПГП — оценка степени реализации подпрограммы, N — число ЦИ подпрограммы, входящей в ГП, СДПГП — степень достиже-
14 Здесь в целях упрощения логики рассуждений принято допущение о том, что показатель СРМПГП характеризует степень реализации мероприятий достаточно адекватно, несмотря на его очевидные недостатки, рассмотренные выше.
ПГП
ния планового значения п-го индикатора подпрограммы, ЗПф п и ЗП^™ — соответственно фактическое и плановое значения п-го ин-
пл
т15
дикатора подпрограммы
Следует обратить внимание на стандартные недостатки применения формул (4) и (5) для оценки степени реализации подпрограмм (подробнее об этом см. [Марголин, 2013; 2017; Южаков и др., 2015]):
• при определении СРПГП как среднего арифметического соотношений фактических и плановых значений ЦИ подпрограммы принимается допущение о том, что все рассматриваемые индикаторы равнозначны;
• при включении ЦИ в государственные программы (подпрограммы) часто допускается их неоправданное дублирование;
• не учитываются начальные значения ЦИ, что искажает реальные оценки степени достижения их плановых значений.
Приведу конкретные примеры, иллюстрирующие правомерность этих утверждений. Поскольку все эти примеры относятся к различным ГП, есть основания считать рассматриваемые недостатки типичными. Так, в ГП «Развитие культуры и туризма на 2013-2020 годы» (подпрограмма «Искусство»)16 приводятся следующие индикаторы: «Доля зданий учреждений культуры, находящихся в удовлетворительном состоянии, в общем количестве зданий данных учреждений, %» и «Количество реализуемых проектов государственно-частного (муниципально-частного) партнерства в сфере культуры и туризма, ед.». Более высокий уровень значимости первого из этих индикаторов, видимо, не требует дополнительной аргументации.
В ГП «Обеспечение доступным и комфортным жильем и коммунальными услугами граждан Российской Федерации» немало примеров дублирующих или зависимых друг от друга ЦИ. Например, взаимная зависимость таких приведенных в Сводном годовом отчете (Приложение 1, с. 43) индикаторов, как «Средняя стоимость 1 кв. м жилья на первичном рынке» и «Средняя стоимость 1 кв. м жилья на первичном рынке с учетом индекса-дефлятора», является достаточно очевидной. В практическом плане это означает, что при определении степени достижения плановых значений ЦИ по программе в целом один из этих индикаторов достаточно рассматривать как справочный и в расчеты, аналогичные проводимым с использованием формулы (4), не включать.
15 Формула (5) записана для случая, когда предусматривается увеличение значений показателей подпрограммы.
16 Утверждена Постановлением Правительства Российской Федерации от 31.03.2017 № 391. https://programs.gov.ru/Portal/programs/indicatorsGpFin?gpId=11&type=pgp&id=4967D 450-B326-4B0E-BB08-7C9088175A00.
Учет начальных значений ЦИ является принципиальным, хотя он в формуле (5) и не предусмотрен. Это, в частности, становится очевидным при рассмотрении Сводного годового отчета по реализации ГП «Развитие здравоохранения». Так, фактическое значение индикатора «Отношение средней заработной платы врачей и работников медицинских организаций, имеющих высшее образование и обеспечивающих предоставление медицинских услуг, к средней заработной плате по субъекту Российской Федерации» в 2016 году составило 155,3%, плановое значение — 159,6%, начальное (на 2013 год) — 141% (см. Приложение 1, с. 11). Тогда степень выполнения планового значения рассматриваемого индикатора, определенная по формуле (1), составит 76,9%, а по формуле (5) — 97,3%. Во многих случаях расхождения в получаемых результатах из-за отсутствия учета начальных значений ЦИ еще более существенны.
Обращает на себя внимание и подход, при помощи которого показатель степени реализации подпрограммы включен в алгоритм определения эффективности ее реализации ЭРПГП (см. формулу (6), соответствующую п. 11 Методики):
эрпгп = [ (ЕМэрМпгп + ЕМсрМпгп ) / м ] х српгп, (6)
где М — количество подпрограмм, входящих в ГП.
Все другие параметры, входящие в формулу (6), нам уже известны (ЭРМПГП рассчитывается по формуле (3), СРМПГП — по формуле (1), СРПГП — по формуле (4)). Это означает, что степень корректности формулы (6) вызывает большие сомнения хотя бы потому, что степень реализации мероприятий подпрограммы СРМПГП уже учитывалась при определении эффективности по формуле (3). Особенно очевидным данный вывод становится в случае, если подпрограммой предусмотрено единственное мероприятие. Тогда, решив уравнение (3) относительно параметра СРМПГП и подставив результат в формулу (6), получим:
ЭРПГП = (3 х ЭРМПГП — СС3^ГП) х СРПГП. (7)
Подобное лишенное, по сути, экономического смысла соотношение стало следствием двух фундаментальных недостатков рассмотренного выше подхода. Первый заключается в том, что для определения степени реализации мероприятий подпрограммы используется дискретный метод (выполнено или не выполнено), а для определения степени достижения ее индикаторов — непрерывный (в форме расчета соотношения фактического и планового значений индикатора). Второй недостаток, раскрытый выше, состоит в том, что рассчитывать эффективность на основе полусуммы показателей степени реализации мероприятий и уровня их финансирования некорректно.
Проведенный анализ позволяет предположить, что и содержащийся в методике алгоритм оценки эффективности ГП в целом не является совершенным. Его суть состоит в следующем (пп. 13 и 14 Методики).
Определяется степень реализации государственной программы СРГП:
СРГП = асдй1™ /К, (8)
где СД™К — степень достижения плановых значений к-го показателя ГП, К — общее число показателей ГП.
Рассчитывается эффективность реализации ГП ЭРГП с учетом степени достижения ее индикаторов и эффективности реализации входящих в нее подпрограмм:
ЭРГП = 0,5 х СРГП + 0,5 х (Еу=1ЭР,ПГП ) / /, (9)
где / — количество подпрограмм ГП.
В соответствии с принятыми в Методике рекомендациями эффективность реализации ГП признается:
• высокой, если значение ЭРГП > 0,9;
• средней, если 0,8 < ЭРГП < 0,9;
• удовлетворительной, если 0,7 < ЭРГП < 0,8;
• неудовлетворительной — в остальных случаях.
Показательно, что формула (9) совсем не учитывает случай, при котором в составе ГП подпрограмм не будет (тогда величина ЭРГП не может превысить значение 0,5, и, соответственно, для того, чтобы признать неудовлетворительной любую программу, не имеющую подпрограмм, расчеты не потребуются). Но и при наличии подпрограмм в составе ГП использование формулы (9) не позволяет получить объективную оценку эффективности ее реализации в силу отмеченных выше принципиальных недостатков применяемой методики.
Представляется, что эти недостатки имеют системный характер и требуют устранения. Это тем более актуально, что на уровне субъектов Федерации принимаются собственные нормативные правовые документы, регламентирующие порядок оценки эффективности ГП, с одной стороны, дублирующие подходы, принятые на федеральном уровне, но с другой — зачастую вносящие в методики расчета показателей эффективности ГП дополнительные акценты, которые сложно объяснить попытками учета региональных особенностей их реализации.
Например, действующим порядком обоснования эффективности государственных программ Алтайского края17 предусмотрена техно-
17 http://docs.cntd.ru/document/460187134.
логия оценки степени достижения целей ГП, степени соответствия запланированному уровню затрат краевого бюджета и степени реализации мероприятий ГП, предполагающая использование формул, аналогичных рассмотренным выше (соответственно формул (5), (2) и (1)). На завершающей стадии авторы методики, отраженной в анализируемом постановлении краевой администрации, вводят понятие комплексной оценки эффективности реализации ГП «КО», которая рассчитывается по формуле (10):
КО = (Cer + Fin + Mer) / 3, (10)
где Cer, Fin, Mer — степень достижения целей ГП, уровень финансирования ГП и оценка степени реализации мероприятий ГП соответственно (все показатели выражаются в %).
Уровень эффективности реализации ГП считается высоким, если КО> 80%, средним — если 40% < КО < 80%, и низким — если КО < 40%. Для того чтобы оценить уровень объективности рекомендуемых комплексных оценок, применим метод, аналогичный использованному ранее в табл. 1, и сравним два возможных варианта эффективности реализации государственной программы (табл. 3).
Таблица 3
Пример сопоставления результатов оценки эффективности государственной программы по формуле (10)
Варианты реализации ГП Показатели
степень достижения целей ГП, Cer уровень финансирования ГП, Fin степень реализации мероприятий ГП, Mer комплексная оценка эффективности ГП, КО
Вариант 1 85 75 50 70
Вариант 2 75 100 70 >80
Результаты комплексной оценки свидетельствуют о том, что эффективность ГП, реализуемой по второму варианту, следует признать высокой, а по первому — средней. Но соответствует ли такой вывод здравому смыслу? Из данных таблицы видно, что в первом варианте степень достижения целей ГП выше и она сочетается с экономией бюджетных средств на 25% по сравнению с плановыми расходами. Во втором варианте показатели достижения целей программы хуже, а бюджетные средства истрачены полностью. Некоторое преимущество второго варианта по степени реализации мероприятий ГП нельзя признать информативным, поскольку, так же как и ранее в формуле (1), основу определения величины Mer составляет дискретный подход, при котором мероприятие, выполненное на 90 или 20%, считается невыполненным.
Хотя преимущества первого варианта над вторым вполне очевидны, расчеты по формуле (10) дают обратный результат. Причины этого заключаются в применении некорректной процедуры сложе-
ния показателей степени достижения целей (Cer) и уровня финансирования (Fin) госпрограмм, а также в искажении комплексной оценки эффективности из-за недостатков применяемого метода учета степени реализации мероприятий ГП. Следовательно, рассмотренная методика оценки эффективности государственных программ Алтайского края также требует серьезной доработки.
Перечень подобных примеров может быть существенно расширен, что, однако, не повлияет на общий вывод о недостаточной проработке вопросов методологии обоснования эффективности реализации ГП как на федеральном, так и на региональном уровнях.
В этой связи показательно, что в упомянутом ранее Сводном годовом докладе содержится рекомендация, направленная на повышение объективности результатов обоснования эффективности ГП в отношении учета эффективности деятельности ответственного исполнителя ГП. Ранее показатели качества управления программой ответственным исполнителем в подобных методиках практически не принимались во внимание. Для того чтобы разобраться в содержании этой рекомендации, в качестве базы сравнения выберем метод решения аналогичной проблемы, являющийся неотъемлемой составной частью оценки эффективности ГП по рассмотренной выше методике PART. Хотя в обоих случаях производится опрос экспертов с возможными ответами «да/нет» на ключевые вопросы, логика этих вопросов, играющих роль критериев оценки, отличается, и весьма существенно (табл. 4).
Сравнительный анализ приведенного перечня вопросов (критериев) свидетельствует о том, что в Сводном годовом докладе в них заложен формальный подход к интерпретации ответов (представление отчета в установленные сроки, наличие предложений по дальнейшей реализации программы, наличие предложений по минимизации негативных отклонений и др.18), а в методике PART — содержательный (целевое расходование средств, координация работы с исполнителями других программ, принятие конкретных мер по устранению недостатков в управлении программой и т. д.).
С учетом изложенного можно констатировать, что использованная в Сводном годовом докладе методика интегральной оценки эффективности реализации ГПоэ в отчетном году, представленная формулой (11), также нуждается в совершенствовании.
ГПоэ = 0,4 X ОДп + 0,3 X ОРом + 0,1 X КуИ +0,2 х ОЭД, (11)
где ОДп — общая оценка достижения плановых значений индикаторов ГП, а также показателей подпрограмм и федеральных целевых
18 Их можно рассматривать как формальные, потому что, например, критерий считается выполненным по факту представления соответствующих предложений в установленные сроки, а не потому что эти предложения прошли необходимую экспертизу и признаны качественными.
Таблица 4
Сопоставление подходов к оценке эффективности управления государственными программами, использованных в Сводном годовом докладе и предусмотренных методикой PART
Перечень вопросов (критериев) для оценки эффективности управления государственными программами
по Сводному годовому докладу по методике PART
Внесены изменения в план реализации государственной программы в соответствии с поручением Правительства РФ в установленный срок. Внесены изменения в детальный план-график реализации государственной программы в срок до 20 дней со дня внесения соответствующих изменений в план реализации. Изменения в детальный план-график реализации государственной программы согласованы с Минэкономразвития. Уточненный годовой отчет о ходе реализации государственной программы представлен в Минэкономразвития в установленный срок. Представлены предложения по дальнейшей реализации государственной программы в рамках уточненного годового отчета. Представлены предложения по мерам нейтрализации/минимизации отклонения по контрольным событиям (в случае если они не произошли). Производится ли ответственным исполнителем программы своевременный сбор информации о ходе выполнения программы и используется ли эта информация в целях улучшения хода выполнения программы? Несут ли руководители программы, а также ее партнеры ответственность за расходование средств программы, соблюдение графиков и показателей хода выполнения программы? Расходуются ли средства, выделенные по программе, своевременно и в соответствии с их целевым назначением? Осуществляется ли координация действий по реализации данной программы и других программ, направленных на достижение сходных результатов? Были ли предприняты в ходе реализации программы действенные и целенаправленные меры по преодолению недостатков в управлении программой?
программ, ОРом — общая оценка эффективности реализации основных мероприятий ГП, Куи — уровень использования бюджетных ассигнований при реализации ГП, ОЭД — оценка эффективности деятельности ответственного исполнителя ГП.
Ранее было показано, почему прямое суммирование степени достижения плановых значений индикаторов ГП, эффективности реализации основных мероприятий и использования бюджетных ассигнований может привести к не вполне репрезентативным результатам оценки ГП. Не способствуют повышению доверия к такой оценке и применяемые в настоящее время методы учета качества управления программой ее ответственным исполнителем.
2. Предложения по совершенствованию методов оценки эффективности государственных программ
Для разработки соответствующих предложений используем модифицированный метод PART, который, как отмечалось выше, рассматривается автором настоящей статьи в качестве перспективного направления совершенствования методики оценки эффективности ГП. Прежде чем переходить к содержательному обсуждению предлагаемой модификации, следует отметить, что интегральная оценка эф-
фективности ГП по методологии PART предполагает использование следующей формулы, по своей структуре практически совпадающей с формулой (11), но содержательно от нее отличающейся принципиально:
ГПоэ = вцсЧЧЭцс + вспЧЧЭсп + вупЧЧЭуп + врв ЧЧЭрв, (12)
где ЧЭцс, ЧЭсп, ЧЭуп, ЧЭрв — частные рейтинговые оценки эффективности реализации программы соответственно по таким областям оценки, как «цели и структура программы», «стратегическое планирование», «управление программой» и «результаты выполнения программы»; вцс, в™, вуп, врв — весовые коэффициенты значимости частных рейтинговых оценок по этим областям.
По всем перечисленным областям формируются перечни контрольных вопросов, ответы на которые определяют соответствующие частные рейтинговые оценки (по области оценки «управление программой» такие вопросы были приведены в табл. 4, а по областям оценки «цели и структура программы», «стратегическое планирование» представлены в табл. 5).
Анализ контрольных вопросов, используемых в методологии PART применительно к разным областям оценки, свидетельствует о том, что они частично дублируют друг друга. Примеры такого дублирования можно найти при параллельном рассмотрении областей оценки:
(1) «цели и структура программы» и «стратегическое планирование»;
(2) «стратегическое планирование» и «управление программой»;
(3) «цели и структура программы» и «управление программой».
Приведем по одному примеру такого дублирования по каждому из
перечисленных пунктов (1), (2) и (3). Так, к дублирующим могут быть отнесены вопросы о качестве формулировки целей ГП (область «цели и структура программы») и наличии показателей результативности, отражающих степень достижения этих целей (область «стратегическое планирование»). Очевидно, в частности, что если в соответствии с технологией SMART цели ГП являются конкретными, измеримыми, достижимыми, значимыми и ограниченными во времени, то они обязательно будут представлены в виде репрезентативных показателей.
Кроме этого, проблема целевого использования бюджетных средств отражена в вопросах, касающихся и стратегического планирования, и управления программой. Большое внимание в перечне вопросов уделяется недопущению дублирования целей конкретной программы и целей других программ, осуществляемых на федеральном, региональном или местном уровнях. Однако соответствующий вопрос содержится сразу в двух областях оценки — «цели и структура программы» и «управление программой».
Анализ большинства вопросов из области оценки «стратегическое планирование» свидетельствует о наличии их тесной смыс-
Таблица 5
Перечень контрольных вопросов для определения частной рейтинговой оценки по областям «цели и структура программы» и «стратегическое планирование»
Контрольные вопросы, раскрывающие содержание оценочных процедур
область «цели и структура программы» область «стратегическое планирование»
Сформулирована ли основная цель программы четко и ясно? Отражает ли программа конкретные и актуальные проблемы, интересы или потребности? Построена ли программа таким образом, что она не дублирует какие-либо другие федеральные, региональные или местные программы или частные инициативы? Отсутствуют ли в построении программы значительные дефекты, ограничивающие ее эффективность? Эффективна ли структура программы с точки зрения обеспечения взаимосвязи программных мероприятий, доведения выделяемых ресурсов до предполагаемых исполнителей? Сформулировано ли в программе ограниченное число долгосрочных показателей результативности, отражающих степень достижения ее основной цели? Сформирован ли в программе временной план-график достижения количественно измеримых долгосрочных целей программы? Сформулировано ли в программе ограниченное число не дублирующих друг друга годовых ЦИ результативности программы, которые отражают прогресс в отношении достижения ее долгосрочных целей? Представлены ли в программе исходные (базовые) значения и целевые значения для ежегодных показателей, необходимые для ежегодной оценки хода ее реализации? Определены ли в программе обязательства всех ее участников и насколько их деятельность отражается на выполнении годовых и долгосрочных целей программы? Проводятся ли на регулярной основе или по мере необходимости независимые экспертизы программы, связанные с оценкой хода ее реализации и подготовкой рекомендаций по корректировке программы? Четко ли увязаны бюджетные заявки на финансирование программы с выполнением годовых и долгосрочных целей программы и отражены ли в бюджете программы потребности в ресурсах в полном объеме и прозрачным образом? Были ли приняты руководством программы действенные меры для исправления имеющихся недостатков в области стратегического планирования?
ловой корреляции с областью оценки «управление программой». По сути, это означает, что количество рассматриваемых областей оценки может быть без ущерба для содержания сокращено. С учетом принципа разумной достаточности целесообразно ограничиться тремя областями: «целесообразность продолжения реализации программы», «управление программой» и «результаты реализации программы». В дальнейшем изложении для обозначения методики оценки результативности реализации ГП на основе анализа трех отмеченных областей используется введенный ранее термин «модифицированный метод PART (modified PART method)».
Оценка целесообразности продолжения реализации программы может привести к двум выводам:
• «продолжение программы нецелесообразно» — этот сценарий применим в случаях, когда либо установлен факт дублирования рассматриваемой программой целей других программ, либо программа признана неэффективной (как было показано ранее, к таким программам относится примерно треть от их общего количества);
• «продолжение программы целесообразно» — в этом случае актуальность реализации ГП сохраняется, но уточнение ЦИ и перечня программных мероприятий желательно и зачастую необходимо. Например, если вследствие повышения темпов экономического роста часть целей ГП достигнута ранее, чем было запланировано, или быстрое развитие инноваций привело к тому, что некоторые первоначально сформулированные цели ГП утратили свою актуальность. Так, под влиянием динамичного развития цифровой экономики индикатор ГП «Информационное общество (2011-2020 годы)» «Доля домашних хозяйств, имеющих доступ к информационно-телекоммуникационной сети "Интернет", в общем числе домашних хозяйств, %»19 может достичь 100% ранее срока завершения программы, и в проведении соответствующих мероприятий, обеспечивающих достижение данной цели, не будет необходимости.
Для оценки качества управления программой может быть использована выборка контрольных вопросов, применяемых в методологии PART для получения частных рейтинговых оценок по таким областям, как «цели и структура программы», «стратегическое планирование» и «управление программой» (см. табл. 4 и 5). Эта выборка не является единственно возможной, и перечень вопросов открыт для содержательного дополнения. Например, с учетом специфики российских условий дополнительные бонусы менеджмент ГП может получить в случае увеличения объемов инвестиционных ресурсов, привлекаемых от компаний негосударственного сектора экономики. В любом случае искомая частная рейтинговая оценка качества управления программой КУ™ определяется по формуле (13):
КУгп = !?=лр, (13)
где ¡П — расчетное значение коэффициента значимости n-го контрольного вопроса, используемое для оценки качества управления программой.
При проведении расчетов по формуле (13) величина ¿¡П, как правило, принимается равной весовому коэффициенту значимости Sn в случае положительного ответа на контрольный вопрос и равной нулю — при отрицательном ответе. Если же однозначный ответ «да» или «нет» невозможен, то в зависимости от конкретной ситуации рассматриваемая величина ¡П может «расщепляться» и принимать значение из интервала 0 < ¡П < Sn.
19 В редакции Постановления Правительства РФ от 25.09.2018; см.: http://www. consultant. ru/document/cons_doc_LAW_162184/6c4d132e0007108065098f5e4bf3feadacc7b9bf/.
Что же касается оценки результатов выполнения программы, то здесь нет необходимости в разработке перечня контрольных вопросов, как это рекомендуется в методике PART; вполне достаточно установить степень соответствия фактических значений ЦИ плановым, а также учесть динамику их изменения. Кроме этого, необходимо отказаться от традиционного подхода к определению среднего арифметического отклонения фактических значений индикаторов ГП от плановых (см. формулы (1), (4), (8), (9)), поскольку такой подход базируется на не вполне корректном допущении о равнозначности всех ЦИ.
Ниже рассматривается предлагаемый пошаговый алгоритм оценки эффективности ГП, включающий оценку степени достижения плановых значений ЦИ как программы в целом, так и входящих в нее подпрограмм.
1-й шаг. Оцениваются результаты реализации каждой подпрограммы, входящей в ГП, по степени достижения ее ЦИ:
РГ = X [ЗИфпп — 3H,fn]/[3H,fnn — ЗИнпп], (14)
где Р™ — результаты оценки степени достижения целей i-й подпрограммы ГП, ^ij — весовой коэффициент значимости j-го ЦИ i-й подпрограммы, ЗИфпп, ЗИ,плпп, ЗИнпп, — соответственно фактическое, плановое и начальное (на момент начала реализации подпрограммы) значения j-го ЦИ i-й подпрограммы20.
2-й шаг. Определяется средневзвешенная оценка результативности реализации всех подпрограмм Рпп, входящих в ГП:
Рпп =Zii9i X Р,пп, (15)
где ф — весовой коэффициент значимости i-й подпрограммы, входящей в ГП.
3-й шаг. Определяется степень достижения основных ЦИ, входящих непосредственно в ГП (СД™). Необходимость этого шага связана с тем, что в ГП включаются так называемые основные ЦИ, выполнение которых обусловлено синергией реализации нескольких подпрограмм, но ни в одну из них в явном виде они не входят:
СД™ = 1^=1 втX [ЗИ|ГП - ЗИП / [ЗИГП - ЗИГ], (16)
где вт — весовой коэффициент значимости т-го ЦИ государственной программы, ЗИП ЗИтлгп, ЗИт™ — соответственно фактическое, плановое и начальное (на момент начала реализации ГП) значения т-го индикатора ГП.
4-й шаг. На этом шаге рассчитывается частная рейтинговая оценка результативности выполнения ГП в целом (ЧРГП) с учетом полу-
20 Структура формулы (14) соответствует случаю, в котором ЦИ должен иметь тенденцию к повышению.
ченных на 2-м и 3-м шагах оценок результативности выполнения подпрограмм и степени достижения ЦИ по формуле:
ЧРгп = у х СД™ + (1 - у) х Рпп, (17)
где у — весовой коэффициент значимости основных целевых индикаторов ГП.
5-й шаг. Определяется интегральная оценка результативности реализации ГП (О&), отражающая результаты оценки качества управления программой (формула (13)) и частной рейтинговой оценки результативности выполнения ГП в целом (формула (17)):
О^ = 0,8 х ЧРгп + 0,2 х КУгп. (18)
Для перехода от интегральной оценки результативности ГП к интегральной оценке эффективности ее реализации необходимо включить в рассматриваемую методику анализ соотношения фактического и планового объемов финансирования программы (Фгп):
Фгп = фф / фпл, (19)
где Фф, Фпл — фактический и плановый объемы финансирования ГП соответственно.
Если, например, это соотношение существенно больше интегральной оценки результативности ОР£^т (то есть Фгп >> ОСг), то достигнутые результаты не адекватны объемам финансирования программы и у государственного заказчика может созреть вполне обоснованное решение о замене менеджмента. Зачастую в российских условиях существенным резервом повышения эффективности реализации программы оказывается снижение административных расходов. Оно позволяет избежать ситуации, в которой значительная часть бюджета программы направляется не столько на финансирование ее конкретных мероприятий, сколько на оплату труда управленческого персонала. И наоборот, если Фгп << ОР£^т, то напрашивается вывод о том, что, несмотря на существенное снижение финансирования, менеджмент добился весьма позитивных результатов, а накопленный им опыт управления программой заслуживает тиражирования.
6-й шаг. Определяется оценка эффективности реализации ГП ОР™ в год ее проведения:
ОЭгтп = О& / Фгп . (20).
Отличительной особенностью рассмотренной методики является использование разных типов весовых коэффициентов значимости: ЦИ подпрограмм в формуле (14), самих подпрограмм в формуле (15), каждого из основных ЦИ, включаемых непосредственно в ГП (16), а также — основных целевых индикаторов ГП в целом (17). Важно,
чтобы соответствующие значения весовых коэффициентов значимости утверждались до начала процедуры оценки. Тогда ответственный исполнитель ГП не сможет манипулировать ее результатами путем подбора выгодных для него весовых коэффициентов.
Обсуждение методики оценки эффективности ГП не будет полным, если не принять во внимание содержащуюся в Сводном годовом докладе рекомендацию о необходимости учета динамики изменения ЦИ. Данная проблема решается в этом документе достаточно просто (раздел 3, с. 6) — путем умножения степени достижения планового значения ЦИ, определяемой по аналогии с формулой (5), на темпы роста рассматриваемого значения ЦИ в год проведения оценки программы. Более сбалансированный метод учета динамики реализации программ предложен в работе [Южаков и др., 2015]. Ее авторы вместо сопоставления степени достижения и динамики изменения каждого конкретного ЦИ предлагают перейти к использованию для этих целей соответствующих средневзвешенных показателей по ГП в целом.
Подобный подход может дать достоверные результаты, в случае если состав ЦИ и сроки их достижения остаются без изменений с момента начала реализации программы. Но поскольку периодический пересмотр этих характеристик ЦИ программы нельзя считать исключением из общего правила, существует вполне реальный риск несопоставимости оценок динамики реализации ГП, получаемых в разные годы.
Отмеченная проблема не является единственной. Например, в ГП «Управление государственными финансами и регулирование финансовых рынков» приводится такой ЦИ, как «Средний индекс качества финансового менеджмента главных администраторов средств федерального бюджета». Его фактические значения по годам реализации программы составили: в 2013 году — 57%, в 2014-м — 67%, в 2015-м — 66,8% и в 2016-м — 62%. Хотя ответственный исполнитель выполнил план по рассматриваемому индикатору в год проведения оценки эффективности ГП (плановое значение этого индикатора в 2016 году равно 62%; см. Сводный годовой доклад, приложение 1, с. 162), динамика его изменения оказалась негативной и оказала отрицательное влияние на общую оценку степени достижения целей программы. Но в данном случае такая динамика не связана с эффективностью работы ответственного исполнителя программы, а предопределена спецификой планирования изменения конкретного индикатора еще на стадии утверждения программы.
Поэтому корректный метод учета динамики изменения результатов оценки эффективности ГП может быть связан не столько с попыткой анализа динамики изменения ЦИ (по каждому индикатору в отдельности или в среднем), сколько с выявлением тенденции
изменения оценки эффективности ГП в целом. Если, например, оценка эффективности ГП в год ее проведения превышает среднюю величину такой оценки за все предшествующие годы, то вклад рассматриваемого года в динамику реализации программы следует признать позитивным (и негативным — в противном случае). По сути, это означает целесообразность определения на последнем, седьмом, шаге рассматриваемого алгоритма оценки эффективности реализации ГП, скорректированной с учетом динамики ее изменения ОЭ™д.
7-й шаг. Корректировка оценки эффективности реализации ГП с учетом динамики ее изменения:
£?=оэгп / ui;:ir-1) оэГп] / (т - 1)}, (21)
ОЭГПд = ОЭГП X £Д, (22)
где £д — коэффициент учета динамики изменения оценки эффективности реализации ГП в год Т ее проведения, ОЭГП — сумма оценок эффективности реализации программы за годы, предшествующие году проведения оценки.
На основании выполнения расчетов по приведенному пошаговому алгоритму может быть сделан вывод относительно эффективности реализации ГП в год проведения соответствующей оценки. Как правило, для решения такой задачи используются специальные оценочные шкалы, примеры которых представлены в табл. 6.
Хотя структура приведенных в таблице характеристик эффективности реализации ГП практически одинакова, в программе «Экономическое развитие и инновационная экономика» применяются более консервативные критерии по сравнению с методикой PART. Содержательный аргумент в пользу практического применения шкалы оценки, аналогичной использованной в рассмотренной ГП, заключается в том, что дефицит бюджетных средств, являющихся
Таблица 6
Примеры применяемых шкал оценки эффективности результатов реализации государственных программ
ГП РФ «Экономическое развитие и инновационная экономика» Методика PART
значение интегрального показателя эффективности реализации ГП (формула (9)) характеристика эффективности реализации ГП значение интегрального показателя эффективности реализации ГП (формула (12)) характеристика эффективности реализации ГП
ЭРгп > 0,9 высокая ГПоэ >0,85 эффективная
0,9 < ЭРгп < 0,8 средняя 0,85 < ГПоэ < 0,7 умеренно эффективная
0,8 < ЭРгп < 0,7 удовлетворительная 0,5 < ГПоэ < 0,7 адекватная
ЭРШ < 0,7 неудовлетворительная ГПоэ < 0,5 неэффективная
источником финансирования ГП, диктует более жесткие требования к эффективности их расходования. Соответственно, возможный подход к выбору шкалы оценки эффективности ГП может состоять во включении показателя оэГпд, рассчитываемого по формуле (22), в приведенную выше шкалу оценки эффективности ГП «Экономическое развитие и инновационная экономика» вместо показателя ЭРГП, определяемого по формуле (9).
Выводы
1. Существующая на федеральном и региональном уровнях управления практика предоставления ответственным исполнителям государственных программ широких полномочий при утверждении методик оценки эффективности их реализации приводит к избыточной диверсификации подходов к разработке таких методик и недостаточно обоснованным выводам при их практическом применении.
2. Выполненный анализ свидетельствует о наличии существенных недостатков в действующих в Российской Федерации различных методиках оценки эффективности государственных программ, применяемых как на федеральном, так и на региональном уровнях управления. В их числе: (1) получение нерепрезентативных оценок степени достижения плановых значений целевых индикаторов государственных программ вследствие распространенной практики принятия допущений о равнозначности используемых индикаторов; включение в государственные программы дублирующих индикаторов с высоким уровнем корреляции их значений между собой; отсутствие учета значений целевых индикаторов на момент начала реализации государственных программ; (2) акцент на формальные характеристики оценки качества управления программой в отличие от подходов, апробированных в мировой практике и ориентированных на содержательный анализ результатов деятельности ответственного исполнителя; (3) использование алгоритмов оценки эффективности, зачастую приводящих к логически противоречивым результатам, в том числе из-за смешения дискретного (выполнено или не выполнено) и непрерывного (соотношение фактического и планового значений индикатора) методов оценки степени достижения целей программы.
3. Рекомендации по совершенствованию методики оценки эффективности реализации государственных программ состоят в использовании пошагового алгоритма, основными элементами которого являются:
• применение модифицированного метода PART (modified Program Assessment Rating Tool method) для оценки степени дости-
жения целей программы. В отличие от классического метода PART, разработанного ранее в США, предлагается ограничиться тремя частными рейтинговыми оценками «целесообразность продолжения реализации программы», «управление программой» и «результаты выполнения программы»;
• показатель «результаты выполнения программы» определяется на основе алгоритма, учитывающего неравнозначность целевых индикаторов подпрограмм, самих подпрограмм и основных целевых индикаторов государственной программы;
• оценка эффективности программы за конкретный календарный год определяется путем корректировки интегральной оценки результатов выполнения программы с учетом соотношения фактического и планового объемов ее финансирования и динамики изменения оценок эффективности за весь предшествующий период реализации программы.
Литература
1. Кожевников А. В., Пономарева С. А. Об оценке эффективности региональных государственных программ // Финансы. 2017. № 9. C. 18-23.
2. Левицкая Н. В., Савельев И. И. Анализ методик оценки эффективности реализации государственных программ отдельных субъектов Российской Федерации // Эффективное антикризисное управление. 2016. № 4(97). C. 72- 77.
3. Марголин А. М. Критерии эффективности при реализации государственных программ // Государственная служба. 2013. № 2(82). C. 22- 27.
4. Марголин А. М. Совершенствование методов оценки планируемой эффективности региональных государственных программ // Государственная служба. 2012. № 6(74). С. 30- 34.
5. Южаков В., Добролюбова Е., Александров О. Как оценить результативность реализации государственных программ: вопросы методологии // Экономическая политика. 2015. Т. 10. № 6. C. 79- 98.
6. Feldman A. Strengthening Results-Focused Government Strategies to Build on Bipartisan Progress in Evidence-Based Policy // Economic Studies at Brookings. 2017. January. https://www.brookings.edu/wp-content/uploads/2017/01/es_20170130_ evidencebasedpolicy.pdf.
7. Hur M. H. Korea's Government Performance Evaluation System and Operating Experience. Seoul: KDI School of Public Policy and Management, 2013. https:// www.kdevelopedia.org/Resources/government-law/koreas-government-performance-evaluation-system-operating-experience--04201306130126675.do?fldIds=TP_ GOV%7CTP_GOV_PA#.W91Y2tUzaCo.
8. Margolin A. M. Criteria and Methodologies for Assessing Efficiency of Environmental Government Programs in the Russian Federation // Review of European and Russian Affairs. 2017. Vol. 11. No 2. https://ojs.library.carleton.ca/index.php/rera/article/ view/1190.
9. Moynihan D. P., Lavertu S. Does Involvement in Performance Management Routines Encourage Performance Information Use? Evaluating GPRA and PART // Public Administration Review. 2012. Vol. 72. P. 592- 602. http://faculty.cbpp.uaa.alaska.edu/ afgjp/PADM628%20Spring%202013/Evaluating%20GPRA%20and%20PART.pdf.
10. Robinson M. Program Classification for Performance-Based Budgeting: How to Structure Budgets to Enable the Use of Evidence. World Bank Independent Evaluation Group and the Thematic Group for Poverty Analysis, Monitoring and Impact Evalua-
tion. Evaluation Capacity Development. 2013. http://ieg.worldbankgroup.org/Data/ reports/performance_based_budgeting_bb.pdf.
11. White J. Playing the Wrong PART: The Program Assessment Rating Tool and the Functions of the President's Budget // Public Administration Review. 2012. No 72. https://onlinelibrary.wiley.eom/doi/full/10.1111/j.1540-6210.2011.02484.x.
12. Yu W, Ma L. External Government Performance Evaluation in China: Evaluating the Evaluations // Public Performance & Management Review. 2015. Vol. 39. Iss. 1. P. 144-171. https://www.tandfonline.com/doi/abs/10.1080/15309576.2016.1071171.
Ekonomicheskaya Politika, 2018, vol. 13, no. 6, pp. 54-81
Andrey M. MARGOLIN, Dr. Sci. (Econ.), Professor. Russian Presidential Academy of National Economy and Public Administration (82, Vernadsko-go pr., Moscow, 119571, Russian Federation). E-mail: [email protected]
Why Government Program Evaluation Methodologies Require Improvement
Abstract
Government programs in the Russian Federation are often the subject of strong criticism, especially due to the obvious significant shortcomings in the methodologies used for their evaluation. The reasons for those shortcomings are numerous. Executives in charge of both federal and regional level government programs are sometimes provided with excessive authority for the selection of evaluation methods, and the assessment of target vs. planned indicator values can be statistically unreliable. The criteria for program management assessment are rather perfunctory compared with international practice, which involves meaningful management result evaluation. The algorithms used to calculate efficiency indicators often lead to logical contradictions. Recommendations are given on streamlining assessment methodologies of state program execution, the key ones being: (a) feasibility substantiation and application of the modified Program Assessment Rating Tool (PART) method for assessing the degree of meeting the program's goals, based on three individual ranking scores which take into account the advisability of pursuing the program, the quality of the program's management and the program's final results; (b) method of assessing the program output based on an algorithm which takes account of any inequivalence of subprograms' target indicators, subprograms themselves and the main target indicators of the state program; (c) method of program performance assessment for a specific calendar year, based on the adjustment of integral evaluation of the program's output with regard to the correlation between the real and projected amounts of its financing and the dynamics of changes in efficiency assessment rankings for the whole assessment period. Keywords: government program, target indicators, modified PART methodology. JEL: H43, O21, O22.
References
1. Kozhevnikov A. V., Ponomareva S. A. Ob otsenke effektivnosti regional'nykh go-sudarstvennykh programm [Assessing the Efficiency of Regional Government Programs]. Finansy [Finance], 2017, no. 9, pp. 18-23.
2. Levitskaya N. V., Savel'ev I. I. Analiz metodik otsenki effektivnosti realizatsii gosudarst-vennykh programm otdel'nykh sub''ektov Rossiyskoy Federatsii [Analysis of Methods for Assessing State Programs of Individual Subjects of the Russian Federation]. Effektiv-noe antikrizisnoe upravlenie [Effective Crisis Management], 2016, no. 4(97), pp. 72-77.
3. Margolin A. M. Kriterii effektivnosti pri realizatsii gosudarstvennykh programm [Efficiency Criteria in the Implementation of Government Programs]. Gosudarstvennaya sluzhba [Public Administration], 2013, no. 2(82), pp. 22-27.
4. Margolin A. M. Sovershenstvovanie metodov otsenki planiruemoy effektivnosti regional'nykh gosudarstvennykh program [Improvement of Methods for Evaluating the Planned Efficiency of Regional Government Programs]. Gosudarstvennaya sluzhba [Public Administration], 2012, no. 6 (74), pp. 30-34.
5. Yuzhakov V., Dobrolyubova E., Aleksandrov O. Kak otsenit' rezul'tativnost' realizatsii gosudarstvennykh programm: voprosy metodologii [How to Evaluate Public Programs Effectiveness: Issues of Methodology]. Ekonomicheskaya politika [Economic Policy], 2015, vol. 10, no. 6, pp. 79-98.
6. Feldman A. Strengthening Results-Focused Government Strategies to Build on Bipartisan Progress in Evidence-Based Policy. Economic Studies at Brookings, 2017, January. https://www.brookings.edu/wp-content/uploads/2017/01/es_ 20170130_ evidence-basedpolicy.pdf.
7. Hur M. H. Korea's Government Performance Evaluation System and Operating Experience. Seoul, KDI School of Public Policy and Management, 2013. https://www. kdevelopedia.org/Resources/government-law/koreas-government-performance-evaluation-system-operating-experience--04201306130126675.do?fldIds=TP_ GOV%7CTP_GOV_PA#.W91Y2tUzaCo.
8. Margolin A. M. Criteria and Methodologies for Assessing Efficiency of Environmental Government Programs in the Russian Federation. Review of European and Russian Affairs, 2017, vol. 11, no. 2. https://ojs.library.carleton.ca/index.php/rera/article/ view/1190.
9. Moynihan D. P., Lavertu S. Does Involvement in Performance Management Routines Encourage Performance Information Use? Evaluating GPRA and PART. Public Administration Review, 2012, no. 72, pp. 592-602. http://faculty.cbpp.uaa.alaska.edu/af-gjp/PADM628%20Spring%202013/Evaluating%20GPRA%20and%20PART.pdf.
10. Robinson M. Program Classification for Performance-Based Budgeting: How to Structure Budgets to Enable the Use of Evidence. World Bank Independent Evaluation Group and the Thematic Group for Poverty Analysis, Monitoring and Impact Evaluation. Evaluation Capacity Development, 2013. http://ieg.worldbankgroup.org/Data/reports/ performance_based_budgeting_bb.pdf.
11. White J. Playing the Wrong PART: The Program Assessment Rating Tool and the Functions of the President's Budget. Public Administration Review, 2012, no. 72. https:// onlinelibrary.wiley.com/doi/full/10.1111/j.1540-6210.2011.02484.x.
12. Yu W., Ma L. External Government Performance Evaluation in China: Evaluating the Evaluations. Public Performance & Management Review, 2015, vol. 39, iss. 1, pp. 144-171. https://www.tandfonline.com/doi/abs/10.1080/15309576.2016.1071171.
