CC BY
163
Ключевые слова
программное бюджетирование программный бюджет государственная программа бюджетное финансирование оценка государственных программ оценка эффективности программ
Аннотация
В статье проанализированы особенности государственных программ, рассматриваются подходы к оценке их эффективности. Выделены структурные единицы и элементы эффективности, сформулировано условие эффективности - наличие непосредственной взаимосвязи между мероприятиями и показателями оценки. Раскрыты принципы оценки и критерии эффективности бюджетных расходов при реализации государственных программ. Рассмотрены вопросы бюджетного финансирования государственных программ.
Доказывается, что комплексная оценка эффективности позволяет объективно оценить эффект вложенных государством финансовых ресурсов и определить эффективность реализации государственной политики в приоритетных сферах.
Управление эффективностью государственных программ: методологические основы разработки программного бюджета
^ ШАШ Наталия Николаевна
Доктор экономических наук, профессор кафедры государственных финансов
Национальный исследовательский
университет «Высшая школа экономики»
101000, РФ, г. Москва,
ул. Мясницкая, 20
Тел.: (495) 628-92-25
E-mail: nat vshu@mail.ru
JEL classification
H60, Н61, Н68
Как известно, основой программного бюджетирования является непосредственное соотнесение бюджетных расходов (использования финансовых ресурсов) с объемом и качеством предоставленных государственных услуг (результатов деятельности министерств и ведомств). Идея внедрения программного бюджетирования основана на возможности повышения социальной и экономической эффективности бюджетных расходов.
С этой точки зрения программное бюджетирование можно рассматривать как комплекс мероприятий, направленных на повышение эффективности государственного сектора. По мнению ряда исследователей, внедрение программного бюджетирования позволяет:
а) получить максимальный результат (эффект) от использования ограниченных финансовых ресурсов (собственно, программно-целевой или программный метод бюджетного планирования относится к группе методов, «в которых принцип эффективного использования средств заложен в максимальной степени» [6. С. 46]);
б) на основе полученных результатов и произведенных расходов более объективно оценить результаты деятельности министерств и ведомств, выполняющих функции или оказывающих услуги в рамках своих полномочий [1. С. 63].
Переход на программный формат бюджета находится в русле современных тенденций повышения эффективности управления общественными финансами и финансами государственного сектора в целом [3; 4; 8; 11-14; 16].
По сравнению с традиционным программный бюджет обладает целым рядом преимуществ, в том числе он позволяет:
• сфокусировать бюджетные расходы на политически заданных и стратегически важных целях социально-экономического развития страны;
• сформировать непосредственную связь краткосрочного и долгосрочного бюджетного планирования и прогнозирования;
• обеспечить прочную взаимоувязку между стратегическими планами государства и бюджетом;
• повысить ответственность в государственном секторе министерств и ведомств за целевое и эффективное использование выделенных ресурсов.
Все это стало побудительным мотивом того, что начиная с 2011 г. федеральный бюджет Российской Федерации частично формируется в программном формате. При этом специфика отечественного подхода заключается в том, что программная часть федерального бюджета представлена совокупностью государственных программ, объединенных в пять блоков: новое качество жизни; инновационное развитие и модернизация экономики; обеспечение национальной безопасности; сбалансированное региональное развитие; эффективное государство. Это связано с тем, что решение целого ряда существующих в настоящее время государственных задач высокого уровня, по мнению руководства страны, возможно только при участии ряда министерств. Такие задачи представляют собой комплексные направления государственной политики, реализуемые в виде государственных программ Российской Федерации.
«Программный принцип формирования бюджетов требует сосредоточения всех расходов определенного бюджета в рамках крупных приоритетных направлений (программ)» [5. С. 42]. Программный бюджет отличается от традиционного тем, что все или почти все расходы распределены по программам, каждая из которых непосредственно связана с конкретным результатом (стратегическим итогом) деятельности ведомства, показывающим позитивное изменение в сфере ведомственного влияния. В этом смысле программный бюджет противоположен традиционному, так как основывается на показателях результата (непосредственного и конечного), а не на входящих ресурсах. Более того, применение программного формата позволяет сделать формирование бюджета страте-
Management of the State-Funded Programs' Efficiency: Methodological Bases of Development of a Program-Based Budget
t is known that the basis of the program-based budgeting is a direct correlation between budgetary expenditure (the use of financial resources) and the volume and the quality of provided public services (results of the ministries' and departments' activities). The idea of introducing a program-based budgeting is based on the possibility of improving social and economic efficiency of budgetary spending.
From such viewpoint, program-based budgeting may be considered as a complex of measures targeted at increasing the efficiency of public sector. According to the opinions of a number of researchers introduction of program-based budgeting allows:
a) Getting maximal result (effect) of using limited financial resources (strictly speaking, program or target program method of budgetary planning refers to a group of methods"that to a maximum embody the principle of efficient use of funds" [6. P. 46]);
b) Judging more objectively on the basis of the results obtained and expenditure made on the performance of ministries and departments fulfilling the functions or providing services within their authority [1. P. 63].
Transition to program format of a budget is on recent trends of promoting efficiency of management of public finance and public sector generally [3; 4; 8; 11-14; 16].
Compared to traditional budget the program budget has a spectrum of advantages, including:
• focuses budgetary spending on politically set and strategically important goals of socio-economic development of a country;
• forms a direct connection between short-term and long-term budgetary planning and forecasting;
• maintains a close correlation between the state's strategic plans and its budget;
• increases ministries' and departments' responsibility in public sector for appropriate and efficient use of allocated funds.
All this was a motive behind starting to draw up the budget of the Russian Federation partially in program format in 2011. Though the specifics of the domestic ap-
proach are that the program part of the federal budget is represented by a set of state programs united into five blocks: new quality of living, innovative development and modernization of economy, maintenance of national security, balanced regional development, and effective state. This is due to the fact that the accomplishment of a range of the state tasks presently existing at a higher level, according to the viewpoint of the country's leadership, is only possible with participation of concrete ministries. Indeed, such tasks are complex directions of the state policy that are implemented in the form of the state programs of the Russian Federation.
"Program principle in drawing up budgets requires concentration of all expenditures of a particular budget within prioritized directions (programs)" [5. P. 42]. Program budget differs from traditional one in the part that all or almost all expenditures are distributed between programs, each of which is directly linked to a specific result (a strategic total) of a department's activities thus showing a positive change in the sphere of the department's influence. In this sense, program-based budget is opposite to traditional budget, because it is based on the indicators of a result (direct and final), rather than on input resources. Moreover, applying program format enables making the process of drawing up a budget strategic and financially justified as well as considering various alternatives of a program implementation.
Yet the practice shows it is a rare case when strategic planning and budgetary justification are combined [2. P. 51], besides, some experts argue there are a spectrum of unresolved issues which seriously decrease the efficiency of the state programs being implemented in the Russian Federation.
RULES OF DEVELOPING EFFICIENT STATE PROGRAMS
State programs are developed in compliance with the provisions of the conceptions of long-term socio-economic development of the Russian Federation and main directions for the activities of the Government of the Russian Federation for the cor-
^ Natalia N. SHASH
Dr. Sc. (Econ.),
Prof. of Public Finance Dept.
National Research University "Higher School of Economics" 101000, RF, Moscow, Myasnitskaya St., 20 Phone: (495) 628-92-25 E-mail: nat vshu@mail.ru
Keywords
program-based budgeting
program budget
state-funded program
budgetary financing of state programs
state-funded programs assessment
indicators for program efficiency assessment
Abstract
The article analyzes particularities of state-funded programs and looks at approaches to the assessment of their efficiency. Structural units and elements of efficiency of state programs are specified, the condition for efficiency, namely existence of direct interrelation between actions and indicators for assessment - is formulated. The paper reveals the principles behind efficiency assessment and lists the criteria of efficiency of the budgetary expenditure during implementation of state programs. Issues of budgetary financing of state programs are considered.
It is proved that comprehensive assessment of efficiency allows for a more objective evaluation of the effect the state's financial resources produce as well as an estimation of the efficiency of an adopted state policy in prioritized spheres.
JEL classification
H60, Н61, Н68
Основные элементы эффективной государственной программы
Четкая формулировка цели (целей) программы
Разработка логической структуры программы
Распределение ответственности за результаты реализации программы
Создание системы стимулирования за достижение запланированных показателей
Разработка системы управления рисками
Наличие действенной системы оценки эффективности
Наличие плана проведения аудита оценки эффективности
Рис. 1. Основные элементы эффективности государственных программ*
* Предложено автором.
гическим и финансово обоснованным, а также рассмотреть различные варианты реализации программ.
Однако на практике редко удается оптимально сочетать стратегическое планирование и бюджетную обоснованность [2. С. 51], кроме того, по мнению ряда экспертов, существует еще целый ряд нерешенных проблем, серьезно снижающих эффективность реализуемых в настоящее время государственных программ Российской Федерации.
правила разработки эффективных государственных программ
Государственные программы разрабатываются исходя из положений концепций долгосрочного социально-экономического развития Российской Федерации и основных направлений деятельности Правительства Российской Федерации на соответствующий период, федеральных законов, решений Президента Российской Федерации и Правительства Российской Федерации.
Основные параметры утвержденных государственных программ подлежат отражению в прогнозе социально-экономического развития Российской Федерации на среднесрочный период. Именно комплексный характер государственных программ требует, чтобы еще на этапе разработки федерального бюджета были соблюдены условия, которые могут рассматриваться как элементы эффективности государственных программ (рис. 1).
Проведенное исследование дает основания говорить о том, что в большинстве случаев государственные программы Российской Федерации нуждаются в дальнейшем совершенствовании, например, в части формулировки целей. Мож-
но привести в пример госпрограмму 05 «Обеспечение качественным и доступным жильем и услугами граждан РФ», обе цели которой: «Повышение доступности жилья и качества жилищного обеспечения населения» и «Повышение качества и надежности предоставления жилищно-коммунальных услуг населению», не отвечают требованиям действующих методических рекомендаций, поскольку их нельзя считать конкретными, достижимыми, реалистичными и определенными во времени. В то же время следует отметить, что постановка целей для государственных программ имеет свои «плюсы» и «минусы». Очевидным плюсом является возможность определить полный спектр взаимопересекающихся направлений и использовать инструменты системного управления. Однако при этом возникает серьезный риск того, что разработка и управление многоаспектными межведомственными программами могут оказаться сложными на практике и привести к высоким административным издержкам.
Нельзя не признать, что существуют серьезные проблемы с логическими структурами программ, в большинстве из них отсутствуют разделы, содержащие информацию о взаимосвязи со смежными госпрограммами.
В идеале структура государственной программы должна:
• быть максимально простой, соответствовать представлению информации, необходимой для анализа и принятия решений;
• основываться на существующей организационной структуре для лучшего соотнесения ответственности с имеющимися полномочиями и недопущения
проведения реструктуризации ведомства в соответствии с реализуемыми госпрограммами;
• быть ориентированной на ответственность путем предоставления руководителям программ и отдельных программных мероприятий реальных возможностей для непосредственного участия в процессе разработки показателей эффективности;
• стимулировать на начальных этапах разработки программы формирование показателей эффективности с учетом реальных трудностей измерения и определения показателей «результатов» и показателей «качества»;
• быть относительно стабильной в долгосрочной перспективе, с учетом возможных изменений показателей по мере повышения компетентности участников программы в сфере процедур измерения показателей.
Важно обратить внимание на то, что реализация программного подхода на федеральном уровне оказывает существенное влияние на программную деятельность в регионах, «в которых накоплен значительный опыт формирования и реализации целевых программ, который будет обеспечивать последовательное внедрение предложенных на федеральном уровне новаций» [7. С. 40].
Как известно, программная бюджетная архитектура предполагает построение «цепочки ответственности», когда на федеральном и региональном уровне определяются конкретные лица, несущие ответственность за результаты реализации программ /подпрограмм. В этой связи следует напомнить, что существуют некоторые общие правила разработки программных бюджетов [21-23].
Важнейшие из них:
• наличие у лиц, ответственных за результаты реализации бюджетных программ, достаточного пространства для маневра для эффективного выполнения своих обязанностей;
• определение конкретных ответственных за реализацию каждого программного мероприятия, речь идет как о четком описании действий, так и о рекомендации использования соответствующих показателей для отслеживания хода работ;
• установление для каждой организационной единицы и (или) мероприятия как минимум одного показателя, определяющего цель, которой стремятся достичь руководитель и персонал соответствующего подразделения;
Fig. 1. Main elements of efficiency of state programs *
* Suggested by the author.
responding period, federal laws, decisions of the President of the Russian Federation and the Government of the Russian Federation.
Key parameters of approved state programs are to be reflected in the forecast of socio-economic development of the Russian Federation for a midterm period. It is the comprehensive nature of the state-funded programs that requires early - at the initial stage of drawing up a federal budget - satisfaction of the following conditions that may be regarded as elements of efficiency of state programs (Fig. 1).
The performed research gives reasons to say that the vast majority of the state programs of the Russian Federation need further improvement, for example, in the part of objectives' formulation. A possible example is a state program no. 05 "Provision of the citizens of the Russian Federation with good quality and affordable housing", both objectives of which "Making the housing more affordable and enhancing the quality of the housing provision of the population" and "Enhancing the quality and reliability of housing and utility services provided to population" do not satisfy the requirements of existing methodological recommendations, because they cannot be regarded as specific, achievable, realistic and time-targeted. At the same time, it is worth noting that the goal setting for state programs has its pros and cons. The self-evident advantage is the possibility to determine the full spectrum of intersecting directions and apply the toolkit of system management. However, a serious risk appears that development and management of complex interdepartmental programs may actually become a very complicated task and lead to huge administrative expenses.
We cannot but admit that there are significant problems with the logical structures of the programs; most of them lack sections containing the information about their correlation with other related programs.
Ideally, the structure of a state program should:
• be maximally simple, corresponding to the representation of the information that is necessary for analysis and decision-making;
• be based on existing organizational structure for the best correspondence between responsibility and authority and prevention of the department's restructuring in line with the programs being implemented;
• be oriented towards responsibility providing heads of programs and specific program measures with real possibilities for direct participation in the development of efficiency indicators;
• stimulate formation of efficiency indicators at initial stages of program development allowing for the real difficulties in measuring and defining the indicators of "results" and indicators of "quality";
• be relatively stable in the long-term, i.e. take into account possible changes of indicators since the competence of the program's participants in terms of measurement of indicators will progress.
It is important to pay attention to the fact that implementation of the program approach at the federal level influences considerably the program activities in regions "which accumulated extensive experience of forming and implementing programs that will guarantee subsequent introduction of the novelties proposed at the federal level" [7. P. 40].
It is known that the program-based architecture of a budget supposes building "a
responsibility chain"when at the federal and regional levels concrete people are assigned the responsibility for the results of the programs/subprograms' implementation. With this end in view it is worth reminding that there are some general rules for drawing up program budgets [21-23].
The most important of them are:
• the people responsible for the results of budgetary programs' implementation should have enough space for manoeuvres to successfully perform their duties;
• it is necessary to appoint concrete people responsible for administration of every measure of a program and accurately describe both their actions and recommendations on the use of corresponding indicators for tracking the working process;
• for every organizational unit and/or measure at least one indicator should be set that will define the target that the head and the personnel of the corresponding subdivision will be seeking;
• while preparing the budget for another budgetary cycle it is obligatory for all participants of a program to discuss the plan for carrying out works and achieving target indicators as well as any reasons for failure and success in reaching the goals.
One of the most difficult areas of drawing up a program budget is techniques to measure the efficiency of the departments that are in charge of program implementation.
The analysis of the practice of the budgetary program implementation in different countries of the world [15; 17-19] revealed that it is crucially important to utilize all resources in the format of a program's budget, because that the number of employees and volumes of funding allocated for performing their duties are abundant. For this reason it is vitally essential that these programs definitely took into account the head's responsibility for reaching target indicators of a program.
The heads at all levels should be aware of the results that are expected from them and understand how these results will contribute to meeting the targets of a higher level. For achieving the expected results the heads should have some financial resources at their disposal and demonstrate managerial flexibility. Hence, the efficiency of state program implementation requires aligning the levels of responsibility and stimulation for every participant.
For every program the requirement for inclusion of internal and external audit of its efficiency assessment should become obligatory. The objectives and indicators should be measurable within an accurate
■o
a
• обязательность обсуждения всеми ю участниками программы плана прове-§ дения работ и достижения целевых поет' казателей, факторов успеха или причин ^ недостижения поставленных целей в я рамках подготовки бюджета на очеред-== ной бюджетный цикл.
| Одна из наиболее сложных областей
| составления программного бюджета -это методики измерения эффективности деятельности ведомств, ответственных за реализацию программ.
Анализ практики реализации бюджетных программ в разных странах мира [15; 17-19] показал, что критически важно использовать все ресурсы в формате бюджета программы, поскольку, как правило, количество сотрудников и объемы финансирования, выделяемые на выполнение их обязанностей, очень велики. В связи с этим необходимо, чтобы в этих программах в обязательном порядке была учтена ответственность руководителя соответствующего ведомства за достижение целевых показателей программы.
Руководители всех уровней должны знать, каких результатов от них ожидают, и понимать, как эти результаты способствуют достижению целей более высокого уровня. Для достижения ожидаемых результатов руководители должны располагать финансовыми ресурсами, а также обладать достаточной управленческой гибкостью. Таким образом, эффективность реализации государственной программы требует приведения в соответствие уровня ответственности и стимулирования для всех участников.
Для любой программы должно стать обязательным требование включения плана внутреннего и внешнего аудита оценки ее эффективности. Цели и показатели должны быть измеримы в рамках четкой и последовательной системы индикаторов. Основные результаты должны оцениваться только высококвалифицированными экспертами и только с учетом относительно долгосрочной перспективы.
Ориентация на эффективность должна обеспечиваться всеми аспектами управления, в том числе управлением финансами и бюджетным финансированием.
Государственная программа Российской Федерации состоит из следующих структурных единиц:
• подпрограммы и (или) федеральные целевые программы;
• ведомственные целевые программы и (или) основные мероприятия;
• мероприятия.
В идеале разработка подпрогамм должна тщательно планироваться. При этом при включении в госпрограмму ведомственных целевых программ должно осуществляться их сравнение с существующими подпрограммами и мероприятиями для определения недостающих или избыточных компонентов. При выявлении недостающих компонентов необходимо рассмотреть возможность разработки дополнительных подпрограмм и (или) мероприятий. При выявлении избыточных компонентов по возможности следует провести консолидацию подпрограмм.
УПРАВЛЕНИЕ Бюджетным фИНАНсированием государственных программ
Бюджетное финансирование программ должно быть непосредственно связано с другими видами бюджетного контроля и прогнозирования - надежный и контролируемый бюджет, жесткие потолки расходов среднесрочного бюджета и большая прогнозируемость процесса исполнения бюджета государственного управления, с такими видами государственного управления, как управление персоналом, нормы материально-технического обеспечения. При этом (как уже отмечалось) одной из основных проблем является обеспечение прочной связи между стратегическими планами государства и бюджетом.
В последнее время количество реализуемых государственных программ Российской Федерации и объемы их финансирования корректируются в каждом следующем бюджетном цикле в связи с замедлением темпов экономического роста. Кроме того, разногласия в отношении утверждения потолков бюджетных ассигнований на их реализацию привели к тому, что в 2013 г. было выработано «компромиссное» решение, предусматривающее возможность формирования всех государственных программ в двух вариантах/сценариях: базовом (в рамках принятого 3-летнего бюджета) и дополнительном (желаемом), который предусматривал дополнительные объемы бюджетных ассигнований при адекватном изменении показателей. Это привело к тому, что большинство госпрограмм в
2013 г. были утверждены в двух сценариях (базовом и допонительном). Более того, утвержденные программы были сформированы в разных форматах, поскольку за этот период произошли существенные измненения в нормативно-правовой базе, в связи с чем в середине
2014 г. все действующие госпрограммы
подверглись существенной переработке, однако их новые редакции также далеки от совершенства.
При этом реальная проблема состоит не в самом по себе бюджетном финансировании программ (показателей деятельности), а в управлении показателями. Бюджетное финансирование должно способствовать управлению. В то же время необходимо отдавать себе отчет, что бюджетное финансирование государственных программ требует изменения культуры и отношения к делу со стороны центральных органов власти, выделяющих финансовые средства. Соответственно при осуществлении бюджетного финансирования государственных программ одинаково важны методологические и институциональные (поведенческие) вопросы. Кроме того, повышение прозрачности государственных расходов должно привести к улучшению понимания политики и приоритетов в отношении государственных расходов в обществе и в государственном секторе, а также способствовать широкому обсуждению этих вопросов. При этом очевидно, что существуют проблемы реализации политики и приоритетов на федеральном уровне, в частности, в определении уровня принятия соответствующих решений в государственных властных структурах.
Система бюджетного финансирования программ хорошо работает только при наличии планов, программ и показателей эффективности. Большое значение имеет система бюджетного финансирования на среднесрочный период с прогнозом на 3-5 лет [16; 17; 19; 20], при этом необязательно предусматривать ассигнования на много лет вперед.
Часто непонимание сущности эффективного бюджетного финансирования приводит к тому, что на хорошо работающие программы выделяется больше ресурсов, чем на плохо работающие, в то время как основной принцип эффективности состоит в том, чтобы «делать лучше/больше меньшими средствами». Несмотря на то что не существует жесткой связи между объемами бюджетных ассигнований и результатами деятельности, имеется прямая формульная связь между некоторыми конкретными бюджетными ассигнованиями и показателями деятельности, основанными на продуктивности (например, финансирование образовательных учреждений в зависимости от количества обучающихся). Кроме того, замечено, что снижение уровня преступности используется при
and coherent system of indicators. The main results should be evaluated only by highly qualified experts and only allowing for the relatively long-term outlook.
Orientation towards efficiency should be maintained by all aspects of management, including the management of finances and budgetary financing.
The state program of the Russian Federation is composed of the following structural units:
• subprograms and/or federal target programs;
• departmental target programs and/or main measures;
• measures.
Ideally, the development of subprograms should be scrupulously planned. At this while incorporating departmental target programs into a state program they should be carefully compared with already existing subprograms and measures so as to identify missing or redundant components. While identifying the missing components it is necessary to consider the option of developing supplementary subprograms and/ or measures. While identifying the redundant components is worth consolidating subprograms (if possible).
MANAGEMENT oF BuDGETARY FiNANcING of state programs
Budgetary financing of the programs should be directly linked with other types of budgetary control and forecasting - reliable and controlled budget, tight ceilings on expenditure of midterm budget and high predictability of budget execution - with such types of public administration as personnel management, norms of equipment and materials' support. At this, as it has already been mentioned one of the key problems is maintaining a strong correlation between the state's strategic plans and a budget.
Over the last few years the number of the state programs implemented in the Russian Federation and the volumes of their financing have been subjected to adjustment in every coming budgetary cycle because of the slowing economic growth. Besides, controversies over the approval of the ceilings on budgetary allocations for their implementation lead to a compromise decision worked out in 2013 that provided the opportunity to design all state programs in two alternative scenarios: base (within the approved three-year budget) and additional (desired) which stipulated additional budgetary allocations given there are adequate changes in indicators. This resulted in a fact that the majority of approved programs in 2013 had two sce-
narios (base and additional). Moreover, the approved programs were formed in different formats, because in this period serious changes in legislation took place so by mid-2014 all enacted state programs had been substantially corrected, however, the new editions of state programs are still far from perfect.
Though the actual problem is not the budgetary financing of the state programs itself (indicators of activities), but the management of these indicators. Budgetary financing should favour management. At the same time it is necessary to realize that budgetary financing of state programs requires changes in culture and attitude to work on the part of the central authorities that allocate funds. Consequently, while financing state programs from the budget methodological and institutional (behavioral) issues are equally important. In addition, the increase in transparency of state spending should result in a better understanding of policy and priorities in state spending both in society and public sector as well as to promote in-depth discussion of these issues. At this, apparently, there are problems of adopting the policy and priorities in federal structures, particularly in defining the level of making corresponding decisions in state power structures.
The system of budgetary financing of programs works well only provided there are plans, programs and indicators of efficiency. The system of budgetary financing for a midterm period with the forecast for 3-5 years is of high importance [16; 17; 19; 20], but it is not compulsory to envisage allocations for many years in advance.
It often happens that the misunderstanding of the essence of efficient budgetary financing leads to a fact that well functioning programs are given more resources than poorly performing ones, while the basic principle of efficiency implies "doing more / better with less". Although there is not any close connection between the volumes of budgetary allocations and results of activities, there is a direct formula-based connection between several concrete budgetary allocations and indicators of activities that based on productivity (for instance, financing educational institutions depending on a number of students). Besides, it was found out that the decline in crime rates is used to justify additional financing of police; however for the similar justification an increase in crime rates can be utilized as well. In any case, federal budget is a political tool reflecting a political choice so when it is difficult to demonstrate results it is far easier to show that there is an intention to solve
complex problems by directing extra budg- 5 etary funds into the most problematic areas. g
With this end in view an important di- g rection in program budgeting is the ori- s entation of expenditures towards specific ? targets and assessment of their efficiency 33 on the basis of measurable indicators. The 2 particular significance of this system is that 5 the assessment of efficiency of budgetary expenditures in modern context is becoming an important tool of the country's budgetary policy [9. P. 6]. Its role is expanding further in the conditions of necessity to maintain greater transparency of federal budget and greater involvement of the public in budgetary process.
In addition, the problem of considering the influence of various factors may be solved while building a holistic system for state programs' efficiency assessment, where assessment of budgetary expenditures will be an integral part.
understanding the efficiency and indicators for state programs' efficiency assessment
As it is widely known there are several interrelated aspects of efficiency:
• impact on society (indicators of socioeconomic development) that involves the comparison with previous periods or other countries in such general indicators as an average life expectancy, mortality, education level what enables identifying the areas that need the most considerable attention of the state. These figures display socio-demographic consequences of measures included in a state program for the society as a whole, the degree to which they were productive characterized by the improvements in population health, decrease in the number of illnesses and deaths;
• performance (indicators of activities), i.e. attaining the programs' goals. The criteria for performance assessment mirror the ratio between results obtained due to expenditure made and their planned values at the stage of approval of a program. This group of criteria shows the extent to which the goals were reached and the tasks were fulfilled in one of the directions of a budget's spending. At this the said criteria may not take into account to what degree established administrative procedures of spending funds to employ the program's measures were obeyed as well as what the efficiency of achieving a goal and handling tasks of a program was. Good performance may be produced both if the budgetary spending is regularly increased, i.e. due to "effects of scale" or the quality of public services is stable or (in some cases) lowers.
обосновании дополнительного финан-ю сирования полиции, однако для подоб-§ ного обоснования может использоваться и повышение уровня преступности. ^ В любом случае, федеральный бюджет я является инструментом, отражающим == политический выбор, поскольку, когда | трудно продемонстрировать результаты, | гораздо проще показать, что существует намерение решить сложные проблемы, направляя дополнительные бюджетные средства в соответствующие области.
В связи с этим важным направлением программного бюджетирования стала ориентация расходов на специфические цели и оценка их эффективности на основе измеряемых индикаторов. Особое значение этой системы заключается в том, что оценка эффективности расходов бюджета в современных условиях становится важнейшим инструментом бюджетной политики страны [9. С. 6]. Ее роль актуализируется в условиях необходимости обеспечения большей прозрачности федерального бюджета и вовлечения общественности в бюджетный процесс.
Более того, проблема учета влияния различных факторов может быть решена в рамках построения целостной системы оценки эффективности государственных программ, одной из составных частей которой будет оценка эффективности бюджетных расходов.
понимание эффективности и показатели оценки эффективности государственных программ
Как известно, существует несколько взаимосвязанных аспектов эффективности:
• влияние на общество (показатели социально-экономического развития). Предполагает сравнение с прошлыми периодами или с другими странами по таким общим показателям, как средняя продолжительность жизни, смертность, уровень образования населения, что позволяет выявить области, требующие наибольшего внимания со стороны государства. Эти показатели учитывают социально-демографические последствия осуществления мероприятий государственной программы для общества в целом, степень их полезности, характеризующейся улучшением состояния здоровья населения, уменьшением количества заболеваний и смертей;
• результативность (показатели деятельности) достижения целей программ. Критерии оценки результативности отражают соотношение полученных результатов при произведенных расходах с их планируемыми значениями на
этапе утверждения программы. Данная группа критериев показывает степень достижения цели и решения задач по одному из направлений расходов бюджета. При этом критерии результативности могут не учитывать, в какой мере при реализации программных мероприятий соблюдались установленные административные процедуры осуществления расходов, а также с какой эффективностью удалось обеспечить достижение цели или решение задач программы. Результативность может достигаться и при постоянном увеличении расходов бюджета, т.е. иметь «эффект масштаба», а также при неизменном качестве государственных услуг или (в отдельных случаях) его снижении. Основное внимание уделяется распределению ресурсов в соответствии с определенными государственными приоритетами;
• продуктивность (производительность). Наиболее распространенным является показатель производительности труда;
• качество оказания государственных (бюджетных) услуг: доступность, своевременность, непрерывность, точность, вежливость и т.п. Как видно, некоторые из этих показателей непосредственным образом связаны с результатами, при этом следует обратить внимание, что важность отдельных компонентов качества оказания государственных услуг в разных государственных программах/ подпрограммах различна. Полезной «перекрестной проверкой» информации о качестве услуг могут быть опросы потребителей относительно удовлетворенности качеством государственных услуг;
• финансовые показатели: достижение целевых показателей прибыльности (рентабельности) или доходов, в также контроль производимых расходов. Отражают финансовые и производственные результаты реализации государственных программ, выражающие определенные экономические выгоды как для потребителей государственных услуг (юридических и физических лиц), так и для государственных структур, реализующих данные программы;
• организационные показатели: оценка организационных структур, систем и процессов управления с использованием утвержденных норм «качества управления».
Разные аспекты эффективности не исключают, а взаимно дополняют друг друга в едином комплексе, но должны применяться в зависимости от уровня принятия решений [1. С. 52]. При этом
возникает вопрос, какие аспекты эффективности наиболее важны для России? В этой связи следует сказать, что результативность имеет большое значение, но ее трудно измерить. Что касается производительности, то она гораздо проще в определении, однако этого показателя может быть недостаточно при согласовании бюджета государственной программы. Одновременно следует понимать, что эффективность по определению представляет собой среднесрочное/долгосрочное понятие.
При выборе показателей эффективности важно ранжирование показателей эффективности и понимание взаимосвязи между ними, например, следует выяснить, каким образом конкретная производительность труда способствует достижению определенных результатов, поскольку можно эффективно и производительно работать, не получая (или почти не получая) ожидаемых (запланированных) результатов.
В процессе разработки показателей эффективности часто совершаются ошибки, поскольку всем показателям присущи определенные ограничения. При этом следует отметить, что в большинстве стран, перешедших на программный формат бюджета, показатели эффективности регулярно пересматриваются и постоянно находятся «в процессе формирования». Процесс отбора показателей эффективности должен сопровождаться тщательным планированием и отражать результаты анализа проблемы, на решение которой направлена соответствующая государственная программа.
Требования к показателям оценки эффективности государственных программ:
• полнота охвата проблемы и обеспечение соответствия стратегическому направлению;
• оптимальность количества показателей;
• однородность показателей, поскольку, например, не все виды медицинского вмешательства/проверок/преступлений одинаковы по содержанию;
• понятность показателей и разумность стоимости определения их значений;
• возможность своевременного получения достоверных данных для расчета показателей эффективности;
• обеспечение возможности разумного контроля со стороны субъектов оценки.
Careful attention is paid to distribution of resources in accordance with certain state priorities.
• productivity, the most widely spread one is the indicator of labour productivity;
• quality of provided public (budgetary) services: accessibility, timely provision, continuity, accuracy, politeness etc. As it is seen some of these indicators are directly linked to the results, though it is worth understanding that the significance of concrete components of providing public services varies in different state programs/subprograms. Opinion polls among consumers whether they are satisfied with quality of public services may be a good "cross check" of the information about quality of services;
• financial indicators: achievement of the target indicators of profitability or revenues as well as the control over expenditure being made. They reflect financial and production results of state program implementation, expressing certain economic profits both for consumers of public services (legal entities and individuals) and for state structures that carry out these programs.
• organizational indicators: evaluation of organizational structures, management systems and processes using the approved norms of "management quality";
Various aspects of efficiency do not exclude but complement one another in a single set, but should be applied depending on the level of decision making [1. P. 52]. At this point the question arises, what aspects are the most important for Russia? Here we have to conclude that the performance is of high importance, but it is rather difficult to measure it. As for the productivity, it is easier to determine it; however taking only this indicator to agree on a budget of a program could be insufficient. At the same time, it is essential to comprehend that the efficiency is by definition a midterm/long-term concept.
While selecting the indicators of efficiency, their ranking and understanding of the correlation between them are vitally essential. For example, it is necessary to find out how concrete labour productivity favours achievement of certain results, because it is possible to work efficiently and productively but not getting (or almost not getting) expected (planned) results.
In the development of indicators of efficiency mistakes frequently take place, because all indicators have some limitations. Here it is important to note that in the majority of the countries that have shifted to a program format of a budget, the indicators of efficiency are regularly reconsidered and are "in the permanent state of formation".
The process of selection of indicators of efficiency should be accompanied by careful planning and mirror the results of the problem analysis the solution of which targets the corresponding target program.
Here are the requirements to the indicators for state programs' efficiency assessment:
• the problem should be addressed in full scope and in line with the strategic direction;
• the number of indicators should be optimal;
• the indicators should be homogeneous, because not all types of medical interference, checks and crimes are equivalent;
• the indicators should be clear and the costs of determining their value should be adequate;
• there should be a possibility of timely obtaining the reliable data to calculate indicators of efficiency;
• the possibility of rational control on the part of the subjects of assessment should be ensured.
The analysis of the indicators included in the system of a state program's efficiency assessment should be done according to the following positions:
• to what extent the indicators correspond to (favour the achievement of) the formulated goal;
• to what extent they measure the results of the state's activities;
• of what particular benefit was the use of these indicators;
• and whether the use of these indicators led to any unforeseen effects.
Most experts agree that along with quantitative it is also necessary to determine qualitative indicators (for instance, the results of the opinion polls among consumers) to prove or cross-check quantitative indicators of efficiency.
Although the one should understand that the indicators are not universal tools. An indicator may assess the consequences, results of the policy or implementation. In the first case for the reason that there are many people involved in achievement of the final result, the responsibility is seriously dispersed. As for the second one, it is appropriate to apply these indicators in most cases (except for the services) only on the operational basis. Hence, the indicators "work well" when we take production and services, but it is much more difficult to show the state's activities as a result for the society.
In the development of the holistic system to assess programs'efficiency all above-mentioned criteria are accompanied with
selected groups of indicators using which it 5
is possible to give a quantitative assessment g
to the program activities of a ministry / de- g
partment during the process of implement- s
ing the measures. ?
1
Program budgeting supposes creation 33 of comprehensive system of program moni- 2 toring and assessment which in turn needs 5 a set of indicators, effective procedures of internal and external control [8. P. 62].
At the same time it is worth mentioning that the mechanism for assessment may differ depending on the direction of a program. The results of assessment may be used to analyze the efficiency of a program's measures. This will allow substantially improving the quality of development of similar programs. If the program was meant for a number of years (what is typical of environmental programs), an annually undertaken assessment of the obtained results will allow adjusting the program's measures in the coming years.
Besides, a properly carried out assessment procedure enables identifying causal relationships between the results and program's measures. At the same time an in-depth analysis of the results and efficiency of program's measures not only has its advantages but disadvantages as well. The major benefit is in getting the most detailed and reliable information whereas the main shortcomings are financial and time expenses.
In essence the issue of indicators included in the systems of efficiency assessment is the issue of getting feedback to improve state programs. Along with control functions, an important aspect to pay attention to is that an indicator actually informs us about what is happening (i.e. quality, cost and so on). It is vitally essential to understand why something is (or not) happening and this information should come exactly from indicators of efficiency that represent a ratio between a degree of reaching the planned results and the use of a certain amount of funds. Another problem of efficiency assessment is that the techniques suggested in state programs do not envisage the assessment of levels of indicators depending on the volumes of financing in every source of financing (along with the multiple options to calculate indicators of efficiency and a variety of methods to get the reported data).
The specifics of the goals, tasks, measures and results of some state programs is that the effects resulting from its implementation are indirect and not only relate to development of spheres where these programs are being adopted, but to the quality
• Программно-целевое управление.
• Мониторинг деятельности на основе целевых индикаторов.
• Объекты (единицы) мониторинга - программа и подпрограмма
• Самооценка бюджетной программы.
• Анализ на основе перечня контрольных вопросов.
• Объект (единица) анализа - подпрограмма
• Глубинная оценка бюджетной программы.
• Оценка отдельных программ.
• Объект (единица) оценки - подпрограмма, но иногда оцениваются и общие для разных подпрограмм факторы
Рис. 2. Виды и методики оценки бюджетных программ [3]
Анализ показателей, включенных в систему оценки эффективности государственной программы, должен проводиться по следующим позициям:
• насколько показатели соответствуют (способствуют достижению) сформулированной цели;
• в какой степени они измеряют результат деятельности государства;
• какую конкретную пользу принесло использование данных показателей;
• привело ли использование этих показателей к каким-либо непредвиденным эффектам.
Большинство экспертов сходится во мнении, что наряду с количественными необходимо также определять качественные показатели (например, результаты опроса потребителей) для подтверждения или перекрестной проверки количественных показателей эффективности.
При этом следует понимать, что показатели не являются некими универсальными инструментами. Показатель может оценивать последствия, результаты политики или исполнение. В первом случае, в связи с тем что в достижении конечного результата задействовано много исполнителей, ответственность распыляется. Что касается второго, то эти показатели в большинстве случаев (за исключением оказания услуг) уместно использовать только на оперативном уровне. Таким образом, когда речь идет о производстве и услугах, гораздо сложнее показать деятельность государства как результат для общества.
При разработке целостной системы оценки эффективности программ ко всем вышеуказанным критериям подбираются группы индикаторов, с помощью которых можно дать количественную оценку программной деятельности министерства/ведомства в процессе реализации ее мероприятий.
Программное бюджетирование предполагает создание развернутой системы мониторинга и оценки программ, которая нуждается в комплексе индикаторов, эффективных процедурах внутреннего и внешнего контроля [8. С. 62].
В то же время следует отметить, что механизм оценки может быть разным в зависимости от направленности программы. Результаты оценки могут использоваться для проведения анализа эффективности мероприятий программы. Это дает возможность существенно улучшить качество разработки подобных программ. Если программа рассчитана на несколько лет (что характерно для программ в экологической сфере), то в этом случае ежегодно проводимая оценка полученных результатов позволит скорректировать программные мероприятия следующих лет.
Кроме того, тщательно проработанная процедура оценки эффективности выявляет причинно-следственную связь между результатами и программными мероприятиями. В то же время глубинный анализ результатов и эффективности программных мероприятий имеет не только преимущества, но и недостатки. Основным преимуществом является получение наиболее детальной и надежной информации, а в качестве недостатков можно отметить финансовые и временные затраты.
Вопрос показателей, включенных в системы оценки эффективности, по сути, является вопросом получения обратной связи для совершенствования государственных программ. Помимо контрольных функций, важный момент, на который следует обратить внимание, это то, что показатель/индикатор, по сути, информирует нас о том, что происходит (качество, стоимость и т.п.). Важно понять, почему это происходит / или не происходит, и эту информацию должны
давать именно показатели эффективности, которые представляют собой соотношение степени достижения запланированных результатов с использованием определенного количества средств. Еще одной проблемой оценки эффективности является то, что предлагаемые методики госпрограмм не предусматривают оценку уровней показателей в зависимости от объемов финансирования по каждому источнику финансирования (наряду с многовариантностью расчетов показателей эффективности и способов получения отчетных данных).
Специфика целей, задач, мероприятий и результатов некоторых государственных программ такова, что эффекты, полученные в результате ее реализации, являются косвенными, опосредованными и относятся не только к развитию сфер, в рамках которых реализуются такие программы, но и к уровню и качеству жизни населения, развитию социальной сферы, экономики, общественной безопасности, государственных институтов и т.д. Все это не позволяет адекватно оценить эффективность реализуемых госпрограмм. Кроме того, при оценке целого ряда государственных программ РФ необходимо особое внимание уделять расчету показателей не только экономической, но и социальной эффективности. Если мы обратимся к российской практике, то увидим, что это особенно важно для программ социальной направленности из блока «Новое качество жизни», таких как «Содействие занятости населения», «Развитие здравоохранения», «Развитие образования», «Развитие пенсионной системы» и др.
ОЦЕНКА эффЕКтИВНОстИ
подпрограмм государственных программ российской федерации
Несмотря на большое количество используемых методов и методик оценки программ (рис. 2), разработка показате-
Types of assessment of budgetary programs
• Target program management.
• Monitoring of activities on the basis of target indicators.
• Objects (units) of monitoring are programs and subprograms
• Self-assessment of a budgetary program.
• Analysis according to the list of controlling questions.
• Object (unit) of analysis is subprogram
• In-depth assessment of budgetary program.
• Assessment of specific programs.
• Object (unit) of assessment is subprogram, but in some cases common factors for different subprograms may be assessed
■o
a
Fig. 2. Types of and techniques for assessment of budgetary programs [3]
of life and living standards of the population, development of social sphere, economy, public security, state institutions etc as well. All above-said does not allow assessing adequately the efficiency of implemented state programs. Besides, while assessing a number of state programs of the Russian Federation it is necessary to pay particular attention to calculation of indicators of not only economic, but also social efficiency. If we consider Russian practice we will see that it is especially significant for the social programs from the block "New Quality of Life" such as "Employment Improvement", "Health Care Development", "Education Development", "Development of Pension System" and others.
assessment of efficiency of the state's subprograms of the Russian federation
Despite an extensive range of applied methods and techniques of programs' assessment (Fig. 2) the development of indicators of efficiency and performance for specific programs and subprograms may be complicated, yet at the same time it is quite easy to offer the indicators of efficiency assessment which may be utilized at the level of industry/region/technology.
The indicators of increase in profits in an industry, growth of regional income, completion of development of a technology, level of sector's competitiveness in the global market may represent good examples. For instance, for subprograms and measures in R&D and construction the indicators of achievement of goals at every stage of planning and experts' estimates may be successfully applied.
While developing the system for subprograms' efficiency assessment it is useful to determine the contribution of each of subprogram into the achievement of the goals of a state program. Yet it should be taken into account the fact that the development
of a system of state program's efficiency in most cases does not cause serious difficulties, because at this stage we usually speak about the assessment of achievement of the general final goals, such as, for instance, reduction of unemployment (level of employment), poverty (the share of the population with the income less than subsistence level). However, the development of a system of efficiency assessment at the subprogram level may be rather complicated.
The development of the parameters of assessment which would correspond to the tasks of subprogram may pose difficulties, that's why within the frames of subprograms, as a rule, there is a stronger need for collection and assessment of the data. Besides, by virtue of that fact that the actual program activities are performed at the level of subprograms, the implementation of each of the subprograms is better to be assigned to concrete people. It is also equally important to establish clear causal relationships between subprograms / federal target programs and state programs as well as to determine precise coefficients for contribution of each of the subprograms / federal target programs in achievement of the results of the state program.
Hence, we may conclude that the comprehensive assessment of state programs' implementation efficiency presents an opportunity of objective, aggregated assessment of the effect of financial resources invested by the state. The systemic assessment of the state programs' efficiency is an important tool for determining the efficiency of the state policy adoption in specific areas of the government's activities. In addition, as a result of such systemic assessment the measures to improve the efficiency of programs may be suggested in all directions.
Moreover, the planning of the federal budget's spending on subprograms should
not be considered only from the position of achievement of optimal distribution of resources between the goals of the government's activities. The program-based budget creates an opportunity not just evaluate the expenditure on the achievement of a specific target, but also to analyze its results within one program or even a concrete measure and compare the attained results with the expenses.
14 Тема номера
финансы государства и территорий
лей эффективности и результативности ю для отдельных программ и подпрограмм § может представлять сложность, в то время как достаточно просто предложить ^ показатели оценки эффективности, коя торые могут применяться на уровне от-== расли промышленности /региона /техно-| логии.
| Примерами могут служить: показате-
ли роста доходов в конкретной отрасли промышленности, роста регионального дохода, завершение разработки конкретной технологии, уровень конкурентоспособности отрасли на мировом рынке. Например, для подпрограмм и мероприятий в области НИОКР и строительства с успехом могут использоваться показатели достижения целей на каждом этапе планирования и экспертные оценки.
При разработке системы оценки эффективности подпрограмм полезно определить вклад каждой из подпрограмм в достижение целей госпрограммы. При этом следует учитывать тот факт, что разработка системы оценки эффективности госпрограммы в большинстве случаев не представляет серьезных трудностей, так как на этом этапе речь обычно идет об оценке достижения общих конечных целей, таких как, например,
сокращение безработицы (уровень занятости), уменьшение бедности (доля населения с доходами ниже прожиточного минимума). В то же время разработка системы оценки эффективности на уровне подпрограммы может быть достаточно сложной.
Разработка параметров оценки, которые соответствовали бы задачам подпрограммы, может вызывать трудности, поэтому в рамках подпрограмм, как правило, существует более высокая потребность в сборе и оценке данных. Кроме того, в силу того что реальная программная деятельность реализуется на уровне подпрограмм, реализацию каждой из подпрограмм лучше поручить конкретным исполнителям. Не менее важно установить четкую причинно-следственную связь между подпрограммами / федеральными целевыми программами и государственными программами, а также определить четкие весовые коэффициенты для вклада каждой подпрограммы / федеральной целевой программы в достижение результатов государственной программы.
Таким образом, можно сделать вывод, что комплексная оценка эффективности реализации государственных
программ предоставляет возможность объективной, агрегированной оценки эффекта от вложенных государством финансовых ресурсов. Систематическая оценка эффективности государственных программ является важным инструментом для определения эффективности реализации государственной политики в конкретной области деятельности правительства. Кроме того, по итогам такой систематической оценки могут быть предложены меры по повышению эффективности программ по всем направлениям.
Планирование расходов федерального бюджета по программам не должно рассматриваться только с позиции достижения оптимального распределения ресурсов между целями деятельности Правительства. Программный бюджет предоставляет возможность не только оценить расходы на достижение определенной цели, но и проанализировать их результативность в рамках одной программы или даже конкретного мероприятия и сопоставить достигнутые результаты с затратами.
finances of the state and territories
The Issue Subject 15
Источники
1. Афанасьев М.П., Шаш Н.Н. Инструментарий оценки эффективности государственных программ // Вопросы государственного и муниципального управления. 2013. № 3.
2. Афанасьев М.П., Шаш Н.Н. Российские бюджетные реформы: от программ социально-экономического развития до государственных программ Российской Федерации // Вопросы государственного и муниципального управления. 2014. № 2.
3. Истомина Н.А. Бюджетирование, ориентированное на результат: специфика и проблемы реализации на различных стадиях бюджетного процесса // Финансовая аналитика: проблемы и решения. 2014. № 28(214).
4. Истомина Н.А. Перераспределение бюджетных средств в системе бюджетирования, ориентированного на результат // Финансовая аналитика: проблемы и решения. 2014. № 27(213).
5. Истомина Н.А. Программная составляющая расходов бюджета субъекта Российской Федерации как основа перехода к программному бюджету // Финансы и кредит. 2011. № 27. С. 40-48.
6. Истомина Н.А. Программный подход в бюджетном планировании на федеральном уровне: тенденции становления и развития // Финансы и кредит. 2011. № 7. С. 46-54.
7. Истомина Н.А. Целевые программы региона: состав и особенности реализации в 1995-2010 гг. // Финансы и кредит. 2011. № 11. С. 40-48.
8. Масгрейв Р.А., Масгрейв П.Б. Государственные финансы: теория и практика. М.: Бизнес Атлас, 2009.
9. Шаш Н.Н. Построение программного бюджета и оценка эффективности программ // Научно-исследовательский финансовый институт. Финансовый журнал. 2011. № 2.
10. Шаш Н.Н., Бородин А.И., Татуев А.А. Проблемы перехода на программный бюджет: новые вызовы бюджетной политике России // Финансы и кредит. 2014. № 14.
11. Basle M. Le budget de I'Etat. 6th ed. P., 2004.
12. Budget Theory in the public sector / A. Khan, W. B. Hildreth (eds.). L.: Quorum books, 2002.
13. Chouvel F. Finances publiques. P., 1999.
14. Evolving theories of public budgeting / J.R. Bartle (ed.). Oxford: Elsevier, 2001.
15. Kelly J.M., Rivenbark W.C. Performance Budgeting for State and Local Government. Washington, 2010.
16. Khan A. Capital Budgeting in Government. Principles and Applications. Auerbach Publishers, Inc., 2008.
17. Lee R.D. Jr., Johnson R.W., Joyce P.G. Public Budgeting Systems. 9th ed. Jones&Bartlett Learning, 2012.
18. Miller G.J., Hildreth W.B., Rabin J. Performance-Based Budgeting. An ASPA Classic. Colorado: Westview Press, 2010.
19. New directions in budget theory / I.S. Rabin (ed.). N.Y.: SUNY Press, 1988.
20. Norvik D. Current Practice in Program Budgeting. Taylor&Francis Group, 2006.
21. Rabin I.S. The politics of public budgeting. 5th ed. Washington: CQ Press, 2006.
22. Shah A. (ed.) Budgeting and Budgetary Institutions. Washington, 2007.
23. Wildawsky A., Caiden N. The new politics of the budgetary process. 5th ed. N.Y.: Longman, 2003.
References
1. Afanasiev M.P., Shash N.N. Instrumentariy otsenki effektivnosti gosu-darstvennykh programm [The toolkit for assessing the efficiency of state programs]. Voprosy Gosudarstvennogo i Munitsipal'nogo Upravleniya - The Issues of State and Municipal Governance, 2013, no. 3.
2. Afanasiev M.P., Shash N.N. Rossiyskie byudzhetnye reformy: ot programm sotsial'no-ekonomicheskogo razvitiya do gosudarstvennykh programm Rossiyskoy Federatsii [Russia's budget reforms: from socio-economic development programs to state programs of the Russian Federation]. Voprosy Gosudarstvennogo i Munitsipal'nogo Upravleniya - The Issues of State and Municipal Governance, 2014, no. 2.
3. Istomina N.A. Byudzhetirovanie, orientirovannoe na rezul'tat: spetsi-fika i problemy realizatsii na razlichnykh stadiyakh byudzhetnogo protsessa [Result-oriented budgeting: the specifics and problems of implementation at various stages of budget process]. Finansovaya Analitika: Problemy i Resheniya - Financial Analytics: Science and Experience, 2014, no. 28, pp. 28-35.
4. Istomina N.A. Pereraspredelenie byudzhetnykh sredstv v sisteme byudzhetirovaniya, orientirovannogo na rezul'tat [Redistribution of budget funds in result-oriented budgeting system]. Finansovaya Anali-tika: Problemy i Resheniya - Financial Analytics: Science and Experience, 2014. no. 27(213).
5. Istomina N.A. Programmnaya sostavlyayushchaya raskhodov by-udzheta subekta Rossiyskoy Federatsii kak osnova perekhoda k pro-grammnomu byudzhetu [The program component of budget expenditures of the RF subject as the basis of transition to program budget]. Finansy i Kredit - Finance and Credit, 2011, no. 27, pp. 40-48.
6. Istomina N.A. Programmnyy podkhod v byudzhetnom planirovanii na federal'nom urovne: tendentsii stanovleniya i razvitiya [The program approach in budget planning at federal level: formation and development trends]. Finansy i Kredit - Finance and Credit, 2011, no. 7, pp. 46-54.
7. Istomina N.A. Tselevye programmy regiona: sostav i osobennosti realizatsii v 1995-2010 gg. [Targeted programs of a region: characteristics of implementation in 1995-2010]. Finansy i Kredit - Finance and Credit, 2011, no. 11, pp. 40-48.
8. Musgrave R.A., Musgrave P.B. Gosudarstvennye finansy: teoriya i praktika [Public finance in theory and practice]. Moscow, Business Atlas Publ., 2009.
9. Shash N.N. Postroenie programmnogo byudzheta i otsenka effektivnosti programm [Establishing program budget and assessing programs' efficiency]. Nauchno-issledovatel'skiy finansovyy institut. Fi-nansovyy zhurnal - The Financial Journal of Scientific-Research Financial Institute, 2011, no. 2.
10. Shash N.N., Borodin A.I., Tatuev A.A. Problemy perekhoda na programmnyy byudzhet: novye vyzovy byudzhetnoy politike Rossii [Problems of transition to program budget: new challenges to fiscal policy in Russia]. Finansy i Kredit - Finance and Credit, 2014, no. 14.
11. Basle M. Le budget de l'Etat. 6th ed. P., 2004.
12. Khan A., Hildreth W.B. (eds.). Budget Theory in the public sector. L.: Quorum books, 2002.
13. Chouvel F. Finances publiques. P., 1999.
14. Bartle J.R. (ed.). Evolving theories of public budgeting. Oxford: Elsevier, 2001.
15. Kelly J.M., Rivenbark W.C. Performance Budgeting for State and Local Government. Washington, 2010.
16. Khan A. Capital Budgeting in Government. Principles and Applications. Auerbach Publishers, Inc., 2008.
17. Lee R.D. Jr., Johnson R.W., Joyce P.G. Public Budgeting Systems. 9th ed. Jones&Bartlett Learning, 2012.
18. Miller G.J., Hildreth W.B., Rabin J. Performance-Based Budgeting. An ASPA Classic. Colorado: Westview Press, 2010.
19. Rabin I.S. (ed.). New directions in budget theory. N.Y.: SUNY Press, 1988.
20. Norvik D. Current Practice in Program Budgeting. Taylor&Francis Group, 2006.
21. Rabin I.S. The politics of public budgeting. 5th ed. Washington: CQ Press, 2006.
22. Shah A. (ed.) Budgeting and Budgetary Institutions. Washington, 2007.
23. Wildawsky A., Caiden N. The new politics of the budgetary process. 5th ed. N.Y.: Longman, 2003.
■o я
