CC BY
79
Вестн. Моск. ун-та. Сер. 21. Управление (государство и общество). 2005. № 3
С.Г. Туронок
ОЦЕНКА ГОСУДАРСТВЕННОЙ ПОЛИТИКИ И ЗАДАЧИ РЕФОРМ: УРОКИ ЗАРУБЕЖНОГО ОПЫТА
Модернизация системы государственного управления в России, направленная на повышение эффективности и результативности деятельности органов исполнительной власти за счет улучшения качества оказываемых услуг и рационального использования государственных ресурсов, — одно из приоритетных направлений проводимой в стране административной реформы (согласно утвержденной Президентом РФ Концепции реформирования государственной службы от 15.08.2002 г., Указу Президента РФ № 314 от 9 марта 2004 г. "О системе и структуре федеральных органов исполнительной власти", Концепции реформирования бюджетного процесса в Российской Федерации в 2004—2006 годах и ряду других программных документов). При этом, как свидетельствует мировой опыт, успех реформы в целом, а также эффективность конкретных механизмов и методов планирования и бюджетирования, ориентированных на результат, в значительной степени зависят от наличия действенных инструментов контроля и оценивания проводимой политики, мониторинга достигнутых результатов, внедрения системы публичной отчетности и гражданского контроля над действиями государственных органов власти. Механизмы внутреннего мониторинга и внешнего контроля призваны предотвратить неэффективные решения и возможные нарушения бюджетных обязательств, что представляется особенно значимым в условиях децентрализации и деконцент-рации системы государственного управления.
Эти и другие задачи призван решать институт оценивания государственной политики и программ (policy/program evaluation), ставший в развитых странах мира неотъемлемым спутником всех реформаторских усилий в области государственного управления за последние сорок лет. Вместе с тем, как сви-
Туронок Станислав Генрихович — доцент кафедры политического анализа
ФГУ.
детельствуют эксперты1, принимающие непосредственное участие в разработке планов реформирования системы государственного управления в России, этот инструментарий остается во многом не востребованным в отечественной теории и практике. В последние годы предпринимаются определенные коллективные усилия со стороны научного сообщества, направленные на преодоление этого досадного пробела, в частности на базе Высшей школы экономики (ГУ-ВШЭ) функционирует Интернет-ресурс, посвященный политическому анализу и оцениванию программ и политики2, действует постоянный семинар по данной тематике, участником которого является автор данной статьи. Предлагаемый материал представляется частью этих усилий, призванных способствовать ликвидации образовавшегося пробела в отношении названной проблематики, а также развитию и институционализации профессиональной оценочной деятельности в России.
Основные понятия. Оценивание государственной политики (policy evaluation) в широком значении может быть отнесено к любому виду аналитической деятельности, ориентированной на сбор информации и данных, имеющих отношение к измерению результативности государственных программ и решений3. Процедуры мониторинга, призванные идентифицировать изменения, вызванные предпринимаемыми политическими действиями и решениями, имеют отчетливо оценочную природу. Из данной категории следует исключить финансовый аудит, в чистом виде интересующийся лишь вопросом бюджетной дисциплины4.
В государственном секторе оценивание обычно осуществляется под маркой таких видов деятельности, как "инспекция", "мониторинг", "политическое планирование", "политический анализ", "программный анализ"5.
Концептуальным основанием представлений о функциональной роли оценивания в системе государственного управ-
1 См.: Беляев А., Цыганков Д.Оценивая эффективность реформ: новые технологии оптимизации государственного управления / Вестн. актуальным прогнозов. 2004. № 11. С. 26-29.
2 http://politanaliz.ru
3 Bemelmans-Videc M.L. Evaluation in the Netherlands 1990—2000: Consolidation and Expansion // International Atlas of Evaluation / Ed. by J.-E. Furubo, C. Ray, R. Sandahl. New Brunswick; London, 2002. P. 115—128.
4 Wollmann H. Evaluation and public-sector reform in Germany: Leaps and lags // Evaluation in Public Sector Reform / Ed. by H. Wollmann. Cheltenham. Northampton, 2003. P. 118—139.
5 Fisher F. Evaluating Public Policy. Chicago, 1995.
ления явилась классическая модель "цикла политического решения" (policy cycle)6, представляющая любую государственную программу как динамическую последовательность фаз формирование — имплементация — прекращение, при этом функция оценивания государственной политики представлялась системным аналогом "контура обратной связи", обеспечивающим сбор и обратный ввод в структуру принятия политических решений данных и информации, имеющих значение с точки зрения коррекции ранее принятых и выработки новых решений. Политическое оценивание в идеале виделось как полномасштабное общественно-научное исследование, объектом которого являются конечные результаты и долгосрочные последствия государственных программ и решений, а высшей целью и миссией (в нормативном значении) — совершенствование результатов государственной политики и максимизация ее эффектив-ности7.
Традиционно к оцениванию прибегают в целях повышения общественной осведомленности и прозрачности в отношении деятельности государственных организаций, а также для того, чтобы убедиться, что выделяемые бюджетом государственные средства действительно способствуют достижению заявленных политических целей. Клиентами такого рода оценивания, как правило, выступают высокие политические инстанции, осуществляющие надзор за деятельностью административных структур, а также (косвенно) широкая общественность. За такими исследованиями закрепился англоязычный термин summative evaluation (подводящее итоги, обобщающее оценивание).
На практике не менее значимым оказывается обращение к оцениванию в целях улучшения деятельности организаций или реализуемых ими программ путем выявления и решения конкретных управленческих, организационно-технических, финансовых, кадровых и иных проблем. Приоритетной аудиторией такого рода оценивания являются прежде всего менеджеры программ; на практике, поскольку круг сторон, способных оказывать значимое воздействие на ход реализации программ, значительно шире, в данную аудиторию следует включать также сотрудников организаций, лиц, принимающих политические решения, бюджетных аналитиков и др., от кого так или ина-
6 Lasswell H.D. A Pre-View of Policy Sciences. N.Y., 1971.
7 Wollmann H. Evaluation in public-sector reform: Toward a 'third wave' of evaluation? // Evaluation in Public Sector Reform. P. 1—11.
8 ВМУ, управление (государство и общество), № 3
че зависит данный процесс, даже если они достаточно удалены от уровня "программного менеджмента".
Такого рода оценивание получило название formative evaluation (формирующее, содействующее оценивание)8.
По существу, эти два вида оценивания во многом совпадают с другой традиционной типологией, формально строящейся на ином основании — внешнем (external evaluation) и внутреннем (internal evaluation) оценивании.
Внутреннее оценивание осуществляется данным операциональным подразделением, непосредственно занимающимся реализацией государственной программы/решения (самооценивание, или оценивание собственными силами). Обычно такое оценивание осуществляется в формах описательного мониторинга, внутриадминистративного контроллинга, механизма обратной связи и т.д.
Внешнее оценивание представляет собой более аналитический вид деятельности, инициированный решением (и, возможно, осуществляемый силами) организации (или органа власти), внешней по отношению к данному операциональному подразделению, непосредственно занимающемуся реализацией государственной программы/решения. В качестве такого инициатора могут выступать законодательный или судебный органы власти либо административный орган, наделенный контрольной и надзорной функцией, а также вышестоящие инстанции. Нередко внешнее оценивание ввиду характерной высокой методологической сложности и комплексности поручается или контрактируется отдельному (независимому) исследовательскому коллективу или организации. В ряде случаев оцениваемое подразделение может само выступить инициатором проведения внешнего исследования силами независимой организации9.
Третий способ типологизации опирается на временное основание и выделяет следующие виды оценивания: предварительное оценивание (ex ante), связанное с прогнозированием, оценкой и выбором альтернативных вариантов решения; текущее оценивание (in-term), именуемое также промежуточным оцениванием (mid-term) и осуществляемое в процессе импле-ментации программы с целью выработки рекомендаций в отношении ее следующей фазы; и завершающее оценивание (ex post) осуществляемое после завершения программы.
8 Brewer G., Leon P. de. The Foundations of Policy Analysis. Homewood, 1983; Dunn W.Public Policy Analysis: An Introduction. Prentice-Hall, 1981.
9 Wollmann H. Evaluation and public-sector reform in Germany: Leaps and lags. P. 118-139.
оценка реакции оценка процесса оценка воздействия
Наконец, следует упомянуть типологию, основанную на системных представлениях о взаимоотношении между оцениваемой структурой и внешней средой10: оценка реакции (response evaluation) — анализ реакции системы на воздействия внешней среды в форме вызовов, требований, угроз или нереализованных возможностей; оценка процесса (process evaluation) — анализ структурных и операциональных аспектов внутренних системных процессов преобразования входящих затрат в исходящий "выпуск" (output); оценка воздействия (impact evaluation ) — анализ изменения внешней среды под воздействием решений и действий системы.
В реальности названные выше виды оценочных исследований и практик, выделенные по различным концептуальным основаниям, пересекаются и взаимодействуют друг с другом.
Так, итоговое (суммирующее) оценивание всегда проводится в форме ex-post исследования, ориентировано на комплексную оценку воздействия программы в форме произведенной продукции (output) и долгосрочных эффектов (outcome) и, как правило, инициировано внешним субъектом принятия решения.
Такого рода оценивание способно охватить долгосрочные аспекты реализации программы, однако в связи с динамическим характером политического процесса такая информация редко получает практическое применение.
С другой стороны, формирующее (способствующее) оценивание всегда проводится в форме in-term (mid-term) исследования, ориентированного, скорее, на текущий управленческий процесс, и, как правило, является внутренним оцениванием, инициируемым менеджерами самой организации.
Такого рода оценивание ограничено анализом незавершенных усилий и редко способно оценить воздействие програм-
10 Brewer G., Leon P. de. Op. cit.
мы, однако обеспечивает своевременный совет для принятия решения.
Оценивание реакции управленческой системы и предварительное оценивание также могут совпадать по содержанию, примером чего является методика SWOT-анализа11, а также такой актуальный вид деятельности, как оценка степени готовности учреждений и организаций к действиям в условиях чрезвычайных ситуаций, инцидентов в области безопасности и т.д. Сюда также следует отнести такой специфический тип оценивания, который строится на экспериментальном и квазиэкспериментальном методах социального прогнозирования и программирования.
Наконец, следует упомянуть также о различных уровнях осуществления оценки государственной политики12:
политическом уровне (оценивание комплекса политических решений и механизмов, регулирующих процессы отбора, финансирования и менеджмента определенных видов деятельности или программ);
"портфельном" уровне (сравнительное оценивание качества и продуктивности определенного спектра видов деятельности, программ или организаций);
программном уровне (оценивание качества и продуктивности отдельно взятой программы или вида деятельности);
проектном уровне (оценивание качества и продуктивности отдельных проектов).
Оценка государственной политики в контексте социально-экономических и политико-административных реформ второй половины XX в. В своих идеологической и политической составляющих оценивание государственной политики уходит корнями в традицию общественных наук. Эта традиция предполагает демократическую целесообразность регулярного и критического оценивания государственных решений и действий с точки зрения общего блага.
Вторым источником современного оценивания государственной политики является комплекс смежных профессиональных дисциплин, связанных с управленческим консалтингом. В этом своем качестве оценивание характеризуется следующими чертами: ориентированностью на клиента; опреде-
11 SWOT (Strengths, Weaknesses, Opportunities, Threats ) — анализ сильных и слабых сторон, возможностей и угроз.
12A Guide to Programme Evaluation. Evaluation Associates Ltd., 1997.
ленной конфиденциальностью; целенаправленностью на строго определенные вопросы и проблемы. Основная задача при этом видится в производстве практически применимых рекомендаций, опирающихся на строгий систематический анализ данных и свидетельств, касающихся эффективности и резуль-тативности13.
Управленческая традиция в оценивании государственной политики приобретает выраженную ориентацию на измерение результативности (performance) организации либо программы. Для этого направления характерно заимствование и адаптация технических методов и приемов, более характерных для анализа качества менеджмента в частном секторе (индикаторы производительности, балансовые таблицы результатов и пр.).
Таким образом, в четырех десятилетиях истории данного вида деятельности обнаруживают тесное переплетение, с одной стороны, политическая и идеологическая логика, стоящая за теми или иными масштабными проектами социально-экономических и политико-административных реформ второй половины XX в., ас другой — деполитизированная технократическая и экономическая логика управления сложноорганизо-ванными структурами. В свою очередь преобладание той или иной составляющей и их взаимодействие в решающей степени определяли форму и содержание профессиональной оценочной деятельности в различные периоды ее становления и развития.
Характеризуя тенденции в развитии методологии и практики оценивания государственной политики, профессор Университета им. Гумбольдта (Берлин) Хельмут Вольманн выделяет три основные стадии: первая волна охватывает период 60-х — начала 70-х гг.; вторая волна захватывает 70-е и начало 80-х гг., и последняя, третья волна продолжается с середины 80-х гг. до конца 90-х, а в некоторых странах продолжается по сей
день14.
В 60-е гг. становление современного государства всеобщего благосостояния сопровождалось идеями наращивания потенциала государства в области "опережающего принятия политических решений" (proactive policy making) посредством глубокой модернизации его политических и административных структур, при этом стратегически значимым элементом этого процесса виделось расширение и институционализация воз-
13 Ibid.
14 Wollmann H. Evaluation in public-sector reform: Toward a 'third wave' of evaluation? P. 1—11.
можностей прогнозирования, планирования и программирования в своей управленческой деятельности. Вдохновляемое реформаторскими настроениями и оптимизмом эпохи увлечения централизованным планированием, политическое оценивание (в своем нормативном значении) видело свою миссию в совершенствовании результатов государственной политики (прежде всего в социальной области) и максимизации эффективности "выпуска".
Э то т ранний период в развитии политического оценивания принято называть "первой волной", берущей начало в США начиная с середины 60-х гг. и получившей развитие в отдельных странах Европы (ФРГ, Швеция) и Японии15.
Политическое лицо этой эпохи было в значительной мере окрашено идеологией "великого общества", масштабными проектами в области борьбы с бедностью, преодоления расовой дискриминации, строительства общества всеобщего благосостояния. В ведущих западных странах этот период совпадает с беспрецедентной активизацией движений в защиту гражданских прав, фундаментальным кризисом доверия граждан к власти, в отдельные моменты доходящим до частичной потери контроля над развитием ситуации со стороны органов государственного управления (расовые и студенческие волнения в США в годы войны во Вьетнаме, во Франции и т.д.). Активизация подобных процессов в сочетании со сравнительно благоприятным экономическим положением в 60-е гг. обусловила абсолютное доминирование политической составляющей над технократическими соображениями эффективности.
В практике оценивания государственной политики это сочетание факторов побуждало делать акцент на максимизации выпуска общественных благ и услуг вне зависимости от объема необходимых затрат. Политическую логику этого затратного механизма применительно к практике бюджетирования и оценивания государственной политики 60-х гг. в США раскрыл один из основоположников теории и практики оценивания Аарон Вилдавски в своей критической работе "Говорить правду власти: искусство и ремесло политического анализа": если успех социальной политики государства будет оцениваться не по результатам воздействия на поведение людей, а по усилиям, затраченным социальными ведомствами: объему освоенных бюджетных средств, количеству человеко-часов, количеству обслуженных клиентов и т.д., в этом случае существует весомый
15 Ibid.
шанс того, что эта деятельность будет оценена как успешная (вне зависимости от реальной результативности такого рода усилия с точки зрения повышения здоровья населения, уровня образования или общественной безопасности)16.
Преобладание политической составляющей над технократическими соображениями экономической эффективности в теории и практике оценивания государственной политики в этот период нашло свое отражение и в крахе первых масштабных усилий, направленных на рационализацию процесса выработки и реализацию государственных программ. Наиболее показателен здесь опыт внедрения системы планирования—программирования-бюджетирования (РРБ8) в США (1965—1971 гг.). Отчасти провал ППБС был связан с неспособностью ведомств справляться с грузом информационно-аналитической работы, необходимой для функционирования системы. Более существенной, однако, оказалась критическая конструктивная ошибка, заложенная в систему: ППБС игнорировала организационную и политическую среду процесса принятия политических решений. Дизайнеры ППБС оставили законодательную власть вне системы, отказавшись предоставлять конгрессменам исходные методики, расчеты и заложенные в них допущения: конгресс в свою очередь не спешил отказаться от проверенных способов распределения бюджетных ассигнований, принимая во внимание скорее налаженные личные связи, лоббистские интересы и политические соображения, нежели калькуляции ППБС. Попытка подчинить процесс принятия политических решений логике экономической эффективности и устранить из этого процесса "иррациональный" компонент (интересы, амбиции, убеждения) путем его игнорирования показала свою несостоятельность.
"Первая волна" в теории и практике оценивания государственной политики, согласно схеме X. Вольманна, исчерпала свой потенциал в первой половине 70-х гг., когда на волне мирового экономического и нефтяного кризиса, роста бюджетных дефицитов и инфляции в развитых странах мира, совпавших со значительным спадом общественной активности, на первый план выходят задачи сокращения бюджетных расходов и программ и максимизации эффективности "затрат". Наиболее характерные формы такого применения политического оценивания можно обнаружить в это время в США, Великобритании и Нидерландах.
16 Wildavsky A. Speaking truth to power. The art and craft of policy analysis. New Brunswick, 1987.
В этот период борьба между логикой социальной эффективности (effectiveness) и логикой экономической эффективности (efficiency) продолжается с переменным успехом, однако наступление третьей волны 80—90-х гг. знаменует собой полную и безоговорочную победу последней. Более того, технократическая логика экономической эффективности принимает политическую и идеологическую форму в лице движения New Public Management (NPM) и начинает наступление по всей линии фронта реформ.
Третья волна в теории и практике оценивания государственной политики приобретает, таким образом, ярко выраженную менеджералистскую окраску. Вдохновляясь опытом частного сектора в области менеджмента, NPM опирается на рамочную концепцию "управленческого цикла" с его последовательностью постановки целей, реализации целей и оценивания реализации. При очевидной близости концепций "управленческого цикла" и "цикла политического решения", как указывает X. Вольманн, первый подход принципиально отличается содержательной ориентацией на текущую операциональную деятельность конкретной (оцениваемой) организации/программы17. В то время как традиционный акцент на эффективность "затрат" оставался главным образом уделом "внешнего" оценивания (политическая миссия которого сводилась в основном к сокращению дорогостоящих бюджетных проектов "политики всеобщего благосостояния"), новые направления и виды оценочной активности, вдохновляемые идеями менедже-рализма и "управленческого цикла", захватили область "внутреннего" оценивания, сконцентрированного в первую очередь на задачах управления по результатам, развития процедур текущего и самооценивания в рамках конкретных государственных агентств и программ. Эти методы и процедуры оценивания наряду с инструментарием контрактирования, аутсорсинга, агентификации и др. стали интегральной частью того, что принято называть "пакетом нового государственного менедж-мента"18.
В США одним из краеугольных камней программы реформ, инициированной в 1992 г. администрацией президента Клинтона, явилось превращение федеральных агентств в организации, ориентированные на результат (performance-based
17 Wollmann H. Evaluation in public-sector reform: Toward a 'third wave' of evaluation? P. 1—11.
18 Furubo J.-E, Sandahl R. A diffusion-perspective on Global developments in evaluation // International Atlas of Evaluation. P. 1—26.
organizations, PBOs). Конгресс ратифицировал программу реформ, приняв в 1993 г. Government Performance and Results Act (GPRA), обязавший исполнительные агентства периодически докладывать о своих достижениях в соответствии с установленными ведомственными и программными целями. Принимая во внимание печальный опыт внедрения ППБС, конгресс на этот раз образовал соответствующую парламентскую структуру, с тем чтобы данные о результативности государственного механизма систематическим образом вводились в бюджетный процесс, обеспечивая связь между результатами деятельности и бюджетными решениями.
Законодательная база программы реформ предполагала необходимость институционализации и повышения роли "внутренней" (на уровне агентств) процедуры оценивания. Эта идея имела влиятельных сторонников как в Главном контрольном управлении (General Accounting Office, GAO), подотчетном конгрессу США, так и в Office of Management and Budget (OMB), подотчетном президенту. С 1998 г. все продукты и услуги, произведенные структурами федеральной администрации, подлежат квантификации и индикативному измерению. Более того, с 2001 г. уже администрацией президента Буша введена Executive Branch Management Scorecard System (EBMSS), ранжирующая федеральные агентства по пяти категориям успеха в соответствии с заданными критериями результативности.
В США значительное развитие практики "внутреннего" оценивания сочетается со спадом в отношении оценивания "внешнего". Тем не менее крепкие традиции законодательного контроля, уходящие корнями в эпоху расцвета "внешнего" оценивания 60-х гг., сохраняют свое влияние.
В Великобритании старт реформам государственного сектора положила FMI — Financial Management Initiative (1982), выдержанная в духе децентрализации государственного управления и бюджетирования, повышения профессионализма и ответственности. В целях мониторинга финансовой и управленческой компетенции новообразованных квазинеправительственных организаций, а также органов местного самоуправления были образованы National Audit Office и Audit Commission (NAOAC), призванные способствовать "трем Е" — "economy, efficiency and effectiveness" (экономии, экономической эффективности и социальной эффективности).
С самого начала реформ внедрение и применение систем управления, ориентированных на результат (performance management), рассматривалось в качестве основного управленческого и оценочного инструмента. Практика задания результатив-
ных целей и индикаторов (контрактными или законодательными предписаниями) с последующим их мониторингом, измерением и представлением (посредством "внутреннего" оценивания) была внедрена в деятельность как государственных ведомств, так и органов местного самоуправления.
Распространение практики индикаторов результативности (performance indicator, PI) получило новый импульс в последующий период правления лейбористов, которые использовали данный инструментарий для усиления и ужесточения контроля над деятельностью органов местного самоуправления, в особенности их видов деятельности, ориентированных на предоставление услуг населению. В 2000 г. был введен в действие режим Best Value (BV), предписывающий всем местным органам самоуправления принимать на себя обязательства в форме ежегодного Best Value Performance Plan, исполнение которых контролируется посредством регулярных специализированных (по видам услуг) и кросс-секторальных оценочных исследований (обзоров) силами централизованной Audit Commission. Правительство приобрело широкие возможности для вмешательства в ситуациях, когда местные органы самоуправления, по оценке инспекторов, не укладываются в нормативы режима Best Value. В последние годы правительство лейбористов делает акцент на новом механизме "Comprehensive Performance Assessments" (CPAs), представляющем собой более комплексную и интегрированную систему измерения результативности, в соответствии с которой все местные органы самоуправления классифицируются на основании данных инспекционных проверок и оценочных исследований Audit Commission по пяти категориям (отлично, хорошо, умеренно, слабо, плохо), при этом те, кто квалифицирован по высшим категориям, вознаграждаются "дополнительными свободами" и финансированием, а отстающие могут быть подвергнуты санкциям, включая трансферт их функций другим провайдерам и даже введение "внешнего управления" (назначенного правительством управляющего). Первый доклад Audit Commission, ранжировавший все графства Великобритании в соответствии с названной схемой, был опубликован в конце 2002 г. и привлек значительное внимание общественности и противоречивые оценки19.
Что касается внешнего оценивания, в эпоху правления консерваторов оно было непопулярно. Однако при лейбористах
19 Ibid.
этот вид оценивания обретает второе дыхание. В 2000 г. в аппарате правительства (кабинета) сформирован Центр управления и исследования государственной политики, призванный осуществлять широкомасштабные оценочные и аналитические исследования, в том числе силами независимых консультантов, в целях информационного обеспечения принятия политических решений.
В Германии инициатива внедрения и применения процедур оценивания имела ярко выраженный муниципальный оттенок. В условиях серьезных бюджетных ограничений и кризисных явлений начала 90-х гг. многие муниципальные образования взяли на вооружение новые методы бюджетирования, оценки эффективности издержек, контроля и аудита с акцентом на внутренние инструменты управления, ориентированного на результат. Позже на тропу реформ встали правительства земель, и лишь в конце 1999 г. очередь дошла до федеральных властей.
Представляет интерес опыт развития систем сравнительных индикаторов производительности на муниципальном уровне. В 90-е гг. широкое применение получила инициатива Фонда Бертельсмана и консультативного института KGSt's, финансируемого из муниципальных бюджетов, — "interkommunale Vergleichsringe" (кольца межмуниципального бенчмаркинга). Эти "кольца" на добровольной основе образуют муниципальные образования, выражающие готовность к квазиконкуренции на основе системы сопоставимых показателей (в области оказания социальных услуг населению, развития городской общественной инфраструктуры и т.д.)20.
В последние годы такая форма самоконтроля и конкуренции получила широкое распространение: число подобных "колец" приближается к 100, охватывая более 600 административных единиц и свыше 3000 муниципальных служащих21.
Способы и методы оценивания государственных организаций/программ, таким образом, претерпели за последние десятилетия определенную эволюцию. С конца 70-х гг. в практике программного оценивания произошел сдвиг от долгосрочных политических исследований к более актуальным, краткосрочным, ориентированным на прикладные проблемы организационного менеджмента проектам22.
20 Wollmann H. Evaluation and public-sector reform in Germany: Leaps and lags. P. 118-139.
21 Bundesregierung. Modern State—Modern Administration // Progress Report. Bonn, 2002. P. 15.
22 Patton M.Q. Qualitative Evaluation Methods. Beverly Hills (Calif.), 1980; Idem. Utilization-Focused Evaluation. Beverly Hills (Calif.), 1986.
Эта тенденция нашла отражение в докладе Главного контрольного управления США (General Accounting Office, GAO): "В целом краткосрочные, малобюджетные, внутренние исследования и доклады, как правило, инициированные по запросу высшего руководящего звена организации или программных менеджеров, возросли как в абсолютном выражении, так и в пропорции к общему объему исследований; крупномасштабные, долгосрочные, внешние исследования показали противоположную динамику"23.
Одновременно завершается процесс институционализации оценивания государственной политики и программ как неотъемлемого компонента теории и практики современного государственного управления. Этот процесс находит свое отражение не только в усилении и расширении полномочий специализированных государственных структур, таких, как Главное контрольное управление США (General Accounting Office), Счетная палата Германии (Bundesrechnungshof), британских National Audit Office и Audit Commission и других зарубежных offices of audit, но также в деятельности профессиональных и образовательных ассоциаций, функционировании учебных программ и специализаций в университетах, издании специализированных журналов и т.д. Так, в США на этой ниве зарекомендовали себя Evaluation Research Society и Evaluation Network (последняя ориентирована на интересы специалистов в области образования), c 1986 г. объединившиеся в American Evaluation Association (AEA), издаются журналы Evaluation, Journal of Evaluation and Program Planning, American Journal of Evaluation, GAO Review, специализированные образовательные программы существуют во многих университетах страны24, однако и здесь все еще отмечается скорее разноголосица в подходах, направлениях и ориентациях, нежели целостность и координация. Актуальными остаются попытки разработать единые образовательные стандарты в данной области25.
23 U.S. General Accounting Office. Federal Evaluation: Fewer Evaluation Units, Reduced Resources, Different Studies from 1980. PEMD-87-9. Washington (D.C.), 1987. P. 2.
24 "M.A. Policy analysis and evaluation Program" Станфордского университета, "M.S. & Ph.D. in Program Evaluation and Planning" Корнельского университета, "Policy Research, Evaluation, and Measurement Program" Университета Пенсильвании, "Interdisciplinary Ph.D. in Evaluation" Университета Западного Мичигана, "Ph.D. in Research and Evaluation Methodology (REM) Program" Университета Юта.
25 Champion H. Guidelines for Evaluations, Research, and Statistical Activities. Washington (D.C.), 1980.
Оценивание государственной политики: потенциал употребления и злоупотребления. Оценивание является важнейшей управленческой функцией, обладающей значительным потенциалом улучшения деятельности организаций/программ: ориентированные на действие профессиональные оценщики способны стать эффективными агентами инноваций, содействуя менеджерам и сотрудникам в деле имплементации выработанных рекомендаций.
Будучи грамотно спланированным и реализованным на практике, оценивание способно обеспечить ряд значимых управленческих потребностей лиц, принимающих и осуществляющих выполнение государственных решений и программ26:
в информации (оценивание призвано информировать управленцев, а также других заинтересованных лиц о ходе реализации, общих итогах, достоинствах и недостатках, а также о практическом вкладе оцениваемых проектов и программ в решение определенных проблем либо в достижение заявленных целей. Управленцам, как правило, не хватает информации для оценки всего "портфеля" их проектов и всего спектра их усилий и достижений);
в отчетности (фактор отчетности играет особую роль в государственном секторе. Оценивание позволяет произвести отчет за освоенные бюджетные средства и в ряде случаев может содействовать организациям в наращивании их ресурсных возможностей за счет демонстрации убедительных успехов);
в управленческом совете (оценивание способно внести непосредственный вклад в принятие решений, в особенности когда речь идет о долгосрочных видах деятельности, где продолжение финансирования может зависеть от результатов предыдущих усилий. Это предполагает синхронизацию процесса оценивания с регламентом принятия решений);
в обучении и совершенствовании (оценивание способствует движению по этому пути, предоставляя свидетельства успеха или неуспеха, а также анализ обстоятельств, приведших к тем или иным результатам, и воздействуя на мотивацию участников, косвенно побуждая их соответствовать критериям качества, заданным в процессе оценивания).
Для того чтобы в полной мере задействовать этот позитивный потенциал, профессиональные оценщики должны быть
26 Performance and Credibility: Developing Excellence in Public and Nonprofit Organizations / Ed. by J.S. Wholey, M.A. Abramson, C. Bellavita. Lexington (Mass.), 1986.
способны убедить потенциальных клиентов в полезности проведения оценивания, что не всегда является очевидным. В известном смысле привлечение оценщиков может восприниматься менеджерами и руководством организаций как деструктивный фактор; как минимум они могут опасаться роста накладных расходов и информационной перегрузки. На стадии, предшествующей проведению оценивания, менеджеры программ могут даже не подозревать о потенциальных преимуществах выработки и применения измерительных оценочных систем. С точки зрения многих менеджеров, оценщики либо не способны сказать ничего нового, либо могут сказать только плохое, при этом слишком поздно, чтобы что-либо изменить. Профессиональные оценщики в свою очередь высказывают претензии по поводу того, что их работа слишком часто оказывается невостребованной, а рекомендации — неиспользованными27.
Другая крайность связана с тем, что менеджеры могут испытывать страх перед директивно навязанной им оценочной процедурой, проводимой "чужаками" в целях, характер которых для них остается непонятным. Внешние оценочные инициативы, предпринимаемые с целью контроля над менеджментом программы, например исходящие от парламентских комитетов или политических назначенцев в административных структурах, без сомнения, будут восприниматься сотрудниками и руководством программы с подозрением и враждебностью28.
В этих условиях открытость коммуникации и совместное определение круга задач и характера конечного продукта являются полезными тактическими приемами оценщика в ситуации сопротивления со стороны персонала и руководства. Джеральд Баркдолл и Дуглас Спун отмечают29, что профессиональные оценщики способны достичь значимого долгосрочного результата, мобилизуя поддержку в отношении своей будущей оценочной активности посредством эффективного взаимодействия с менеджерами программ до, в процессе и после оценивания. Оценщики и оцениваемые несут общую ответственность за успех данного процесса и его результаты. Критически
27 The Evaluator and Management / Ed. by H.C. Schulberg, J.M. Jerrell. Beverly Hills (Calif.), 1979.
28 Nay J.N., Kay P. Government Oversight and Evaluability Assessment. Lexington (Mass.), 1982.
29 Barkdoll G.L., Spoon D.L. Five Strategies for Successful In-House Evaluations // Improving Government Performance. Evaluation Strategies for Strengthening Public Agencies and Programs. San Francisco, 1989.
значимым фактором при этом выступает эффективная коммуникация между участниками.
Оценщикам следует информировать менеджеров программ о большом разнообразии имеющихся оценочных методик. Факторы ресурсов и доверие к профессиональному оценщику играют ключевую роль в мотивации менеджеров программ. В этой связи следует всячески избегать возникновения у последних подозрения по поводу того, что оценщики предлагают наиболее трудоемкие и дорогостоящие методы там, где можно обойтись простыми и доступными средствами. Выше уже упоминалось о том, что общей тенденцией является отход от дорогостоящих полномасштабных оценочных систем в пользу краткосрочных, высокосфокусированных и сравнительно доступных разовых исследований, дающих "моментальный снимок" оцениваемой организации или программы30.
В то же время в арсенале профессионального оценщика остаются и весьма трудоемкие, долгосрочные и соответственно дорогостоящие методы, например социальное экспериментирование. Типичной областью применения экспериментального и квазиэкспериментального метода являются социальные программы, призванные воздействовать на поведение некоей целевой группы путем стимулирующего воздействия, позитивного либо негативного (например, программы предотвращения рецидива среди лиц, отбывших наказание, программы предотвращения подростковой преступности, употребления наркотиков, программы в области образования, социального обеспечения, борьбы с бедностью и др.). Как и в отношении многих других методов прикладного исследования государственной политики, решающим критерием выбора того или иного метода оценивания является компромисс между методологической строгостью и практической значимостью.
В случае с экспериментальным и квазиэкспериментальным методами методологическая строгость может потребовать длительных, порой многолетних систематических усилий, направленных на измерение долгосрочных последствий и эффектов (outcome) реализации пилотных проектов. Известны примеры того, как подобные экспериментальные проекты затягивались настолько, что до полномасштабной реализации задуманной программы очередь уже не доходила, в том числе и в силу того, что за истекшее время менялась политическая
30 Chelimsky E. The Politics of Program Evaluation // Evaluation Practice in Review. New Directions for Program Evaluation / Ed. by H.S. Bloom, R.J. Lights. San Francisco, 1987.
обстановка, к власти приходили новые силы и возможности для запуска задуманной программы оказывались безвозвратно утраченными. Можно также предположить ситуацию, когда подобный результат являлся бы плодом сознательных усилий, направленных за саботирование и провал предложенной программы.
Рональд Карлсон и Анабель Крейн отмечают при этом, что профессиональные оценщики, помогая программным менеджерам сориентироваться в разнообразии имеющихся методик, должны тем не менее стремиться "продать" скорее идею оценивания как таковую, чем отдельные методы и технические приемы31.
Следует принимать во внимание и тот факт, что участие менеджеров и сотрудников оцениваемой организации в процессе подготовки и осуществления оценивания сулит им не только новые возможности и преимущества (что еще предстоит им продемонстрировать, возможно, не вполне очевидным образом), но также новые затраты времени и ресурсов, компенсация которых, как правило, не предусмотрена действующими схемами стимулирования их труда. В результате вполне вероятно встретить на практике то, что принято называть сопротивлением исполнителей: поведение, предполагающее символическое, формальное следование предписанным требованиям, без реального изменения привычных форм и методов работы в силу тех или иных причин: неадекватной системы мотивации и стимулирования, нереалистичности и ресурсной необеспеченности принимаемых решений, ценностных разногласий и т.д.32
Ценность информации, произведенной в процессе оценивания, в значительной степени зависит от точки ее ввода в соответствующий цикл планирования и бюджетирования33. За-
31 Carlson R.H., Crane A.B. Planning and Managing Useful Evaluations // Improving Government Performance. Evaluation Strategies for Strengthening Public Agencies and Programs. Engte Cliffs, 1989.
32 В качестве примера приводится ситуация с учителями, перед которыми поставили задачу внедрения в учебный процесс индивидуализированных форм обучения и контроля в области математики. И хотя они следовали формальным процедурным требованиям (применение тестовых форм контроля, ведение графиков успеваемости по каждому отдельному учащемуся и т.д.), тем не менее они не изменили свой привычный лекционный формат преподавания в силу различных персональных причин (личностный дискомфорт либо больший объем внеклассной работы без соответствующей компенсации) ( Williams W.Implementation Problems in Federally Funded Programms // Social Program Implementation / Ed. by W. Williams, R.F. Elmore. N.Y., 1976. P. 281).
33 Patton M.Q. Utilization-Focused Evaluation.
дача-максимум при этом — помочь менеджерам и лицам, принимающим решения, осознать долгосрочные преимущества ин-ституционализации оценивания в рамках процессов планирования и бюджетирования.
При этом одним из существенных камней преткновения в распространении и институционализации оценивания является страх менеджеров перед негативными результатами, способный оказывать на них парализующее воздействие34. Следует, однако, иметь в виду, что негативные выводы в отношении оцениваемой программы могут быть и результатом профессиональной некорректности, в особенности в таких методах, как "оценка воздействия" (impact assessment). Так называемая ошибка "ложного негатива" бывает вызвана некорректным проектированием оценочной стратегии, непродуманной выборкой либо поверхностной интерпретацией повторных замеров. К ошибочным выводам могут прийти не только оценщики и менеджеры, но и (данное обстоятельство может иметь критическое значение) лица, осуществляющие надзор и контроль за деятельностью оцениваемой организации/программы на основании предоставленных результатов оценки35.
Проектируя стратегию "оценки воздействия", оценщики вместе с менеджерами программы должны обсудить все за и против того или иного варианта графика. Так или иначе скороспелость и непродуманность в выборе оценочной стратегии увеличивает вероятность ложной картины оцениваемой программы, и оценщики не меньше, чем менеджеры, заинтересованы в том, чтобы этого по возможности избежать.
Как отмечают специалисты, обладающие практическим опытом как внутреннего36, так и внешнего37 оценивания, критическую значимость имеет вовлечение участников, обладающих экспертным знанием по конкретным аспектам функционирования программы (не исключая и группы граждан, обслуживаемые данной программой) на всех стадиях процесса оценивания, от планирования до имплементации и оглашения результатов. При этом следует обоснованно ожидать, что различные заинтересованные стороны будут иметь различные кри-
34 Carlson R.H., Crane A.B. Op. cit.
35 Utilising Evaluation; Concepts and Measurement Techniques / Ed. by J. Ciarlo. Beverly Hills (Calif.), 1981.
36 Wargo M.J. Characteristics of Successful Program Evaluations // Improving Government Performance. Evaluation Strategies for Strengthening Public Agencies and Programs.
37 Bell J.B. Using Short-Term Evaluation Tools // Improving Government Performance. Evaluation Strategies for Strengthening Public Agencies and Programs.
9 ВМУ, управление (государство и общество), № 3
терии оценки производительности "своей" программы. Очевидно, что от выбора перспективы в значительной мере зависит содержание вопросов, на которые оценивание должно будет дать ответ, а также характер измерительных методик и в конечном итоге содержание конечного информационного продукта.
Кредитоспособность процедуры оценивания и полученных результатов значительно повышается там, где методологическая целостность и прозрачность логики, посредством которой они получены, подкрепляется открытым обсуждением и коллективным принятием решений38. Мониторинг процесса оценивания должен быть простым и гибким. Отчеты о ходе работы могут предоставляться на отдельных ключевых этапах либо с определенной регулярностью. В редких случаях, когда требуется внесение существенных изменений в ход оценивания, могут проводиться брифинги и совещания.
Джеральд Баркдолл и Дуглас Спун подчеркивают39 необходимость гибкости со стороны оценщиков в процессе осуществления проекта, в условиях, когда среда организации/программы может претерпевать постоянные изменения. Ресурсный уровень, ценностные приоритеты политического руководства, круг заинтересованных сторон, а также уровень враждебности персонала в отношении оценивания могут меняться по мере сбора и анализа информации, что значительно усложняет задачу, стоящую перед оценщиками40. В этих условиях от последних требуется как креативность, так и гибкость в выстраивании коммуникации с другими сторонами.
Ощущение "причастности", формирующееся у менеджмента программы благодаря вовлечению в процесс оценивания на предыдущих стадиях, может быть укреплено путем их участия в определении стратегии представления и распространения результатов, включая решения о том, кому будет представлена информация, в какой форме (письменной или устной), а также где и когда она будет представлена.
При этом оценщики должны руководствоваться принципом соответствия формата итогового отчета информационным потребностям аудитории (заинтересованных сторон). Приведение стиля отчета в соответствие с коммуникативным стилем менеджеров программы является эффективной, хотя и не
38 Ross J.A. Decision Rules in Program Evaluation // Evaluation Review. 1981. N 4.
39 Barkdoll G.L., Spoon D.L. Op. cit.
40 Patton M.Q. Creative Evaluation. Beverly Hills (Calif.), 1981. P. 25—26.
простой стратегией41. При этом содержательная часть отчета также должна удовлетворять информационным потребностям сторон. Следует иметь в виду, что, как правило, существуют различные аудитории, заинтересованные в результатах проведенного оценивания, и их интересы также необходимо учитывать.
Задача оценщиков состоит в том, чтобы показать значимость, точность и надежность полученной информации, а также представить результаты в ясной и доступной для основных заинтересованных аудиторий форме. Распространение полученных результатов может реализовываться в различных формах42:
публикации, брифинги, пресс-релизы (обеспечивает более широкую доступность результатов оценивания, включая заинтересованные стороны, принявшие участие в процедуре оценивания);
тренинги и повышение квалификации (если результаты оценивания представляют практическую значимость, целесообразно организовать их анализ и выработку новых навыков с участием персонала программы или организации и других заинтересованных сторон).
В государственном секторе, где ресурсы распределяются посредством скорее бюджетного, нежели рыночного механизма, мало быть эффективным и продуктивным: необходимо, чтобы вас признали в качестве такового. Последний шаг, таким образом, предполагает коммуникацию с лицами, принимающими решения, и другими заинтересованными сторонами, обладающими достаточным влиянием на процесс распределения ресурсов; своевременное и регулярное доведение информации о деятельности организации/программы до ключевых фигур этого процесса позволяет поддерживать адекватную ресурсную базу даже в жестких политических средах и ситуациях43.
Вероятность конструктивной утилизации полученных результатов может быть в значительной степени повышена за счет: 1) приобретения и поддержания профессионального авторитета оценщика; 2) обобщения результатов оценивания и ясного изложения их значимости и практической применимости; 3) ясного донесения до заинтересованных сторон (комму-
41 Sproull L., Larkey P. Managerial Behaviour and Evaluator Effectiveness // The Evaluator and Management / Ed. by H.C. Schulberg, J.M. Jerrell. Beverly Hills (Calif.), 1979.
42 The Evaluator and Management.
43 Fisher F. Evaluating Public Policy. Chicago, 1995.
никации) результатов оценочного исследования, включая предполагаемые издержки и последствия рекомендуемых изменений в политических решениях, политических программах либо пилотных проектах; 4) содействия в выборе между вариантами политического решения, программы и методик оценивания; 5) содействия в имплементации выбранных альтернатив; 6) мониторинга имплементации выработанных рекомендаций и 7) выработки стимулов к улучшению деятельности организаций/программ.
Стимулы могут быть нематериальными (признание высоких достижений, доброжелательное освещение в прессе, делегирование дополнительных полномочий, устранение ограничений) либо материальными (перераспределение дискреционных фондов и штатных позиций, выделение ресурсов в увязке с достигнутыми результатами, долгосрочные гранты, свободное распоряжение сэкономленными средствами). Групповые стимулы способны содействовать кооперативным усилиям, направленным на улучшение деятельности.
Эффективность и результативность программы лежит в сфере ответственности ее менеджеров, а не оценщиков; в то же время грамотная стратегия распространения полученных результатов способна создать дополнительные стимулы к применению их на практике. Например, критическим фактором может стать передача информации непосредственно в высшие руководящие звенья соответствующего ведомства с последующей увязкой степени приверженности выработанным рекомендациям с перспективами дальнейшего карьерного роста соответствующих менеджеров. Практика "сопровождающей оценки" (follow-up assessment), призванной установить, в какой мере выработанные рекомендации применяются на месте, показала высокую эффективность44. Такая тактика может быть встроена в план еще на предварительных этапах работы.
Оценщики и заинтересованные стейкхолдеры могут проводить десятки брифингов и рассылать по инстанциям сотни копий своих отчетов, однако пока имплементация выработанных рекомендаций не превратится в ощутимую выгоду для менеджеров программы, никакие изменения не будут иметь место.
Подводя итоги, следует отметить, что оценивание является важнейшей управленческой функцией, обладающей значи-
44 Glover J.D. Monitoring Field Activities Through On-Site Inspections // Improving Government Performance. Evaluation Strategies for Strengthening Public Agencies and Programs.
тельным потенциалом улучшения деятельности организаций/ программ, однако чтобы этот потенциал оказался реализован, поддержка систематических оценочных усилий должна быть институционализирована на всех уровнях принятия решений. Профессиональные оценщики способны продемонстрировать продуктивность оценочных систем, которые, будучи раз спроектированы и внедрены, далее могли бы эксплуатироваться самим персоналом организаций/программ на постоянной основе; они также способны повысить эффективность и результативность программ, воздействуя на установки государственных служащих в отношении роли оценивания. Как утверждает К. Уайсс45, неоценимым достоинством большинства оценочных проектов является то влияние, которое эти проекты оказывают на менталитет менеджеров и на способы восприятия ими своих программ.
Проблемы на уровне менталитета государственных служащих и лиц, принимающих решения, остаются на сегодняшний день основным препятствием на пути институционализа-ции оценивания государственной политики в системе выработки, принятия и реализации политических решений в России.
45 Weiss C.H. Measuring the Use of Evaluation // Utilising Evaluation; Concepts and Measurement Techniques.
