CC BY
18
ТЕОРИЯ ПРАВОПРИМЕНЕНИЯ THEORY OF LAW ENFORCEMENT
УДК 340.115
йй! 10.24147/2542-1514.2017.1(1).7-18 ИСПОЛЬЗОВАНИЕ РЕЗУЛЬТАТОВ ОЦЕНКИ
В ПРОЦЕССЕ ПРАВОВОЙ РАЗРАБОТКИ ПОЛИТИКИ И УПРАВЛЕНИЯ* Г. Волльманн
Берлинский университет имени Гумбольдта, г. Берлин, Германия
Информация о статье
Дата поступления -
29 октября 2016 г.
Дата принятия в печать -
03 декабря 2016 г.
Дата онлайн-размещения -
20 марта 2017 г.
Ключевые слова
Оценка, бенчмаркинг, управление, правоприменение, Европейский Союз, правовые решения
Статья посвящена анализу метода оценки и его влиянию на правовую разработку политики в сфере управления, включая область правоприменительной деятельности. Автором дана детальная характеристика видам оценки: ретроспективной, предварительной, текущей, интерактивной, - и существующим концепциям использования ее результатов. В статье также подвергнут детальному анализу опыт Германии, Швейцарии и Европейского Союза в сфере использования результатов оценки. Автор приходит к выводу о том, что степень использования знаний, генерируемых оценкой, оказалась, по большому счету, невысокой.
При этом существует потребность в дальнейших исследованиях на предмет того, каким образом должны (и не должны) использоваться результаты оценки при принятии правовых и политических решений.
UTILIZATION OF EVALUATION RESULTS IN LEGAL POLICY-MAKING AND ADMINISTRATION
Hellmut Wollmann
Humboldt University of Berlin, Berlin, Germany
Article info
Received - 2016 October 29 Accepted - 2016 December 03 Available online - 2017 March 20
Keywords
Evaluation, benchmarking, governance, enforcement, European Union, legal solutions
The article is devoted to the analysis of evaluation method and its impact on legal policy development in governance, including in the area of law enforcement. The author outlines the importance of question whether, when and how the evaluation results of public policies, programs and measures has been utilized (or not utilized) in policy making and policy implementation.
In the pursuit of this guiding question the article will come in five steps.
First, major variants of evaluation will be briefly presented particularly with an eye on their
respective "utilization potential".
Second, different concepts will be sketched that have been forwarded to capture the utilization of social science generated knowledge by political, administrative and social actors. The author outlines a detailed description of types of evaluations: a retrospective, preliminary, ongoing, interactive, - as well as existing concepts of application of its results. Third, looking at Germany, Switzerland and the European Union as "cases in point" pertinent research findings will be discussed. The article also subjected to a detailed analysis of the experience of Germany, Switzerland and the European Union in the field of utilization of evaluation results.
Fourth, a summary and conclusion will be given.
Fifth, some remarks on pertinent research needs will be made.
* Данная статья является переработанной версией публикации (на немецком языке): Wollmann H. Zur (Nicht-) Verwendung von Evaluationsergebnissen in Politik und Verwaltung, Eine vernach-lässigte Fragestellung der Evaluationsforschung, in: Kropp S., Kuhlmann S. (Hrsg.), Wissen und Expertise in Politik und Verwaltung, der modern staat, Sonderheft 1/2013. Verlag B. Budrich, 2014, pp. 87-102. Последняя версия была также переведена на китайский язык и опубликована в журнале Института управления провинции Фуцзянь, 2016, весенний выпуск.
- 7
Law Enforcement Review 2017, vol. 1, no. 1, pp. 7-18
Журнал «Правоприменение» 2016. Т. 1, № 1. С. 7-18
-ISSN 2542-1514
The author comes to the conclusion that that the rate of the utilization of evaluation-generated knowledge has so far turned out be, by and large, scarce. The author says that regarding the politically crucial decisions the political rationality and its underlying political will of the decision-makers prevail while concerning less important decisions evaluationgenerated evidence does show some effect and, hence, a dose of scientific rationality comes to the fore.
There is also a need for further research on the subject of how should (and should not) use assessment results when making legal and political decisions.
Предмет
Использование знаний, полученных в рамках социальных наук, политическими и общественными деятелями долго пропагандировалось и приветствовалось как важнейшее средство и ресурс для совершенствования формирования политики в наше время. Макс Вебер говорил о «рационализации интеллектуалов через науку»1 [1, б. 593], а Гарольд Лассуэлл провозгласил «политические науки» как напряжённое усилие к мобилизации имеющихся межнаучных и междисциплинарных знаний для содействия политическому и социальному прогрессу [2, р. 3; 3]. Идея «социального научного подхода» в политической и общественной деятельности была озвучена Дональдом Кэмпбеллом в его призыве к «реформам как экспериментам» [4-6], нацеленным на выбор направления формирования политики «социальных экспериментов», оцениваемых наукой. Более того, правовой принцип «доказательной политики», выдвинутый правительством Великобритании в конце 1990-х гг.2 и получивший с тех пор (почти инфляционно) международное распространение, нацелен на то, чтобы при принятии политических решений учитывались эмпирические данные.
Оценка государственной политики, программ и мер, которая изначально была разработана как стратегия политики в США в 1960-х гг. и которой с тех пор следовали многие страны [7-9], появилась, чтобы привлечь огромный объем и запас эмпирических оценочных выводов к оценке успехов и неудач политики. Этот быстро расширяющийся фундамент познаний относительно политики, доступный на международном и национальном уровне, поставил вопрос ещё более явный и неотложный, а именно -когда и каким образом такие знания были использованы (или не использованы) в процессе разработки политики и ее реализации.
1 „Intellektualistische Rationalisierung durch Wissenschaft und wissenschaftlich orientierte Technik".
2 «[Правительство] должно вырабатывать политику, которая действительно имеет дело с проблемами, которая смотрит вперед и формируется на основании
В поисках ответа на этот ведущий вопрос статья предполагает пять этапов.
Во-первых, основные варианты оценки будут кратко представлены прежде всего касательно соответствующего потенциала их использования.
Во-вторых, в общих чертах будут описаны различные концепции, направленные на привлечение использования знаний, полученных политическими, административными и общественными деятелями в рамках социальных наук.
В-третьих, рассматривая Германию, Швейцарию и Европейский Союз как «уместные практики», будут обсуждаться результаты соответствующих исследований.
В-четвертых, будут представлены краткое изложение и заключение.
В-пятых, будут сделаны некоторые замечания по относящимся к исследованию потребностям.
1. Варианты оценки политики и потенциал их соответствующего применения
Вначале в общих чертах следует описать основные варианты оценки [10, p. 393; 11] и потенциал их использования.
1.1. Ретроспективная оценка
Оценка ex post, т. е. ретроспективная оценка, является «классическим» вариантом для оценки достижения цели политики и мер, как только они сформулированы. Как правило, при таких оценках возникают две важные проблемы: концептуальная и методологическая. С одной стороны, политические цели с точки зрения предполагаемых последствий должны быть концептуализированы путём определения соответствующих, по возможности измеримых, показателей. В то же время необходимо принимать во внимание возможность незапланированных последствий. Во-вторых, необходимо разрешить методологически сложный и насущный вопрос относительно того,
реалий, а не как ответ на краткосрочное давление: такая политика берётся за причины, а не за симптомы» (Cabinet Office, Modernising Government, White Paper, London, Cabinet Office, 1999).
были ли наблюдаемые эффекты «причинены» политикой или действиями заинтересованных сторон.
Как правило, из-за исследовательских навыков и возможностей, которых требует проведение полностью сформировавшихся ретроспективных оценок политики, они чаще всего осуществляются внешними исследователями путем проведения уполномоченной / контрактной научно-исследовательской работы [12]. Как только уполномоченный оценщик завершил исследование и представил результаты, как правило, решение вопроса о том, следует ли и каким образом собираются использовать эти результаты, полностью отдается на усмотрение политических субъектов или агентств (которые наделяют полномочиями).
1.2. Предварительная оценка
Предварительная оценка направлена на заблаговременную оценку воздействий и последствий исследуемой политики, программы или меры, в результате которой должны быть предусмотрены и изучены альтернативные сценарии. Также в случае предварительной оценки соответствующий политический деятель решает, будет ли и каким образом использована предварительная оценка.
Логика предварительной оценки свойственна и различным типам предоценивания воздействия, таким как оценка воздействия на окружающую среду, оценка воздействия правового регулирования (в Германии - Gesetzesfolgenabschätzung [13]), оценка распорядительного воздействия. Более того, построенный на логике предварительности, предварительный анализ затрат заранее направлен на констатацию как преимуществ, так и затрат на проведение предполагаемой политики или меры (возможно, также преследуя альтернативные пути действий), а одновременная оценка затрат и преимуществ какой-то меры позволяет взвесить плюсы и минусы и обеспечить их баланс.
Система всесторонней оценки, которой придерживается Европейский Союз начиная с середины 1990-х гг., учредила вместо оценки программ структурных фондов некий исключительный вариант предварительной оценки, согласно которой внутри каждой фазы пятилетней программы предписывается последовательность шагов предварительной, текущей (по терминологии ЕС - промежуточной) и последующей оценки. Она концептуально и процедурно уполномочена поддерживать результаты операции предварительной оценки на последующих этапах программы.
1.3. Текущая оценка
Текущая оценка, которая, в принципе, начинается, как только рассматриваемая политика или мера начинают осуществляться, имеет целью установить промежуточные воздействия, порожденные соответствующей политикой и мерой. Одна из ключевых задач текущей оценки заключается в передаче промежуточных результатов разработчикам политических решений и/или заинтересованным операторам проектов (обратная связь), с тем чтобы дать им возможность исправить и изменить замысел соответствующей политики или процесс реализации. Таким образом, текущая оценка, по существу, предназначена обеспечить и стимулировать использование соответствующей информации.
Тем не менее, как правило, именно оператору программы или меры предоставляется решать, используется ли информация, поступающая по линии обратной связи, и каким образом она используется. В противоположность этому, в варианте «вмешательство» и «участие» текущей оценки «оценка» активно участвует в процессе взаимного обучения и использования (см. ниже 1.4).
Сравнительный анализ (бенчмаркинг)
Бенчмаркинг можно рассматривать как вариант текущей оценки, когда результаты периодически или не периодически проводимого мониторинга соответствующих изменений и воздействий размещаются в сравнительной перспективе, проводится ли мониторинг внутри организации или между организациями (о разработке контрольных показателей в Германии см.: [14; 15]; о международном обзоре см.: [16; 17; 18, p. 226]). Решение о том, использовать ли и каким образом сравнительный анализ, опять-таки зависит от соответствующего оперативного подразделения. Здесь следует отметить, что в рамках реформы германского федерализма в 2009 г. бенчмаркинг получил конституционное признание (в ст. 91b Федеральной Конституции) в качестве инструмента сравнения для «оценки и продвижения осуществления управления».
Управление исполнением, инспирированное концепцией Нового Государственного Управления
Значительный шаг в направлении институцио-нализации решающей петли обратной связи можно увидеть в системе управления, которая является неотъемлемой частью концепции Нового Государственного Управления. Его немецкая производная -Новая Модель Управления (Neues Steuerungsmodell). Она зависит от предпосылки, что на основе индикаторов информация о текущей деятельности, в том
числе достижениях, а также данных о затратах, стабильно предоставляется ответственным операторам и действующим лицам (обратная связь). Если такое управление на основе индикаторов предназначено для работы в первую очередь внутри администрации, т. е. в пределах соответствующей административной единицы, то его можно рассматривать как форму самооценки, которая несколько напоминает концепцию Никласа Лумана о самосоотнесении [19]. Данная концепция была разработана для установления связи действующих лиц внутри администрации напрямую и устойчиво с потоком информации по линии обратной связи. Для соединения контура обратной связи с внешним административным миром устанавливается система отчетности, основанная на показателях, которая предназначается для информирования политических лиц, принимающих решения (например, парламента и местного совета), а также политической общественности о состоянии дел (по Германии см.: [20, б. 303; 21]. Из-за предназначения петли обратной связи, такой как центральная оценочная функция, и поскольку ее процедурно интегрируют в систему оценки НПМ, она была признана некоторыми как введение «новой волны» оценки [9].
1.4. Интерактивная оценка участия, сфокусированная на пользователей
В рамках текущей, или сопровождающей, оценки можно провести различие между аналитической модальностью, в которой оценщик остается, как это было, обособленным и дистанцированным, и оцениваемой операцией, для того чтобы утвердить независимость и объективность процесса оценки и его результатов [10, р. 394]. В противоположность этому, интервенционистская модальность текущей / сопровождающей оценки подразумевает намеренное активное участие оценщика в процессе реализации, с тем чтобы внести свой вклад, исправить недостатки и дать совет оператору. Такая ориентация на вмешательство приближает концепцию социальных наук о практических исследованиях [10, р. 394]. В то время как этот режим участия в оценке ставит под угрозу и снижает объективность выводов, он усиливает потенциал взаимного обучения и обмена идеями.
Были выдвинуты аналогичные типы стратегий для заполнения разрыва между ролью оценщика и тем, что «оценивается» - с различными акцентами роли оцениваемого, - такие как интерактивный [22], связанный с пользователем [23] или связанный с наделением полномочиями способы оценки.
Их общая черта заключается в том, объект оценивания повышает свою значимость при получении и использовании результатов оценивания [24, s. 92].
2. Концепции использования знаний, полученных в ходе исследований
В 1970-е гг. в США изучение использования знаний развивалось в качестве области исследований в рамках социальных наук, которые ставили вопрос о том, использовались ли полученные в их рамках знания и применялись ли они в политической, административной и социальной практике, а также каким образом и почему. Кэрол Вайсс была, пожалуй, самым известным и влиятельным ученым в этой области [25; 26, s. 392]. В течение 1980-х гг. на этом направлении сфокусировалась также исследовательская группа в Германии, которая финансировалась Исследовательским советом Германии (Deutsche Forschungsgemeinschaft) и работу которой координировал Ульрих Бек (по концепции и результатам этой исследовательской группы см.: [27]).
В ходе обсуждения по использованию знаний выявились различные подходы, которые могут быть сгруппированы по различиям между политической и научной рациональностям. В идеале, первая может рассматриваться как характерная для «политико-административного мира», действующие лица которой в основном одержимы желанием получить и удержать власть и реализовать свои собственные интересы и интересы последователей. В противоположность этому, научную рациональность следует рассматривать как специфическую в системе науки, при этом ее сторонники (выступая как классические идеалисты) придерживаются независимого, объективного и беспристрастного «поиска истины».
На ранней стадии этой дискуссии преобладала концепция «двух миров» [28], которая основывалась и руководствовалась совершенно отличающимися друг от друга и не совместимыми по существу рациональностями и логиками.
В пределах понятий об отношениях между «миром политики» и «миром науки» одна из точек зрения воспринимает процесс принятия решений в политическом мире как нечто заданное политической волей правящего большинства и его решимостью отстаивать свои интересы и интересы своей «клиентуры», отказываясь от научных доказательств. Этот режим принятия решений, связанный политической рациональностью, соответствует модели «решенчества», которую предложил Юрген Хабермас [29].
Концепция использования инструментального знания, тесно граничащая с моделью принятия решений, где доминирует политическая рациональность, основана на предположении о том, что политические ключевые решения (в отношении целей политики, распределения ресурсов и т. д.) определяются политически, т. е. политической рациональностью. В то же время к знаниям, полученным исследованиями социальных наук, обратились политические лица, принимающие решения, чтобы обеспечить консультации и информацию о путях и средствах относительно того, как достичь политически заранее определенные цели [30]. Подобная инструментальная концепция и коннотация использования вспомогательных знаний резонирует в технике и моделях решения проблем [25].
Точно так же концепция символического использования знаний стремится к доминированию политической рациональности, так как она предполагает использовать не соответствующие политико-административные субъекты, а уместные знания, полученные социальными науками, и опыт для того, чтобы подтвердить и узаконить (постфактум) ранее принятые решения [31, s. 493].
В том же духе, тактическое использование знаний, полученных в ходе исследований, руководствуется политической рациональностью, когда политические деятели прибегают к назначению исследования с целью «выиграть время» и «пересидеть» текущие конфликты [25].
В противоположность этому, научная рациональность преобладает в понятиях, согласно которым принятие политического решения (в основном) руководствуется знаниями и фактическими данными, полученными социальной наукой. Ярким примером может послужить концепция и призыв к «реформам как экспериментам», озвученная и пропагандируемая Дональдом Кэмпбеллом [4]. Его концепция «экспериментальной политики» основывается на идее о том, что решение принять определенную политику или меру окончательно должно быть принято только после того, как оно прошло «экспериментальное реальное испытание» и получило точную оценку с научной точки зрения. (Для получения дополнительной информации см.: [5; 6].) Принцип, согласно которому политические решения должны по существу руководствоваться научной экспертизой, соответствует технократической модели Юргена Хабермаса [29].
Другая научная школа приписывает научной рациональности определенное превосходство и
потенциал просвещения перед «политическим миром». Следовательно, даже когда и если понятия, выработанные научным исследованием, не сразу и не напрямую приняты и переведены в политические решения, они могут определить свой путь - в виде «данных, идей, аргументов» [32]. И, как это было, они могут «просочиться» на арену принятия решений и в плеяду политических деятелей многообразными диффузионными путями и через информационные сети, такие как парламентские слушания, профессиональные семинары и публикации, средства массовой информации, неформальные контакты и т. д. [33], прежде чем они наконец «прибудут» - возможно, в измененной и «преобразованной» форме [34].
И, наконец, следует упомянуть о так называемой концепции «компромисса», в которой возможное противоречие и конфликт между политической и научной рациональностью сглажен путем диалога или прагматической модели [29]. Это в значительной степени совпадает с пониманием того, что в «реальном мире» процесс оценки, в частности в его различных «текущих» вариантах, разворачивается как взаимодействие между оценщиком и «оцениваемым» и, следовательно, как взаимный когнитивный и познавательный процесс.
3. Выборочное исследование по использованию результатов оценки
Далее будет дан краткий отчет об использовании оценочных исследований. Кроме Германии в обзор включена Швейцария, в которой с конца 1990-х гг. наблюдается значительное расширение деятельности в области оценки, а также ЕС, который начиная с середины 1990-х гг. ввел всеобъемлющую систему оценки по программам структурного финансирования.
3.1. Германия
С конца 1960-х гг. Германия была одной из передовых европейских стран по расширению оценочных исследований и по-прежнему входит в число стран интенсивной оценки [7; 11; 35; 36]. Совсем недавно сильные импульсы для дальнейшего содействия оценке поступали из сферы политики на рынке труда, политики в области образования, где под давлением Организации экономического сотрудничества и развития проводились опросы и оценивание типа PISA (Международная программа по оценке образовательных достижений учащихся). Свой вклад внесла и поддержка со стороны ЕС всесторонней оценки своих программ структурных фондов (для получения дополнительной информации см. отчеты политики в: [37]). Федеральное бюджетное
регулирование (Bundeshaushaltsordnung) от 2001 г. предусматривает проведение оценки (по терминологии этого положения - «управление успехом», Erfolgskontrollen) «[всех] мер, относящихся к финансовым вопросам»3. В то же время Федеральное бюджетное регулирование предусматривает, что, помимо проведения контроля «управления успехом» «соответствующих мер в финансовом отношении», должны проводиться исследования с целью выявления, внедряются ли результаты такого «управления успехом» (umsetzen) министерством или соответствующим учреждением.
Учитывая измеряемый большим (и постоянно расширяющимся) объёмом политических оценок, которые проводились (и в настоящее время проводятся) на федеральном уровне и уровне земель, и учитывая, что с 2001 г. исследования по «реализации» (Umsetzung) результатов оценки получили юридическое признание и заметность, приходится констатировать, что на удивление не хватает количества и объема имеющихся соответствующих исследований и информации, по крайней мере по результатам проведенного нами анализа.
В 1989 г. Президент Федеральной счетной палаты (Bundesrechnungshof) назначил комплексное исследование, которое было направлено на оценку реализации Федерального бюджетного регулирования 2001 г. по двум важнейшим показателям: во-первых, проводится ли контроль «управления успехом» соответствующими министерствами, а во-вторых, были ли реализованы результаты такого «управления успехом» (umsetzen). Данная функция получила название Федерального мандата на исследование экономической эффективности в управлении (Bundesbeauftragter für Wirtschaftlichkeit in der Verwaltung).
Что касается вопроса о том, были ли реализованы результаты оценки («управление успехом»), то в 1989 г. было проведено соответствующее расследование, которое пришло к выводу, что коэффициент использования был низким [37, s. 33]4.
Спустя примерно десять лет Президент Федеральной счетной палаты назначил повторное расследование. Опять же оценка коэффициента использования была в основном негативной. «Реализация результатов "управления успехом" (например, коррекция, продолжение или прекращение меры), за исключением нескольких министерств, сильно различалась, но в целом была мала. В некоторых случаях меры продолжали прекращаться вопреки соответствующим результатам "управления успехом" без объяснения причин»5.
Среди министерств только Федеральное министерство международного экономического сотрудничества положительно выделяется в различных аспектах. С одной стороны, было отмечено, что «учитывается понимание сути причин неудачных мер в последующих проектах», в том числе «учения на ошибках»6. Кроме того, было акцентировано, что «в отдельных... проектах через 10-15 лет после их завершения была проведена последующая оценка (ex post) с целью оценки прочности (nachhaltig) успеха меры»7.
В последующем исследовании 1998 г. также был рассмотрен вопрос о том, проводилось ли оценочное «управление успехом» (Erfolgskontrolle), в соответствии с требованиями Предписаний 2001 г. Было отмечено, что «управление успехом» не удалось провести прежде всего по политически мотивированным факторам. «В тех случаях, в которых можно было предвидеть, что политический руководитель (Leitung) может находиться под отрицательным влиянием ошибки меры, должностные лица, ответственные за "управление успехом", предполагали конфликты с политическим руководителем, чего они хотели избежать»8.
С другой стороны, Федеральное министерство экономического сотрудничества, которое получило положительную оценку в вышеупомянутом отчете, выделяется среди федеральных агентств благодаря своим инициативам и инновациям в области оценки. Уже в начале 1970-х гг. это министерство
3 „.. .Erfblgskontrollen finanzwirksamer Massnahmen".
4 Bundesbeauftragter für die Wirtschaftlichkeit der Verwaltung, 1989, Erfolgskontrolle finanzwirksamer Maßnahmen in der öffentlichen Verwaltung, Gutachten.
5 Bundesbeauftragter für die Wirtschaftlichkeit der Ver-
waltung, 1998, Erfolgskontrolle finanzwirksamer Maß-
nahmen in der öffentlichen Verwaltung, Gutachten,
2. Aufl. S. 27.
6 Ibid. S. 28.
7 Bundesbeauftragter für die Wirtschaftlichkeit der Verwaltung, 1989. S. 24.
8 Bundesbeauftragter für die Wirtschaftlichkeit der Verwaltung, 1998. S. 28.
Law Enforcement Review
начало создавать и институционализировать систему оценки [38; 39]. Это было первое федеральное министерство, которое создало внутреннее подразделение по оценке и инспектированию, которое с самого начала было предназначено способствовать использованию результатов оценки путем подачи их обратно в текущий процесс принятия решений, а также в министерство, связанное с профессиональным обучением [40, s. 293]. В то время как на начальном этапе оценочные исследования были в основном направлены на индивидуальное развитие и проекты оказания помощи, стратегия оценки министерства по истечении нескольких лет все больше и больше нацелена на «накопление» и «синтез» собранных знаний об оценке и информации - путем сквозных оценок (так называемые «метаоценки»). Из последнего должны быть тщательно подобраны общие рекомендации и критерии, чтобы служить в качестве руководства для отбора, планирования и проведения будущих проектов в области развития [38, s. 380]. Кроме того, в более позднем направлении мероприятия по оценке обратились к долгосрочной перспективе и долгосрочным последствиям проектов развития, которые до сих пор часто пренебрегались, так как фокус оценки был направлен на краткосрочные эффекты и результаты. В целом стратегии оценки и мероприятия, которые проводились Федеральным министерством экономического сотрудничества, доказали, что опыт министерства в его усилиях по оценке, а также предоставлении результатов оценки следует считать достойным подражания.
На протяжении многих лет академическое научное сообщество (на базе университетов) едва ли продемонстрировало какой-либо интерес к изучению возможности использования знаний, полученных социальной наукой, не говоря уже о результатах, полученных оценкой. Надо признать, что в результатах исследования, которое в 1980-х гг. провела исследовательская группа под руководством Ульриха Бека при финансовой поддержке Исследовательского совета Германии, не было приведено ни одного достойного внимания основного научно-исследовательского проекта в этой области на базе высшей школы [27].
Тем не менее следует отметить, что совсем недавно группа ученых в области социальных наук взялась за проект, хотя и малый, который направлен на изучение научных открытий в немецких федеральных министерствах [41]. На основании письменного вопросника, разосланного очень небольшой вы-
борке чиновников на высоком министерском уровне - с низкой скоростью отклика [41, s. 483], был сделан вывод о том, что «несоответствие между важностью использования результатов оценки и практикой очень велико» [41, s. 465].
Наконец, необходимо упомянуть об исследовании, которое проводилось в виде кейса-стади с использованием информации, полученной при оценке законодательной деятельности Федерального министерства городского развития (Bundesbauministerium) [33]. На основании «анекдотических» (а не систематических) доказательств, в том числе при личном участии одного из авторов соответствующего законодательного процесса, исследование проливает некоторый свет на сложные условия и ход законодательного принятия решений. Исследование показало, что поток информации, полученной при оценке, является лишь одним из нескольких информационных каналов, к которым имеют доступ ответственные законодательные лица и которые обеспечивают их зачастую противоречащими друг другу данными. Что касается существа принятия решений, исследование утверждает, что знания, полученные оценкой, вряд ли оказывают заметное влияние на законодательные решения, которые занимают приоритетное место в политической повестке дня действующего правительства и его министров, тем самым давая преимущественную силу политической рациональности. Тем не менее, когда речь идет об урегулировании незначительных вопросов при разработке законодательных проектов, информация, инструментальные знания и рекомендации, полученные при оценке, действительно зачастую играют определенную роль. Исследование также дает некоторое понимание особенностей министерского или парламентского законодательного процесса и показывает, что соответствующая информация в результате оценки может не найти прямой доступ к законодательным решениям. Информация, однако, может пройти через задержки и обходные пути, может быть сохранена и представлена в министерских архивах или умах, прежде чем будет использована, возможно, в измененном или обработанном виде, если и когда, наконец, открывается «законодательное окно возможностей».
3.2. Швейцария
С конца 1990-х гг. в Швейцарии начала широко распространяться практика оценки политики, что подняло эту страну на лидирующие позиции среди европейских стран [36, s. 515]. Такое развитие событий значительно продвигалось с 1999 г. - после при- 13
нятия ст. 170 Конституции, согласно которой Федеральное Собрание (Bundesversammlung) уполномочено «следить за тем, чтобы проверялась эффективность мер, принимаемых Конфедерацией»9 [42, s. 53]. С тех пор оценочная функция была закреплена в большом количестве законодательных положений, таких как статьи об оценке, парламентский контроль административных операций, финансовый контроль (Eidgenössische Finanzkontrolle). На уровне конфедерации в период с 1999 по 2002 г. было проведено около 500 оценочных исследований [42, s. 60; 43].
В результате такого массивного расширения оценочной деятельности на уровне конфедерации и кантонов появился повышенный интерес к изучению использования результатов оценки. В ходе опроса, который проводился среди должностных лиц, ответственных за оценку на уровне органов власти конфедерации, две трети из них указали, что «коэффициент использования» был «высокий или достаточно высокий» (hoch oder eher hoch) [31, s. 497]. Примерно в половине оценок с «высоким или достаточно высоким» коэффициентом использования режим использования был оценен как непосредственная реализация рекомендаций, предоставленных оценщиками [31, s. 498]. Для объяснения сравнительно высокого коэффициента использования Андреас Бальтазар приводит доводы, ссылаясь на концепцию использования «связанное с процессом» Майкла Паттона, что «высокий коэффициент использования можно ожидать, если и когда оценщик тесно сотрудничает с тем, кто/что подвергается оценке», откуда он выводит понятие роли эксперта по оценке как «критического друга». В противоположность этому, Бальтазар не находит «никаких доказательств того, что вероятность использования знаний повышается, когда в институци-онализации функции оценки приоритет отдается расстоянию и независимости между оценщиком и оцениваемым» [44, s. 243].
3.3. Европейский Союз
Для оценки своих структурных фондов Европейский Союз внедрил с 1995 г. систему оценки, которая, рассматривая серию пятилетних периодов
9 „...dafür zu sorgen, dass die Maßnahmen des Bundes auf ihre Wirksamkeit überprüft werden".
10 European Commission, 2001: Annual Evaluation Review 2000. URL: http://ec.europa.eu/dgs/secretariat_ general/evaluation/docs/eval_review_2000_en.pdf.
11 European Commission; European Commission, 2010:
Annual Evaluation Review 2009. URL: http://ec.europa.
(первый период - с 1996 по 2000 г.), основана, в течение каждого периода действия программы, на систематической последовательности предварительной, промежуточной (текущей) и последующей оценки [45, s. 72]. Сложность и сфера применения системы оценки увеличиваются, принимая во внимание тот факт, что оценка Европейского Союза предусмотрена для реализации как на уровне Европейской комиссии, так и на уровне стран-членов.
На уровне Европейской комиссии каждый генеральный директорат проводит оценку (или уполномочен оценивать) политики и программы финансирования в рамках соответствующей юрисдикции. В период финансирования 1996-2000 гг. было назначено около 470 оценочных исследований10. В 2000 г. расходы на эту статью составили 14 млн евро. «Ежегодный обзор оценки» представлен в отчете о текущих проектах по оценке11.
На национальном уровне страны-члены (в Германии, например, в связи с её федеративной структурой, это относится прежде всего к региональным административным единицам) в свою очередь обязаны проводить оценку структурного финансирования, которое они получают. Они тоже должны следовать трёхфазному циклу оценки (предварительная, промежуточная и последующая) с ритмом в пять лет12. Во всех странах, использующих подобную модель, это привело к появлению «ландшафта» исследования оценки для реализации (и получения финансирования) этих проектов оценивания (по Германии см.: [46]).
В последующем обсуждении основное внимание будет уделено и будет ограничено проведением (и использованием) оценки, подпадающей под мандат и юрисдикцию Европейской комиссии, а также генеральных директоратов. Наше обсуждение будет опираться на эмпирическое исследование по «использованию результатов оценки в Комиссии», которое проводила группа учёных по заказу Европейской комиссии (в группу входили К. Уиль-ямс, Б. де Лаат, Г. Бастиан и Е. Штерн)13.
На основе своей комплексной работы исследовательская группа приходит к выводу, что, хотя ре-
eu/dgs/secretariat_general/evaluation/docs/final_aer_ 2009_en.pdf.
12 Ibid.
13 EPEC (European Policy Evaluation Consortium), 2005: Study on the Use of Evaluation Results in the Commission.
зультаты оценки действительно повлияли на работу (управление и реализацию) мер финансирования, они не оказали заметного влияния на политически чувствительные и спорные вопросы, такие как распределение и присвоение финансовых ресурсов. «Оценка имеет функцию инструмента для управления и реализации мероприятий, но по большому счету она играет очень незначительную роль в бюджетных ассигнованиях, которые остаются в высшей степени политическим процессом, а не тем случаем, когда существенно учитываются доказательства, вытекающие из оценки»14.
4. Заключение и выводы
4.1. Дальнейшее расширение деятельности в области оценки
В последние годы всё же стали расширяться подходы и мероприятия по оценке. Это относится к «классической» последующей оценке политики, программ и мер, на которые было сфокусировано наше обсуждение в этой статье на примере Германии, Швейцарии и ЕС в качестве «случаев уместной практики». Но такое расширение относится и к другим подходам и вариантам оценки, и не в последнюю очередь благодаря достижениям мониторинга на основе показателей, сравнительного анализа, а также процедурам и инструментам управления исполнением, для которых решающее значение имеет генерирование оценочных результатов и обратная связь.
Таким образом, накопление полученной в процессе оценки информации и знаний о влиянии политики и мер возросло, хотя и не в геометрической прогрессии, что свидетельствует о необходимости выработки научно-обоснованной политики и широкого использования имеющихся результатов исследований независимо от того, являлись ли они обязательными или срочными.
4.2. Область применения и ограничения при использовании знаний, полученных в результате оценки
Сосредоточившись на сферах и примерах «классической» последующей оценки в Германии, Швейцарии и ЕС, мы пришли в нашем отчёте к выводу, что степень использования знаний, генерируемых оценкой, оказалась, по большому счету, невысокой. Вдобавок ко всему, научные исследования, относящиеся к данной теме, предполагают, что результаты оценки были реализованы, но они имеют отношение не к политически важным ключевым решениям политиков,
14 EPEC, 2005: Study on the Use of Evaluation Results in the Commission.
но к наименее важным вопросам - производственным и т. д. С учётом нашей ранее представленной концептуальной дискуссии можно сказать, что в отношении политически важных решений превалирует политическая рациональность, в основе которой лежит политическая воля лиц, принимающих решения. Если же говорить о менее важных решениях, доводы, полученные в результате оценки, действительно показывают некоторое воздействие, и, следовательно, какая-то доза научной рациональности выступает на первый план.
Тем не менее такая оценка и интерпретация, возможно, требуют некоторой модификации во всех отношениях.
С одной стороны, что касается убедительности интерпретации относящихся к теме научных исследований, следует иметь в виду, что они в значительной степени руководствовались концептуальным объективом, который аналитически распознает только случаи немедленно приведённого в исполнение использования результатов оценки. Следовательно, они имеют тенденцию игнорировать режимы и события использования, которые могут возникнуть позже в ходе процесса принятия решений, такие как эффекты «уснувших». В кратком обзоре законодательной деятельности, разворачивающейся в немецком федеральном министерстве [33], есть намёк на сложный процесс соответствующей (и, возможно, противоречивой) причастности информации (что-то наподобие утечки) к процессу принятия решений - что согласуется со схемой концептуального использования с дозой «просветительства» (проводимой концепцией научной рациональности) [25].
Во-вторых, что касается диапазона использования оценки постфактум, обсуждаемого в этой статье, по общему признанию он ограничен. Основные сферы политики (и палитра их оценки) не были включены в настоящий отчет. Это относится не в последнюю очередь к области образования и университетских реформ, по которым в результате инициатив PISA ОЭСР (см. выше) на национальном и международном уровне были проведены крупномасштабные опросы и даны оценки, которые, безусловно, заслуживают внимания, не в последнюю очередь в ракурсе использования знаний.
Другой оценочный курс, продвигающийся на национальном и международном уровне, выглядит
многообещающим для дальнейшего обсуждения и исследования - это схема контрольных показателей (бенчмаркинг) [16; 17]. Эмпирические данные показывают, что схема бенчмаркинга повысила оперативную и финансовую прозрачность административной деятельности и стимулировала, что называется, «познание основ». Тем не менее такая попытка большей прозрачности на уровне оперативного и финансового выполнения до сих пор часто ограничивалась административным миром, тогда как политические лица, принимающие решения (в местном совете и т. д.), и общественность в целом до сих пор не подключены или подключены недостаточно [15, б. 158].
5. Результаты исследования
Политически, административно и социально значимые знания, сгенерированные в результате оценки, продолжают увеличиваться, хотя и не в геометрической прогрессии. Этот процесс осуществлялся на разных направлениях оценки, будь то последующая, предшествующая оценка, мониторинг или схема текущей оценки.
В то время как некоторые эмпирические данные об использовании потенциала различных стратегий и методов оценки, без сомнения, уже доступны, они до сих пор фрагментарны и «эпизодичны» и не имеют систематического и комплексного характера. Ощущается потребность в дальнейшем исследовании на предмет того, почему и каким образом были использованы результаты оценки (и почему нет).
Университетские научные исследования и ученые в области политических / социальных наук в прошлом продемонстрировали примечательную (и
прискорбную) сдержанность во внимании к проблеме использования знаний, полученных в результате оценки, в политической, административной и социальной практике. Кроме возникшего и процветавшего в США в 1970-е гг. исследования по использованию знаний и недолго продлившегося подъема в Германии в 1980-е гг. [27], с тех пор не отмечалось хоть какого-то заметного участия в этом вопросе учёных в области политических / социальных наук.
Научно-исследовательская деятельность политических / социальных наук должна идти вперед, чтобы закрыть этот разрыв исследований по двум оценкам.
Во-первых, должно возобновиться и продолжаться исследование, с тем чтобы эмпирически изучить использование знаний в различных направлениях и сферах оценки.
Во-вторых, чтобы преодолеть фрагментацию результатов научных исследований и знаний, исследования должны двигаться вперед и необходимо попытаться, что несколько напоминает представление ГарольдаЛассуэлла о политологии [2], систематизировать и обобщить выводы о том, почему и каким образом (и почему нет) используются актуальные знания, полученные оценкой.
Для решения вопросов повестки дня политические / социальные научные исследования должны, говоря нормативным языком, в атмосфере напряженности между политической рациональностью и научной рациональностью выступать в защиту последней и, таким образом, как в названии известной книги Аарона Вилдавски, «говорить власти правду» [47].
СПИСОК ИСПОЛЬЗОВАННОЙ ЛИТЕРАТУРЫ (REFERENCES)
1. Weber M. Wirtschaft und Gesellschaft. Tübingen, Mohr Siebeck, 1922.
2. Lasswell H.D. The Policy Orientation, in: Lerner D., Lasswell H.D. (eds.). The Policy Sciences. Stanford University Press, 1951, pp. 3-15.
3. Wagner P., Weiss C.H., Wittrock B., Wollmann H. The policy orientation: Legacy and perspective, in: Wagner P., Weiss C.H., Wittrock B., Wollmann H. (eds.). Social Science and Modern States. Cambridge University Press, 1991, pp. 2-19.
4. Campbell D.T. Reforms as Experiments. American Psychologist, 1969, Vol. 24, no. 4, pp. 409-429.
5. Hellstern G.-M., Wollmann H. (Hrsg.). Experimentelle Politik - Reformstrohfeuer oder Lernstrategie. Opladen, Westdeutscher Verlag, 1983.
6. Danielson C. Social Experiments and Public Policy, in: Fischer F., Miller G.J., Sidney M.S. (eds.). Handbook of Public Policy Analysis. CRC Press, 2007, pp. 381-392.
7. Furubo J.-E., Sandahl R. A Diffusion Perspective on Global Development in Evaluation, in: Furubo J.-E., Rist R.C., Sandahl R. (eds.). International Atlas of Evaluation. New Brunswick, Transaction, 2002, pp. 1-26.
8. Wollmann H. (ed.). Evaluation in Public Sector Reform. Edward Elgar, 2003.
Журнал «Правоприменение» 2017. Т. 1, № 1. С. 7-18
ISSN 2542-1514-
9. Wollmann H. Evaluation in Public Sector Reform. Trends, Potentials and Limits, in: Wollmann H. (ed.). Evaluation in Public Sector Reform. Edward Elgar, 2003, pp. 231-258.
10. Wollmann H. Policy Evaluation and Evaluation Research, in: Fischer F., Miller G.J. Sidney M.S. (eds.). Handbook of Public Policy Analysis. CRC Press, 2007, pp. 393-404.
11. Wollmann H. Evaluation in Public Sector Reform. Towards a "new wave" of evaluation, in: Wollmann H. (ed.). Evaluation in Public Sector Reform. Edward Elgar, 2003, pp. 1-11.
12. Wollmann H. Contractual Research and Policy Knowledge, in: International Encyclopedia of Social and Behavioral Sciences. Vol. 5. 2002, pp. 11574-11578.
13 Konzendorf G. Institutionelle Einbettung der Evaluationsfunktion in Politik und Verwaltung in Deutschland, in: Widmer Th., Beywl W., Carlo F. (Hrsg.). Evaluation. Wiesbaden, VS Verlag, 2009, ss. 27-33.
14. Korte R. Ziele, Aufwand und lokaler Nutzen von Kennzahlen und Kennzahlvergleichen für Kommunen aus der Sicht initerkommunaler Vergleichsringe, in: Kuhlmann S., Bogumil J., Wollmann H. (Hrsg.). Leistungsmessung und -vergleich in Politik und Verwaltung. Wiesbaden, VS Verlag, 2004, ss. 123-137.
15. Hollenrieder J. Benchmarking für soziale Dienstleistungen im Rahem der Arbeitsmarkt- und Sozialpolitik in: Kuhlmann S., Bogumil J., Wollmann H. (Hrsg.). Leistungsmessung und -vergleich in Politik und Verwaltung. Wiesbaden, VS Verlag, 2004, ss. 150-161.
16. Kuhlmann S. Performance measurement in European local governments: a comparative analysis of reform experiences in Great Britain, France, Sweden and Germany. International Review of Administrative Sciences, 2010, Vol. 76, no. 2, pp. 1-15.
17. Jäkel T., Kuhlmann S. Lernen von den Besten? Steuerung und Nutzung von Leistungsvergleichen in europäischen Verwaltungen, in: Kropp S., Kuhlmann S. (Hrsg.). Wissen und Expertise in Politik und Verwaltung, der modern staat, Sonderheft 1/2013. Verlag B. Budrich, 2014, pp. 141-160.
18. Kuhlmann S., Wollmann H. Introduction to Comparative Public Administration. Elgar, 2014.
19. Luhmann N. Soziale Systeme. Frankfurt, 1993.
20. Bogumil J., Grohs S., Kuhlmann S., Ohm A. Zehn Jahre Neues Steuerungsmodell. Berlin, Sigma, 2007.
21. Kuhlmann S., Bogumil J., Grohs S. Evaluating administrative modernization in German local government: success or failure of the "New Steering Model". Public Administrative Review, 2008, vol. 68, no. 5, pp. 851-863.
22. Balthasar A. Fremd- und Selbstevaluation kombinieren: der 'Critical Friend Approach" als Option. Zeitschrift für Evaluation, 2012, Vol. 11, no. 2, ss. 173-192.
23. Patton M.Q. Utilization-focused evaluation, 3rd ed. Thousand Oaks, Sage, 1997.
24. Wollmann H. Evaluation in Politik und Verwaltung, Ansätze, Ergebnisse, Verwendung, in: Reichard Ch., Schröter E. (Hrsg.). Zur Organisation öffentlicher Aufgaben. Leverkusen, Verlag B. Budrich, 2013.
25. Weiss C.H. The many meanings of research utilization. Public Administration Review, 1979, Vol. 39, no. 5, pp. 563-574.
26. Wollmann H. Kontrolle in Politik und Verwaltung: Evaluation, Controlling und Wissensnutzung, in: Schubert K., Brandelow N.(Hrsg.). Lehrbuch der Politikfeldanalyse 2.0, 2. Aufl. München, Oldenbourg Verlag, 2009, ss. 379-400.
27. Beck U., Bonß W. (Hrsg.). Verwendung, Verwandlung, Verwissenschaftlichung. Frankfurt am Main, Suhr-kamp, 1989.
28. Caplan N., Morrison A., Stambaugh R. The Use of Social Science Knowledge in Policy Decisions at the National Level. Ann Arbor, 1975.
29. Habermas J. Verwissenschaftlichte Politik und öffentliche Meinung, in: Technik und Wissenschaft als Ideologie. Frankfurt am Main, Suhrkamp, 1968.
30. Alkin M.C. Utilization of evaluation, in: Mathison S. (ed.). Encyclopedia of Evaluation. Thousand Oaks, Sage, 2005, pp. 234-236.
31. Balthasar A. Evaluationen in der Schweiz. Verbreitung und Verwendung, in: Widmer T., Beywl W., Carlo F. (Hrsg.). Evaluation. Ein systematisches Handbuch. Wiesbaden, VS Verlag, 2009, ss. 486-498.
32. Weiss C.H. Policy Research: data, ideas or arguments, in: Wagner P., Weiss C.H., Wittrock B., Wollmann H. (eds.). Social Sciences and Modern States. Cambridge University Press, 1991, pp. 290-306.
33. Krautzberger M., Wollmann H. Verwendung sozialwissenschaftlichen Wissens in der Gesetzgebung, in: Zeitschrift für Rechtssoziologie. 1988, ss. 188-205.
Журнал «Правоприменение» 2017. Т. 1, № 1. С. 7-18
-ISSN 2542-1514
34. Caplan N. Knowledge Conversion and Utilization, in: Holzner B., Knorr K., Strasser H. (Hrsg.). Realizing social Science Knowledge. Wien, 1983.
35. Wollmann H. Evaluation and public sector reform in Germany: Leaps and lags, in: Wollmann H. (ed.). Evaluation in Public Sector Reform, Edward Elgar, 2003, pp. 118-132.
36. Widmer T., Beywl W., Carlo F. (Hrsg.). Evaluation. Ein systematisches Handbuch. Wiesbaden, VS Verlag, 2009, ss. 117-128.
37. Stockmann R. (Hrsg.). Evaluationsforschung, 3. Aufl. Münster, Waxmann, 2006.
38. Stockmann R. Evaluation staatlicher Entwicklungsppolitik, in: Stockmann R. (Hrsg.). Evaluationsforschung, 3. Aufl. Münster, Waxmann, 2006, ss. 278-416.
39. Zintl M. Evaluierung in der deutschen Entwicklungszusammenarbeit, in: Widmer T., Beywl W., Carlo F. (Hrsg.). Evaluation. Ein systematisches Handbuch. Wiesbaden, VS Verlag, 2009, ss. 245-255.
40. Lorz R.E. Das Inspektionsreferat des Bundesministeriums für wirtschaftliche Zusammenarbeit, in: Hellstern G.-M., Wollmann H. (Hrsg.). Handbuch zur Evaluierungsforschung. Bd. 1. Opladen, Westdeutscher Verlag, 1984.
41. Spiel C., Bergsmann E. Zur Nutzung der Evaluationsfunktioon. Partielle Bestandsaufnahme und Pilotstudie in österreichischen und deutschen Bundesministerien, in: Widmer T., Beywl W., Carlo F. (Hrsg.). Evaluation. Ein systematisches Handbuch. Wiesbaden, VS Verlag, 2009, ss. 478-485.
42. Mader L. Die institutionelle Einbettung der Evaluationsfunktion in der Schweiz, in: Widmer T., Beywl W., Carlo F. (Hrsg.). Evaluation. Ein systematisches Handbuch. Wiesbaden, VS Verlag, 2009.
43. Balthasar A. Institutionelle Verankerung und Verwendung von Evaluationen. Praxis und Verwendung von Evaluationen in der Schweizer Bundesverwaltung. Zürich, Rüegger, 2007.
44. Balthasar A. Der Einfluss unterschiedlicher Instrumentalisierungsmodelle auf die Verwendung von Evalua-tioen: Erfahrungen aus der Schweiz. Zeitschrift für Evaluation, 2008, Vol. 7, no. 2, ss. 243-271.
45. Leeuw F.L. Evaluation in Europa, in: Stockmann R. (Hrsg.). Evaluationsforschung, 3. Aufl. Münster, Waxmann, 2006, ss. 64-84.
46. Toepel K., Schwab O. Evaluation in der europäischen Strukturpolitik. Zeitschrift für Evaluation, 2005, Vol. 1, ss. 63-74.
47. Wildavsky A. Speaking Truth to Power. Little Brown, 1979.
ИНФОРМАЦИЯ ОБ АВТОРЕ
Волльманн Гельмут - доктор юридических наук, профессор
Берлинский университет имени Гумбольдта D-10099, Germany, Berlin, Unter den Linden, 6 e-mail: [email protected] ORCID: orcid.org/0000-0003-1678-9715
INFORMATION ABOUT AUTHOR
Wollmann Hellmut - Doctor of Law, Professor Humboldt University of Berlin 6, Unter den Linden, Berlin, D-10099, Germany e-mail: [email protected] ORCID: orcid.org/0000-0003-1678-9715
БИБЛИОГРАФИЧЕСКОЕ ОПИСАНИЕ СТАТЬИ
Волльманн Г. Использование результатов оценки в процессе правовой разработки политики и управления / Г. Волльманн // Правоприменение. - 2017. - Т. 1, № 1. - С. 7-18. - ЭО! : 10.24147/2542-1514. 2017.1(1).7-18.
REFERENCE TO ARTICLE
Wollmann H. Utilization of evaluation results in legal policy-making and administration. Pravoprimenenie = Law Enforcement Review, 2017, vol. 1, no. 1, pp. 7-18. DOI: 10.24147/2542-1514.2017.1(1).7-18. (In Russ.).
