CC BY-NC-ND
325
О СОВЕРШЕНСТВОВАНИИ ИНДИКАТИВНЫХ ОЦЕНОК КАЧЕСТВА ГОСУДАРСТВЕННОГО УПРАВЛЕНИЯ
Барабашев А.Г., Макаров А.А., Макаров И.А.1
Аннотация
Рассматривается проблема повышения уровня объективности индикативных оценок качества государственного управления. Устанавливаются причины, затрудняющие разработку и применение индикативных оценок, препятствующие формированию единого теоретического подхода к оценке качества государственного управления на основе анализа данных. Описываются направления критики оценок качества государственного управления на основе анализа данных, показываются недостатки этой критики.
Анализ некоторых наиболее продвинутых практик странового индикативного оценивания позволил сделать вывод, что в настоящее время не устранены существенные недостатки подбора индексов. Предлагаются статистические инструменты совершенствования подбора страновых индексов и утверждается, что эти инструменты обеспечивают исключение дублирующих индексов. Устранение дублирующих индексов производится применительно к модели WGI. В заключении обсуждается возможность формирования инструментальной парадигмы «результативного государства» на основе статистических инструментов оценивания государственного управления.
Ключевые слова: индикативные оценки; индексы качества государственного управления; анализ данных для управления; эффективность государственного управления; государственное регулирование; управление по результатам; результативность управления.
1 Барабашев Алексей Георгиевич - доктор философских наук, ординарный профессор, научный руководитель департамента государственного и муниципального управления факультета социальных наук, заведующий кафедрой государственной и муниципальной службы департамента государственного и муниципального управления, Национальный исследовательский университет «Высшая школа экономики». Адрес: НИУ ВШЭ. 101000, г. Москва, ул. Мясницкая, д. 20. E-mail: [email protected] Макаров Алексей Алексеевич - кандидат физико-математических наук, профессор общеуниверситетской кафедры высшей математики, Национальный исследовательский университет «Высшая школа экономики». Адрес: НИУ ВШЭ. 101000, г. Москва, Кривоколенный переулок, д. 3а. E-mail: [email protected] Макаров Иван Алексеевич - студент департамента государственного и муниципального управления факультета социальных наук, Национальный исследовательский университет «Высшая школа экономики». Адрес: НИУ ВШЭ. 101000, г. Москва, ул. Мясницкая, д. 20. E-mail: [email protected]
Постановка проблемы: о статусе объективности и теоретическом статусе индикативных оценок качества государственного управления
В настоящее время индикативные оценки качества государственного управления получают все большее распространение. Применение индексов, индикаторов, показателей как инструмента оценки качества стало возможным вследствие нескольких фундаментальных причин содержательного (мотивирующего) и технического характера.
К содержательным причинам, побуждающим внедрять индикативные оценки государственного управления, можно отнести: заинтересованность гражданского общества в объективной оценке качества государственного управления; потребность аналитических и экспертных структур в инструментах оценки, которые обладали бы доказательной силой (то, что называется «доказательная политика»); востребованность бизнесом (инвесторами) информации о реальной ситуации в управлении на уровне стран и регионов; стремление самой власти, равно как и ее зарубежных и международных партнеров, понять реальные проблемы управления в «своей» стране, ее регионах, в отдельных агентствах/государственных органах, оценить имеющиеся достижения, провалы, риски2.
Технические причины внедрения индикативных оценок связаны с новыми возможностями сбора, хранения и обработки данных. Объемы управленческих данных стремительно возрастают; начинают собираться данные по новым направлениям, отражающим различные области управления (от управления в социальной сфере управления в сфере науки и инноваций); возникают значительные массивы данных и способы их обработки (технологии big data, цифровизиции и т.п.); появляется история данных, что позволяет проследить их динамику, проводить лонгитюдные исследования и т.д.
Использование индикативных оценок при принятии решений наряду с другими методами управления с помощью анализа данных способствует принципиальным изменениям государственного управления, превращая его в верифицируемый процесс. В перспективе ошибки в управлении могут быть просчитаны с помощью анализа динамики данных показателей, цена ошибок названа. Этот процесс идет «полным ходом»: на наших глазах происходит своеобразная «управленческая революция», возникает механизм обратной связи: «выявление управленческих ошибок посредством анализа данных - проблемы для лиц и органов, принимающих неудачные решения». Лица, ответственные за принятие решений, при наличии такой обратной
2 Внедрение систем эффективных контрактов (для заместителей Председателя Правительства РФ, глав субъектов РФ, руководства федеральных органов исполнительной власти), исполнение которых связано с постоянно изменяемым перечнем показателей результативности, показывает актуальность данного подхода для РФ. Основная проблема заключается в разработке корректных показателей, исключении второстепенных, неправильно ориентирующих, дублирующих показателей, обеспечении устойчивости (стабильности) системы показателей.
связи неизбежно начинают принимать решения на основе анализа данных, поскольку попытки «закрыть глаза» на негативные показатели, игнорирование аналитики данных, подделка данных чреваты осложнениями. Варианты управленческих решений, которые не были реализованы, из гипотетических (бесполезных для изучения) превращаются в обоснованные альтернативы, стоящие на фундаменте данных. К альтернативным моделям управленческих действий, основанным на анализе данных, в принципе доверия больше, чем к голословным утверждениям «лучше было бы поступить иначе» или же, наоборот, «неясно, к чему бы альтернативные решения привели, ведь историю не перепишешь».
Тем не менее, несмотря на огромный поток практики использования данных при оценке качества государственного управления (например, только в ЕС вложения из Европейского социального фонда и Европейского регионального фонда развития в соответствующие мероприятия по совершенствованию качества государственного управления для 19 стран ЕС с 2007 по 2013 г. составили 2 млрд. евро, а до 2020 г. предстоит потратить на эти цели еще 4,2 млрд, евро (см.: EUPAC, 2018, p. 7)), разработка увязанных в целое по подходам, принципам, методам теорий оценивания (единой парадигмы) запаздывает и не соответствует объему практики. Без комплексного анализа данных координация управленческих систем затруднительна. В свою очередь, фрагментарность государственного управления - как на горизонтальном уровне (недостаточная координация страновых систем управления), так и в вертикальном разрезе (отсутствие стыковки данных по уровням) -«влияет на неспособность государств осуществлять мониторинг и эффективно регулировать экономику» (Peters et al., 2011, p. 14). В особенности это проявилось во время кризиса 2008 г., когда традиционные (path-dependent) подходы, «аварийно» и бессистемно применяемые в условиях потребности в быстрых решениях, не позволили многим странам перестроить управление финансами, сформировать новые, визионистские механизмы управления (ibid., p. 16, 20).
В частности, если говорить о «верхнем уровне» оценок (индикативное оценивание страновых систем управления), то следует отметить, что наборы страновых индексов многообразны, разноплановы и даже противоречат друг другу, комбинации индексов отражают пристрастия разработчиков и страновые приоритеты, аргументы в пользу той или иной селекции индексов варьируются, опираются на разные подходы.
Например, укажем на историю разработки индекса GDP и его применения как основополагающего инструмента оценки экономического развития (сложности и проблемы с используемыми в нем данными представлены в научно-популярной книге: Lepenius, 2016). Одновременно, использование индекса GDP для комплексной оценки экономического и социального развития критикуется, исходя из необходимости поддерживать устойчивое развитие. Взамен предлагается использовать индекс Green GDP, в котором обеспечен баланс оценки экономического, социального и экологического развития (см.: Alfsen et al., 2006; Stiglitz et al., 2009; Бобылев и др., 2015).
Специалисты, работающие в области оценивания на основе данных, не осознают себя представителями единого движения (они «не институционализированы»), основанного на применении взаимоувязанных инструментов оценки качества государственного управления. Они «не чувствуют» своей принадлежности к традиции (которая еще только зарождается) оценивания на основе анализа данных, к тому, что можно условно назвать «оценочной парадигмой государственного управления», или же «инструментальной парадигмой», поскольку в ее основе должны находиться методы так называемой «объективной оценки»3 (БагаЬаэЬеу, 2016), или же к государственному управлению по результатам как «новой модели государственного управления, синтезирующей и усиливающей преимущества действующих и развивающихся моделей государственного управления» (Южаков, 2016, с. 167). В результате, главенствуют другие подходы к государственному управлению, оставляющие «зазор» для «усмотренческих» решений (веберовская иерархическая централизация, закрепляющая принятие решений за политическими элитами; ограниченное включение потребителя качества государственных услуг в их оценку; выборочное делегирование полномочий некоторым активным структурам гражданского общества, лоббирующим отдельные интересы).
Что же препятствует формированию новой, инструментальной парадигмы государственного управления как «датазависимого» (ёа1а-ёерепёеп1) процесса принятия решений, принимаемых с учетом анализа данных? По каким причинам эта парадигма представлена фрагментарно, в виде отдельных, зачастую противоречащих друг другу подходов (так, для «верхнего уровня» страновых оценок значительно отличаются способы выбора индексов, индикаторов, показателей, их использование разнородно, в оценку включаются иного рода критерии, не имеющие отношения к индексам; для «среднего уровня» оценок - направлений реализации политик и программ, оценок работы государственных органов - используются локальные показатели, не увязываемые ни друг с другом, ни с показателями близких программ и публичных политик; для «нижнего уровня» оценки эффективности и результативности служебной деятельности государственных служащих смешиваются процессные и результирующие показатели)? Почему уров-невые оценки разрабатываются и применяются без увязки друг с другом? Или, обобщая, почему до сих пор на уровне теории инструментальная парадигма объективного оценивания на основе анализа данных не существует как признанное, единое целое?
Можно назвать несколько наиболее обсуждаемых факторов отторжения оценок качества государственного управления на основе данных, в осо-
3 Под объективностью здесь понимается не предметная (онтологическая) объективность, а интерсубъектная объективность. Другими словами, предполагается, что результаты измерения социальных и экономических процессов, выраженные в виде данных, можно использовать для статистической обработки, им можно доверять. Поскольку математическая обработка данных с помощью статистических методов, если она проведена правильно, сохраняет доверие, «на выходе» получаются показатели (значения индексов, индикаторы и т.д.), которым также можно доверять, они объективны в указанном смысле. Проблемы доверия к данным, тем не менее, существуют и будут обсуждены далее.
бенности - индикативных страновых оценок. Во-первых, следует указать на политические факторы, проявляющиеся во многих странах в разных сочетаниях. Не в последнюю очередь препятствием для принятия решений на основе данных выступает желание элит реализовать свои интересы. Особенно это относится к индикативным оценкам. Во многих странах наблюдается стремление власти «переключить» внимание общества с индикативных оценок существующей ситуации на другие сюжеты: пропаганду отдельных достижений, локальных успехов; генерирование обещаний, стратегий, планов решительных преобразований; списание неудач и объяснение трудностей кризисами, внешними обстоятельствами, наличием внутренних и внешних противников (партийных, политических, военных, террористических и др.). Чтобы такое «переключение» работало не ослабевая, приходится постоянно находить или создавать новые поводы, как бы нагнетать обстановку. Представление об «исключительной прозорливости властвующих элит» может быть серьезно поколеблено анализом данных (если ими не манипулировать).
Административные (организационные) факторы отторжения «управления на основе данных» связаны с качеством управленческого аппарата, зачастую неспособного собрать и понять данные, использовать их корректно. Недостаток образования работников, повсеместное, характерное для многих стран отсутствие специализированных аналитических подразделений в муниципальных и государственных органах, нежелание многих правительств сотрудничать с экспертными структурами, почти полное отсутствие таковых структур в некоторых странах или же отсутствие выхода на экспертные структуры обесценивают данные, которые зачастую хранятся в качестве «мертвого груза». Индикативные оценки используются ограниченно и некорректно, поэтому предлагаются способы повышения их качества, включая, например, такие процедуры, как Randomized Control Trial, Systematic Reviews, Evidence & Gap Maps (Campbell Collaboration, 2018).
Наконец, внутренние факторы, способствующие распространению скептического отношения к принятию решений на основе данных, к их использованию для оценки и последующего принятия управленческих решений, в том числе с помощью индексов, индикаторов, показателей и т.д., связаны с такими четырьмя разнородными обстоятельствами, как:
- недостаточный учет в индексах объективных обстоятельств функционирования страновых систем государственного управления (например, недостаток средств на сбор и обработку данных, общественное недоверие к данным и вытекающее отсюда пренебрежение к точности ответов на вопросы и т.д.);
- некачественные способы сбора данных (Ford et al., 2018), подбор индикаторов в отрыве от измеримых непосредственных (outputs) и окончательных (outcomes) результатов (Bleyen et al., 2017), манипулирование при сборе данных, осуществляемое национальными статистическими органами и другими организациями (Pollitt & Bouckaert, 2017). К этому иногда прибавляются производимые национальными статистическими
органами и организациями подмена состава отдельных индексов, изменение методик их расчетов, ухудшающее возможности анализа динамики индексов по годам (Nemec, 2016);
- часто встречающееся ущербное агрегирование этих данных, произвольный отбор индексов, индикаторов и показателей для оценки. Распространена недобросовестная, тенденциозная селекция показателей, которая выставляет определенные страны, регионы, государственные органы, социальные политики, программы в лучшем виде и тем самым фактически принижает государственное управление других стран, другие политики, программы, имеющиеся практики управления (пример улучшения места в страновых рейтингах управления за счет удачной конфигурации используемых индексов применительно к Венгрии -см.: Good Governance, 2015);
- введение показателей зачастую подталкивает государственные органы к «работе на показатели» вместо «работы на результат». Подразумевается, что на практике распространен сбор отчетности по таким показателям, которые можно улучшить, «накрутив отчетность», и ущерб от использования таких показателей превышает гипотетическую выгоду от индикативной оценки.
Таким образом, сбор и аналитика данных для нужд государственного управления обладают в настоящее время внутренними недостатками, позволяющими противодействовать становлению инструментальной парадигмы как единого, институционализированного движения (подхода) к управлению, усомниться в объективности оценок на основе данных. Появляется почва для отторжения управления на основе анализа данных, невнимания к качеству административного обеспечения сбора и анализа данных для формирования индексов, показателей, индикаторов.
Предлагаются подходы, потенциально ослабляющие складывающуюся инструментальную парадигму, например: уйти от использования данных в составе индикативных оценок конечных результатов, ограничиться использованием данных в составе процедур управления («алгоритмическое управление»)4.
Обратимся к современному российскому опыту. Например, практикуется «перевод в цифру» документации, регулирующей процессы и процедуры служебной деятельности. Наблюдается катастрофическое увеличение объема собираемых «впрок» процессных данных безотносительно понимания того, зачем они нужны, для каких целей и конечных результатов их собирать. Наш опыт работы в региональных проектах показывает, что сбор процессных данных намного объемнее по затратам времени и трудоемкости не только разработчиков, но и огромного количества участвующих респондентов, чем сбор данных для расчета индексов, характеризующих конечные результаты. В сборе данных задействованы десятки тысяч сотрудников, которые должны регулярно заполнять отчетные
4 Еще одно направление, остающееся «за скобками» данной статьи, - преимущественное использование оценок ex ante, в которых оценивается так называемое «целеустойчивое развитие» (UN, 2015).
формы (карты рабочего времени). Кроме того, при сборе процессных данных, в особенности больших массивов процессных данных, увеличивается влияние системных администраторов, разработчиков интеллектуальных платформ и сопутствующих инструментов, продуцирующих решения «автоматически», без понимания целей и результатов, на основе цифры и произвольно вводимых коэффициентов, которые воспринимаются как суть управления (принятия решений), поскольку содержание процессов управления, его миссию и требования к конечным результатам системные администраторы не знают и не могут знать в силу профессиональной управленческой некомпетентности. В частности, производятся сокращения штатной численности на основе формального анализа затрат рабочего времени на обработку одного документа без понимания различий в сложности и значимости документов (простая градуировка на уровни сложности здесь ничего не дает). Мы полагаем, что ослабление (сужение) формирующейся инструментальной парадигмы к пределам «алгоритмического управления» привело бы к восприятию «процессных данных как безусловной данности», безотносительно их осмысления, увязки с конечными показателями результатов.
Следует констатировать, что управление на основе анализа данных, с использованием оценок результативности государственного управления хотя и развивается, но обладает уязвимыми местами, недостатками. Инструментальная парадигма только зарождается, но уже появляются предложения по ослаблению ее принципов, которые скорее заведут в тупик, нежели «расчистят дорогу» для использования данных. Мы уверены, что препятствия на пути создания надежной объективной оценки качества государственного управления могут быть разрешены только при условии «наведения порядка в этой области», не впадая в крайность, без отказа от индикативных оценок конечных результатов (outcomes) в угоду процессным оценкам. В первую очередь необходимо установить ясные требования к индикативным страновым оценкам, составляющим «верхний уровень» оценивания с помощью данных, к отбору индексов качества государственного управления, следует активно привлекать инструменты статистического анализа страновых индексов, их соотношения.
Исследовательские вопросы и гипотезы
Мы исходим из утверждения, что инструментальная оценочная парадигма государственного управления не сформировалась как ведущий подход к государственному управлению, несмотря на попытки обозначить ее контуры, поставить в один ряд с существующими парадигмами государственного управления, главным образом не по политическим и организационным причинам, а потому, что слабым является ее центральное звено, индикативная оценка стран. «Верхний уровень» оценок, страновые индикативные оценки, основанные на страновых индексах качества государственного управления, составляются на основании регулярно оспариваемых предпосылок отбора индексов, индексы агрегируются с дублированиями
или тенденциозно, и, наконец, результаты оценки подвергаются неоправданным интерпретациям. При значительном количестве (более 230 глобальных индексов упоминаются только в связи с целями устойчивого развития)5 и разноплановости страновых индексов, отбор конфигураций индексов, для оценки качества государственного управления является отдельной задачей, которая до сих пор убедительно не решена (в лучшем случае проводятся опросы экспертов, как это было сделано при подборе индексов в проекте EUPAC, что не избавляет от произвола).
Основные вопросы нашего исследования таковы: можно ли предложить методику объективного подбора индексов оценки качества страново-го государственного управления, не опирающуюся на противоречащие друг другу предпочтения существующих управленческих (административных) парадигм? Возможно ли преодолеть «релятивизм» в подборе индексов, в том числе практикуемый подбор индексов под постоянно изменяемые и пополняющиеся перечни целевых показателей, устанавливаемые международными и страновыми органами управления? Можно ли уйти от обвинения в том, что любая индексная оценка качества странового государственного управления - это инструмент, за которым стоят интересы международных структур, отдельных стран, их элит?
Вопросы, которые конкретизируют основной вопрос и возникают в связи с селекцией индексов, сформулированы следующим образом:
1. Как усовершенствовать принципы отбора индексов и их интерпретации для оценки качества государственного управления?
2. Возможно ли отбирать индексы однозначно, не допуская волюнтаризма оценки качества государственного управления?
3. Как упростить систему индикативных оценок, одновременно улучшив качество оценок, уменьшить расходы на сбор данных для построения индикативных оценок?
Указанные вопросы могут породить серию исследований, далеко выходящую за пределы отдельной статьи. Здесь же мы ограничимся изучением одного важного примера, показывающего, как можно отбирать индексы, обеспечивая большую степень объективности отбора. Нами будет предложен перспективный способ селекции (в рамках модели WGI - World Governance Indicators) индексов качества государственного управления. Мы предполагаем, что подбор (выбор) индексов для оценки качества стра-нового государственного управления следует проводить не под целевые показатели, аккумулирующие в себе различные интересы, не на основе выборочных мнений отдельных экспертов, а на базе сопоставления существующих на настоящий момент индексов при помощи математической модели агрегации этих индексов, выделения в них черт общности, учитывающих сходства в рейтингах стран. Оценку надо проводить на «нейтральной земле» корреляционного анализа. Мы обсудим отличие этого «инструментального» подхода к индикативной оценке от подходов, предполагающих, в слу-
5 Cm.: Relating the principles of effective governance for sustainable development to practices and results. Note by the Secretariat. UN. 2019. P. 8.
чае сходства рейтингов стран, наличие неких существенных, латентных факторов, обуславливающих совпадение разных индексов как говорящих «об одном и том же» в скрытой форме.
Гипотезы, выдвигаемые в статье, основываются на примере предлагаемого нами механизма устранения дублирующих индексов из оценки качества государственного управления. Это механизм устранения дублирующих индексов из системы международной оценки WGI. Будут проверены гипотезы:
1. О возможности однозначного отбора (селекции) индексов с помощью выявления корреляционных связей рейтингов по разным индексам, однозначного установления корреляционных связей, исключающих неправильный подбор индексов.
2. Об упрощении систем индикативных оценок посредством исключения дублирующих (по рейтингам) индексов, которые выявляются с помощью статистического анализа.
Метод исследования: корреляционный анализ индексов на примере WGI
Мы предполагаем использовать метод исследования, связанный с применением корреляционного анализа рейтингов, факторным анализом и другими методами снижения размерности по разным индексам одной области (группы) и устранением дублирующих индексов, показывающих высокую степень совпадения рейтингов. Этот метод будет продемонстрирован на примере страновых рейтингов WGI.
Обзор теорий и источников по проблеме
Исследования эффективности государственного управления на основании обработки электронных баз данных, с использованием индексов, индикаторов и показателей проводятся начиная с 1980-х гг. Значительным вкладом в развитие таких исследований стало изучение качества страново-го государственного управления с помощью агрегированной группы индексов WGI (WGI, 2018).
Состав разделов этой группы индексов был определен в 1996 г. Всемирным банком совместно с институтом Брукингса (Kaufmann & Kraay, 2017) и институтом управления природными ресурсами (Two Decades On, Worldwide Governance Indicators Point to Gains, Challenges in 200 Countries, 2017). Методология подбора индексов WGI описана в работе Д. Кауфмана и др. (см.: Kaufmann et al., 2011).
Группа индексов WGI ориентирована на главенствующие в 1990 - начале 2000-х гг. парадигмы государственного управления, поскольку ассоциированные с ней административные реформы прямо связаны с этими парадигмами. Представим эту связь разделов WGI с парадигмами государственного управления в виде таблицы (табл. 1).
Таблица 1
Связь разделов WGI с парадигмами государственного управления
Парадигмы публичного управления (Paradigms of Governance) / разделы группы индексов WGI (WGI Sections) Парадигма «идеального государства» (Вебер)/ Weberian Paradigm of Ideal State Парадигма Нового государственного управления / New Public Management Paradigm Парадигма общественно-государственного управления / New Public Governance Paradigm
Control of Corruption (CC) + (в части мер административного воздействия) + (в части оценки коррупционности государственных услуг)
Government Effectiveness (GEf) + (ориентация на оценку государственных услуг главенствует)
Political Stability and Absence of Violence (PS) + (политическая стабильность понимается как механизмы и процедуры установления гражданского согласия)
Regulatory Quality (RQ) + (регулирование государственных услуг преобладает)
Rule of Law (RL) + (в административном, не политологическом и не юридическом планах, главенствует интерпретация верховенства закона как требования подчинения деятельности по предоставлению государственных услуг административным регламентам услуг)
Voice and Accountability (VA) + (механизмы и процедуры обеспечения участия гражданского общества в управлении, поддержке прозрачности и открытости принятия решений)
Источник: Составлена авторами.
Видно, что WGI, если рассматривать административные механизмы и процедуры, а также обеспечивающие их институты (то, что составляет сущность государственного управления), ориентируется главным образом на две парадигмы государственного управления: парадигму общественно-государственного управления, NPG (два раздела), и парадигму NPM (четыре раздела), сводящую функции государства к предоставлению государственных услуг. Выбор индексов для WGI следует признать некорректным, если исходить из других парадигм государственного управления. В частности, веберовская парадигма «идеального государства» главными показателями качества государственного управления полагает высокую оценку со стороны руководства и уровень заслуг и достоинств (меритократия) государственных служащих. Индексы VA в таком случае должны быть заменены на показатели KPI, а индексы PS - на показатели структурной стабильности государства (частота изменений в структуре государственных органов). Аналогично, для неовеберианизма (NW), примыкающего к парадигме общественно-государственного управления (NPG) и делающего акцент на этическое управление, должны приниматься во внимание только индексы, относящиеся к коррупции в части ее восприятия гражданским обществом и к уровню развития этической инфраструктуры государственного управления.
Обратимся теперь от анализа связанных с индексами WGI теорий к анализу источников, посвященных исследованию качества индикативных оценок государственного управления (по названиям групп индексов WGI). Таких источников необычайно много. Так, например, в Google Scholar Citations по тезаурусным словам, характеризующим этот индекс в целом, а также составляющим его группы индексов, количество обнаруженных источников таково (названия русскоязычных терминов приводятся по: HSE, 2018): «индексы государственного управления» = 37 200 источников, «индекс контроля над коррупцией» = 11 900, «индекс качества государственного управления» = 81 600, «индекс стабильности политической системы» = 21 000, «индекс качества государственного регулирования» = 38 400, «индекс верховенства закона» = 12 700, «индекс права голоса» = 21 800.
Аналогичная картина, но с превышением количества источников по некоторым индексам на порядки, наблюдается по англоязычным аналогам те-заурусных слов:
"WGI" = 37 300 источников,
"control of corruption index" = 1 480 000,
"government effectiveness index" = 3 310 000,
"political stability index" = 2 070 000,
"regulatory quality index" = 2 540 000,
"rule of law index" = 2 940 000,
"voice and accountability index" = 38 6 0 006.
6 Интересно отметить, что наибольшее распространение, как в англоязычной, так и в русскоязычной версии тезаурусных слов, имеют исследования по качеству государственного управления и государственного регулирования, а не по контролю над коррупцией.
В связи со столь большим объемом источников целесообразно сосредоточиться на описании принципов подбора индексов в некоторых наиболее «продвинутых» современных практиках составления рейтингов стран и регионов, а также на анализе тех источников, которые наиболее близки к содержанию выдвинутой гипотезы.
Среди европейских практик можно отметить исследование EUPAC (EUPAC, 2018), проведенное по заказу Европейской комиссии в 20162018 гг. группой экспертов, аффилированной со Школой Херти (Берлин), и представленное в марте 2018 г. В отличие от рейтинговой идеологии WGI, авторы исследования отказываются от идеи составления рейтинга 25 анализируемых европейских стран, «имея в виду то обстоятельство, что индикаторы ограничены», и довольствуются указанием, что сравнение стран по избранным индикаторам «может дать лучшее представление о том, как в действительности страны ЕС управляются» (ibid., p. 9). В то же время сам выбор индикаторов для сравнения был произведен на основе установленных Европейской комиссией целей (через показатели из директивных документов Европейской комиссии, Евростата, ООН, ОЭСР и некоторых других имеющихся в наличии частных индексов) и отфильтрован с помощью учета мнения экспертов (ibid., p. 42), что не является корректным способом заведомого исключения субъективизма индикативных оценок.
Пример другой европейской практики представляет исследование, проведенное Университетом государственного сервиса Будапешта, основной экспертно-образовательной площадкой Правительства Венгрии (Good State and Governance Report, 2015). Особенностью этой практики является откровенный подбор индексов на основе выгодных для этой страны коррекций, в частности: 1) включение в индексы доверия правительству индексов уровня безопасности, что нивелирует доверие к уровню безопасности; 2) выделение индексов well being в отдельную группу, что означает прямое включение социальных индексов в зависимые от государственного управления; 3) включение индексов финансовой стабильности, выгодно характеризующих Венгрию на фоне «провала» ряда стран ЕС, в состав индексов качества государственного управления; 4) обеспечение устойчивости развития в широком понимании (в том числе как экономической и социальной устойчивости), рассчитываемый на основе анализа индексов, принято в качестве области ответственности государства; 5) в перечень индексов эффективности государственного управления включен индекс профессионального уровня государственных служащих, который для Венгрии очень высок.
Среди современных проектов индикативной оценки странового развития, реализуемых в Азии, следует выделить проект, осуществляемый в Сеульском национальном университете (Center for Government Competitiveness, 2018). Цель этого проекта заключается в том, чтобы рассмотреть стран овые реформы государственного управления, исходя из их ориентированности на результаты (Ho & Im, 2015), затем провести сравнительный анализ некоторых систем индикативной оценки и с учетом этого анализа далее составлять рейтинги соотношения страновой конкурентоспособности (последние опубликованные доклады Центра, составленные на основе данных за 2017 и 2018 гг.,
см.: Government Competitiveness, 2017; Government Competitiveness, 2018). В том числе, было проведено изучение конкурентоспособности стран через индексы WCR (World Competitiveness Rankings, индекс рассчитываемый International Institute for Management and Development), GCI (Global Competitiveness Indicators, составляемый World Economic Forum), WGI и QGI's QoG (Quality of Government Institute's "Quality of Government" Indicators). Общая идея, разрабатываемая Центром, состоит в том, что возможно ввести понятие "Government Competitiveness" (Im & Hartley, 2017), опосредованно связывающее конкурентоспособность стран (National Competitiveness) с эффективностью правительств (Im & Choi, 2018, p. 516). Можно отметить, что в данном проекте при анализе систем индикативной оценки учитывается более широкий набор индексов, нежели представленные в WGI, в том числе процессные показатели (Im & Choi, 2018, p. 522-524). Однако предположение об «опосредованной связи результативности государства и значений любых страновых индексов» не только усложняет связь страновых индексов с результативностью государства, которая, по нашему мнению, может быть выражена проще, но и само по себе требует дополнительного обоснования.
Из современных российских исследований в области использования данных для цифровизации управления, применения индексов, индикаторов и показателей можно обратить внимание на проект, реализуемый в Центре технологий государственного управления РАНХиГС (Центр технологий государственного управления, 2019). Серия публикаций, изданных в рамках проекта, включает в себя описание истории развития управления по результатам в современной России, особенностей «волнообразного» характера внедрения управления по результатам (Южаков и др., 2014), оценки административных услуг (Мау и др., 2016), оценки результативности контрольно-надзорной деятельности (Добролюбова и Южаков, 2017) и др. Для целей нашего исследования особенно интересно выявление связи индексов WGI странового государственного управления с тремя индексами, характеризующими уровень цифровизации государственного управления: (1) индекс электронного правительства, (2) индекс электронного участия, (3) индекс доли граждан, использующих интернет для отправки форм через сайты государственных органов (Добролюбова и др., 2019, с. 41-45). Установлено, что имеется высокий уровень корреляции этих индексов и индексов WGI, однако остается открытым вопрос о независимости и дублировании указанных индексов. Его мы рассмотрим в предлагаемом исследовании.
Наиболее близкими к гипотезе нашего исследования являются две работы, в которых обсуждаются вопросы репрезентативности и независимости индексов WGI. В статье (Thomas, 2010) утверждается, что предлагаемые в системе WGI индексы не обладают валидностью, т.е. меряют не то, что обещают измерить, а отсюда измерение качества государственного управления в системе WGI опирается по преимуществу не на «плохие данные», а на «неправильные данные». Во второй статье (Langbein & Knak, 2010) к утверждению о содержательной близости того, что измеряется индек-
сами WGI (ibid., p. 356-357), добавлено утверждение о корреляции в измерениях шести индексов WGI (ibid., p. 357-360) и говорится о том, что наличие высокого уровня корреляции свидетельствует об измерении в системе WGI не разных показателей, а одного «более широкого» индекса, описывающего «одно и то же явление» под разными углами зрения (ibid., p. 365). В ответных статьях (Kaufmann et al., 2010a; 2010b) разработчики WGI приводят аргументы в пользу того, что по-настоящему измеряются разные феномены, а статистическая и каузальная (по содержанию) связь не свидетельствует о том, что это один более широкий феномен; напротив, эти индексы эквивалентны только в наблюдениях, но не по сути (Kaufmann et al., 2010b, p. 2).
Исследование: статистический анализ соотношения групп индексов WGI, устранение дублирования групп
С целью ответа на исследовательские вопросы, и, соответственно, проверки гипотез (об объективности отбора индексов и об устранении дублирующих индексов применительно к «верхнему уровню» индикативных оценок, к страновым индексам) проведем статистический анализ соотношения индексов Worldwide Governance Indicators. Все данные взяты из источников Мирового банка, использовался интерактивный онлайн-сервис Databank (Databank, 2019).
Группа индексов Worldwide Governance Indicators (WGI) включает в себя шесть индексов: Control of Corruption (CC), Government Effectiveness (GEf), Political Stability and Lack of Violence (PS), Regulatory Quality (RQ), Rule of Law (RL), Voice and Accountability (VA).
Информация по индексам доступна за 19 разных лет: за 1996, 1998, 2000, и за все последующие годы с 2002 по 2017 г. Были рассмотрены все страны мира, на которые составляются индексы WGI. Соответственно, в базе данных, созданной в IBM SPSS, наличествуют 214 стран, хотя не по всем из них есть полные данные по выбранным показателям. В частности, для 2014-2017 гг. значения индексов СС, GEf, RQ и RL есть только для 209 стран, PS - для 211, а VA - для 204 стран (табл. 2).
Таблица 2
Статистика
CC GEf PS RQ RL VA
N Валидные 209 209 211 209 209 204
Пропущенные 5 5 3 5 5 10
Источник: Составлена авторами.
Индексы WGI были взяты в одной из своих специфических форм - как значения, показывающие отклонение отдельных стран от некоторого глобального среднего по каждому из индексов. Именно на основании этих зна-
чений в дальнейшем определяется место страны в рейтинге по показателю. Значения индексов приведены в так называемых безразмерных z-шкалах, что позволяет сравнивать между собой различные показатели, исходно имеющие разные единицы измерения. Суть этого преобразования сводится к тому, что из каждого первоначального показателя страны вычитается глобальное среднее значение по рассматриваемому показателю, а затем эта разность нормируется на выборочное стандартное отклонение. После подобного преобразования среднее значение каждого показателя становится равным нулю, а его стандартное отклонение равняется единице. Например, для 2017 г. описательные статистики преобразованных индексов выглядят так:
Таблица 3
Описательные статистики
N диапазон минимум максимум среднее средне-квадратическое отклонение дисперсия
СС 209 4,07 -1,83 2,24 0,0000 1,00000 1,000
GEf 209 4,68 -2,48 2,21 0,0000 1,00000 1,000
Р8 211 4,89 -2,96 1,92 0,0000 1,00000 1,000
RQ 209 4,50 -2,34 2,16 0,0000 1,00000 1,000
^ 209 4,34 -2,31 2,03 0,0000 1,00000 1,000
VA 204 3,89 -2,20 1,69 0,0000 1,00000 1,000
N валидных (по списку) 202
Источник: Составлена авторами.
В рамках каждого отдельного года для всех возможных пар индексов были рассчитаны коэффициенты корреляции Пирсона и Спирмена. Ниже приведены таблицы с коэффициентами корреляции за последние три года (табл. 4, 5, 6, 7, 8, 9).
Таблица 4
Корреляции, 2017 г.
те GEf PS RQ RL VA
СС Корреляция Пирсона 1 0,900** 0,760** 0,858** 0,939** 0,769**
Знач. (двухсторонняя) 0,000 0,000 0,000 0,000 0,000
N 209 209 209 209 209 202
GEf Корреляция Пирсона 0,900** 1 0,721** 0,936** 0,926** 0,697**
Знач. (двухсторонняя) 0,000 0,000 0,000 0,000 0,000
N 209 209 209 209 209 202
Корреляции, 2017 г.
те GEf PS RQ RL VA
Р8 Корреляция Пирсона 0,760** 0,721** 1 0,663** 0,769** 0,692**
Знач. (двухсторонняя) 0,000 0,000 0,000 0,000 0,000
N 209 209 211 209 209 204
RQ Корреляция Пирсона 0,858** 0,936** 0,663** 1 0,911** 0,734**
Знач. (двухсторонняя) 0,000 0,000 0,000 0,000 0,000
N 209 209 209 209 209 202
RL Корреляция Пирсона 0,939** 0,926** 0,769** 0,911** 1 0,787**
Знач. (двухсторонняя) 0,000 0,000 0,000 0,000 0,000
N 209 209 209 209 209 202
VA Корреляция Пирсона 0,769** 0,697** 0,692** 0,734** 0,787** 1
Знач. (двухсторонняя) 0,000 0,000 0,000 0,000 0,000
N 202 202 204 202 202 204
** Корреляция значима на уровне 0,01 (двухсторонняя). Источник: Составлена авторами.
Таблица 5
Корреляции, 2017 г.
те GEf PS RQ RL VA
Ро Спирмена СС Коэффициент корреляции 1,000 0,887** 0,804** 0,835** 0,938** 0,791**
Знач. (двухсторонняя) 0,000 0,000 0,000 0,000 0,000
N 209 209 209 209 209 202
GEf Коэффициент корреляции 0,887** 1,000 0,729** 0,928** 0,914** 0,695**
Знач. (двухсторонняя) 0,000 0,000 0,000 0,000 0,000
N 209 209 209 209 209 202
Р8 Коэффициент корреляции 0,804** 0,729** 1,000 0,664** 0,793** 0,734**
Знач. (двухсторонняя) 0,000 0,000 0,000 0,000 0,000
N 209 209 211 209 209 204
RQ Коэффициент корреляции 0,835** 0,928** 0,664** 1,000 0,892** 0,715**
Знач. (двухсторонняя) 0,000 0,000 0,000 0,000 0,000
N 209 209 209 209 209 202
Корреляции, 2017 г.
CC GEf PS RQ RL VA
Ро Спирмена RL Коэффициент корреляции 0,938** 0,914** 0,793** 0,892** 1,000 0,793**
Знач. (двухсторонняя) 0,000 0,000 0,000 0,000 0,000
N 209 209 209 209 209 202
VA Коэффициент корреляции 0,791** 0,695** 0,734** 0,715** 0,793** 1,000
Знач. (двухсторонняя) 0,000 0,000 0,000 0,000 0,000
N 202 202 204 202 202 204
** Корреляция значима на уровне 0,01 (двухсторонняя). Источник: Составлена авторами.
Таблица 6
Корреляции, 2016 г.
CC GEf PS RQ RL VA
CC Корреляция Пирсона 1 0,912** 0,752** 0,874** 0,946** 0,765**
Знач. (двухсторонняя) 0,000 0,000 0,000 0,000 0,000
N 209 209 209 209 209 202
GEf Корреляция Пирсона 0,912** 1 0,709** 0,932** 0,932** 0,693**
Знач. (двухсторонняя) 0,000 0,000 0,000 0,000 0,000
N 209 209 209 209 209 202
PS Корреляция Пирсона 0,752** 0,709** 1 0,653** 0,760** 0,689**
Знач. (двухсторонняя) 0,000 0,000 0,000 0,000 0,000
N 209 209 211 209 209 204
RQ Корреляция Пирсона 0,874** 0,932** 0,653** 1 0,919** 0,734**
Знач. (двухсторонняя) 0,000 0,000 0,000 0,000 0,000
N 209 209 209 209 209 202
RL Корреляция Пирсона 0,946** 0,932** 0,760** 0,919** 1 0,780**
Знач. (двухсторонняя) 0,000 0,000 0,000 0,000 0,000
N 209 209 209 209 209 202
VA Корреляция Пирсона 0,765** 0,693** 0,689** 0,734** 0,780** 1
Знач. (двухсторонняя) 0,000 0,000 0,000 0,000 0,000
N 202 202 204 202 202 204
** Корреляция значима на уровне 0,01 (двухсторонняя). Источник: Составлена авторами.
Таблица 7
Корреляции, 2016 г.
те GEf PS RQ RL VA
Ро Спирмена СС Коэффициент корреляции 1,000 0,897** 0,791** 0,849** 0,944** 0,782**
Знач. (двухсторонняя) 0,000 0,000 0,000 0,000 0,000
N 209 209 209 209 209 202
GEf Коэффициент корреляции 0,897** 1,000 0,713** 0,927** 0,922** 0,689**
Знач. (двухсторонняя) 0,000 0,000 0,000 0,000 0,000
N 209 209 209 209 209 202
Р8 Коэффициент корреляции 0,791** 0,713** 1,000 0,658** 0,783** 0,727**
Знач. (двухсторонняя) 0,000 0,000 0,000 0,000 0,000
N 209 209 211 209 209 204
RQ Коэффициент корреляции 0,849** 0,927** 0,658** 1,000 0,903** 0,720**
Знач. (двухсторонняя) 0,000 0,000 0,000 0,000 0,000
N 209 209 209 209 209 202
RL Коэффициент корреляции 0,944** 0,922** 0,783** 0,903** 1,000 0,788**
Знач. (двухсторонняя) 0,000 0,000 0,000 0,000 0,000
N 209 209 209 209 209 202
VA Коэффициент корреляции 0,782** 0,689** 0,727** 0,720** 0,788** 1,000
Знач. (двухсторонняя) 0,000 0,000 0,000 0,000 0,000
N 202 202 204 202 202 204
** Корреляция значима на уровне 0,01 (двухсторонняя). Источник: Составлена авторами.
Таблица 8
Корреляции, 2015 г.
те GEf PS RQ RL VA
СС Корреляция Пирсона 1 0,907** 0,761** 0,866** 0,948** 0,767**
Знач. (двухсторонняя) 0,000 0,000 0,000 0,000 0,000
N 209 209 209 209 209 202
Корреляции, 2015 г.
CC GEf PS RQ RL VA
GEf Корреляция Пирсона 0,907** 1 0,699** 0,928** 0,932** 0,685**
Знач. (двухсторонняя) 0,000 0,000 0,000 0,000 0,000
N 209 209 209 209 209 202
PS Корреляция Пирсона 0,761** 0,699** 1 0,647** 0,750** 0,700**
Знач. (двухсторонняя) 0,000 0,000 0,000 0,000 0,000
N 209 209 211 209 209 204
RQ Корреляция Пирсона 0,866** 0,928** 0,647** 1 0,919** 0,722**
Знач. (двухсторонняя) 0,000 0,000 0,000 0,000 0,000
N 209 209 209 209 209 202
RL Корреляция Пирсона 0,948** 0,932** 0,750** 0,919** 1 0,788**
Знач. (двухсторонняя) 0,000 0,000 0,000 0,000 0,000
N 209 209 209 209 209 202
VA Корреляция Пирсона 0,767** 0,685** 0,700** 0,722** 0,788** 1
Знач. (двухсторонняя) 0,000 0,000 0,000 0,000 0,000
N 202 202 204 202 202 204
** Корреляция значима на уровне 0,01 (двухсторонняя). Источник: Составлена авторами.
Таблица 9
Корреляции, 2015 г.
CC GEf PS RQ RL VA
Ро Спирмена CC Коэффициент корреляции 1,000 0,892** 0,803** 0,846** 0,943** 0,784**
Знач. (двухсторонняя) 0,000 0,000 0,000 0,000 0,000
N 209 209 209 209 209 202
GEf Коэффициент корреляции 0,892** 1,000 0,709** 0,919** 0,922** 0,689**
Знач. (двухсторонняя) 0,000 0,000 0,000 0,000 0,000
N 209 209 209 209 209 202
PS Коэффициент корреляции 0,803** 0,709** 1,000 0,655** 0,780** 0,737**
Знач. (двухсторонняя) 0,000 0,000 0,000 0,000 0,000
N 209 209 211 209 209 204
Корреляции, 2015 г.
те GEf PS RQ RL VA
Ро Спирмена RQ Коэффициент корреляции 0,846** 0,919** 0,655** 1,000 0,911** 0,710**
Знач. (двухсторонняя) 0,000 0,000 0,000 0,000 0,000
N 209 209 209 209 209 202
RL Коэффициент корреляции 0,943** 0,922** 0,780** 0,911** 1,000 0,798**
Знач. (двухсторонняя) 0,000 0,000 0,000 0,000 0,000
N 209 209 209 209 209 202
УА Коэффициент корреляции 0,784** 0,689** 0,737** 0,710** 0,798** 1,000
Знач. (двухсторонняя) 0,000 0,000 0,000 0,000 0,000
N 202 202 204 202 202 204
** Корреляция значима на уровне 0,01 (двухсторонняя). Источник: Составлена авторами.
Все полученные коэффициенты корреляции положительны и значимы. Надо заметить, что индексы СС, GEf, RQ и RL сильно коррелируют друг с другом. В большинстве случаев корреляция между ними (как Пирсона, так и Спирмена) достигает 0,9. При этом индексы РБ и VA коррелируют как друг с другом, так и с этими четырьмя слабее - только на 0,7-0,8 (хотя и это является достаточно сильной корреляцией).
Кроме этого, были построены диаграммы рассеяния, показывающие для конкретных стран значения их индексов на общем графике.
Ниже приведены матрицы диаграмм рассеяния, демонстрирующие соотношения всех индексов со всеми. К сожалению, такие объединенные графики занимают много места и потому будут приведены в малом масштабе, позволяющем лишь прикинуть общую ситуацию. На каждом из таких графиков по вертикали и по горизонтали расположены различные переменные, для которых строятся рассеяния, в порядке (сверху вниз и слева направо): СС, GEf, РБ, RQ, RL, VA. В каждой клетке находится график, построенный для соответствующих переменных. На таком графике на горизонтальной оси - значения переменной под клеткой, возрастающие слева направо, а на вертикальной оси - значения переменной слева от клетки, возрастающие снизу вверх. Каждая точка внутри такого графика отражает одну страну. В доступном масштабе отдельные точки сложно различимы, но они все же могут показать определенные закономерности.
2017 г.
/ g / #
/
f f
Jkr $jft ✓ J*
у f 0
0 # 0 0
CC GEf PS RQ RL VA
2016 г.
У / / #
w
§ #
/ ✓ #
У jf w #
jr*
CC GEf PS RQ RL VA
2015 г.
/ 40 / 0
Ж м ✓ ¿ММ
-г ^¡¡¡^ 0
/ ф /
✓ / 0
0 ш т 0 0
а
РС
СС
GEf
РБ
RQ
RL
УА
Особенности индексов WGI, выявленные с помощью корреляций, тут подтверждаются. Если присмотреться, то можно увидеть, что в рассеяниях по переменным СС, GEf, RQ и RL все точки вытянуты вдоль диагональной линии, идущей снизу вверх и слева направо. Однако в случае, если одна или обе переменных - РБ или УА, точки разбросаны по графику более хаотично. Они всё еще вытянуты вдоль диагонали (что отражает наличие у них положительных и довольно сильных коэффициентов корреляции друг с другом и с другими индексами), но отклоняются от нее в большей степени (что соответствует тому, что эти коэффициенты у них явно меньше).
Вот несколько отдельных диаграмм рассеяния для 2017 г.:
СС и GEf
СС
-3,0 -2,0 -1,0 0,0 1,0 2,0 3,0 GEf
3,0 2,0 1,0
CC
0,0 -1,0 -2,0
-3,0 -2,0 -1,0 0,0 1,0 2,0 VA
GEf и VA
3,0 2,0 1,0
GEf 0,0 -1,0 -2,0 -3,0
Тут можно более детально видеть, что на диаграмме для CC и GEf точки вытянуты в диагональную линию, а на других двух диаграммах, включающих VA, точки сильнее разбросаны по графику.
На основе этих данных можно утверждать, что комплекс WGI состоит из трех основных различных компонентов - отдельно PS, отдельно VA, и отдельно четыре другие сильно связанные между собой индексы. Интересно, что в этой связи статистически отражена принадлежность индексов к парадигмам, указанная в Таблице 1. Четыре индекса (GEf - «качество государственного управления»; RQ - «качество регулирования»; RL - «верховенство закона»; CC - «контроль над коррупцией») связаны с парадигмой NPM (Нового государственного управления), причем последний из них связан также и с парадигмой WP (веберовского «идеального государства»). Индексы PS («политическая стабильность») и VA («гласность и отчетность») связаны с парадигмой NPG (общественно-государственное управление).
Означает ли это, что характеристики государственного управления, которые отражают четыре «близких» индекса, являются разными взглядами на фактически одну и ту же вещь? Мы предлагаем иное, инструментальное объяснение, не вступая на зыбкую почву метафизического спора о совпадении (Langbein et al.) или различии (Kaufmann et al.) содержательных сущностей.
CC и VA
Полученные результаты позволяют утверждать, что индексы WGI являются неэффективным методом оценки качества государственного управления просто потому, что четыре из шести индексов очень близки по значениям. Достаточно знать значение только одного из них, чтобы можно было прикинуть с хорошей точностью примерные значения других трех индексов. В таком случае расчет всех четырех является тратой ресурсов и времени.
Более того, возможно, что такое устройство индексов может вводить в заблуждение пользующихся ими. Пользователь может думать, что эти индексы потенциально могут выводить на разные рейтинги и что , например, высокие значения сразу в четырех разных индексах свидетельствуют об особо высоком качестве управления в отдельной стране. Однако на практике эти индексы являются примерно одной и той же переменной, под разными именами и лишь с немного различающимися значениями, и восприятие этой переменной как четырех разных увеличивает ее значимость в глазах пользователя.
Заключение и дискуссия о результатах:
потенциал объективного подхода к селекции страновых
индексов оценки качества государственного управления
Мы провели уточненное статистическое корреляционное исследование страновых индексов WGI, руководствуясь представлениями о значимости формирования объективной индикативной оценки верхнего уровня для создания инструментальной парадигмы оценки качества государственного управления на основе анализа данных. Результаты проведенного исследования показывают, что рейтинги, составленные на основе применения шести индексов WGI, идентичны для четырех индексов и близки для двух индексов. Показана связь с ориентацией указанных индексов на три разные парадигмы государственного управления (административные парадигмы). Далее можно было бы применить более продвинутые методы статистического анализа, например метод главных компонент в задаче факторного анализа. Он позволит заменить четыре тесно взаимосвязанных индекса одним агрегированным индексом (смысл этого индекса, его значимость для оценки стран будут исследованы в следующих публикациях), а из двух остальных индексов выделить их независимые части и таким образом понять, что творится в этих областях без учета других областей.
Отсюда, чтобы яснее выделить влияние парадигм на конфигурацию индексов, возможно руководствоваться тремя индексами, а не шестью, причем исходить в трактовке индексов не из традиционного представления, что они отражают разные (или же одинаковые) феномены, о чем дискутировали разработчики индексов WGI и их оппоненты, а из представления, что индексы важны исключительно как порожденные разными парадигмами инструменты составления рейтингов стран, как технический инструмент выявления рейтингов стран, не более того. Страновые индексы можно назвать дублирующими, если представленные ими рейтинги стран из года в год имеют высокую степень корреляции.
В настоящем исследовании предложен способ, заключающийся в разбиении индексов на группы, порождающие близкие страновые рейтинги в течение ряда лет. Этот способ выявления групп страновых индексов ясен, ин-струментален, объективен. Он выгодно отличается от субъективного отбора групп индексов (зачастую дублирующих друг друга) для составления рейтингов стран на основе опроса экспертов, или же отбора индексов на основе интересов политических и административных элит, желающих показать «свои страны» в выгодном свете, а «страны-конкуренты» представить как плохо управляемые, или же отбора индексов под назначаемые целевые показатели и принципы (например, принятые ООН принципы устойчивого развития).
Переходя к дискуссии о результатах, можно сформулировать несколько предположений и утверждений:
1. Создание инструментальной парадигмы оценки качества государственного управления на основе анализа данных или же парадигмы оценки государственного управления с помощью объективных инструментов (governance assessment by objective tools) возможно, поскольку самый сложный, верхний уровень этой оценки (индикативная оценка качества странового государственного управления) можно избавить от основного недостатка, устранить волюнтаризм подбора индексов, их дублирование и пересечение.
Конечно, это только один из необходимых шагов: следует найти дополнительные инструменты агрегирования страновых индексов по направлениям и секторам управления, подобрать инструменты формирования кластеров сопоставимых стран по их размерам и населению, сформировать инструменты декомпозиции, способные представить вклад отдельных государственных органов, программ и социальных политик в измеряемые страновые результаты, наконец, должны быть созданы инструменты соотнесения процессных и результативных оценок служебной деятельности государственных служащих. Инструментальная парадигма, как представляется, будет отличаться от других административных парадигм тем, что в ней оценка управления не основывается ни на похвале или неодобрении руководства, ни на голосовании потребителей услуг, ни на лоббизме отдельных активных групп населения, ни на усредненных мнениях опрашиваемых экспертов, ни на способности системы управления генерировать обещания (проекты, планы, стратегии), ни на ведущих «в никуда» алгоритмах улучшения процессов без учета их целей7.
2. Отбор страновых индексов для оценки качества государственного управления следует проводить, выходя за пределы массива индексов,
7 Мы не придерживаемся мнения, что инструментальная парадигма оценки качества государственного управления на основе анализа данных может заменить собой другие административные парадигмы. В государственном управлении практика должна использовать все достижения теории, гармонизируя их применение, однако не смешивая эклектически разные теоретические подходы и предлагаемые ими административные процедуры в «одном флаконе». Тем не менее без объективных оценок на основе данных, без использования их теоретического потенциала практика государственного управления была бы обедненной.
непосредственно отражающих характеристики собственно государственного управления (WGI), но при этом не используя опосредующие государственное управление конструкции «национальной конкурентоспособности» (National competitiveness, как в проекте Сеульского университета). Оценка качества государственного (общественного) управления на верхнем уровне страновых индикативных оценок должна опираться на все возможные международные индексы. Эти индексы следует каталогизировать, сортировать с помощью надежных математических инструментов, устранять повторы, убирать пересечения, обнаруживать лакуны в имеющемся спектре индексов.
3. Использование для оценки качества странового государственного управления широкого спектра всех существующих (и потенциально возможных) страновых индексов ведет к пониманию государственного управления как «пронизывающего» общество. Такой подход к оценке качества странового государственного управления можно принять только в том случае, если согласиться, что государственное управление не является «обособленной» деятельностью, характеризующейся отдельным (специфическим) предметом, функциями и способами взаимоотношений с гражданами. Отсюда с неизбежностью следует понимание предмета государственного управления, исходящее из утверждения, что государственное управление - атрибут любой социальной деятельности (всех социальных предметов, всех социальных функций и практик, всех отношений в обществе).
ЛИТЕРАТУРА
1. Бобылев С.Н., Кудрявцева О.В., Соловьева С.В., Ситкина К.С. Индикаторы экологически устойчивого развития для регионов России: коллективная монография. - М.: Инфра-М, 2015.
2. Добролюбова Е.И., Южаков В.Н., Ефремов А.А., Клочкова Е.Н., Талапина Э.В., Старцев Я.Ю. Цифровое будущее государственного управления по результатам. - М.: Дело, 2019.
3. Добролюбова Е.И., Южаков В.Н. Оценка результативности контрольно-надзорной деятельности: анализ практики и методические рекомендации. - М.: Дело, 2017.
4. Мау В.А., Южаков В.Н., Покида А.Н., Добролюбова Е.И. Оценка результативности реформирования административных публичных услуг // Государственное управление: в поисках результативности. Сборник научных статей под ред. В.А. Мау и С.Е. Нарышкина. - М.: Дело, 2016. С. 79-111.
5. Центр технологий государственного управления. 2019. - URL: https://ipei.ranepa.ru/ ztgu (дата обращения: 21.02.2019).
6. Южаков В.Н. Государственное управление по результатам: модель для России // Вопросы государственного и муниципального управления. - 2016. - № 1. - С. 165-174.
7. Южаков В.Н., Александров О.В., Добролюбова Е.И., Клочкова Е.Н. Внедрение управления по результатам в деятельность органов государственной власти. - М.: Дело, 2014.
8. Alfsen K.H., Hass J.L., Tao H., You W. International Experiences with 'green GDP'. Report 2006/32. Statistics Norway. 2006.
9. Barabashev A. Are Existing Administrative Paradigms Capable of Producing the Tools to Resolve Contemporary Administrative Crisis? Public Administration Issues, Special Issue. 2016. P. 6-25.
10. Bleyen P., Klimovsky D., Bouckaert G., Reichard Ch. Linking Budgeting to Results? Evidence about Performance Budgets in European Municipalities Based on a Comparative Analytical Model. Public Management Review. 2017. Vol. 19. N. 7. P. 932-953.
11. Campbell Collaboration. 2018. - URL: https://campbellcollaboration.org/library/camp-bell-collaboration-systematic-reviews-policies-and-guidelines.html (дата обращения: 15.02.2019).
12. Center for Government Competiveness. 2018. - URL: http://gccenter.net/main/index.jsp (дата обращения: 29.01.2019).
13. Databank. 2019. URL: https://databank.worldbank.org/data/reports.aspx?source=worldwide-governance-indicators (дата обращения: 29.01.2019).
14. EUPACK. A Comparative Overview of Public Administration Characteristics and Performance in the EU2018. Luxembourg, Publications Office of the European Union. 2018. DOI: 10.2767/13319.
15. Ford R., Grekou D., Kwakye I. The Sensitivity of Impact Estimates to Data Sources Used: Analysis From an Access to Postsecondary Education Experiment. Evaluation Review. 2018. P. 575-615. URL: https://doi.org/10.1177/0193841X18799093 (дата обращения: 29.01.2019).
16. HSE The Worldwide Government Indicators Project. 2018. URL: https://www.hse.ru/org/ hse/4432173/mathbase/databases/db_18 (дата обращения: 16.02.2019).
17. Ho A-T. K., Im T. Challenges in Building Effective and Competitive Government in Developing Countries: An Institutional Logics Perspective. The American Review of Public Administration. 2015. Vol. 45. N. 3. P. 263-280.
18. Im T., Choi Y. Rethinking National Competitiveness: A Critical Assessment of Governmental Capacities Measures. Social Indicator Research. 2018. Vol. 135. N. 2. P. 515-532.
19. Im T., Hartley K. Aligning Needs and Capacities to Boost Government Competitiveness. Public Organization Review (2017). URL: https://proxylibrary.hse.ru:2120/10.1007/s11115-017-0388-0 (дата обращения: 23.02.2019).
20. Good State and Governance Report. Ed. by T. Kaiser. National University of Public Service. Budapest. 2015.
21. Government Competitiveness. Report. 2017. URL: http://gccenter.net/board/board_view. jsp?no=177&bcate=reports&kword (дата обращения: 23.03.2019).
22. Government Competitiveness. Improving Government Competitiveness in the Age of Turbulence. 2018. URL: http://gccenter.net/index/data.jsp (дата обращения: 28.02.2019).
23. Kaufmann D., Kraay A. Future Development. Measuring ups and downs of governance. Brookings Institute blog. 2017. URL: https://www.brookings.edu/blog/future-develop-ment/2017/09/22/measuring-the-ups-and-downs-of-governance/ (дата обращения: 28.10.2018).
24. Kaufmann D., Kraay A., Mastruzzi M. The Worldwide Governance Indicators: Methodology and Analytical Issues. Hague Journal of the Rule of Law. 2011. Vol. 3. N. 20. P. 220-246.
25. Kaufmann D., Kraay A., Mastruzzi M. Response to: "The Worldwide Governance Indicators: Six, One, or None?" World Bank Policy Research Department Working Papers. 2010a. URL: https://openknowledge.worldbank.org/handle/ (дата обращения: 28.02.2019).
26. Kaufmann D., Kraay A., Mastruzzi M. What do the Worldwide Governance Indicators Measure? European Journal of Development Research. 2010b. Vol. 22. N. 1. P. 55-58.
27. Langbein L., Knak S. The Worldwide Governance Indicators: Six, One, or None? Journal of Development Studies. 2010. Vol. 46. N. 2. P. 350-370.
28. Lepenius P. The Power of a Single Number: The Political History of GDP. Columbia University Press. 2016.
29. Natural Resource Governance Institute. Two Decades ON: Worldwide Governance Indicators Point to Gains, Challenges in 200 Countries. 2017. URL: https://resourcegovernance. org/blog/new-worldwide-governance-indicators-show-transparent-cross-country-data (дата обращения: 28.10.2018).
30. Nemec J. «Wicked Problems»: Measuring Efficiency - Performance in the Public Sector. Bojka Hamernlkova. Proceedings of the 9th International Conference European Entrepre-neurship Forum. Praha: Newton College. 2016. P. 134-143.
31. OECD. Government at a Glance 2017, OECD Publishing, Paris. 2017. URL: https://doi. org/10.1787/gov_glance-2017-en (дата обращения: 28.10.2018).
32. Peters G., Pierre J., Randmaa-Liiv T. Global Financial Crisis, Public Administration and Governance: Do New Problems Require New Solution? Public Organization Review. 2011. Vol. 11. N. 1. P. 13-27.
33. Pollitt C., Bouckaert G. Public Management Reform. A Comparative Analysis into the Age of Austerity. Fourth edition. Oxford University Press. 2017.
34. Stiglitz J., Sen A., Fitoussi J.-P. The Measurement of Economic Performance and Social Progress - Reflections and Overview. Paris: Commission on the Measurement of Economic Performance and Social Progress. 2009. URL: www.stiglitz-sen-fitoussi.fr/documents/ rapport_anglais.pdf; https://ec.europa.eu/eurostat/documents/118025/118123/Fitoussi+ Commission+report) (дата обращения: 15.02.2019).
35. Thomas M.A. What do the Worldwide Governance Indicators Measure? European Journal of Development Research. 2010. Vol. 22. N. 1. P. 31-54.
36. UN. Transforming our World: the 2030 Agenda for Sustainable Development. United Nations. 2015.
37. WGI. 2018. URL: http://info.worldbank.org/governance/wgi/index.aspx#home (дата обращения: 28.10.2018).
ON THE IMPROVEMENT OF INDICATIVE QUALITY ASSESSMENT OF PUBLIC ADMINISTRATION
Aleksey G. Barabashev
Doctor of Philosophy, Professor, Head of the Department
of Civil Service, Faculty of Social Sciences,
National Research University Higher School of Economics.
Address: NRU HSE. 20 Myasnitskaya Str., 101000 Moscow, Russian Federation.
E-mail: [email protected]
Aleksey A. Makarov
Ph.D. (in Physical and Mathematical Sciences), Professor,
Independent HSE Departments, Department of Higher Mathematics,
National Research University Higher School of Economics.
Address: NRU HSE. 20 Myasnitskaya Str., 101000 Moscow, Russian Federation.
E-mail: [email protected]
Ivan A. Makarov
Student, Faculty of Social Sciences,
National Research University Higher School of Economics.
Address: NRU HSE. 20 Myasnitskaya Str., 101000 Moscow, Russian Federation.
E-mail: [email protected]
Abstract
The problem of improving indicative quality assessment of governance is explored. The reasons for certain difficulties in elaboration and implementation of the indicative assessment, and for the lack of integrated theoretical foundations of such evaluations, are given. The outlines of critics for quality assessment of governance based on data analysis are discussed; the gaps and mistakes of these critics are highlighted.
On the ground of the examples of some positive and most elaborated practices of countries' indicative assessment, the authors came to a conclusion that currently there are still significant shortcomings in the selection of indexes. Some statistical instruments for improvement of the indexes selection are introduced. The thesis of the article is that the implementation of these instruments enables the elimination of the duplicate indexes. The latter is shown through the example of WGI. In conclusion of the article, the possibility to create the unified instrumental paradigm of "result-oriented state" based on the statistical instruments of quality assessment of governance relied on data analysis is considered.
Keywords: indicative assessment; indexes of the governance quality; data analysis for governance; effectiveness of state; regulatory quality; result-oriented state.
Citation: Barabashev, A.G., Makarov, A.A. & Makarov, I.A. (2019). O sovershen-stvovanii indikativnykh otsenok kachestva gosudarstvennogo upravleniya [On the Improvement of Indicative Quality Assessment of Public Administration]. Public Administration Issues, no 2, pp. 7-38 (in Russian).
REFERENCES
1. Alfsen, K.H, Hass, J.L. Tao, H. & You, W. (2006). International experiences with 'green GDP', Report 2006/32. Statistics Norway.
2. Barabashev, A. (2016). Are Existing Administrative Paradigms Capable of Producing the Tools to Resolve Contemporary Administrative Crisis? Public Administration Issues, Special Issue, pp. 6-25 (in English).
3. Bleyen, P., Klimovsky, D., Bouckaert, G. & Reichard, Ch. (2017). Linking budgeting to results? Evidence about performance budgets in European municipalities based on a comparative analytical model. Public Management Review, vol. 19, no 7. pp. 932-953.
4. Bobylev, S.N., Kudryavtseva, O.V., Solov'eva, S.V. & Sitkina, K.S. (2015). Indikatory eko-logicheski ustoichivogo razvitiya dlya regionov Rossii: kollektivnaya monografiya [Indicators of environmentally sustainable development for the Russian regions: Monograph]. Moscow: INFRA-M.
5. Campbell Collaboration (2018). Available at: https://campbellcollaboration.org/library/ campbell-collaboration-systematic-reviews-policies-and-guidelines.html (accessed: 15 February, 2019).
6. Center for Government Competiveness (2018). Available at: http://gccenter.net/main/index. jsp (accessed: 29 January, 2019).
7. Center of Public Administration Technology (2019). Available at: https://ipei.ranepa.ru/ztgu (accessed: 21 February, 2019).
8. Databank (2019). Available at: https://databank.worldbank.org/data/reports.aspx?source= worldwide-governance-indicators (accessed: 29 January, 2019).
9. Dobrolyubova, E.I., Yuzhakov, V.N., Efremov, A.A., Klochkova, E.N., Talapina, E.V. & Startsev, Ya.Yu. (2019). Tsifrovoe budushchee gosudarstvennogo upravleniya po rezul'tatam [Digital Future of Public Administration by Results]. Moscow: Delo.
10. Dobrolyubova, E.I. & Yuzhakov, V.N. (2017). Otsenka rezul'tativnosti kontrol'no-nadzornoi deyatel'nosti: analiz praktiki i metodicheskie rekomendatsii [Evaluating Effectiveness of the Control (Supervision) Activities: Analysis of Practice and Systematic Recommendations]. Moscow: Delo.
11. EUPACK (2018). A Comparative Overview of Public Administration Characteristics and Performance in the EU28. Luxembourg: Publications Office of the European Union. D0I:10.2767/13319 Available at: https://ec.europa.eu/social/BlobServlet?docId=19208&lan gId=en (accessed: 19 April, 2019).
12. Ford, R., Grekou, D. & Kwakye, I. (2018). The Sensitivity of Impact Estimates to Data Sources Used: Analysis from an Access to Postsecondary Education Experiment. Evaluation Review, pp. 575-615. Available at: D0I:10.1177/0193841X18799093 (accessed: 16 February, 2019).
13. Ho, A.T.-K. & Im, T. (2015). Challenges in Building Effective and Competitive Government in Developing Countries: An Institutional Logics Perspective. The American Review of Public Administration, vol. 45, no 3, pp. 263-280.
14. HSE (2018). The Worldwide Government Indicators Project. Available at: https://www.hse.ru/ org/hse/4432173/mathbase/databases/db_18 (accessed: 16 February, 2019).
15. Im, T. & Choi, Y. (2018). Rethinking National Competitiveness: A Critical Assessment of Governmental Capacities Measures. Social Indicator Research, vol. 135, no 2, p. 515-532.
16. Im, T. & Hartley, K. (2017). Aligning Needs and Capacities to Boost Government Competitiveness. Public Organization Review. Available at: https://proxylibrary.hse.ru:2120/10.1007/ s11115-017-0388-0 (accessed: 23 February, 2019).
17. Government Competitiveness (2017). Report. Available at: http://gccenter.net/board/board_ view.jsp?no=177&bcate=reports&kword (accessed: 23 March, 2019).
18. Government Competitiveness (2018). Improving Government Competitiveness in the Age of Turbulence. Available at: http://gccenter.net/index/data.jsp (accessed: 28 February, 2019).
19. Kaiser, T. (ed.) (2015). Good State and Governance Report. Budapest: National University of Public Service.
20. Kaufmann, D. & Kraay, A. (2017). Future Development. Measuring Ups and Downs of Governance. Brookings Institute blog. Available at: https://www.brookings.edu/blog/future-de-velopment/2017/09/22/measuring-the-ups-and-downs-of-governance/ (accessed: 28 October, 2018).
21. Kaufmann, D., Kraay, A. & Mastruzzi, M. (2011). The Worldwide Governance Indicators: Methodology and Analytical Issues. Hague Journal of the Rule of Law. vol. 3, no 20, pp. 220-246.
22. Kaufmann, D., Kraay, A. & Mastruzzi, M. (2010a). Response to: "The Worldwide Governance Indicators: Six, One, or None?" World Bank Policy Research Department Working Papers. Available at: https://openknowledge.worldbank.org/handle/ (accessed: 28 February, 2019).
23. Kaufmann, D., Kraay, A. & Mastruzzi, M. (2010b). What do the Worldwide Governance Indicators Measure? European Journal of Development Research. vol. 22, no 1, pp. 55-58.
24. Langbein, L. & Knak, S. (2010). The Worldwide Governance Indicators: Six, One, or None? Journal of Development Studies. vol. 46, no 2, pp. 350-370.
25. Lepenius, P. (2016). The Power of a Single Number: The Political History of GDP. Columbia University Press, 208 p.
26. Mau, V.A., Yuzhakov, V.N., Pokida, A.N. & Dobrolyubova, E.I. (2016). Otsenka rezul'tativnosti reformirovaniya administrativnykh publichnykh uslug [Administrative Public Services: Evaluating the Reform Results]. In: Gosudarstvennoe upravlenie: vpoiskakh rezul'tativnosti [Public Administration: In Search of Efficiency]. Moscow: Delo, pp. 79-111.
27. Natural Resource Governance Institute (2017). Two Decades ON: Worldwide Governance Indicators Point to Gains, Challenges in 200 Countries. Available at: https://resourcegovernance. org/blog/new-worldwide-governance-indicators-show-transparent-cross-country-data (accessed: 28 October, 2018).
28. Nemec, J. (2016). «Wicked Problems»: Measuring Efficiency - Performance in the Public Sector. Bojka Hamernikova. Proceedings of the 9th International Conference European Entre-preneurship Forum. Praha: Newton College, pp. 134-143.
29. OECD (2017). Government at a Glance 2017. Paris: OECD Publishing. DOI:10.1787/gov_ glance-2017-en.
30. Peters, G., Pierre, J. & Randmaa-Liiv, T. (2011). Global Financial Crisis, Public Administration and Governance: Do New Problems Require New Solution? Public Organization Review, vol. 11, no 1, pp. 13-27.
31. Pollitt, C. & Bouckaert, G. (2017). Public Management Reform. A Comparative Analysis into the Age of Austerity. Fourth edition. Oxford University Press.
32. Stiglitz J., Sen A. & Fitoussi J.-P. (2009). The Measurement of Economic Performance and Social Progress - Reflections and Overview. Paris: Commission on the Measurement of Economic Performance and Social Progress, 292 p. Available at: www.stiglitz-sen-fitoussi.fr/ documents/rapport_anglais.pdf; https://ec.europa.eu/eurostat/documents/118025/118123/ Fitoussi+Commission+report (accessed: 15 February, 2019).
33. Thomas, M.A. (2010). What do the Worldwide Governance Indicators Measure? European Journal of Development Research, vol. 22, no 1, pp. 31-54.
34. UN (2019). Relating the principles of effective governance for sustainable development to practices and results. Note by the Secretariat. Committee of Experts on Public Administration Eighteenth session 8-12 April 2019. Item 5 of the provisional agenda. E/c.16/2019/4.
35. UN (2015). Transforming our World: the 2030 Agenda for Sustainable Development. United Nations.
36. WGI (2018). Available at: http://info.worldbank.org/governance/wgi/index.aspx#home (accessed: 28 October, 2018).
37. Yuzhakov, V.N. (2016). Gosudarstvennoe upravlenie po rezul'tatam: model' dlya Rossii [Results-based State Management: a Model for Russia]. Public Administration Issues, no 1, pp. 165-174.
38. Yuzhakov, V.N., Aleksandrov, O.V., Dobrolyubova, E.I. & Klochkova, E.N. (2014). Vnedrenie upravleniya po rezul'tatam v deyatel'nost' organovgosudarstvennoi vlasti [Implementing Performance Management in Public Administration Activities]. Moscow: Delo.
