CC BY
145
ISSN 1994-5094 49 ♦-♦
Elena Igorevna Dobrolyubova, Елена Игоревна Добролюбова,
PhD in Economics, кандидат экономических наук,
deputy director, заместитель директора,
Center for Public Administration Technologies Центр технологий государственного управления
RANEPA (Moscow) ИПЭИ РАНХиГС (г. Москва)
dobrolyubova@inbox.ru
УДК 338.24:004
ПРОБЛЕМЫ ИСПОЛЬЗОВАНИЯ ИНФОРМАЦИОННЫХ ТЕХНОЛОГИЙ В РАМКАХ ВНЕДРЕНИЯ УПРАВЛЕНИЯ ПО РЕЗУЛЬТАТАМ*
В статье систематизирован опыт использования информационных технологий в государственном управлении при внедрении механизмов и инструментов управления по результатам. На основе анализа практики автоматизации подготовки, мониторинга и оценки одного из инструментов управления по результатам (государственных программ) с использованием социологических методов показаны как положительные стороны автоматизации, так и направления, требующие дальнейшего развития. Сформулированы ключевые проблемы, ограничивающие эффект от внедрения ИТ в целях обеспечения управления по результатам. К ним относятся: преобладание ручного ввода данных в информационные системы и, как следствие, сохранение рисков манипулирования данными; слабая интеграция информационных систем между собой; недостаточная гибкость используемого программного обеспечения, не позволяющая адаптировать действующие системы под изменяющиеся потребности органов государственной власти; недостаточное использование современных аналитических методов при проведении анализа достигнутых результатов. Как следствие, использование ИТ пока не привело к сокращению трудозатрат на подготовку, мониторинг и оценку результатов.
Ключевые слова: государственные информационные системы, государственное управление, информационные технологии, мониторинг и оценка, результативность, управление по результатам, цифровизация.
SOME ASPECTS OF THE USE OF INFORMATION TECHNOLOGIES WITHIN THE FRAMEWORK OF RESULTS-BASED MANAGEMENT
The article systematizes the experience of using information technologies in public administration for the purpose of implementing mechanisms and tools for results-based management. Having analyzed the practice of automating preparation, monitoring and evaluation of one of the tools of results-based management (government programs) with the help of sociological methods, the author identifies both positive aspects of automation and areas that require further work. Key issues that limit the effect of introducing IT to create results-based management are revealed. These include: wide use of manual data entry into information systems and, consequently, continuing risks of data manipulation; weak integration of information systems between themselves; insufficient flexibility of the software which does not allow to adapt existing systems to the changing needs of public authorities; lack of modern analytical methods when analyzing the results. As a result, the use of IT has not yet led to a reduction in labor costs for the preparation, monitoring and evaluation of the results achieved by public authorities.
Keywords: state information systems, state management, information technologies, monitoring and evaluation, performance, performance management, digitalization.
Внедрение принципов управления по результатам в органах государственной власти на протяжении последних десятилетий является одним из наиболее заметных направлений реформ государственного управления [8]. Необходимость учета ожидаемых и достигнутых результатов при планировании, мониторинге и оценке деятельности органов власти, повышение отдачи от вложенных бюджетных средств, обеспечение прозрачности и подотчетности органов государственной власти -решение всех этих задач сохраняет актуальность и способствует развитию практик управления по результатам [11], создает условия для формирования новой модели государственного управления -государственного управления по результатам [1].
Степень внедрения управления по результатам в различных странах варьируется в зависимости от
правовых и административных традиций [10], однако в целом интерес к данным практикам сохраняется. Мировой финансово-экономический кризис 2008-2009 гг. стал дополнительным стимулом для дальнейшего внедрения инструментов управления по результатам [9].
В России управление по результатам рассматривалось в контексте административной и бюджетной реформ, а также реформы государственной службы. Значительные усилия по внедрению инструментов и механизмов управления по результатам предпринимались как на федеральном, так и на региональном уровнях. Однако, несмотря на некоторый достигнутый прогресс, данное направление реформ государственного управления далеко от завершения [4].
Анализ литературы показывает, что до настоящего времени основное внимание уделялось мето-
* Статья подготовлена в рамках государственного задания на выполнение научно-исследовательских работ РАНХиГС на 2018 год.
50 ♦-
дологическим вопросам разработки и внедрения управления по результатам, тогда как системный анализ используемых в рамках внедрения управления по результатам информационных систем не проводился. Отдельные имеющиеся исследования показывают, что эффект от внедрения различных информационных систем не всегда соответствовал ожиданиям [6]. Между тем в современных условиях, когда процессы цифровой трансформации затрагивают самые различные сферы общественных отношений, а цифровизация государственного управления рассматривается как условие обеспечения конкурентоспособности страны [5], оценка использования информационно-телекоммуникационных технологий в рамках внедрения управления по результатам в органах государственной власти представляется особенно актуальной. На проведение такой оценки и направлена настоящая статья.
Обзор информационных систем, используемых в рамках управления по результатам
Уже на ранних этапах внедрения инструментов управления по результатам появились первые автоматизированные информационные системы, обеспечивающие систематизацию подготавливаемых документов и проводящие первичную обработку данных в их рамках.
Так, для разработки и анализа Докладов о результатах и основных направлениях деятельности (ДРОНД), подготавливаемых субъектами бюджетного планирования, была разработана и введена в эксплуатацию АИС «Результативность деятельности ФОИВ» (оператором системы выступало Минэкономразвития России). Для автоматизации процессов мониторинга и оценки эффективности деятельности федеральных органов исполнительной власти и подготовки соответствующих заключений Минэкономразвития России для Правительственной комиссии по оценке результативности деятельности федеральных и региональных органов исполнительной власти была разработана Информационная система составления и мониторинга реализации Сводного доклада о результатах и основных направлениях деятельности Правительства Российской Федерации. На ведомственном уровне для формирования ДРОНД в Минэкономразвития России и некоторых других ФОИВ были разработаны и введены в эксплуатацию собственные системы разработки докладов (например, в Минэкономразвития России - информационная система составления и мониторинга реализации доклада о результатах и основных направлениях деятельности и оперативных планов деятельности Министерства экономического развития Российской Федерации, его структурных подразделений и подведомственных агентств (АИС ДРОНД МЭР). Отдельное программное обеспечение было разработано для ведомственных и федеральных целевых программ, а также для формирования Федеральной адресной инвестиционной программы (ФАИП).
С внедрением проектного подхода, формированием проектов по реализации Основных направлений деятельности Правительства РФ, появилась отдельная прикладная информационная система, предназначенная для формирования, мониторинга и оценки реализации данных инструментов управления по результатам (Автоматизированная информационная система по планированию и сопровождению хода исполнения проектов по реализации Основных направлений деятельности Правительства РФ (АИС «ОНДП»), оператором которой являлся Аналитический центр при Правительстве РФ). При внедрении инструмента государственных программ было разработано программное обеспечение, поддерживающее их разработку, мониторинг и реализацию (АИС «Госпрограммы»), причем на начальном этапе (2011-2012 гг.) такое программное обеспечение фактически разрабатывалось отдельно для Минэкономразвития России (официальное наименование информационной системы -«Аналитическая информационная система обеспечения открытости деятельности федеральных органов исполнительной власти, реализуемой в рамках государственных программ Российской Федерации», данная система впоследствии стала основной) и для Минфина России.
Аналогично отдельное прикладное программное обеспечение потребовалось и для формирования, мониторинга и оценки реализации планов деятельности федеральных органов исполнительной власти (Автоматизированная информационная система административного контроля и экспертного сопровождения реализации планов деятельности федеральных органов исполнительной власти (АИС АКПД))1 (Аналитический центр при Правительстве РФ, 2014), а также для сопровождения разработки и реализации приоритетных проектов (автоматизированная информационная система управления проектной деятельностью, АИС ПД).
На ведомственном уровне также продолжают создаваться собственные системы управления проектами (например, АИС проектного управления Минпромторга России2).
Введение отдельных инструментов управления по результатам для мониторинга и осуществления отдельных видов государственных функций (в том числе государственных услуг, контрольно-надзорных функций, лицензирования) повлекло за собой разработку отдельных прикладных программных продуктов, в том числе:
- ИАС «Мониторинг качества государственных услуг» («Ваш контроль»), предназначенная для оценки гражданами качества предоставления государственных услуг;
- ИС «Контроль», предназначенная для сбора и обработки статистических данных по форме «1 -контроль» для оценки эффективности осуществления государственного контроля (надзора) и муниципаль-
1 См.: https://www.itweek.ru/upload/iblock/460/11-kud riashov.pdf
2 http://minpromtorg.gov.ru/ministry/infosys/aispu/
НБЫ1994-5094 ♦-
51 -♦
ного контроля в соответствии с требованиями Федерального закона от 26.12.2008 №294-ФЗ;
- ИС «Мониторинг (Лицензирование)», предназначенная для сбора и обработки статистических данных по форме «1-лицензирование» для оценки эффективности лицензирования, в том числе лицензионного контроля, и др.
К системам функционального характера, направленным на оценку степени соблюдения требований, установленных в определенной сфере, можно отнести АИС «Мониторинг государственных сайтов» (gosmonitor.ru), в рамках которой проводится периодическая оценка соответствия информации, размещенной на официальных сайтах федеральных органов государственной власти, действующим нормативно-правовым требованиям. Результаты мониторинга могут использоваться для оценки открытости федеральных органов исполнительной власти.
В Минрегионе России в 2007-2008 гг. было разработано отдельное программное обеспечение для оценки эффективности деятельности региональных органов государственной власти (в соответствии с Указом Президента Российской Федерации № 825 «Об оценке эффективности деятельности органов исполнительной власти субъектов Российской Федерации» от 28.06.2007) и мониторинга их социально-экономического положения.
На региональном уровне начиная с середины 2000-х гг. по настоящее время разрабатывались отдельные программные продукты, используемые в том числе для целей управления по результатам. В составе данных программных продуктов можно отметить ситуационные центры (первый ситуационный центр был создан в Тверской области; он объединял данные, характеризующие социально-экономическое положение области, в том числе в сравнении с другими регионами, показатели результативности деятельности органов власти, данные о бюджетных расходах, о крупных областных предприятиях и иную информацию), порталы органов государственной власти, в последние годы -системы, поддерживающие публикацию данных в рамках бюджета для граждан.
Для интеграции разрозненных ведомственных решений, содержащих данные о результативности деятельности, была разработана и внедрена ГАС «Управление», задумывавшаяся как единое хранилище данных государственных и региональных информационных систем. В настоящее время в составе ГАС «Управление» представлена визуализация данных из отдельных государственных информационных систем, в том числе ИС «Мониторинг (лицензирование)», ИС «Контроль», ИС Федерального казначейства и др. Однако, как отмечают эксперты, оперативность обновления ГАС «Управление» не всегда отвечает управленческим потребностям [2]. Частичная интеграция данных, содержащих сведения о результатах деятельности органов власти (в том числе в рамках реализации государственных программ), и данных о бюджетных расходах реализована в информационной системе «Электронный бюджет» [3].
Еще одним направлением использования информационно-коммуникационных технологий, которое имеет отношение к управлению по результатам в оперативном режиме, является создание ситуационных центров на уровне органов государственной власти и субъектов Российской Федерации. Создание системы распределенных ситуационных центров было предусмотрено Стратегией национальной безопасности страны до 2020 года3. В рамках ситуационных центров предполагается проведение стратегического анализа социально-экономического развития Российской Федерации, мониторинг уровня развития Российской Федерации, необходимый для подготовки документов стратегического планирования на основе единых исходных данных; программно-целевое проектирование и программирование процессов устойчивого развития Российской Федерации и обеспечения национальной безопасности.
Ситуационные центры призваны обеспечить как мониторинг состояния объекта управления, так и моделирование и экспертную оценку последствий управленческих решений на основе анализа поступающей информации; на их базе осуществляется управление в кризисных ситуациях.
Ситуационные центры используются в правительстве РФ, МЧС России (при управлении мероприятиями по ликвидации ЧС), Рособрнадзоре (для обеспечения проведения Единого государственного экзамена) и других федеральных органах исполнительной власти.
Кейс-стади: пользовательская оценка АИС «Госпрограммы»
Для более детального анализа использования ИКТ для автоматизации процедур управления по результатам рассмотрим пример государственных программ с учетом данных опроса пользователей соответствующей системы (АИС «Госпрограммы»4).
Как показывают результаты опроса, большинство пользователей считали, что функции АИС «Госпрограммы» скорее соответствуют потребностям пользователей. При этом наибольшее соответствие функций информационной системы потребностям пользователей отмечалось в отношении этапов управления реализацией госпрограммы (23,2% опрошенных указали, что информационная система соответствует их потребностям, 67,8% -что скорее соответствует) и мониторинга исполнения государственной программы (23,7 и 67,1%, соответственно). В части оценки эффективности соответствие функционала АИС «Госпрограммы» потребностям пользователей несколько ниже: лишь 11,5% опрошенных пользователей системы отметили, что ее функционал соответствует их потребностям на этапе оценки, еще 71,8% респондентов -
3 Указ Президента РФ от 12.05.2009 №537 (ред. от 01.07.2014) «О Стратегии национальной безопасности Российской Федерации до 2020 года» // Собрание законодательства РФ. 18.05.2009. № 20. Ст. 2444.
4 Всего было опрошено 108 пользователей АИС «Госпрограммы» на федеральном уровне. Для опроса использовалось анкетирование.
52 ♦-
что скорее соответствует. При этом 16,7% респондентов указали, что в той или иной степени функции АИС «Госпрограммы» не соответствуют их потребностям при проведении оценки эффективности реализации госпрограмм (рисунок).
Более низкие оценки пользователей АИС «Госпрограммы» в части соответствия ее функционала потребностям на этапе оценки эффективности госпрограмм связаны с тем, что значительная часть аналитических функций, реализованных в системе, доступна только центральным ведомствам. Как результат, ответственные исполнители вынуждены рассчитывать оценку эффективности собственных программ вручную. Частично это обусловлено различиями в применяемых методиках оценки эффективности реализации программ [7].
Следует отметить, что большинство опрошенных пользователей АИС «Госпрограммы» использовали данную информационную систему не только непосредственно в целях разработки, мониторинга и оценки эффективности государственных программ. Так, 53,8% пользователей применяли данные системы для подготовки оперативных справочных и отчетных материалов, аналитических записок. Некоторые использовали данные АИС «Госпрограммы» и при подготовке других инструментов управления по результатам, в том числе Докладов о результатах и основных направлениях деятельности (ДРОНД) (23,1% опрошенных пользователей) и планов деятельности федеральных органов исполнительной власти (ведомственных планов ФОИВ) - 19,2% респондентов. 3,8% опрошенных затруднились с ответом.
Таким образом, результаты опроса показывают, что АИС «Госпрограммы» являются достаточно востребованным источником данных, характеризующих ожидаемые и достигнутые результаты деятельности федеральных органов исполнительной власти. В целом среди попыток автоматизации инструментов управления по результатам в России АИС «Госпрограммы» являются скорее положительным примером: данная система используется уже 7 лет; она стала не только механизмом разра-
ботки госпрограмм, но и позволяет согласовать проект госпрограммы или провести оценку хода ее реализации. В то же время нельзя не отметить и недостатки реализованного в рамках системы программного решения.
Как и предшествующие Порталу государственных программ ресурсы (АИС «ДРОНД», АИС «Сводный доклад»), АИС «Госпрограммы» предполагает ручной ввод ведомствами данных о значениях достигнутых показателей результативности, объемах финансового обеспечения, фактических сроках выполнения контрольных событий, что приводит к высокому риску искажения данных ответственными исполнителями. Несмотря на то что отсутствие данных интерпретируется системой как недостижение значений показателей (невыполнение контрольных событий), сведения о ходе реализации государственных программ, размещенные на портале, не полны.
Анализ данных, размещенных на портале, показывает, что, несмотря на то что большинство государственных программ Российской Федерации (госпрограмм) реализуется уже 5 лет, до настоящего времени отсутствуют инструменты оперативного мониторинга выполнения госпрограмм, что снижает эффективность их реализации. Применяемый на данный момент инструмент мониторинга достижения контрольных событий и расходования средств федерального бюджета по госпрограммам не позволяет осуществлять оперативное управление реализацией госпрограмм, слабо используется ответственными исполнителями, соисполнителями и участниками госпрограмм для организации их текущей деятельности, недостаточно учитывается при оценке результативности деятельности государственных служащих федеральных органов исполнительной власти.
Основными проблемами в сфере мониторинга реализации госпрограмм являются:
- множественность государственных информационных систем, содержащих (в той или иной степени) информацию о ходе реализации государственных программ и их отдельных мероприятий:
80 70 60 50 40 30 20 10 0
■ ■
_-1 _чз -I
20,7 ЦД
■ 8 9 9,2 П'5 □ 2,6 НИ г-—1
■ 1 ■ ■ 0 1 ■ 0 ш □ ° ■
Разработка ГП Управление Мониторинг Оценка
реализацией ГП реализации ГП эффективности ГП
] Полностью соответствует ]Скорее не соответствует
® Скорее соответствует 0 Не соответствует
Оценка
соответствия функционала АИС «Госпрограммы» потребностям пользователей системы
НБЫ1994-5094 ♦-
53 -♦
ИС Федерального казначейства (в части бюджетных расходов в разрезе основных мероприятий), единая информационная система в сфере закупок товаров, работ, услуг для обеспечения государственных и муниципальных нужд (далее - ЕИС) -в части проведения конкурсных процедур и заключения государственных контрактов и др.;
- необходимость многократного представления аналогичных данных в различные системы (например, данные о реализации ФЦП и ФАИП представляются в соответствующие системы, в Росстат, а также в АИС «Государственные программы»);
- отчетность о реализации госпрограмм технологически не связана с процедурами реализации программных мероприятий, формируется вручную (т.е. требует дополнительного сбора и обобщения информации);
- процедуры корректировки детальных планов-графиков длительны и требуют внешних (по отношению к ответственному исполнителю и соисполнителям) согласований, что снижает возможности по оперативной корректировке действий по результатам мониторинга;
- мониторинг в АИС «Госпрограммы» заточен на сбор и обобщение данных; в нем отсутствуют инструменты управления реализацией госпрограммой, доступные ответственному исполнителю (соисполнителям).
Наличие данных проблем приводит к тому, что мониторинг реализации госпрограмм не выполняет свою основную функцию: он не позволяет осуществлять оперативное управление реализацией госпрограммы, а лишь фиксирует складывающуюся ситуацию.
Анализ примера Портала государственных программ показывает, что автоматизация форм сама по себе не решает проблем аналогового подхода к сбору и интерпретации данных. Многочисленные попытки интеграции портала с иными информационными системами (например, с системой ЕМИСС, содержащей статистические показатели) не сделали его действенным инструментом планирования, мониторинга и оценки результативности деятельности органов власти на уровне ответственных исполнителей госпрограмм, их соисполнителей и участников. К сожалению, АИС «Госпрограммы» не стала и действенным инструментом мониторинга реализации госпрограмм и раннего предупреждения возникающих проблем и для центральных ведомств - Минэкономразвития России и Минфина России. Как следствие, практика ежегодной оценки реализации госпрограмм и весьма формального мониторинга их исполнения в течение года снижает эффект от данного инструмента управления по результатам.
Проблемы и ограничения использования ИКТ в рамках внедрения управления по результатам
Анализ практики использования ИКТ в рамках внедрения инструментов и механизмов государственного управления по результатам позволяет
выявить следующие ключевые проблемы (ограничения).
Во-первых, разработка отдельных, не интегрированных между собой информационно-аналитических систем, предназначенных для каждого отдельного инструмента управления по результатам, привела к росту трансакционных издержек, появлению противоречий в содержании данных инструментов, а также к снижению возможностей по их применению непосредственно для целей государственного управления. Фактически были созданы малосвязанные между собой наборы данных, не лишенные внутренних противоречий, использование которых в целях принятия решений ограничено.
Низкая периодичность ручного ввода данных (например, отсутствие оперативного мониторинга госпрограмм) приводит к тому, что данные системы носят, по сути, реактивный, а не проактивный характер: в лучшем случае они помогают корректно обобщать данные о том, что уже случилось, но не позволяют выбрать оптимальный набор действий на перспективу. Преобладание ручного ввода данных отражает и отсутствие использования современных, цифровых технологий сбора данных, не предусматривающих непосредственного участия пользователей (например, на основе анализа социальных сетей и поисковых запросов; исходя из данных датчиков и сенсоров; на основе межмашинного взаимодействия).
Во-вторых, слабая интеграция информационно-аналитических систем приводит к необходимости повторного ввода одних и тех же данных в различные системы. Например, одно и то же событие может быть предусмотрено ведомственным планом деятельности, планом реализации государственной программы и приоритетным проектом. В этом случае исполнитель обязан внести данные об этом событии трижды в три разные информационные системы.
Попытки интеграции с некоторыми внешними системами (например, с ИС Федерального казначейства) решали проблему лишь частично, так как операторы информационно-аналитических систем, направленных на поддержку разработки, мониторинга и оценки инструментов управления по результатам, как правило, не влияют на функциональность внешних систем, а те не всегда заточены на предоставление данных в необходимом разрезе.
В-третьих, поскольку функциональность информационно-аналитических систем, направленных на поддержку разработки, мониторинга и оценки инструментов управления по результатам, определяется централизованно оператором системы, зачастую данные функции не полностью удовлетворяют управленческие потребности отраслевых ведомств - непосредственных исполнителей программ и проектов. Вследствие недостаточной гибкости функционала информационно-аналитических систем возникает необходимость в разработке собственных, ведомственных систем, например в сфере управления проектами, при наличии
♦-
общих информационно-аналитических систем, поддерживающих аналогичные функции. Данный подход, с одной стороны, ведет к росту издержек государства на ИКТ, а с другой - усугубляет проблему дублирования данных. Кроме того, ведомственная информатизация зачастую создает дополнительные барьеры для межведомственного обмена данными, поскольку отраслевые органы власти могут быть не заинтересованы в передаче внутренних данных о ходе реализации проектов «внешним» органам государственной власти (центральным ведомствам).
В-четвертых, в проанализированных примерах информационно-аналитических систем интерпретация результативности и эффективности их реализации в лучшем случае сводится к оценке исполнительской дисциплины или степени достижения показателей. Анализ результативности на основе сопоставления плановых и фактических значений показателей без применения машинных алгоритмов приводит к попыткам упрощения реальности в рамках используемых инструментов управления по результатам, ограничению числа используемых показателей5 и, как следствие, может приводить к смещению баланса интересов и влиять на интерпретацию результатов мониторинга и оценки программ и проектов. Ни одна из систем не позволяет оценивать реальный эффект государственных программ (проектов, иных инициатив) на социально-экономическое развитие, рассчитывать эффект тех или иных мер для целевых групп населения и организаций.
По нашему мнению, целесообразно предусмотреть решение выявленных проблем использования ИКТ при внедрении управления по результатам в рамках дальнейших действий по цифровизации государственного управления, в частности в рамках
5 Например, в «Методических указаниях по разработке и реализации государственных программ Российской Федерации» установлено ограничение по количеству показателей: не более двух показателей в расчете на одно мероприятие программы.
реализации федерального проекта «Цифровое государственное управление».
1. Добролюбова Е.И., Южаков В.Н., Александров О.В. Внедрение управления по результатам в рамках реализации административной реформы в Российской Федерации: на пути к созданию новой модели государственного управления // Вопросы государственного и муниципального управления. 2014. № 2. С. 28-47.
2. Епифанова В.И. Отдельные вопросы проведения мониторинга наполнения данными ГАС «Управление» // Дельта науки. 2015. № 2. С. 75-78.
3. Захарова Н.М. Интегрированная информационная система управления общественными финансами « Электронный бюджет»: значение и тенденции развития // Экономика. Налоги. Право. 2018. Т. 11. № 2. С. 155-165.
4. КлименкоА.В. Десятилетие административной реформы: результаты и новые вызовы // Вопросы государственного и муниципального управления. 2014. № 1. С. 8-51.
5. Медведев Д.А. Россия-2024. Стратегия социально-экономического развития // Вопросы экономики. 2018. № 10. С. 5-28.
6. НабатовД.Г. ГАС «Управление» и ее роль в информатизации межведомственного взаимодействия // Право и государство: теория и практика. 2014. № 2 (110). С. 135-141.
7. Южаков В.Н., Добролюбова Е.И., Александров О.В. Как оценить результативность реализации государственных программ: вопросы методологии // Экономическая политика. 2015. Т. 10. № 6. С. 79-98.
8. Bouckaert G., Halligan J. Managing Performance: International Comparisons. London: Routledge, 2008.
9. Grossi G., HansenM.B., Johanson J., VakkuriJ., MoonM.J. Introduction: Comparative performance management and accountability in the age of austerity // Public Performance and Management Review. 2016. № 39(3). Р. 499-505.
10. Hammerschmid G., Loffler L. The Implementation of Performance Management in European Central Governments: More a North-South than an East-West Divide. NISPAcee // Journal of Public Administration and Policy. 2015. № 8 (2). Р. 49-68.
11. Shah H., Malik A. NPM is dead, long live NPM: The strategic shift in public sector discourse // University of Hertfordshire Business School Working Paper (2012). URL: http:// uhra.herts.ac.uk/bitstream/handle/2299/8435/S130.pdf? sequenced (дата обращения: 22.05.2018).
