CC BY-NC-ND
208
ФАКТОРЫ ОЦЕНКИ НАСЕЛЕНИЕМ ЭФФЕКТИВНОСТИ ДЕЯТЕЛЬНОСТИ ГРАЖДАНСКИХ СЛУЖАЩИХ ПРИ ОКАЗАНИИ ГОСУДАРСТВЕННЫХ УСЛУГ
Решетникова Д.С.*
Аннотация
Предметом исследования является оценка населением эффективности деятельности государственных гражданских служащих при оказании государственных услуг. Целью исследования является определение основных факторов, влияющих на уровень удовлетворенности населения государственными услугами на примере Федеральной миграционной службы Российской Федерации. В основу исследования положена гипотеза о том, что восприятие качества оказываемой государственной услуги населением в большей степени зависит не от ее содержания и административного процесса оказания, а от факторов, характеризующих эффективность деятельности гражданских служащих при оказании государственной услуги, или особенностей деятельности территориальных органов Федеральной миграционной службы в субъектах Российской Федерации. Были рассмотрены такие факторы, как: удовлетворенность временем ожидания в очереди при получении государственных услуг; удовлетворенность вежливостью и компетентностью гражданских служащих, взаимодействующих с заявителями при предоставлении государственных услуг; численность работников территориальных органов Федеральной миграционной службы в субъектах Российской Федерации; уровень доходов населения; уровень миграции в регионе и некоторые другие. Для определения степени значимости и влияния этих факторов на удовлетворенность граждан использовался метод факторного анализа. Источниками информации для проведения факторного анализа являлись сайт системы «Ваш контроль» и данные Росстата по территориальным органам Федеральной миграционной службы Российской Федерации за 2014 г. По результатам проведенного в SPSS факторного анализа составлена характеристика наиболее и наименее удовлетворенных получателей государственных услуг в региональном разрезе. В результате исследования было обнаружено большое влияние миграционного фактора - чем выше в регионе уровень миграции, тем негативнее население оценивает услуги Федеральной миграционной службы. Полученные результаты могут служить основой дальнейшего исследования лучших региональных практик оказания государственных услуг, а также выявления наиболее «проблемных» регионов, нуждающихся в усилении мониторинга качества оказания государственных услуг.
Ключевые слова: государственные гражданские служащие; государственные услуги; общественная оценка; оценка эффективности и результативности; оценка качества государственных услуг; показатели результативности; удовлетворенность населения; факторный анализ.
* Решетникова Дарья Сергеевна - аспирант департамента государственного и муниципального управления факультета социальных наук НИУ ВШЭ. Адрес: Национальный исследовательский университет «Высшая школа экономики». 100101, Москва, ул. Мясницкая, д. 20. E-mail: dreshetnikova@hse.ru
Введение
В последнее время в академической литературе усиливается интерес к исследованиям общественного мнения в области эффективности государственного управления (Van Ryzin, 2006; James, 2009; Jilke et al., 2015). Несмотря на субъективность общественных оценок, во многом их результаты являются важным дополнением комплексной оценки эффективности и результативности государственного аппарата (Shingler et al., 2008). Граждане, прежде только наблюдавшие, все чаще становятся активными участниками важнейших процессов государственного управления (Jilke & Van de Walle, 2013).
На сегодняшний день анализ общественного мнения об эффективности и результативности деятельности государственных служащих является предметом многих исследований на местном (Martin, 2000; Kelly & Swindell, 2002; Callanan, 2005; Van Ryzin, 2006; Andrews & Van de Walle, 2013; Drew & Dollery, 2016) и национальном (Vigoda-Gadot, 2007; Holzer et al., 2009; Morgeson, 2013; Yu & Ma, 2015) уровне. Эффективность деятельности государственных служащих при оказании государственных услуг непосредственно влияет на ряд встречающихся в международных исследованиях показателей конкурентоспособности государства (Jilke & Van de Walle, 2013; Jilke, 2014; Kim et al., 2013; Van Ryzin, 2011).
В России повышение качества и доступности государственных услуг является одним из основных приоритетов административной реформы1.
Нормативной правовой основой измерения качества оказания государственных услуг в Российской Федерации является Федеральный закон от 27 июля 2010 г. N 210-ФЗ «Об организации предоставления государственных и муниципальных услуг», а также административные регламенты государственных услуг, содержащие в том числе стандарты качества предоставления услуг и описание предполагаемых результатов оказания услуг. Кроме того, применение системы комплексной оценки деятельности государственных служащих, включающей и общественную оценку работы гражданских служащих по предоставлению наиболее массовых и социально значимых государственных услуг, является одним из приоритетных направлений развития государственной службы Российской Федерации2.
Механизм общественной оценки, направленный на повышение качества и доступности оказания государственных услуг, в некоторых случаях также является инструментом принятия кадровых решений - отрицательные результаты общественной оценки могут служить основанием для досрочного прекращения исполнения руководителями ряда территориальных органов федеральных органов исполнительной власти (далее - ТО ФОИВ) своих должностных обязанностей3. Таким образом, население оказывает непосредственное влияние как на процесс оказания государственных услуг, так и на работу государственных органов в целом.
Вместе с тем показатель удовлетворенности населения государственными услугами является достаточно комплексным и субъективным. В зарубежных исследованиях выделяется огромное количество факторов, как прямо, так и косвенно влияющих на этот индикатор. В данной статье исследуются
особенности общественной оценки качества и эффективности деятельности государственных гражданских служащих при оказании государственных услуг, а также определяются факторы, влияющие на уровень удовлетворенности населения государственными услугами на примере территориальных органов Федеральной миграционной службы Российской Федерации.
Зарубежные исследования удовлетворенности населения качеством
оказания государственных услуг - концепции и факторы
Проблематика измерения субъективных характеристик качества государственных услуг не является новой. В литературе выделяется несколько концепций, формирующих теоретическую основу управления качеством государственных услуг.
Одним из первых проявлений менеджмента качества в 1970-х гг. стала концепция «Quality circles» - кружки контроля качества. Такие кружки качества создавались на предприятиях и состояли из работников, которые регулярно собирались для выявления проблем, влияющих на эффективность производства и качество продукции, а также выработки предложений по устранению этих проблем. Данная практика позднее распространилась и на организации государственного сектора. Главная особенность кружков качества состояла в том, что все решения по улучшению качества принимались внутри самой организации. В государственном секторе кружки качества были подвергнуты жесткой критике, и основным аргументом была неэффективность бюрократических организаций как таковых (Holzer, 2009).
С конца 1990-х гг. в организациях государственного сектора стали распространяться методы и технологии теории всеобщего управления качеством - «Total quality management», главным тезисом которой стало непрерывное повышение качества всех организационных процессов. Данная теоретическая концепция нашла свое отражение в административной реформе, определив в качестве одной из задач повышение качества и доступности государственных услуг. Государственные органы стали уделять внимание ориентации государственных услуг на потребителя, появились социологические исследования удовлетворенности населения качеством государственного управления (Van de Walle & Bouckaert, 2003; Holzer, 2009).
Центральное место современных исследований качества работы государственного сектора занимает концепция «Gtizen satisfaction» (Van Ryzin, 2004; Holzer, 2009). В исследованиях уровня удовлетворенности населения качеством государственных услуг часто предполагается прямая связь между качеством предоставления определенной услуги и уровнем удовлетворенности ее получателя - с ростом качества должна увеличиваться удовлетворенность (Van Ryzin, 2004; James, 2007; Morgeson, 2013). Однако эта зависимость подтверждается далеко не всегда. Во-первых, существует разница в понимании (восприятии) «качества» с точки зрения «производителей» и «потребителей» услуг. Данный вывод справедлив с позиции институциональной теории, объясняющей возникновение проблемы принципала и агента. Во-вторых, изменениям подвергаются не столько качество и его восприятие, сколько ожида-
ния получателей услуг, иными словами - удовлетворенность зависит от того, оправдались или нет эти ожидания, и если да, то в положительную или отрицательную сторону (Van Ruzin, 2004). Данный вывод подтверждается теорией несостоявшихся ожиданий (Expectancy-disconfirmation theory), предполагающей формирование ожиданий потребителей на основе их предыдущего опыта (Poister & Thomas, 2011; Morgeson, 2013).
Кроме того, разные характеристики услуг могут оказывать существенное влияние как на восприятие качества их предоставления, так и на ожидания относительно этого качества, а следовательно, и на уровень удовлетворенности получателя (Bouckaert & Van de Walle, 2003). Вместе с тем трансформация восприятия результативности государственного сектора объясняется как различными изменениями, происходящими в самом государственном секторе, так и эволюционными процессами, происходящими в обществе (Van de Walle et al., 2008).
Большой интерес современных исследований в области оценок общественного мнения представляют собой контекстуальные факторы, определяющие восприятие качества государственных услуг и влияющие на удовлетворенность населения работой государственных служащих (Van Ryzin, 2004; Van Ryzin et al., 2004; Van de Walle, 2004b; Bouckaert, 2005; Van De Walle & Van Ryzin, 2011; Andrews & Van de Walle, 2013). Анализ последних исследований позволяет сгруппировать данные факторы следующим образом (рис. 1):
Рисунок 1
Классификация факторов, определяющих восприятие гражданами качества государственных услуг
Источник: Составлено автором на основе обзора исследований об удовлетворенности граждан качеством государственных услуг, приведенных ниже4.
Как показано на Рисунке 1, выявленные автором факторы, определяющие восприятие гражданами качества государственных услуг, можно
условно разделить на объективные и субъективные. Примерами объективных факторов выступают инструменты управления по результатам, такие как доклады о результатах работы государственных органов, стандарты предоставления государственных услуг, результаты оценок эффективности и результативности государственных гражданских служащих и другие инструменты, формирующие общественное мнение о качестве работы государственных органов (Van Ryzin, 2008; Van Ryzin et al., 2008; Charbonneau & Van Ryzin, 2012; Favero & Meier, 2013; Shingler et al., 2008).
Субъективные факторы, в свою очередь, подразделяются на экзогенные, к которым относятся географические и демографические характеристики, и эндогенные, такие как индивидуальные ожидания (James, 2009; Morgeson, 2013; Van Ryzin, 2006, 2013), предшествующий опыт (Kampen et al., 2006), стереотипы и предубеждения (Van de Walle, 2004a; Van de Walle et al., 2005), идеологические представления (Van de Walle, 2004a; Vigoda-Gadot, 2007; Van Ryzin, 2013), различные характеристики и свойства государственных услуг (Bouckaert & Van de Walle, 2003; Shingler et al., 2008).
Международные социологические исследования, включающие вопросы относительно оценки качества государственного управления, такие как Международная программа социальных обследований (International Social Survey Programme5), Евробарометр (Eurobarometer6), Консорциум по координации и взаимодействию государственного сектора (COCOPS7 -Coordinating for Cohesion in the Public Sector of the Future), подтверждают межстрановые различия в оценках качества государственного управления, что свидетельствует о влиянии географических и социально-экономических факторов на восприятие качества государственных услуг и доверие населения к государственным служащим (Jilke et al., 2015).
Согласно результатам социологических исследований, демографические характеристики населения, такие как: уровень доходов, уровень безработицы, численность, плотность и половозрастная структура населения (James, 2007; Andrews & Van de Walle, 2013; Drew, 2013, 2016) - в некоторых случаях являются значимыми факторами в отношении удовлетворенности граждан качеством оказания государственных услуг. Так, например, на основе обследования населения 15 стран Европейского союза было выявлено, что возраст получателей государственных услуг имеет слабое влияние на вероятность обращения в государственный орган с жалобой, тогда как уровень образования имеет большее значение: чем ниже уровень образования, тем больше вероятность обращения гражданина с жалобой (Jilke & Van de Walle, 2013).
Стоит отметить разную направленность влияния эндогенных факторов на восприятие гражданами эффективности деятельности государственных гражданских служащих при оказании государственных услуг. В частности, негативный опыт получения государственных услуг оказывает большее влияние на уровень удовлетворенности населения, чем позитивный (Van de Walle, 2004a; Kampen et al., 2006; Gofen, 2012; Olsen, 2015).
Кроме того, в отдельных работах обозначается важность постановки и формулировки самих вопросов исследования удовлетворенности населе-
ния государственными услугами (Gaines et al., 2GG7; James, 2GG9; Herian & Tomkins, 2G12; Van De Walle & Van Ryzin, 2G11). Оценки качества государственных услуг в целом и по отдельности существенно отличаются: качество отдельных государственных услуг чаще оценивается позитивно, а качество государственных услуг в целом - негативно (Kelly & Swindell, 2GG3). На результаты общественных оценок также влияет порядок вопросов анкеты, оценивающей удовлетворенность граждан качеством государственных услуг (Gaines et al., 2GG7; Van De Walle & Van Ryzin, 2G11).
Перечисленные факторы необходимо принимать во внимание при оценке населением эффективности деятельности государственных гражданских служащих и качества оказания государственных услуг, так как сам по себе показатель удовлетворенности ничего не говорит о причинах того или иного его уровня.
Обозначенные положения будут приняты автором во внимание при проведении анализа факторов, влияющих на уровень удовлетворенности населения государственными услугами на примере территориальных органов Федеральной миграционной службы Российской Федерации (далее -ТО ФМС). Однако прежде рассмотрим некоторые особенности внедрения общественной оценки эффективности деятельности государственных гражданских служащих ТО ФОИВ в России.
Опыт внедрения общественной оценки эффективности деятельности государственных гражданских служащих территориальных органов ФОИВ в России
В России несколько лет назад была разработана система мониторинга качества государственных услуг. Инициатива внедрения мониторинга общественной оценки эффективности деятельности государственных гражданских служащих ТО ФОИВ была обозначена в Указе Президента Российской Федерации от 7 мая 2G12 г. N 6G1 «Об основных направлениях совершенствования системы государственного управления». В нем предусмотрена необходимость установления критериев и порядка оценки гражданами, в том числе с использованием информационно-телекоммуникационных сетей и информационных технологий, эффективности деятельности руководителей ТО ФОИВ и внебюджетных фондов, осуществляющих оказание услуг, необходимых для обеспечения жизнедеятельности населения. В Указе также установлены следующие целевые индикаторы:
а) уровень удовлетворенности граждан Российской Федерации качеством предоставления государственных и муниципальных услуг к 2Gl8 г. -не менее 9G%;
б) доля граждан, имеющих доступ к получению государственных и муниципальных услуг по принципу «одного окна» по месту пребывания, в том числе в многофункциональных центрах предоставления государственных услуг, к 2Gl5 г. - не менее 9G%;
в) доля граждан, использующих механизм получения государственных и муниципальных услуг в электронной форме, к 2G18 г. - не менее 7G%;
г) снижение среднего числа обращений представителей бизнес-сообщества в орган государственной власти Российской Федерации (орган местного самоуправления) для получения одной государственной (муниципальной) услуги, связанной со сферой предпринимательской деятельности, к 2014 г. - до 2;
д) сокращение времени ожидания в очереди при обращении заявителя в орган государственной власти Российской Федерации (орган местного самоуправления) для получения государственных (муниципальных) услуг к 2014 г. - до 15 мин.
Правовыми основаниями внедрения и функционирования процедур общественной оценки эффективности деятельности руководителей ТО ФОИВ и внебюджетных фондов с учетом качества предоставления ими государственных услуг являются:
1. Постановление Правительства Российской Федерации от 12.12.2012 N 1284 «Об оценке гражданами эффективности деятельности руководителей территориальных органов федеральных органов исполнительной власти (их структурных подразделений) с учетом качества предоставления ими государственных услуг, а также о применении результатов указанной оценки как основания для принятия решений о досрочном прекращении исполнения соответствующими руководителями своих должностных обязанностей»;
2. Приказ Минэкономразвития России от 01.03.2013 N 114 «Об утверждении Положения об автоматизированной информационной системе "Информационно-аналитическая система мониторинга качества государственных услуг"»;
3. Приказ Минэкономразвития России от 01.03.2013 N 115 «Об утверждении требований к технологическим, программным и организационным средствам сбора данных, обеспечивающим возможность обработки и мониторинга результатов оценки в автоматизированной информационной системе "Информационно-аналитическая система мониторинга качества государственных услуг"»;
4. Приказ Минэкономразвития России от 03.07.2015 N 435 «Об утверждении методических рекомендаций по внедрению системы оценки гражданами эффективности деятельности руководителей территориальных органов федеральных органов исполнительной власти (их структурных подразделений) и территориальных органов государственных внебюджетных фондов (их региональных отделений)»;
5. Приказ Минэкономразвития России от 20.04.2015 N 245 «Об утверждении Методических рекомендаций по организации работы федеральных органов исполнительной власти и органов государственных внебюджетных фондов с отзывами граждан по оценке качества государственных услуг, размещенными в электронном виде на специализированном сайте ("Ваш контроль") в информационно-телекоммуникационной сети "Интернет"».
На основе данных нормативных правовых актов отношение гражданина к качеству предоставления наиболее массовых и социально значимых
государственных услуг ФОИВ и органов государственных внебюджетных фондов оценивается по следующим критериям (по 5-балльной шкале8):
1) время предоставления государственных услуг;
2) время ожидания в очереди при получении государственных услуг;
3) вежливость и компетентность сотрудника, взаимодействующего с заявителем при предоставлении государственных услуг;
4) комфортность условий в помещении, в котором предоставлены государственные услуги;
5) доступность информации о порядке предоставления государственных услуг.
На данный момент определено пять источников сбора оценок от населения9:
1) ответы на SMS, рассылаемые гражданам после получения государственной услуги с номера 0919;
2) анкеты, заполненные на инфоматах центров предоставления государственных и муниципальных услуг «Мои документы» (МФЦ);
3) федеральный телефонный центр, занимающийся выборочным обзво-ном граждан, поставивших отрицательные оценки в SMS;
4) федеральный портал государственных услуг - gosuslugi.ru;
5) сайт «Вашконтроль.ру» и его виджеты, размещенные на страницах органов государственной власти и центров «Мои документы».
На основании данных из первых четырех источников рассчитывается показатель удовлетворенности населения качеством государственных услуг. При этом удовлетворительными считаются только оценки 4 и 5. Таким образом, показатель удовлетворенности представляет собой процент положительных оценок (4 и 5) от общего числа оценок.
Стоит также отметить, что оценки, полученные через сайт «Вашкон-троль.ру» и его виджеты, не участвуют в расчете показателя удовлетворенности, так как в этом случае нет возможности абсолютно точно подтвердить факт получения пользователем услуги. Публичная система «Ваш контроль», в свою очередь, является инструментом обратной связи, позволяющим гражданам не только оценить уровень обслуживания, эффективность деятельности государственных служащих и качество предоставления государственных и муниципальных услуг, но и написать свои отзывы и получить на них ответы от государственных служащих.
В текущей редакции Постановления Правительства Российской Федерации от 12.12.2012 N 1284 «Об оценке гражданами эффективности деятельности руководителей территориальных органов федеральных органов исполнительной власти (их структурных подразделений) с учетом качества предоставления ими государственных услуг, а также о применении результатов указанной оценки как основания для принятия решений о досрочном прекращении исполнения соответствующими руководителями своих должностных обязанностей» установлены требования к динамике показателя удовлетворенности качеством государственных услуг. Она должна быть положительной, причем если значение показателя ниже 90%, то ежегодный прирост должен быть не менее пяти процентных пунктов.
Отрицательные результаты указанной оценки могут являться основанием для проведения выездной проверки, следствием которой может стать решение о досрочном прекращении исполнения руководителями ТО ФОИВ своих должностных обязанностей.
На Рисунке 2 представлена общественная оценка уровня качества 1 943 638 государственных услуг, зарегистрированных в публичной системе «Ваш контроль» (по состоянию на 11.03.2015). Согласно приведенной статистике, 91,5% государственных услуг оцениваются населением положительно.
Рисунок 2
Оценка россиянами уровня качества государственных услуг (на 11.03.2015), %
2 1 3
| Очень плохо О Плохо О Нормально О Хорошо
^^^^^^^^^^^^^^ И Отлично
Источник: Составлен автором на основе данных с портала административной реформы: http://ar.gov. ru/ru/gos_uslugi_03_sbor_mneшj_grazhdan/index.html
На Рисунке 3 также можно проследить положительную динамику изменения общественных оценок качества государственных услуг, предоставляемых гражданскими служащими ФОИВ и внебюджетных фондов с 2013 по 2015 г.
Рисунок 3
Среднее значение оценок качества государственных услуг ФОИВ, баллы
5
4,5 4,3
4 3,5 3 2,5 2 1,5 1
0,5 0
4,55
4,8
4,42 3,85
4,78
4,33
4,41
4,87
4,57
4,76 4,8 4,7 465 |—^4,77 4,65 4,4
3,2
□ 2013 г.
□ 2014 г. ■ 2015 г.
ФНС ФМС МВД Росреестр ФСС ПФ
Источник: Составлен автором на основе данных с сайта системы «Ваш контроль»: https://vashkontrol.ru/
Тем не менее стоит отметить, что приведенные оценки относятся только к тем услугам, которые входят в перечень государственных услуг, приведенный в Таблице 1. Правила оценивания гражданами эффективности деятельности руководителей ТО ФОИВ и внебюджетных фондов, а также использования полученных результатов в качестве основания для принятия решений о досрочном прекращении исполнения руководителями должностных обязанностей распространяются на результаты общественной оценки только установленных в указанном перечне услуг.
Таблица 1
Перечень государственных услуг, в отношении которых проводится оценка гражданами эффективности деятельности руководителей ТО ФОИВ (их структурных подразделений) и ТО государственных внебюджетных фондов (их региональных отделений)
Наименование ФОИВ/ государственного внебюджетного фонда Перечень государственных услуг
Росреестр - Государственная регистрация прав на недвижимое имущество и сделок с ним; - государственный кадастровый учет недвижимого имущества; - предоставление сведений, внесенных в государственный кадастр недвижимости; - предоставление сведений, содержащихся в Едином государственном реестре прав на недвижимое имущество и сделок с ним
МВД России - Предоставление сведений об административных правонарушениях в области дорожного движения; - проведение экзаменов на право управления транспортными средствами и выдача водительских удостоверений; - регистрация автомототранспортных средств и прицепов к ним; - выдача юридическому лицу или гражданину Российской Федерации разрешения на транспортирование оружия и (или) патронов; - выдача лицензии на частную детективную (сыскную) деятельность и удостоверения частного детектива; - выдача гражданину Российской Федерации лицензии на приобретение спортивного или охотничьего огнестрельного гладкоствольного длинноствольного оружия, охотничьего пневматического оружия и спортивного пневматического оружия с дульной энергией свыше 7,5 дж и патронов к нему
ФМС России - Выдача, замена паспортов гражданина Российской Федерации, удостоверяющих личность гражданина Российской Федерации на территории Российской Федерации; - оформление и выдача паспортов гражданина Российской Федерации, удостоверяющих личность гражданина Российской Федерации за пределами территории Российской Федерации; - регистрационный учет граждан Российской Федерации по месту пребывания и по месту жительства; - оформление и выдача приглашений на въезд в Российскую Федерацию иностранных граждан и лиц без гражданства; - оформление, выдача, продление срока действия, восстановление и аннулирование виз иностранным гражданам и лицам без гражданства
Наименование ФОИВ/ государственного внебюджетного фонда Перечень государственных услуг
ФНС России - Государственная регистрация юридических лиц, физических лиц в качестве индивидуальных предпринимателей и крестьянских (фермерских) хозяйств; - предоставление сведений из Единого государственного реестра юридических лиц; - бесплатное информирование (в том числе в письменной форме) налогоплательщиков о действующих налогах и сборах, законодательстве о налогах и сборах и принятых в соответствии с ним нормативных правовых актах, порядке исчисления и уплаты налогов и сборов, правах и обязанностях налогоплательщиков, полномочиях налоговых органов и их должностных лиц, а также предоставление форм налоговой отчетности и разъяснение порядка их заполнения в части индивидуального информирования об исполнении обязанности по уплате налогов, сборов, пеней, штрафов, процентов на основании запросов в письменной форме
Пенсионный фонд Российской Федерации - Выдача государственного сертификата на материнский (семейный) капитал; - прием от застрахованных лиц заявлений о выборе инвестиционного портфеля (управляющей компании), о переходе в негосударственный пенсионный фонд или о переходе в Пенсионный фонд Российской Федерации из негосударственного пенсионного фонда для передачи им средств пенсионных накоплений; - установление трудовых пенсий и пенсий по государственному пенсионному обеспечению; - установление федеральной социальной доплаты к пенсии; - рассмотрение заявления о распоряжении средствами (частью средств) материнского (семейного) капитала
Источник: Составлена автором на основе Постановления Правительства Российской Федерации от 12.12.2012 N 1284 «Об оценке гражданами эффективности деятельности руководителей территориальных органов федеральных органов исполнительной власти (их структурных подразделений) с учетом качества предоставления ими государственных услуг, а также о применении результатов указанной оценки как основания для принятия решений о досрочном прекращении исполнения соответствующими руководителями своих должностных обязанностей».
Анализ уровня удовлетворенности граждан качеством государственных услуг, обозначенных в перечне, в разрезе территориальных органов субъектов Российской Федерации показал, что в большинстве случаев динамика удовлетворенности граждан положительная. В Таблице 2 данный анализ представлен на примере территориальных органов ФМС России.
Таблица 2
Уровень удовлетворенности населения услугами территориальных органов Федеральной миграционной службы Российской Федерации, %
ТО ФМС 2013 г. 2014 г. 2015 г. ТО ФМС 2013 г. 2014 г. 2015 г.
Алтайский край 100,00 98,90 97,46 Приморский край 33,33 95,90 94,75
Амурская обл. 100,00 97,26 96,45 Псковская обл. 30,00 94,92 96,71
ТО ФМС 2013 г. 2014 г. 2015 г. ТО ФМС 2013 г. 2014 г. 2015 г.
Архангельская обл. 0,00 96,51 96,60 Респ. Адыгея 10,00 95,62 96,47
Астраханская обл. 0,00 91,37 96,47 Респ. Алтай 0,00 99,57 98,43
Белгородская обл. 0,00 98,41 93,58 Респ. Башкортостан 71,43 97,36 95,35
Брянская обл. 55,00 96,40 95,59 Респ. Бурятия 100,00 95,63 94,70
Владимирская обл. 40,00 86,73 91,82 Респ. Дагестан 0,00 88,24 89,18
Волгоградская обл. 29,27 93,74 92,76 Респ. Ингушетия 0,00 100,00 96,18
Вологодская обл. 0,00 97,08 96,11 Респ. Калмыкия 0,00 98,88 98,84
Воронежская обл. 37,50 91,53 97,07 Респ. Карелия 100,00 96,24 96,64
г. Москва 27,46 83,50 92,46 Респ. Коми 0,00 98,28 96,50
Еврейская АО 0,00 95,65 93,46 Респ. Марий Эл 0,00 96,55 94,02
Забайкальский край 0,00 99,24 97,90 Респ. Мордовия 10,00 97,06 97,31
Ивановская обл. 0,00 93,31 93,80 Респ. Саха (Якутия) 0,00 100,00 92,47
Иркутская обл. 41,67 95,43 94,49 Респ. Татарстан 31,43 94,48 93,25
Кабардино-Балкарская Респ. 0,00 0,00 94,21 Респ. Тыва 0,00 100,00 94,10
Калининградская обл. 0,00 95,78 95,57 Респ. Хакасия 91,67 97,03 96,57
Калужская обл. 16,13 71,98 48,05 Ростовская обл. 33,33 95,36 93,77
Камчатский край 0,00 97,32 96,66 Рязанская обл. 31,82 97,74 97,14
Карачаево-Черкесская Респ. 0,00 95,58 94,62 Самарская обл. 37,78 94,41 95,82
Кемеровскоя обл. 56,00 96,77 95,34 Саратовская обл. 60,00 97,91 97,43
Кировская обл. 0,00 93,45 99,43 Сахалинская обл. 0,00 97,46 100,00
Костромская обл. 0,00 99,33 97,63 Свердловская обл. 32,00 94,37 94,67
Краснодарский край 1,96 91,61 89,13 Смоленская обл. 33,33 97,69 97,28
Красноярский край 60,00 97,02 97,44 Ставропольский край 100,00 95,16 93,59
Курганская обл. 100,00 97,81 98,40 Тамбовская обл. 0,00 98,63 96,14
Курская обл. 31,82 95,19 94,93 Тверская обл. 20,00 94,98 92,20
ТО ФМС 2013 г. 2014 г. 2015 г. ТО ФМС 2013 г. 2014 г. 2015 г.
Ленинградская обл. и СПб. 25,24 85,19 94,19 Томская обл. 0,00 98,53 97,07
Липецкая обл. 100,00 98,27 98,53 Тульская обл. 0,00 95,11 96,76
Магаданская обл. 0,00 93,08 93,95 Тюменская обл. 0,00 89,51 90,47
Московская обл. 15,86 91,09 93,50 Удмуртская Респ. 0,00 95,84 95,20
Мурманская обл. 0,00 93,46 97,15 Ульяновская обл. 62,50 96,07 94,80
Нижегородская обл. 13,79 96,27 94,89 Хабаровский край 0,00 97,01 95,99
Новгородская обл. 0,00 96,88 96,98 ХМАО-Югра 0,00 97,06 94,80
Новосибирская обл. 62,22 97,43 96,36 Челябинская обл. 39,13 92,73 94,79
Омская обл. 51,11 98,10 96,29 Чеченская Респ. 0,00 100,00 98,02
Оренбургская обл. 35,71 92,96 94,26 Чувашская Респ. 100,00 98,49 95,52
Орловская обл. 100,00 91,24 97,40 Чукотский АО 100,00 100,00 94,09
Пензенская обл. 20,00 95,26 92,88 Ямало-Ненецкий АО 0,00 97,09 95,73
Пермский край 100,00 97,05 97,70 Ярославская обл. 42,86 93,01 96,54
Источник: Составлена автором на основе данных с сайта системы «Ваш контроль»: https://vashkontrol.ru/
Вместе с тем, если анализировать первичные данные информационно-аналитической системы мониторинга качества государственных услуг (далее - ИАС МКГУ), которые фиксируют оценки населения по всем услугам ФОИВ, как включенным, так и не включенным в обязательный перечень услуг для оценки населением, то можно увидеть другую картину. На примере тех же ТО ФМС: только в 25,6% субъектов Российской Федерации средняя оценка качества оказанных ими государственных услуг является положительной (выше или равна 4 баллам). При этом количество государственных услуг ФМС, включенных в вышеуказанный перечень, составляют только 20% от всех предоставляемых услуг.
Таким образом, можем сделать вывод о том, что население в основном удовлетворено теми услугами, которые входят в обязательный перечень, установленный Постановлением Правительства от 12.12.2012 N 1248.
Так, средние оценки качества всех услуг ТО ФМС за 2014 г. по пяти оцениваемым компонентам составляют:
- 3,04 балла за время предоставления государственных услуг;
- 2,93 балла за время ожидания в очереди при получении государственных услуг;
- 3,14 балла за вежливость и компетентность сотрудника, взаимодействующего с заявителем при предоставлении государственных услуг;
- 3,04 балла за комфортность условий в помещении, в котором предоставлены государственные услуги;
- 3,20 балла за доступность информации о порядке предоставления государственных услуг10.
Для того чтобы определить, какие факторы влияют на удовлетворенность населения качеством полученных государственных услуг, был проведен нижеследующий факторный анализ.
Факторный анализ удовлетворенности населения государственными услугами на примере ТО ФМС
В социологических исследованиях факторный анализ используется для изучения комплексных факторов, которые как можно более полно объясняют наблюдаемые связи между имеющимися в наличии переменными (Field, 2005). В данном случае факторный анализ позволил выявить факторы, оказывающие значимое влияние на удовлетворенность населения полученными государственными услугами на примере ТО ФМС в 2014 г. Выбор ТО ФМС объясняется несколькими причинами. Во-первых, отдельные услуги ФМС входят в перечень государственных услуг, в отношении которых проводится оценка гражданами эффективности деятельности руководителей ТО ФОИВ (их структурных подразделений) (табл. 1).
Во-вторых, согласно результатам проведения социологического опроса получателей государственных и муниципальных услуг в 2013 г., обозначенные услуги признаны наиболее массовыми и востребованными11.
Кроме того, в настоящее время ФМС занимает первое место рейтинга информационной открытости автоматизированной информационной системы «Мониторинг госсайтов»12. В рамках мониторинга проводится оценка соблюдения требований к доступности информации о деятельности государственных органов и органов местного самоуправления, проверяются технические характеристики официальных сайтов, а также производятся контроль и учет мнения пользователей по поводу работы того или иного органа государственной власти и его представительства в сети Интернет.
Таким образом, выбор ТО ФМС также обусловлен доступностью статистической информации за 2014 г., необходимой для проведения исследования.
На основе анализа существующих исследований удовлетворенности граждан были выделены разные компоненты, влияющие на уровень удовлетворенности общества деятельностью государственных гражданских служащих и оказываемыми ими государственными услугами. В данном исследовании также представлена попытка выявления влияния отмеченных выше факторов на уровень удовлетворенности населения в разных субъектах Российской Федерации услугами ТО ФМС. В связи с этим среди имеющихся данных в региональном разрезе были проанализированы:
1) данные Росстата о численности территориальных органов ФОИВ в 2014 г. (в разрезе субъектов Российской Федерации, чел.);
2) данные Росстата о мигрантах, прибывших из других регионов и прибывших из-за пределов России (в разрезе субъектов Российской Федерации) в 2014 г. (% от общего числа прибывших и выбывших);
3) первичные13 данные системы ИАС МКГУ за 2014 г. о количестве ТО ФМС, принимавших участие в общественной оценке, а также данные об удовлетворенности населения полученными государственными услугами по каждой из пяти компонент общественной оценки:
- удовлетворенность временем предоставления государственных услуг, от 1 до 5 баллов;
- удовлетворенность временем ожидания в очереди при получении государственных услуг, от 1 до 5 баллов;
- удовлетворенность вежливостью и компетентностью сотрудников, взаимодействующих с заявителями при предоставлении государственных услуг, от 1 до 5 баллов;
- удовлетворенность комфортностью условий в помещении, в котором предоставляются государственные услуги, от 1 до 5 баллов;
- удовлетворенность доступностью информации о порядке предоставления государственных услуг, от 1 до 5 баллов.
Обозначенные данные могут оказывать как прямое, так и косвенное влияние на удовлетворенность населения субъектов Российской Федерации услугами ТО ФМС.
С учетом исключения наблюдений с отсутствующими данными по некоторым компонентам в итоговой выборке осталось 74 наблюдения (Приложение 1).
Отбор факторов был проведен методом анализа главных компонент в статистическом пакете SPSS (Приложение 2). В результате проведенного анализа выделилось три фактора:
1. Первый, наиболее значимый, фактор включил в себя пять переменных, характеризующих параметры удовлетворенности населения субъектов Российской Федерации деятельностью государственных гражданских служащих по оказанию государственных услуг: «Время предоставления государственных услуг», «Время ожидания в очереди при получении государственных услуг», «Вежливость и компетентность сотрудников», «Комфортность условий в помещении», «Доступность информации о порядке предоставления государственных услуг». Условно данный фактор можно назвать «Параметры удовлетворенности населения».
2. Второй фактор включил переменные, характеризующие ТО ФОИВ субъектов Российской Федерации: в целом - переменная «Численность работников ТО ФОИВ в субъекте Российской Федерации», а также объем работы ТО ФМС в субъектах; в частности - переменные «Количество ТО ФОИВ, участвующих в общественной оценке», «Число мигрантов, прибывших из других регионов». Условно этот фактор можно назвать «Особенности деятельности ТО ФМС в субъектах Российской Федерации».
3. Переменная «Число прибывших мигрантов из-за пределов России» выделяется в отдельный фактор, который условно можно назвать «Внешняя миграция».
В связи с тем что фактор «Параметры удовлетворенности населения» является наиболее значимым, целесообразно исследовать, какие экзогенные характеристики оказывают на него непосредственное влияние. Для этого в анализ были введены следующие дополнительные переменные, характеризующие отдельные географические, демографические и социально-экономические характеристики региона.
- Принадлежность субъекта Российской Федерации к федеральному округу (категориальная переменная, принимающая значение 1 - если субъект РФ входит в Центральный Федеральный округ, 2 - в Северо-Западный, 3 - в Южный, 4 - в Северо-Кавказский, 5 - в Приволжский, 6 - в Уральский, 7 - в Сибирский, 8 - в Дальневосточный).
- Соотношение численности женщин и мужчин в субъектах Российской Федерации с разбивкой субъектов Российской Федерации на квартили (категориальная переменная, принимающая значение 1 - если в субъекте Российской Федерации на 1000 мужчин приходится от 990 до 1125 женщин, 2 - от 1126 до 1163 женщин, 3 - от 1164 до 1183 женщин, 4 - от 1184 до 1234 женщин14).
- Среднемесячная номинальная начисленная заработная плата работников организаций с разбивкой субъектов Российской Федерации на квартили (категориальная переменная, принимающая значение 1 - если значение среднемесячной начисленной заработной платы в субъекте Российской Федерации находится в пределах от 17 946 до 22 031 руб., 2 - от 22 032 до 25 031 руб., 3 - от 25 032 до 29 402 руб., 4 - от 29 403 до 73 758 руб.15).
- Миграционный прирост населения - абсолютная величина разности между числом прибывших на данную территорию и числом выбывших за пределы этой территории за определенный промежуток времени с разбивкой субъектов Российской Федерации на квартили (категориальная переменная, принимающая значение 1 - если на 10 000 человек населения миграционный прирост составил от 0,1 до 12,25 человека, 2 - от 12,26 до 33 человек, 3 - от 33,1 до 72,75 человека, 4 - от 72,76 до 150 человек16). Обозначенные переменные были использованы для того, чтобы устанавливать связи «Параметров удовлетворенности населения» методом разбиения факторных значений на пять групп процентилей.
Проведенный анализ влияния отдельных географических, демографических и социально-экономических характеристик региона на фактор «Параметры удовлетворенности населения» государственными услугами ТО ФМС представлен ниже в форме таблиц сопряженности.
В Таблице 3 приведен анализ уровня удовлетворенности населения субъектов Российской Федерации услугами ТО ФМС в зависимости от федерального округа, в который входит каждый субъект Российской Федерации. Приведенные данные свидетельствуют о том, что в разных федеральных округах Российской Федерации уровни удовлетворенности населения полученными государственными услугами ТО ФМС существенно различа-
ются. Таким образом, географическое положение субъекта является значимым параметром в отношении уровня удовлетворенности граждан государственными услугами.
Таблица 3
Таблица сопряженности общего уровня удовлетворенности населения полученными государственными услугами по федеральным округам Российской Федерации*
Федеральные округа РФ Удовлетворенность в целом (фактор) Всего
очень плохо плохо нормально хорошо очень хорошо
Центральный ФО Число субъектов РФ 2 6 3 3 4 18
% внутри ФО 11,1 33,3 16,7 16,7 22,2 100,0
СевероЗападный ФО Число субъектов РФ 2 1 2 3 1 9
% внутри ФО 22,2 11,1 22,2 33,3 11,1 100,0
Южный ФО Число субъектов РФ 1 0 1 2 2 6
% внутри ФО 16,7 0,0 16,7 33,3 33,3 100,0
СевероКавказский ФО Число субъектов РФ 2 0 2 0 0 4
% внутри ФО 50,0 0,0 50,0 0,0 0,0 100,0
Приволжский ФО Число субъектов РФ 3 2 4 2 2 13
% внутри ФО 23,1 15,4 30,8 15,4 15,4 100,0
Уральский ФО Число субъектов РФ 2 3 1 1 0 7
% внутри ФО 28,6 42,9 14,3 14,3 0,0 100,0
Сибирский ФО Число субъектов РФ 0 0 1 4 5 10
% внутри ФО 0,0 0,0 10,0 40,0 50,0 100,0
Дальневосточный ФО Число субъектов РФ 2 3 1 0 0 6
% внутри ФО 33,3 50,0 16,7 0,0 0,0 100,0
В целом Число субъектов РФ 14 15 15 15 14 73
% внутри ФО 19,2 20,5 20,5 20,5 19,2 100,0
* Цветом в таблице выделены наиболее распространенные оценки качества государственных услуг ТО ФМС в разных территориальных округах Российской Федерации. Источник: Составлена автором в ходе проведения факторного анализа в SPSS.
В Таблице 4 представлен анализ уровня удовлетворенности населения субъектов Российской Федерации услугами ТО ФМС в зависимости от пола большинства получателей государственных услуг. Несмотря на то что значимость влияния данного фактора на удовлетворенность населения услугами государственных органов подтверждена во многих зарубежных исследованиях, в нашем случае нельзя сказать о том, что преобладание женского или мужского населения существенно влияет на значение показателя «уровень удовлетворенности населения государственными услугами». Тем не менее можно сделать вывод, что с увеличением количества женщин в субъектах Российской Федерации оценки качества государственных услуг распределяются более равномерно.
Таблица 4
Таблица сопряженности общего уровня удовлетворенности
населения полученными государственными услугами и соотношения численности мужчин и женщин в субъектах Российской Федерации*
Соотношение численности женщин и мужчин в субъектах РФ Удовлетворенность в целом (фактор) Всего
очень плохо плохо нормально хорошо очень хорошо
Количество женщин на 1000 мужчин, человек (квартили) от 990 до 1125 Число субъектов РФ 4 6 2 2 4 18
% 22,2 33,3 11,1 11,1 22,2 100,0
от 1126 до 1163 Число субъектов РФ 1 2 4 8 3 18
% 5,6 11,1 22,2 44,4 16,7 100,0
от 1164 до 1183 Число субъектов РФ 5 3 6 1 3 18
% 27,8 16,7 33,3 5,6 16,7 100,0
от 1184 до 1234 Число субъектов РФ 4 4 3 4 4 19
% 21,1 21,1 15,8 21,1 21,1 100,0
В целом Число субъектов РФ 14 15 15 15 14 73
% 19,2 20,5 20,5 20,5 19,2 100,0
* Цветом в таблице выделены наиболее распространенные оценки качества государственных услуг ТО ФМС в субъектах Российской Федерации с разным соотношением численности мужчин и женщин.
Источник: Составлена автором в ходе проведения факторного анализа в SPSS.
В Таблице 5 представлен анализ уровня удовлетворенности населения субъектов Российской Федерации услугами ТО ФМС в зависимости от уровня доходов населения. В некоторых зарубежных исследованиях выявлена прямая зависимость уровня доходов населения и уровня удовлетворенности (например, Brown and Coulter, 1983). В нашем случае о такой зависимости между субъектами-донорами и субъектами-реципиентами сказать нельзя - в Российской Федерации население в среднем удовлетворено качеством полученных государственных услуг ТО ФМС.
Таблица 5
Таблица сопряженности общего уровня удовлетворенности населения полученными государственными услугами и уровня доходов населения в субъектах Российской Федерации*
Среднемесячная номинальная Удовлетворенность в целом (фактор)
начисленная заработная плата работников организаций очень плохо плохо нормально хорошо очень хорошо Всего
от 17 946 до 22 031 Число субъектов РФ 4 1 5 5 4 19
% 21,1 5,3 26,3 26,3 21,1 100,0
Среднемесячная номинальная начисленная заработная плата работников организаций, руб. (квартили) от 22 032 до 25 031 Число субъектов РФ 4 6 3 2 2 17
% 23,5 35,3 17,6 11,8 11,8 100,0
от 25 032 до 29 402 Число субъектов РФ 3 2 1 4 7 17
% 17,6 11,8 5,9 23,5 41,2 100,0
от 29 403 до 73 758 Число субъектов РФ 3 6 6 4 1 20
% 15,0 30,0 30,0 20,0 5,0 100,0
В целом Число субъектов РФ 14 15 15 15 14 73
% 19,2 20,5 20,5 20,5 19,2 100,0
* Цветом в таблице выделены наиболее распространенные оценки качества государственных услуг ТО ФМС в субъектах Российской Федерации с разными коэффициентами миграционного прироста. Источник: Составлена автором в ходе проведения факторного анализа в SPSS.
В Таблице 6 представлен анализ уровня удовлетворенности населения субъектов Российской Федерации услугами ТО ФМС в зависимости от уровня миграции в регионе. На основе полученных данных можно сделать вывод о том, что чем выше в регионе уровень миграции, тем не-
гативнее население оценивает услуги ТО ФМС. Данный вывод вполне сопоставим с результатом исследования Дж. Дрю и Б. Доллери (Drew & Dollery, 2016), показавшим, что с увеличением численности населения растет и уровень неудовлетворенности качеством предоставления государственных услуг.
Таблица 6
Таблица сопряженности общего уровня удовлетворенности населения субъектов Российской Федерации услугами ТО ФМС в зависимости от уровня миграции в регионе
Коэффициенты миграционного прироста Удовлетворенность в целом (фактор) Всего
нет (оценки 1, 2, 3) да (оценки 4, 5)
Коэффициенты миграционного прироста, чел. на 10 000 чел. населения (квартили) от 0,1 до 12,25 Число субъектов РФ 11 8 19
% 57,9 42,1 100,0
от 12,26 до 33 Число субъектов РФ 11 7 18
% 61,1 38,9 100,0
от 33,1 до 72,75 Число субъектов РФ 11 7 18
% 61,1 38,9 100,0
от 72,76 до 150 Число субъектов РФ 12 7 19
% 63,2 36,8 100,0
В целом Число субъектов РФ 45 29 74
% 60,8 39,2 100,0
Источник: Составлена автором в ходе проведения факторного анализа в SPSS.
Исходя из приведенных результатов факторного анализа можно составить характеристику наиболее и наименее удовлетворенных получателей государственных услуг ТО ФМС.
Факторный анализ на основе данных ТО ФМС за 2014 г. позволил выявить следующие три основные фактора, влияющие на уровень удовлетворенности населения качеством государственных услуг и оценку эффективности деятельности государственных гражданских служащих на примере ТО ФМС:
1. Параметры оценки удовлетворенности (такие, как удовлетворенность временем предоставления государственных услуг, удовлетворенность временем ожидания в очереди при получении государственных услуг, удовлетворенность вежливостью и компетентностью сотрудников, взаимодействующих с заявителями при предоставлении государственных услуг, удовлетворенность комфортностью условий в помещении, в котором предоставляются государственные услуги, удовлетворенность доступностью информации о порядке предоставления государственных услуг).
2. Особенности деятельности ТО ФМС в субъектах Российской Федерации (такие, как численность работников ТО ФОИВ в субъекте Российской Федерации», количество ТО ФОИВ, участвующих в общественной оценке, число мигрантов, прибывших из других регионов).
3. Внешняя миграция.
Выявленные факторы перечислены по уровню их значимости в убывающем порядке. Таким образом, экзогенные параметры оказывают меньшее влияние на уровень удовлетворенности населения качеством государственных услуг ТО ФМС, чем эндогенные факторы, связанные непосредственно со взаимодействием с государственными служащими при получении государственной услуги.
Исследование показало, что на наиболее значимый показатель «удовлетворенность населения» в большей степени оказывают влияние: географическое положение субъекта Российской Федерации (в частности, его принадлежность к тому или иному федеральному округу), уровень доходов населения и уровень миграции в регионе.
Данные параметры позволяют составить профили наиболее и наименее удовлетворенных получателей государственных услуг ТО ФМС.
Так, согласно проведенному исследованию, наиболее удовлетворенные получатели государственных услуг ТО ФМС живут в субъектах Российской Федерации Сибирского Федерального округа с преобладающим количеством мужского населения (от 990 до 1125 женщин на 1000 мужчин), средним уровнем доходов (среднемесячная номинальная начисленная заработная плата работников организаций составляет от 25 032 до 29 402 руб. в месяц) и низким уровнем миграции (коэффициент миграционного прироста составляет от 0,1 до 12,25 человека на 10 000 человек населения).
Наименее удовлетворенные получатели государственных услуг ТО ФМС живут в субъектах Российской Федерации Северо-Кавказского Федерального округа с преобладающим количеством женского населения (от 1164 до 1183 женщин на 1000 мужчин), средним уровнем доходов (среднемесячная номинальная начисленная заработная плата работников организаций составляет от 22 032 до 25 031 руб. в месяц) и высоким уровнем миграции (коэффициент миграционного прироста составляет от 72,76 до 150 человек на 10 000 человек населения).
Полученные результаты могут служить основой дальнейшего исследования лучших региональных практик оказания государственных услуг
ТО ФМС с целью повышения эффективности работы государственных гражданских служащих и повышения уровня удовлетворенности населения государственными услугами, а также выявления наиболее «проблемных» регионов, нуждающихся в усилении мониторинга качества оказания государственных услуг.
ЛИТЕРАТУРА
1. Andrews R., Van de Walle S. New Public Management and Citizens' Perceptions of Local Service Efficiency, Responsiveness, Equity and Effectiveness // Public Management Review. 2013. Vol. 15. No. 5. P. 762-783.
2. Bouckaert G., Van de Walle S. Comparing Measures of Citizen Trust and User Satisfaction as Indicators of "good Governance": Difficulties in Linking Trust and Satisfaction Indicators // International Review of Administrative Sciences. 2003. Vol. 69. No. 3. P. 329-343.
3. Bouckaert, G., S. Van de Walle and J.K. Kampen. Potential for Comparative Public Opinion Research in Public Administration // International Review of Administrative Sciences. 2005. Vol. 71. No. 2. P. 229-240.
4. Brown K., Coulter P.B. Subjective and objective measures of police service delivery // Public Administration Review. 1983. No. 43. P. 50-58.
5. Drew J. Is bigger better in local government in the eyes of Victorian citizens? Working Paper 01. Armidale: Centre for Local Government, University of New England. 2013.
6. Drew J., Dollery B. Does Size Still Matter? An Empirical Analysis of the Effectiveness of Victorian Local Authorities // Local Government Studies. 2016. Vol. 42. No. 1. P. 15-28.
7. Favero N., Meier K.J. Evaluating Urban Public Schools: Parents, Teachers, and State Assessments // Public Administration Review. 2013. Vol. 73. No. 3. P. 401-412.
8. Field A.P. Discovering statistics using SPSS (2nd edition). 2005. London: Sage.
9. Gaines B.J., Kuklinski J.H., Quirk P.J. The Logic of the survey Experiment Reexamined // Political Analysis. 2007. Vol. 15. No. 1. P. 1-20.
10. Gofen A. Entrepreneurial exit response to dissatisfaction with public services // Public Administration. 2012. Vol. 90. No. 4. P. 1088-1106.
11. Herian M.N., Tomkins A.J. Citizen Satisfaction Survey Data: A Mode Comparison of the Derived Importance-Performance Approach // American Review of Public Administration. 2012. Vol. 42. No. 1. P. 66-86.
12. Holzer M., Charbonneau E., Kim Y. Mapping the Terrain of Public Service Quality Improvement: Twenty-Five Years of Trends and Practices in the United States // International Review of Administrative Sciences. 2009. Vol. 75. No. 3. P. 403-418.
13. James O. Evaluating the Expectations Disconfirmation and Expectations Anchoring Approaches to Citizen Satisfaction with Local Services // Journal of Public Administration Research and Theory. 2009. Vol. 19. No. 1. P. 107-123.
14. Jilke S., Van de Walle S. Two Track Public Services? Citizens' Voice Behaviour towards Liberalized Services in the EU15 // Public Management Review. 2013. Vol. 15. No. 4. P. 465-476.
15. Jilke S. Choice and Equality: Are Vulnerable Citizens Worse Off after Liberalization Reforms? // Public Administration. 2014. Published electronically on July 28.
16. Jilke S., Meuleman B., Van de Walle S. We Need to Compare, but How? Measurement Equivalence in Comparative Public Administration'. Public Administration Review. 2015. Vol. 75. No. 1. P. 36-48.
17. Kampen J.K., Van De Walle S., Bouckaert G. Assessing the Relation Between Satisfaction with Public Service Delivery and Trust in Government. The Impact of the Predisposition of Citizens Toward Government on Evaluations of Its Performance // Public Performance and Management Review. 2006. Vol. 29. No. 4. P. 387-404.
18. Kelly J.M., Swindell D. A Multiple-Indicator Approach to Municipal Service Evaluation: Correlating Performance Measurement and Citizen Satisfaction across Jurisdictions'. Public Administration Review. 2002. Vol. 62. No. 5. P. 610-621.
19. Kelly J.M., Swindell D. The Case for the Inexperienced User: Rethinking Filter Questions in Citizen Satisfaction Surveys // The American Review of Public Administration. 2003. Vol. 33. No. 1. P. 91-108.
20. Kim S., Vandenabeele W., Wright B., Andersen L., Cerase F.P., Christensen R.K., Desmarais C., Koumenta M., Leisink P., Liu B., Palidauskaite J., Pdersen L.H., Perry J.L., Ritz A., Taylor J., Vivo P.D. Investigating the Structure and Meaning of Public Service Motivation across Populations: Developing an International Instrument and Addressing Issues of Measurement Invariance // Journal of Public Administration Research and Theory. 2013. Vol. 23. No. 1. P. 79-102.
21. Martin S. Implementing "best Value": Local Public Services in Transition // Public Administration. 2000. Vol. 78. No. 1. P. 209-227.
22. Morgeson F.V. Expectations, Disconfirmation, and Citizen Satisfaction with the US Federal Government: Testing and Expanding the Model // Journal of Public Administration Research and Theory. 2013. Vol. 23. No. 2. P. 289-305.
23. Olsen A.L. Citizen (Dis)satisfaction: An Experimental Equivalence Framing Study // Public Administration Review. 201S. Vol. 75. No. 3. P. 4б9-478.
24. Poister T.H., Thomas J.C. The Effect of Expectations and Expectancy Confirmation / Disconfirmation on Motorists' Satisfaction with State Highways // Journal of Public Administration Research and Theory. 2009. Vol. 21. No. 4. P. б01-б17.
25. Shingler J., Van Loon M.E., Alter T.R., Bridger J.C. The Importance of Subjective Data for Public Agency Performance Evaluation. Public Administration Review. 2008. Vol. б8. No. б. P. 1101-1111.
26. Van de Walle S., Bouckaert G. Public Service Performance and Trust in Government: The Problem of Causality // International Journal of Public Administration. 2003. Vol. 2б. P. 8-9.
27. Van de Walle S. Context-specific Images of the Archetypical Bureaucrat: Persistence and Diffusion of the Bureaucracy Stereotype // Public Voices. 2004a. Vol. 7. No. 1. P. 3-12.
28. Van de Walle S. Perceptions of Administrative Performance: The Key to Trust in Government? Leuven. Belgie. 2004b.
29. Van de Walle S., Kampen J.K., Bouckaert G. Deep Impact for High Impact Agencies? Assessing the Role of Bureaucratic Encounters in Evaluations of Government // Public Performance and Management Review. 200S. Vol. 28. No. 4. P. S32-S49.
30. Van de Walle S., Van Roosbroek S., Bouckaert G. Trust in the Public Sector: Is There Any Evidence for a Long-Term Decline? // International Review of Administrative Sciences. 2008. Vol. 74. No. 1. P. 47-б4.
31. Van De Walle S., Van Ryzin G.G. The order of questions in a survey on citizen satisfaction with public services: lessons from a split-ballot experiment //Public Administration. 2011. Vol. 89. No. 4. P. 143б-1450.
32. Van Ryzin G.G., Muzio D., Immerwahr S. et al. Drivers and Consequences of Citizen Satisfaction: An Application of the American Customer Satisfaction Index to New York City // Public Administration Review. 2004. Vol. б4. No. 3. P. 331-341.
33. Van Ryzin G.G., Immerwahr S. Derived Importance-performance Analysis of Citizen Survey Data // Public Performance and Management Review. 2004. Vol. 27. No. 4. P. 144-173.
34. Van Ryzin G.G. Testing the Expectancy Disconfirmation Model of Citizen Satisfaction with Local Government // Journal of Public Administration Research and Theory. 200б. Vol. 1б. No. 4. P. 599-б11.
35. Van Ryzin G.G. Citizen Perceptions of Road Smoothness: Evidence from New York with Implications for Comparative Performance Measurement // International Review of Administrative Sciences. 2008. Vol. 74. No. 4. P. 575-588.
36. Van Ryzin G.G., Immerwahr S., Altman S. Measuring Street Cleanliness: A Comparison of New York City's Scorecard and Results from a Citizen Survey // Public Administration Review. 2008. Vol. б8. No. 2. P. 295-303.
37. Van Ryzin G.G. Outcomes, Process, and Trust of Civil Servants // Journal of Public Administration Research and Theory. 2011. Vol. 21. No. 4. P. 745-760.
38. Van Ryzin G.G. An Experimental Test of the Expectancy-Disconfirmation Theory of Citizen Satisfaction: An Experimental Test of Expectancy-Disconfirmation // Journal of Policy Analysis and Management. 2013. Vol. 32. No. 3. P. 597-614.
39. Van Ryzin G.G. Service Quality, Administrative Process, and Citizens' Evaluation of Local Government in the US // Public Management Review. 2015. Vol. 17. No. 3. P. 425-442.
40. Vigoda-Gadot E. Citizens' Perceptions of Politics and Ethics in Public Administration: A Five-Year National Study of their Relationship to Satisfaction with Services, Trust in Governance, and Voice Orientation // Journal of Public Administration Research and Theory. 2007. Vol. 17. No. 2. P. 285-305.
41. Yu W., Ma L. External Government Performance Evaluation in China: Evaluating the Evaluations // Public Performance and Management Review. 2015. Vol. 39. No. 1. P. 144-171.
ПРИМЕЧАНИЯ
См., например, Концепцию административной реформы в Российской Федерации в 2006-2010 гг., утвержденную распоряжением Правительства РФ от 25.10.2005 N 1789-р.
2 Пункт «р» части 2 Указа Президента Российской Федерации от 7 мая 2012 г. N 601 «Об основных направлениях совершенствования системы государственного управления».
Пункт 1 Правил оценки гражданами эффективности деятельности руководителей территориальных органов федеральных органов исполнительной власти (их структурных подразделений) и территориальных органов государственных внебюджетных фондов (их региональных отделений) с учетом качества предоставления ими государственных услуг, а также применения результатов указанной оценки как основания для принятия решений о досрочном прекращении исполнения соответствующими руководителями своих должностных обязанностей, утвержденных Постановлением Правительства Российской Федерации от 12.12.2012 N 1284.
4
Van Ryzin, 2008; Van Ryzin et al., 2008; Charbonneau & Van Ryzin, 2012; Favero & Meier, 2013; Shingler et al., 2008; James, 2009; Morgeson, 2013; Van Ryzin, 2006, 2013; Kampen et al., 2006; Van de Walle, 2004a; Van de Walle et al., 2005; Vigoda-Gadot, 2007; Van Ryzin, 2013; Bouckaert & Van de Walle, 2003; Shingler et al., 2008.
International Social Survey Programme: http://www.issp.org/
Eurobarometer: http://ec.europa.eu/public_opinion/index_en.htm
COCOPS: http://www.cocops.eu/
1 балл - качество оказания государственной услуги «очень плохое», 2 балла - «плохое», 3 балла - «нормальное», 4 балла - «хорошее», 5 баллов - «очень хорошее».
Источники сбора оценок перечислены по мере массовости их использования.
Средние оценки качества всех услуг ФМС за 2014 г. по пяти оцениваемым компонентам рассчитаны автором на основе первичных данных ИАС МКГУ.
Социологический опрос проведен специалистами РАНХиГС с 9 по 19 сентября 2013 г. в рамках ежегодного мониторинга качества предоставления государственных услуг.
АИС «Мониторинг госсайтов»: https://gosmonitor.ru/about Данные в формате .csv более 6000 строк. Значения переменной разбиты на 5 процентилей. Значения переменной разбиты на 5 процентилей. Значения переменной разбиты на 5 процентилей.
5
5
7
8
9
10
11
12
13
14
15
16
ПРИЛОЖЕНИЕ 1
Описательные статистики переменных факторного анализа
Переменные факторного анализа Количество наблюдений Минимум Максимум Среднее значение Стандартное отклонение Дисперсия
Удовлетворенность временем предоставления госуслуг, от 1 до 5 баллов 74 1,00 5,00 3,0392 1,24338 1,546
Удовлетворенность временем ожидания в очереди при получении госуслуг, от 1 до 5 баллов 73 1,00 5,00 2,9280 1,15793 1,341
Удовлетворенность вежливостью и компетентностью сотрудников, взаимодействующих с заявителями при предоставлении госуслуг, от 1 до 5 баллов 74 1,00 5,00 3,1407 1,21827 1,484
Удовлетворенность комфортностью условий в помещении, в котором предоставляются госуслуги, от 1 до 5 баллов 73 1,00 5,00 3,0354 1,08614 1,180
Удовлетворенность доступностью информации о порядке предоставления госуслуг, от 1 до 5 баллов 74 1 5 3,20 1,119 1,251
Количество ТО ФОИВ, участвующих в общественной оценке, ед. 74 1 60 6,32 9,875 97,510
Численность работников ТО ФОИВ, человек 74 1360 34485 6959,55 5027,654 25277303,346
Число прибывших из других регионов, % от общего числа прибывших и выбывших 74 19,70 89,90 38,4622 12,20792 149,033
Число прибывших из-за пределов России, % от общего числа прибывших и выбывших 74 ,10 39,00 10,1459 7,49265 56,140
Количество валидных наблюдений 73
Источник: Составлено автором в ходе проведения факторного анализа в SPSS.
ПРИЛОЖЕНИЕ 2
ФАКТОРНЫЙ АНАЛИЗ В SPSS
Тест Кайзера-Мейера-Олкина и Тест Бартлетта
Критерий адекватности выборки Кайзера-Мейера-Олкина ,764
Критерий сферичности Бартлетта Приближенное значение Хи-квадрат 469,500
Ст. Св. 36
Значимость ,000
Источник: Составлено автором в ходе проведения факторного анализа в SPSS.
Результат теста Бартлетта подтверждает наличие корреляционных связей между переменными.
Результат теста Кайзера-Мейера-Олкина показывает, что построенная факторная модель описывает структуру значений исходных переменных для рассматриваемых единиц анализа на 76,4%.
На основе результатов проведенных тестов можем сделать вывод о возможности проведения факторного анализа на основе исходных данных.
Общности
Переменные факторного анализа Исходные общности Выделенные общности
Удовлетворенность временем предоставления госуслуг, от 1 до 5 баллов 1,000 ,863
Удовлетворенность временем ожидания в очереди при получении госуслуг, от 1 до 5 баллов 1,000 ,919
Удовлетворенность вежливостью и компетентностью сотрудников, взаимодействующих с заявителями при предоставлении госуслуг, от 1 до 5 баллов 1,000 ,809
Удовлетворенность комфортностью условий в помещении, в котором предоставляются госуслуги, от 1 до 5 баллов 1,000 ,795
Удовлетворенность доступностью информации о порядке предоставления госуслуг, от 1 до 5 баллов 1,000 ,863
Количество ТО ФОИВ, участвующих в общественной оценке, ед. 1,000 ,803
Численность работников ТО ФОИВ, чел. 1,000 ,737
Число прибывших из других регионов, % от общего числа прибывших и выбывших 1,000 ,514
Число прибывших из-за пределов России, % от общего числа прибывших и выбывших 1,000 ,974
Метод отбора: Анализ главных компонентов.
Источник: Составлено автором в ходе проведения факторного анализа в SPSS.
Матрица факторных нагрузок показывает, что дисперсия всех переменных, включенных в анализ, объясняется как минимум на 51%, но в среднем гораздо выше.
Полная объясненная дисперсия
Компонент Начальные собственные значения Суммы квадратов нагрузок извлечений Повернутые суммы квадратов нагрузок извлечений
итого % дисперсии кумулятивный, % итого % дисперсии кумулятивный, % итого % дисперсии кумулятивный, %
1 4,277 47,527 47,527 4,277 47,527 47,527 4,253 47,251 47,251
2 1,966 21,840 69,366 1,966 21,840 69,366 1,966 21,843 69,094
3 1,033 11,483 80,849 1,033 11,483 80,849 1,058 11,755 80,849
4 ,690 7,664 88,512
5 ,310 3,440 91,953
6 ,259 2,879 94,832
7 ,240 2,669 97,501
8 ,174 1,935 99,436
9 ,051 ,564 100,000
Метод отбора: Анализ главных компонентов.
Источник: Составлено автором в ходе проведения факторного анализа в SPSS.
В Таблице объясненной суммарной дисперсии можно увидеть, что три собственных фактора имеют значения, превосходящие единицу. Следовательно, для анализа отобрано только три фактора: первый фактор объясняет 47,5% суммарной дисперсии, второй - 21,8%, третий фактор - 11,5%.
Повернутая матрица компонентов
Переменные факторного анализа Компонент
1 2 3
Удовлетворенность временем предоставления госуслуг, от 1 до 5 баллов ,928 ,021 ,039
Удовлетворенность временем ожидания в очереди при получении госуслуг, от 1 до 5 баллов ,956 -,005 -,073
Удовлетворенность вежливостью и компетентностью сотрудников, взаимодействующих с заявителями при предоставлении госуслуг, от 1 до 5 баллов ,896 ,005 -,072
Удовлетворенность комфортностью условий в помещении, в котором предоставляются госуслуги, от 1 до 5 баллов ,871 -,042 -,184
Удовлетворенность доступностью информации о порядке предоставления госуслуг, от 1 до 5 баллов ,926 -,045 ,060
Количество ТО ФОИВ, участвующих в общественной оценке, ед. ,179 ,876 ,059
Численность работников ТО ФОИВ, чел. -,089 ,839 -,161
Число прибывших из других регионов, % от общего числа прибывших и выбывших -,099 ,700 ,118
Число прибывших из-за пределов России, % от общего числа прибывших и выбывших -,089 ,027 ,982
Метод отбора: Анализ главных компонентов.
Метод вращения: Варимакс с нормализацией Кайзера. Вращение осуществлено за четыре итерации. Источник: Составлено автором в ходе проведения факторного анализа в SPSS.
Повернутая матрица компонентов четко отражает принадлежность исходных переменных к трем выделенным факторам.
FACTORS OF PUBLIC ASSESSMENT OF CIVIL SERVANTS' PERFORMANCE IN PROVIDING CIVIL SERVICES
Reshetnikova Darya S.
PhD student of the State and Municipal Management Department, Faculty of Social Sciences, HSE Address: National Research University Higher School of Economics. 20 Myasnitskaya St., 100101 Moscow, Russian Federation. E-mail: dreshetnikova@hse.ru
Abstract
The subject of the research is public assessment of civil servants' performance in providing public services in the Federal Migration Service of the Russian Federation (FMS). The aim of the research is to determine the main factors that influenced the level of public satisfaction with public services. The research is based on the hypothesis that perception of the quality of public l services depends not only on their content and administrative provision, but also on the factors, which characterize civil servants' performance as well as specific features of the territorial bodies of the Federal Migration Service of the Russian Federation. The following factors are considered: satisfaction with the waiting time in queues, satisfaction with politeness and
competence of civil servants, the number of employees of the territorial bodies of FMS, the income level of citizens in regions, the level of migration in regions and some other factors. To determine the significance of these factors the factor analysis method is used. The data are received from the federal information system «Vash kontrol'» and the Federal Statistics Service of the Russian Federation as they were in 2014. As a result of the factor analysis the most and the least satisfied recipients of public services are classified on the regional basis. The study highlights a great influence of the migration factor - the higher the level of migration in the region, the lower the citizens' satisfaction with public services. The results of the study can serve as a basis for further research on the best regional practices of public services provision. Furthermore, they can help identify the regions in need of a more careful monitoring of public services provision.
Keywords: civil servants; public services; public assessment; performance evaluation; public services' quality evaluation; performance indicators; citizen satisfaction; factor analysis.
Citation: Reshetnikova, D.S. (2016). Faktory otsenki naseleniyem effektivnosti deyatel'nosti gosudarstvennykh grazhdanskikh sluzhashchikh pri okazanii gosudarstvennykh uslug [Factors of Public Assessment of Civil Servants' Performance in Providing Civil Services]. Public Administration Issues, n. 2, pp. 131-164 (in Russian).
REFERENCES
1. Andrews, R. & Van de Walle, S. (2013). New Public Management and Citizens' Perceptions of Local Service Efficiency, Responsiveness, Equity and Effectiveness. Public Management Review, vol. 15, n. 5, pp. 762-783.
2. Bouckaert, G. & Van de Walle S. (2003). Comparing Measures of Citizen Trust and User Satisfaction as Indicators of "good Governance": Difficulties in Linking Trust and Satisfaction Indicators. International Review of Administrative Sciences, vol. 69, n. 3, p. 329-343.
3. Bouckaert, G., Van de Walle S. & Kampen J.K. (2005). Potential for Comparative Public Opinion Research in Public Administration. International Review of Administrative Sciences, vol. 71, n. 2, pp. 229-240.
4. Brown, K. & Coulter, P.B. (1983). Subjective and Objective Measures of Police Service Delivery. Public Administration Review, n. 43, pp. 50-58.
5. Drew, J. (2013). Is Bigger Better in Local Government in the Eyes of Victorian Citizens? Working Paper 01-2013. Armidale: Centre for Local Government, University of New England.
6. Drew, J. & Dollery, B. (2016). Does Size Still Matter? An Empirical Analysis of the Effectiveness of Victorian Local Authorities. Local Government Studies, vol. 42, n. 1, pp. 15-28.
7. Favero, N. & Meier, K.J. (2013). Evaluating Urban Public Schools: Parents, Teachers, and State Assessments. Public Administration Review, vol. 73, n. 3, pp. 401-412.
8. Field, A.P. (2005). Discovering statistics using SPSS (2nd edition). London: Sage.
9. Gaines, B.J., Kuklinski, J.H. & Quirk, P.J. (2007). The Logic of the Survey Experiment Reexamined. Political Analysis, vol. 15, n. 1, pp. 1-20.
10. Gofen, A. (2012). Entrepreneurial Exit Response to Dissatisfaction with Public Services. Public Administration, vol. 90, n. 4, pp. 1088-1106.
11. Herian, M.N. & Tomkins, A.J. (2012). Citizen Satisfaction Survey Data: A Mode Comparison of the Derived Importance-Performance Approach. American Review of Public Administration, vol. 42, n. 1, pp. 66-86.
12. Holzer, M., Charbonneau, E. & Kim, Y. (2009). Mapping the Terrain of Public Service Quality Improvement: Twenty-Five Years of Trends and Practices in the United States. International Review of Administrative Sciences, vol. 75, n. 3, pp. 403-418.
13. James, O. (2009). Evaluating the Expectations Disconfirmation and Expectations Anchoring Approaches to Citizen Satisfaction with Local Services. Journal of Public Administration Research and Theory, vol. 19, n. 1, pp. 107-123.
14. Jilke, S. & Van de Walle, S. (2013). Two Track Public Services? Citizens' Voice Behaviour towards Liberalized Services in the EU15. Public Management Review, vol. 15, n. 4, pp. 465-476.
15. Jilke, S. (2015). Choice and Equality: Are Vulnerable Citizens Worse Off after Liberalization Reforms? Public Administration, vol. 93, n. 1, pp. 68-85. Available: Doi: 10.1111/padm.12102 (accessed: 15 April, 2016).
16. Jilke, S., Meuleman, B. & Van de Walle, S. (2015). We Need to Compare, but How? Measurement Equivalence in Comparative Public Administration. Public Administration Review, vol. 75, n. 1, pp. 36-48.
17. Kampen, J.K., Van De Walle, S. & Bouckaert, G. (2006). Assessing the Relation Between Satisfaction with Public Service Delivery and Trust in Government. The Impact of the Predisposition of Citizens Toward Government on Evaluations of Its Performance. Public Performance and Management Review, vol. 29, n. 4, pp. 387-404.
18. Kelly, J.M. & Swindell, D.A (2002). Multiple-Indicator Approach to Municipal Service Evaluation: Correlating Performance Measurement and Citizen Satisfaction across Jurisdictions. Public Administration Review, vol. 62. n. 5, pp. 610-621.
19. Kelly, J.M. & Swindell, D.A. (2003). The Case for the Inexperienced User: Rethinking Filter Questions in Citizen Satisfaction Surveys. The American Review of Public Administration, vol. 33, n. 1, pp. 91-108.
20. Kim, S., Vandenabeele, W., Wright, B., Andersen, L., Cerase, F.P., Christensen, R.K., Desmarais, C., Koumenta, M., Leisink, P., Liu, B., Palidauskaite, J., Pdersen, L.H., Perry, J.L., Ritz, A., Taylor, J. & Vivo, P.D. (2013). Investigating the Structure and Meaning of Public Service Motivation across Populations: Developing an International Instrument and Addressing Issues of Measurement Invariance. Journal of Public Administration Research and Theory, vol. 23, n. 1, pp. 79-102.
21. Martin, S. (2000). Implementing "Best Value": Local Public Services in Transition. Public Administration, vol. 78, n. 1, pp. 209-227.
22. Morgeson, F.V. (2013). Expectations, Disconfirmation, and Citizen Satisfaction with the US Federal Government: Testing and Expanding the Model. Journal of Public Administration Research and Theory, vol. 23, n. 2, pp. 289-305.
23. Olsen, A.L. (2015). Citizen (Dis)satisfaction: An Experimental Equivalence Framing Study. Public Administration Review, vol. 75, n. 3, pp. 4б9-478.
24. Poister, T.H. & Thomas, J.C. (2009). The Effect of Expectations and Expectancy Confirmation/Disconfirmation on Motorists' Satisfaction with State Highways. Journal of Public Administration Research and Theory, vol. 21, n. 4, pp. б01-б17.
25. Shingler, J., Van Loon, M.E., Alter, T.R. & Bridger, J.C. (2008). The Importance of Subjective Data for Public Agency Performance Evaluation. Public Administration Review, vol. б8, n. б, pp. 1101-1111.
26. Van de Walle, S. & Bouckaert, G. (2003). Public Service Performance and Trust in Government: The Problem of Causality. International Journal of Public Administration, n. 2б, pp. 8-9.
27. Van de Walle, S. (2004a). Context-specific Images of the Archetypical Bureaucrat: Persistence and Diffusion of the Bureaucracy Stereotype. Public Voices, vol. 7, n. 1, pp. 3-12.
28. Van de Walle, S. (2004b). Perceptions of Administrative Performance: The Key to Trust in Government? Leuven. Belgie.
29. Van de Walle, S., Kampen, J.K. & Bouckaert, G. (2005). Deep Impact for High Impact Agencies? Assessing the Role of Bureaucratic Encounters in Evaluations of Government. Public Performance and Management Review, vol. 28, n. 4, pp. 532-549.
30. Van de Walle, S., Van Roosbroek, S. & Bouckaert, G. (2008). Trust in the Public Sector: Is There Any Evidence for a Long-Term Decline? International Review of Administrative Sciences, vol. 74, n. 1, pp. 47-б4.
31. Van De Walle, S. & Van Ryzin, G.G. (2011). The Order of Questions in a Survey on Citizen Satisfaction with Public Services: Lessons from a Split-Ballot Experiment. Public Administration, vol. 89, n. 4, pp. 143б-1450.
32. Van Ryzin, G.G., Muzio, D. & Immerwahr, S. (2004). Drivers and Consequences of Citizen Satisfaction: An Application of the American Customer Satisfaction Index to New York City. Public Administration Review, vol. б4, n. 3. pp. 331-341.
33. Van Ryzin, G.G. & Immerwahr, S. (2004). Derived Importance-performance Analysis of Citizen Survey Data. Public Performance and Management Review, vol. 27, n. 4, pp. 144-173.
34. Van Ryzin, G.G. (200б). Testing the Expectancy Disconfirmation Model of Citizen Satisfaction with Local Government. Journal of Public Administration Research and Theory, vol. 1б, n. 4, pp. 599-б11.
35. Van Ryzin, G.G. (2008). Citizen Perceptions of Road Smoothness: Evidence from New York with Implications for Comparative Performance Measurement. International Review of Administrative Sciences, vol. 74, n. 4, pp. 575-588.
36. Van Ryzin, G.G., Immerwahr, S. & Altman, S. (2008). Measuring Street Cleanliness: A Comparison of New York City's Scorecard and Results from a Citizen Survey. Public Administration Review, vol. 68, n. 2, pp. 295-303.
37. Van Ryzin, G.G. (2011). Outcomes, Process, and Trust of Civil Servants. Journal of Public Administration Research and Theory, vol. 21, n. 4, pp. 745-760.
38. Van Ryzin, G.G. (2013). An Experimental Test of the Expectancy-Disconfirmation Theory of Citizen Satisfaction: An Experimental Test of Expectancy-Disconfirma-tion. Journal of Policy Analysis and Management, vol. 32, n. 3. pp. 597-614.
39. Van Ryzin, G.G. (2015). Service Quality, Administrative Process, and Citizens' Evaluation of Local Government in the US. Public Management Review, vol. 17, n. 3, pp. 425-442.
40. Vigoda-Gadot, E. (2007). Citizens' Perceptions of Politics and Ethics in Public Administration: A Five-Year National Study of their Relationship to Satisfaction with Services, Trust in Governance, and Voice Orientation. Journal of Public Administration Research and Theory, vol. 17, n. 2, pp. 285-305.
41. Yu, W. & Ma, L. (2015). External Government Performance Evaluation in China: Evaluating the Evaluations. Public Performance and Management Review, vol. 39, n. 1, pp. 144-171.
