Анализ зарубежного опыта и разработка методики оценки удовлетворенности государственными программами в России Текст научной статьи по специальности «Экономика и бизнес»

АНАЛИЗ ЗАРУБЕЖНОГО ОПЫТА

И РАЗРАБОТКА МЕТОДИКИ ОЦЕНКИ УДОВЛЕТВОРЕННОСТИ ГОСУДАРСТВЕННЫМИ ПРОГРАММАМИ В РОССИИ

Волков Дмитрий Константинович,

Аспирант кафедры Маркетинг фирмы, Факультет Менеджмент, Научно исследовательский университет «Высшая школа экономики»; 105187, г. Москва, ул. Кирпичная, д. 33 volkov_dk@mail.ru

Данная статья рассматривает опыт различных стран в сфере оценки качества и удовлетворенности государственными услугами. В процессе работы были рассмотрены методики, используемые в Италии, Маврикии, Греции, Китае, США, Мексике и Корее. Кроме этого, приведены результаты сравнительного анализа подходов и выделены основные преимущества и недостатки каждой модели, а также предложена методика оценки государственных целевых программ в России с учетом особенностей российской системы государственного управления.

Ключевые слова: маркетинг в государственном секторе; качество государственных услуг; удовлетворенность; оценка удовлетворенности; SERVQUAL; CSI; стейкхолдеры; целевая программа.

ВВЕДЕНИЕ

Модели измерения удовлетворенности граждан, являющиеся одним из инструментов оценки государственного управления, все больше получают свое распространение не только в развитых, но и в развивающихся странах. Сравнение методик оценки удовлетворенности в различных странах помогает выделить основные различия между ними и определить дальнейшие направления развития исследований в этой области. Таким образом, выделенные различия могут стать основой создания аналогичных систем в Российской Федерации. При этом, однако, возникает ряд вопросов, в том числе, возможно ли перенесение моделей оценки, используемых в зарубежных странах, в сектор предоставления государственных услуг в России.

ПРИМЕНЕНИЕ МЕТОДИК НА

ОСНОВЕ SERVQUAL

Одной из самых распространенных концепций оценки государственного управления является

модель качества услуг, которая была разработана американскими учеными В. Зейтамль (Valarie A. Zeithaml), А. Парасураманом (A. Parasuraman) и Л. Берри (LeonardL. Berry) [1]. А Э.В. Новаторов впервые популяризировал методику измерения качества SERVQUAL в России [2].

Проведенный анализ опыта таких стран,как Маврикий, Италия, Греция, Китай, дал следующие результаты. Согласно применяемой в Маврикии модели оценки удовлетворенности деятельностью государственных органов на основе Servqual(Service Quality), используется оценочная шкала таких параметров, как: материальные ценности, ответственность, надежность, обеспечение, эмпатия [3]. При этом производится оценка восприятия и ожидаемая оценка, определяется разница между данными двумя критериями.

В итальянской модели оценки удовлетворенности деятельностью государственных органов на основе Servqual, используется следующая шкала оценки (1 — совершен-

но не важно, 2 — низкий уровень важности, 3 — средний уровень важности, 4 — достаточно важно, 5 — крайне важно) [4]. По предлагаемой методике оценки все факторы делятся на три основные группы: измерение отношений (к данной группе относятся такие факторы, как отношение персонала, ясность получаемой информации, любезность персонала), технико-организационное измерение (продолжительность рабочего дня, своевременное предоставление услуг, уважение к конфиденциальности информации), измерение окружающей среды (четкость формулировки, комфортность приемной комнаты, регулирование очереди в процессе предоставления услуг). При этом респондентам предлагается оценить уровень услуг, предоставляемых государственным органом, а также уровень услуг, предоставляемых конкретным департаментом государственного органа. В данной модели, кроме этого, оценивается общий уровень удовлетворенности получаемыми услугами.

Согласно применяемой в Греции модели оценки удовлетворенности деятельностью государственных органов на основе Servqual, используется ряд критериев оценки, представленный на рисунке 1 [5]. В соответствии с этой моделью, общая удовлетворенность оказываемыми услугами состоит из удовлетворенности персоналом, услугами, а также имиджем органа государственной власти.

Китайская модель использует оценку уровня обучения по разным аспектам и включает такие параметры, как общее качество общественной службы образования (качество образования, ориентированность на качество, расходы на образование)и удовлетворение деятельностью общественной службы образования (справедливость образования, прозрачность образовательного процесса, уровень участия в образовании) [6].

Анализируя применяемые в четырех вышеуказанных странах модели оценки удовлетворенности деятельностью государственных органов на основе Servqual, следует отметить, что преимуществами являются следующие:

♦ в указанных странах при оценке государственных программ учитываются мнения конечных потребителей в разрезе оценки качества государственных услуг;

♦ в Китае появляются различные аспекты при оценке государственной программы по обучению, то есть появляется аналог критериев оценки. Недостатками моделей является отсутствие учета мнения всех стейкхолдеров, когда происходит измерение мнения только конечных потребителей; программы оцениваются только после их завершения.

ПРИМЕНЕНИЕ МЕТОДИК

НА ОСНОВЕ CSI - CUSTOMER

SATISFACTION INDEX

Вторая группа стран в своих моделях оценки качества государственных услуг используют элементы методики CS/ (Customer Satisfaction Index). Модель CS/, разработанная Fornell (2001), является эконометрической, причинной моделью, которая связывает определенные действия с восприятием качества и уровнем удовлетворенности, которые, в свою очередь, связаны с определенными поведенческими ас-пектами,такими как потребительское поведение или жалобы [7].

Американские органы государственного управления широко используют исследование уровня удовлетворенности граждан для оценки качества услуг, предоставляемых местными органами власти [8]. Большинство американских городов проводит оценку уровня удовлетворенности населения деятельностью органов государственной власти на регулярной основе. Тем не менее государственными службами практически не проводилось тестирование полной модели удовлетворения услугами, которое связывает оценки определенных услуг (такие как полицейская защита или чистота улиц) с полным уровнем удовлетворенности населения государственными услугами в целом. Данный факт ярко отражает различия

между системами оценки государственных услуг и хорошо развитыми и проверенными моделями оценки удовлетворенности потребителя в области коммерческих товаров и услуг, которые определяют сервисные особенности как основу суждений об уровне удовлетворенности потребителя [9]. Кроме того, в некоторых исследованиях по государственному управлению полная удовлетворенность гражданина связана с поведенческими последствиями, такими как доверие людей к правительству или их желание остаться в сообществе. В связи с этим, доработанная Ван Разиным (Van Ryzin) модель оценки госуслуг, объединяет определенные сервисные оценки, общее качество и суждения удовлетворенности и поведенческие последствия в единственную структуру.

Рисунок 2 иллюстрирует использование модели CS/ применительно к уровню удовлетворенности гражданина деятельностью государственных служб Нью-Йорка [10]. В качестве ключевых параметров используются рейтинги определенных местных услуг, таких как противопожарная защита, автобусное сообщение, парковые зоны и средства отдыха, государственные школы, и так далее. Присутствие результирующих переменных является одной из главных особенностей модели CS/. В модель Ван Разина включены

Рис. 1. Критерии оценки удовлетворенности методики, используемой в Греции

такие параметры, как уверенность в местном органе власти и намерении остаться в Нью-Йорке.

Следует отметить, что модель CSI не предназначена для того, чтобы быть моделью оценки доверия правительству или измерения намерений; скорее это моделирование того, какие суждения о качестве и уровне удовлетворенности вызывают определенные услуги. Таким образом, полное удовлетворение услугами органов государственной власти остается центром модели, получающиеся оценки предоставляют информацию об основных драйверах модели и о последствиях достижения определенного уровня удовлетворенности (или неудовлетворенности).

Особенности рассмотренной модели состоят в том, что в ее рамках не рассматривается параметр «Воспринимаемое качество услуг» (Perceived Quality). «Воспринимаемое качество» оценивается по различным видам деятельности правительства, то есть появляются различные критерии оценки, в данном случае виды деятельности гос структур. Кроме того, ключевое преимущество указанной модели заключается в выявлении причинно-следсвтенных связей

между элементами. В качестве недостатков модели следует выделить тот факт, что при анализе не учитывается мнение всех стейк-холдеров, измеряются мнения только конечных потребителей, кроме того, программы оцениваются только после их завершения, иными словами, только на одной стадии жизненного цикла.

В рамках исследования была рассмотрена также мексиканская программа «Desde lo Loca», разработанная Секретарем Правительства Мексики (SEGOB) в сотрудничестве с INAFED с целью обеспечения одинакового уровня потенциала и качества управления во всех муниципалитетах Мексики [11]. В рамках этой программы был создан инструмент самооценки, построенный на четырех категориях: институциональное развитие в целях надлежащего управления; устойчивое экономическое развитие; внутреннее социальное развитие; экологически устойчивое развитие. Программа «Desde lo Loca» является частью более широкой международной инициативы по измерению эффективности местного управления, построенной на адаптации стандарта качества ISO 9001 к местному управлению.

Весь инструмент самооценки состоит из 39 показателей, организованных в 4 категории с 257 «параметрами». Для каждого показателя предусмотрено три уровня оценки: зеленый — муниципальная практика высокого качества; желтый — муниципальная практика приемлемого качества; красный — неприемлемая муниципальная практика. Чтобы показатель получил «зеленую оценку», все относящиеся к нему параметры должны быть зелеными. Если хотя бы один параметр — желтый или красный, то весь показатель будет соответственно «желтым» или «красным». Затем самооценка муниципалитета проверяется третьим независимым субъектом — научным учреждением или исследовательским центром, признанным государством и муниципалитетом как объективный и компетентный эксперт. После завершения оценки муниципалитеты, у которых есть «красные» показатели, выбирают минимум три сферы, где три уровня власти будут координировать действия и программы по внедрению усовершенствований и достижения «зеленых результатов» и получения сертификата качества.

Положительными моментами использования данной методики

Автобусы

Метро

Желание переехать

Парки Качество -► Удовлетворенность

Дороги \ г

Доверие пр-ву

Ожидания

Уборка мусора

Рис. 2. Адаптация модели CSI применительно к деятельностью органов государственной власти Нью-Йорка

оценки является то, что данный инструмент самооценки может использоваться мексиканскими муниципалитетами как набор руководящих указаний о том, как проводить децентрализацию и как содействовать координации между различными уровнями власти. Результаты можно легко доводить до сведения населения, учитывая простоту их представления с использованием трехцветного кода. Трехцветный код для представления результатов привлекает внимание к более слабым сферам внутри муниципалитета и сглаживает сравнения между муниципалитетами, что делает оценку политически менее угрожающей для отдельных муниципальных властей. Другими словами, данный инструмент рассчитан не на то, чтобы оценивать или расставлять по рейтингу муниципалитеты, а на то, чтобы помочь им в определении сфер для улучшения работы и принятии мер по повышению эффективности в этих сферах. К достоинствам этой программы можно отнести участие третьей независимой стороны для перекрестной проверки результатов. Кроме того, положительным фактом является то, что определение уровня удовлетворенности проводится по одной целевой программе и существует оценка компонентов программы.

При этом существуют и слабые стороны использования данного инструмента. Данная методика строится исключительно на объективных данных, оценивающих существование механизмов и процессов местного управления, не оценивая качество этих механизмов.

Кроме того, в программе измеряются мнения только конечных потребителей, и при этом не учитывается мнение остальных заинтересованных сторон.Еще одним

недостатком, как и в американском модели, является то, что государственные инициативы оцениваются только после их завершения, а не на каждом этапе внедрения.

Следует отметить, что методики, описанные выше, используются для оценки деятельности государственных органов, а не для оценки государственных программ. В качестве единственного индекса, используемого для оценки реформ и целевых программ, следует рассматривать корейский индекс NCSI (New Customer Satisfaction Index) [12]. Данный показатель предоставляет информацию об уровне удовлетворенности трех групп стейкхолдеров, к которым относятся население и адресаты реформ, эксперты в области государственного управления и внутренние потребители — разработчики и исполнители (рис. 3).

При проведении опроса данных трех групп клиентов осуществляется измерение общего уровня удовлетворенности по методике CSI, происходит сопоставление ожиданий и идеала при проведении общей оценки. Вес данного показателя в интегрированном индексе составляет 0,3. Вторая часть NCSI — оценка уровня удовлетворенности проводимыми реформами, осуществляемая по трем критериям, к которым относится содержание, процесс реализации и результаты и данному показателю присваивается вес 0,7.

NCSI Может использоваться при проведении сравнительной оцен-

ки реформ в различных отраслях и направлениях, а также при определении общей оценки реформ, в том числе и различными группами участников. Недостаток данного индекса заключается в том, что в нем не учитываются стадии жизненного цикла, продолжительность программы.

Для России использование данного индекса является наиболее приемлемым из вариантов, так как при его определении выстраивается эффективная система обратных связей как при проведении реформ, так и при реализации мероприятий в рамках государственных программ.

РАЗРАБОТКА РОССИЙСКОЙ

МЕТОДИКИ

Для оценки эффективности целевых программ в России используются «Методика расчета интегральной оценки программы» [13]. В ней присутствуют следующие показатели: эффективность программы: абсолютная и сравнительная, расчетная и фактическая, прямая и сопряженная, экономическая, бюджетная и социальная; прирост коэффициента эффективности. Важно отметить, что оценка по данным показателям осуществляется только исполнительными властями, а другие группы заинтересованных сторон не опрашиваются.

Инструкция по оценке целевых программ содержит 48 вопросов, на которые государственные заказчики, ответственные за реали-

Рис. 3. Корейский новый индекс потребительской удовлетворенности

зацию Программы, должны дать либо положительный, либо отрицательный ответ. На некоторые вопросы предусматривается четыре варианта ответа: «Да»; «В значительной степени»; «В незначительной степени»; «Нет». Вопросы сгруппированы в четыре раздела по стадиям жизненного цикла реализации программы: проблема, цели и содержание программы; стратегическое планирование и принципы реализации программы; управление программой и контроль за ходом ее выполнения; результаты хода реализации программы.

Таким образом, в российской методике оценки государственных целевых программ рассматриваются не три стадии жизненного цикла программы, как в корейской, а четыре. Качественная оценка программных мероприятий не проводится, так как стейк-холдеры не опрашиваются, кроме того, в данной модели не выявляются причинно-следственные связи между ее элементами.

Проанализировав корейскую методику оценки государственных реформ было выявлено, что она наилучшим образом подходит по целям и структуре для оценки государственных программ в России, так как единственная оценивает деятельность правительства

в ограниченных временных рамках и по одному проекту(рефор-ме) в целом на различных этапах ЖЦ. В инструкции по оценке государственных программ России присутствуют четыре раздела: отбор проблем, разработка, реализация, закрытие, а в корейской системе оценки только три: содержание, процесс, результаты реформ. В связи с этим модель должна быть скорректирована в соответствии с существующей инструкцией по оценке госпрограмм в России. Кроме этого, должны быть определены показатели измерения на каждой стадии жизненного цикла и индикаторы, а также предложены весовые коэффициенты. Предлагается рассчитать коэффициенты эмпирическим путем и проверить их корреляцию с оценками экспертов. Предполагается, что это поможет существенно повысить качество российской модели по сравнению с корейской.

Разработанная модель предполагает использование оценки государственных целевых программ на разных этапах жизненного цикла, кроме того, она доработана с учетом причинно-следственных связей, используемых в модели Ов/ и разных групп стейкхолдеров. Важно отметить, что в качестве корректирующей переменной предложено включить в модель

«Общую удовлетворенность деятельностью правительства» и оценить ее влияние на удовлетворенность конкретной программой.

В предложенной на рисунке 4 модели в качестве объектов исследования следует рассматривать стейкхолдеров государственных целевых программ («разработчики и исполнители», «эксперты», «население»). Предметом исследования выступает удовлетворенность стейкхолдеров государственными целевыми программами (критерии удовлетворенности и их страновые различия).

На основании предложенной методики были сформулированы следующие гипотезы, которые необходимо будет подтвердить или опровергнуть в ходе эмпирического исследования.

Гипотеза 1. Общая удовлетворенность деятельностью правительства (Overall satisfaction — OvS) влияет на суммарную удовлетворенность от элементов программы (Summery element satisfaction — SumS) и на удовлетворенность программой в целом (Program Satisfaction — PrS). Если зависимость есть, то в модели необходимо оставить элемент «Общую удовлетворенность OvS», если нет, то исключаем его (в модели светло-серые стрелки).

Отбор проблем

1

1 Разработка

н Реализация

Закрытие

Новый индекс удовлетворенности программой NPrSI

Суммарная удовлетворенность элементами пр. SumS

Удовлетворенность программой в целом PrS

Общая удовлетворенность

деятельностью правительства OvS

Рис. 4. Разработанная модель оценки государственных программ в России

Гипотеза 2. Между удовлетворенностью элементами программы (Element satisfaction — ElS) и удовлетворенностью программы в целом (Program Satisfaction — PrS) есть зависимость. Если данная гипотеза подтверждается, то измеряем зависимость между элементами ElS и PrS, то есть получаем веса важности каждого элемента программы не экспертным опросом, а аналитически. (в модели темно-серые стрелки).

Гипотеза 3. Между суммарной удовлетворенностью элементами программы (SumS) и удовлетво-

ренностью программы в целом (Рг$ есть зависимость. Если гипотеза подтверждается, тогда веса 0,3 и 0,7, используемые в корейской модели возможно использовать и в российских реалиях.

ЗАКЛЮЧЕНИЕ

Подводя итог нашего обзора, можно заключить, что тенденция по созданию работающих на постоянной основе систем оценки качества государственных услуг явно прослеживается как в развитых, так и развивающихся странах мира. Проведенный сравнительный анализ позволил выявить

основные различия моделей оценки разных стран, а также выделить преимущества и недостатки каждой методики. На основе полученных данных была сформирована модель оценки государственных услуг в России, с учетом всех сильных сторон, а также специфики российского государственного управления в сфере целевых программ. Для разработанной методики были сформулированы основные гипотезы, которые будут проверены в ходе предстоящего эмпирического исследования с участием трех групп стейк-холдеров.

ИСТОЧНИКИ (REFERENCES)

1. Calleros Odette Lobato et al. (2012) Developement of the Mexican User Satisfaction Index (IMSU) to Evaluate Social Government Programs in Mexico: The Case of the Daycare Social Program. Journal of Consumer Satisfaction, Dissatisfaction & Complaining Behavior, Volume 25.

2. Fornell, Claes (2001). ACSI Commentary: Special Report on Government Services. Available at: http://www.theacsi.org/ government/govt-key.html.

3. Giannoccaro Rosanna et al. (2008) Measuring Citizen Satisfaction with Aspects of Public Services from a Local Authority and Determining Their Importance: A Case Study. Public Organiz Rev. 8:1 — 15.

4. Kwon, Young Sang (2010) Regulatory Reform Satisfaction Survey: Method and Result. Istanbul, Turkey.

5. Manolitzas Panagiotis et al. (2010) Evaluating the Public Sector in Greece: The case of Citizens' Service Centers. Proceedings the European Conference on Information Management & Evaluation.

6. Miller, Thomas I., and Michelle M. Kobayashi (2000). City Surveys: Howto Do Them, Howto Use Them, What They Mean. 2nd ed. Washington, DC: International City. County Management Association.

7. Oliver, Richard L. (1997) Satisfaction: A Behavioral Perspective on the Consumer. Boston: Irwin McGraw-Hill.

8. Ramseook-Munhurrun Prabha et al. (2010) Service Quality in the Public Service. International Journal of Management and Marketing Research, Volume 3, Number 1.

9. Resolution of the Khabarovsk region Government N 163-PR. May 31, 2011. Effeciency assessing methods the of the regional target program implementation «State support for municipal pre-school education in the Khabarovsk Region in 2011-2013.

10. Savkina, R.V. (2013) Enterprise planning: a textbook for high schools. M.: Publishing and Trading Corporation «Dashkov i K*», p. 324/

11. Van Ryzin Gregg G. et al. (2004) Drivers and Consequences of Citizen Satisfaction: An Application of the American Customer Satisfaction Index Model to New York City, Public Administration Review • May/June 2004, Vol. 64, No. 3.

12. Yong Shen, Xia Wang (2011) Citizen Satisfaction with Educational Services: The Marketing Implications of Public Administration. International Journal of China Marketing, vol. 2 (1).

13. Zacepin, B.V. Domestic tradition targeted program planning: experience and prospects. Available at: http:// government.fizteh.ru/darpa/darpa- articles/a_4u5p9d.html (link dated 2014-03-01).

Foreign Experience Analysis and the Development of Public Service Satisfaction Methodology in Russia Volkov Dmitriy K.,

Postgraduate student of Company Marketing Department Management faculty, National Research University «Higher School of Economics», Kirpichnaya street, 33, Moscow, 105187, Russia (volkov_dk@mail.ru)

This article examines the experiences of various countries in the field of assessing the quality and satisfaction with public services. It was considered the methodology used in Italy, Mauritius, Greece, China, USA, Mexico and Korea. In addition, the results of the comparative analysis of approaches highlight the main advantages and disadvantages of each model. More over, new public program satisfaction method was developed, taking into account the peculiarities of the Russian government system.

Keywords: marketing in public, public service quality, satisfaction, satisfaction index, SERVQUAL, CSI, stakeholders, target program.