CC BY
93
2015 ВЕСТНИК САНКТ-ПЕТЕРБУРГСКОГО УНИВЕРСИТЕТА Сер. 12 Вып. 2
ПОЛИТИЧЕСКАЯ СОЦИОЛОГИЯ
УДК 316 Н. В. Киселёва
СОЦИОЛОГИЧЕСКАЯ ОЦЕНКА ЭФФЕКТИВНОСТИ ДЕЯТЕЛЬНОСТИ ОРГАНОВ МЕСТНОГО САМОУПРАВЛЕНИЯ: КОГНИТИВНЫЙ АНАЛИЗ ОПРОСНОГО ЛИСТА
Ярославский государственный университет им. П. Г. Демидова, Российская Федерация, Ярославль, 150000, ул. Кирова, 8/10
В систему комплексной оценки эффективности деятельности органов местного самоуправления включены количественные (статистические) и социологические («удовлетворенности населения») показатели. Когнитивный и статистический анализ показал, что вопросы, используемые в ряде субъектов Российской Федерации для определения уровня удовлетворенности населения деятельностью органов местного самоуправления, работают не достаточно хорошо и вызывают у значительного числа участников опроса когнитивные трудности на различных этапах ответа на вопрос. Это приводит к ошибке измерения социологических показателей. Би-блиогр. 7 назв. Табл. 6.
Ключевые слова: местное самоуправление, оценка, удовлетворенность населения, информированность, когнитивный анализ.
SOCIOLOGICAL ASSESSMENT OF THE EFFECTIVENESS OF LOCAL SELF-GOVERNMENT: A COGNITIVE ANALYSIS OF THE QUESTIONNAIRE
N. V. Kiseleva
Demidov Yaroslavl' State University, 8/10, ul. Kirova, 150000, Yaroslavl', Russian Federation
The system of integrated assessment of the effectiveness of local self-government including quantitative (statistical) and sociological («public satisfaction») indicators. Cognitive and statistical analysis have revealed that the questions used in of subjects of the Russian Federation to determine the level of public satisfaction with the activities of local authorities, do not work well enough to cause a significant number of survey participants cognitive difficulties at various stages of the response to the question. This leads to an error of measurement of sociological indicators. Refs 7. Tables 6.
Keywords: local self-governance, evaluation, satisfaction of the population, awareness, cognitive analysis.
Одной из целей региональной политики в сфере социального развития является «сбалансированное социально-экономическое развитие субъектов Российской Федерации и входящих в них муниципальных образований, обеспечивающее по месту жительства или в пределах регионов возможность всестороннего развития личности каждого гражданина с учетом региональной специфики» [1], то есть политика области (края, автономного округа, республики) должна обеспечивать равномерное развитие всех муниципальных районов, находящихся на территории региона. Дис-
пропорциональность социально-экономического развития [2] муниципальных образований является одним из основных факторов, замедляющих развитие субъекта. В целях обеспечения сбалансированности развития муниципальных образований представителям региональной власти требуется полная и точная информация, достоверно отражающая положение дел, возможности и перспективы каждого муниципального образования. До 2008 г. все управленческие решения на региональном уровне принимались на основе информации, полученной из таких источников информации, как: статистические отчеты/сводки, отчеты по движению бюджетных средств, отчеты об исполнении бюджета, наличие и результаты реализации муниципальных целевых программ и т. д. Перечисленные источники информации включают в себя два вида показателей: объективные количественные показатели и показатели социального эффекта. Однако эти объемные и валовые показатели не всегда позволяют объективно оценить реальное состояние дел и положение вещей на местах [3]. К. В. Харченко еще более критично отозвался о статистических показателях: «статистика утрачивает роль источника своевременных и объективных данных о территории. Так, далеки от действительности показатели официально зарегистрированной безработицы, прожиточного минимума, среднемесячной заработной платы. Не поддаются адекватному статистическому измерению такие сферы жизни, как работа общественного транспорта, жилищно-коммунальная сфера, массовый спорт, культура и духовность»[4].
28 апреля 2008 г. вышел Указ Президента РФ № 607 «Об оценке эффективности деятельности органов местного самоуправления городских округов и муниципальных районов». Согласно ему все субъекты РФ обязаны проводить комплексную оценку эффективности деятельности органов местного самоуправления (ОМСУ) по заранее установленной системе критериев и показателей. В систему критериев комплексной оценки работы органов местного самоуправления были включены и социологические показатели «удовлетворенности населения», отражающие общественное мнение относительно качества полученных муниципальных услуг и эффективности работы органов местного самоуправления. Включение социологических показателей в оценку деятельности органов местного самоуправления активно поддержали ученые, что вполне логично, поскольку население (местные жители), согласно всем теориям о местном самоуправлении и законодательству Российской Федерации, — это основа местного самоуправления, непосредственный получатель услуг, предоставляемых органами местного самоуправления.
Как показал анализ нормативно-правовых актов Российской Федерации и отдельно субъектов Российской Федерации, до настоящего момента не разработана единая методика оценки деятельности органов местного самоуправления. В этой связи возникает проблема как объективности значения социологического показателя «удовлетворенность населения», так и невозможности качественного сопоставления указанного показателя различных регионов.
Современные достижения когнитивной науки и её методы, применяемые прикладной социологией, позволяют выявить степени достоверности получаемых значений показателей, а также определить основные факторы социологической ошибки измерения при оценке эффективности деятельности органов местного самоуправления.
В качестве метода когнитивного анализа опросного листа, нацеленного на выявление уровня удовлетворенности населения работой органов местного самоуправления, было выбрано когнитивное интервью. Когнитивное интервьюирование широко используется в США и европейских странах в ходе предварительного этапа полевого опроса, для выявления элементов, непонятных респондентам, и тестирования вопросов. Его можно представить как модификацию и расширение обычного опроса, то есть все формы когнитивного интервьюирования влекут введение дополнительных вопросов.
Для проведения когнитивного интервью был разработан агрегированный опросный лист (анкета) (табл. 1)1.
Таблица 1. Структура агрегированной анкеты для проведения когнитивного анализа
опросного инструмента
Информированность населения об органах местного самоуправления, понимание принципов ОМСУ Тестируемые вопросы Вопросы, позволяющие выявить когнитивные процессы, возникающие непосредственно в ходе интервьюирования Социально-демографические характеристики респондентов
- осведомленность населения о выражении (понятии) «местное самоуправление»; - представления населения о сущности местного самоуправления и его функциях - восемь вопросов, направленных на определение уровня удовлетворенности населения конкретным направлением деятельности местных органов власти - вербальное поведение респондента (понимание (восприятие) респондентом вопроса, формирование суждения, выбор ответа, выбор респондентом ответа) - пол; - возраст; - образование; - материальное положение; - соц. положение
Опросный лист был разработан на основе тех, что используются в различных субъектах Центрального федерального округа (далее — ЦФО). Был проведен контент-анализ опросных листов (анкет) различных субъектов ЦФО. Он показал, что формулировки основных тестируемых вопросов, непосредственно определяющих уровень удовлетворенности населения деятельностью органов местного самоуправления, практически идентичны. В большинстве рассматриваемых анкет тестируемые вопросы содержат понятие «удовлетворенность». Помимо этого, в большинстве случаев тестируемые вопросы схожи не только содержательной стороной, но и имеют, как правило, идентичную либо схожую формулировку: либо «Удовлетворены ли Вы...», либо «Насколько Вы удовлетворены...». Таким образом, в опросный лист исследования были включены следующие вопросы:
1. Насколько Вы удовлетворены качеством медицинской помощи в Вашем муниципальном районе/образовании?
2. Насколько Вы удовлетворены качеством дошкольного образования в Вашем муниципальном районе/образовании?
3. Насколько Вы удовлетворены качеством общего образования в Вашем муниципальном районе/образовании?
4. Насколько Вы удовлетворены качеством дополнительного образования в Вашем муниципальном районе/образовании?
1 При постройке таблиц была использована работа А. О. Крыштановского [5].
5. Насколько Вы удовлетворены качеством жилищно-коммунальных услуг в Вашем муниципальном районе/образовании?
6. Насколько Вы удовлетворены качеством предоставляемых услуг в сфере культуры в Вашем муниципальном районе/образовании?
7. Насколько Вы удовлетворены деятельностью органов местного самоуправления Вашего муниципального района/образования?
8. Насколько Вы удовлетворены информационной открытостью органов местного самоуправления Вашего муниципального района/образования?
Шкалы ответов на тестируемые вопросы в большинстве рассматриваемых опросных инструментов выглядят следующим образом: «Удовлетворен», «Скорее удовлетворен», «Скорее не удовлетворен», «Не удовлетворен» и «Затрудняюсь ответить». Данная шкала была использована и в проведенном исследовании.
Для выявления когнитивных процессов, возникающих непосредственно в ходе интервьюирования и влияющих на итоговые результаты, была применена система (схема) кодов [6]. Она также была построена на основе первой представленной научному сообществу когнитивной модели ответа на вопрос — «четырехшаговой» [7, с. 224]. Поскольку каждый из четырех «шагов» ответа на вопрос имеет свою специфику, коды на каждом из этапов ответа на вопрос решали различные задачи:
— понимание (осмысление) вопроса. На данном этапе исследователю важно узнать, является ли вопрос анкеты «некачественным». Выделяют два основных способа выявления проблем у респондента на данном этапе ответа на вопрос: наличие вопросительной интонации в речи опрашиваемого; словесные сигналы, связанные с просьбами респондентов повторить или уточнить вопрос («повторите, пожалуйста, вопрос!», «скажите это еще раз» и т. п.);
— извлечение (поиск) из памяти соответствующей информации. На этой стадии использовались три категории кодирования для определения трудностей, возникающих у респондентов: пауза; кодирование последовательности таких слов как «я забыл», «я не могу вспомнить» и т. п.; кодирование «обрывчатых» («сломанных») высказываний;
— использование информации при оценке вопроса и вынесении решения (суждения). Существует немало свидетельств, что эвристика и предубеждения респондентов могут привести к ошибкам ответа на вопрос. На данном этапе использовались две категории кодирования: кодирование вербальных сигналов, указывающих на отсутствие уверенности респондента в выборе ответа на вопрос; кодирование непонятных высказываний или выражений (например, таких как «м-м...», «э...» и т. п.).
Конечно, схему кодирования можно сделать более детальной и подробной, но такая схема будет очень сложна не только для интервьюеров, но и для самого исследователя в момент анализа. «Зондажное» исследование позволило выявить наиболее распространенные и яркие значения категорий, которые представлены в таблице ниже и которыми в дальнейшем руководствовались интервьюеры (табл. 2).
В последующем система кодов была представлена в удобной графической форме и размещена непосредственно в правой части анкеты либо сразу под исследуемым вопросом. Данное расположение систем (схем) кодирования позволило избежать значительных затруднений и дополнительных бланков.
Таблица 2. Система кодов вербальных категорий
Категория Значение
Понимание (осмысление) вопроса
Уточнение/Вопросы Вопросы (в том числе уточняющие), которые задает респондент сразу после прочтения вопроса анкеты (опросника) интервьюером
Повторение Повторите, объясните, что Вы имели в виду, я не понимаю, я не думаю, я думал, Вы сказали, что, значит, и т. п.
Переспрашивание Вы точно сказали это слово (высказывание), Вы уверены, что вопрос именно так звучит? Вы правильно прочитали вопрос и т. п.
Извлечение (поиск) из памяти соответствующей информации
Забывчивость Я не помню, не могу вспомнить, я не представляю, забыл, не запомнил и т. п.
Неполные, обрывчатые фразы Я никогда не. О, я помню, Да, я думаю, нет, наверно, нет. хотя, может и т. п.
Незнание / Отсутствие опыта / информации Я с этим не сталкивался, не знаю, мне мало известно об этом, я откуда знаю, не представляю и т. п.
Использование информации при оценке вопроса и суждения
Невнятные высказывания Э..., м..., хм. и т. п.
Уверенные рассуждения по тематике вопроса Точно, уверен, конечно, безусловно, твердо знаю, убежден и т. п.
Трудность Сложно сказать, трудный вопрос, не так просто ответить на этот вопрос, нужно подумать и т. п.
Ожидания помощи интервьюера Помогите понять, может Вы поможете вспомнить, я правильно понял и т. п.
Выбор и представление ответа
Незнание Я не знаю ответ на этот вопрос, я не знаю, а можно, я не буду отвечать на этот вопрос, так как не знаю, как это сделать, это нельзя измерить и т. п.
Уверенный ответ Да, я уверен, уверен, точно знаю, безусловно это и т. п.
Нет ответа я не хочу отвечать на этот вопрос, я не буду отвечать на этот вопрос, можно мы пропустим этот вопрос, можно оставить этот вопрос без ответа и т. п.
Отсутствие уверенности при указании ответа Может быть, вероятно, скорее всего, вполне возможно и т. п.
Социально-одобряемый ответ Думаю, так все отвечают, если я выберу этот вариант ответа, меня не поймут и т. п.
Предложенная технология когнитивного анализа тестируемых закрытых вопросов анкеты, направленных на определение уровня удовлетворенности населения деятельностью органов местного самоуправления, включает в себя три основных этапа:
1-й этап — социологический опрос жителей Ярославской области в возрасте 18 лет и старше по агрегированной анкете, содержащей только тестируемые и дополнительные вопросы (объем опроса — 400 человек);
2-й этап — опрос жителей Ярославской области 18 лет и старше по заранее подготовленной анкете, включающей в себя тестируемые вопросы и вопросы, направ-
ленные на определение степени влияния когнитивных факторов на итоговые результаты социологического опроса (общий объем опроса — 200 человек);
3-й этап — опрос жителей Ярославской области 18 лет и старше с целью апробации и когнитивного анализа конструктивных рекомендаций по модификации опросного инструмента, направленного на определение социологической оценки эффективности деятельности органов местного самоуправления.
Когнитивное интервью проводилось на территории Ярославской области. Общий объем опроса составил 200 человек. Объектом исследования стали жители Ярославской области в возрасте от 18 лет и старше. Выборка статистически репрезентативна по основным социально-демографическим и районно-территориальным характеристикам распределения населения Ярославской области, а также по типу населения (городское/сельское). Выборка репрезентативна для области в целом. Уровень достоверности данных составляет в целом по области 95%, статистическая погрешность находится в рамках диапазона ±6,93%.
Опрос жителей Ярославской области проводился в виде формализованного интервью по месту жительства респондентов. В одном домохозяйстве добровольное участие принимал только один член семьи — респондент, отвечающий всем требованиям выборки. Отбор домохозяйств осуществляется с учетом шага.
Согласно полученным данным, вопросы, используемые в значительной части субъектов Российской Федерации для определения уровня удовлетворенности населения деятельностью органов местного самоуправления, вызывают у значительного числа участников социологического опроса когнитивные трудности на всех этапах ответа на вопрос (восприятие вопроса, поиск релевантной информации респондентом, принятие решения респондентов, озвучивание ответа на вопрос).
Так, на стадии восприятия вопроса с различного рода трудностями столкнулись половина всех участников опроса. В среднем попросили уточнить тестируемые вопросы либо задали интервьюеру уточняющий вопрос 16,4% опрошенных, переспросили тестируемые вопросы в среднем 16,5% интервьюируемых, повторили часть задаваемого тестируемого вопроса или целиком (что встречалось крайне редко) в среднем 15,4% участников опроса.
Видимые признаки проблемы поиска релевантной информации были зафиксированы в среднем в 60% социологических интервью. Вербальные и невербальные сигналы были зафиксированы и на этапе использования информации при оценке вопроса и принятии решения (выработке суждения по конкретному вопросу). Данные сигналы фиксировались в 66,7% интервью, взятых на втором этапе полевых работ. Однако среди закодированных проявлений различных когнитивных процессов выделяется категория «уверенные рассуждения». Тем не менее, на этапе озвучивания ответов респондентами в среднем лишь каждый третий ответ на тестируемые вопросы был уверенным (32,2%).
Статистический анализ указывает на наличие связи между переменной «удовлетворенность населения» и когнитивными процессами — трудностями, имеющим место на этапе поиска ответчиком в памяти релевантной информации по всем тестируемым вопросам (табл. 3), то есть они (трудности) являются источником ошибки в настоящем социологическом опросе. В табл. 4-6 данные с наиболее очевидной связью (где Хи-квадрат = 62,209) представлены более подробно.
Таблица 3. Статистические показатели взаимосвязи показателя «удовлетворенность населения...» с когнитивными процессами,
происходящими у респондента при ответе на вопрос
Социологические показатели комплексной оценки работы органов местного самоуправления Восприятие вопроса Поиск ин< юрмации Суждения респондентов Ответ респондента
Хи-квадрат Пирсона Асимптотическая значимость (двухсторонняя) Хи-квадрат Пирсона Асимптотическая значимость (двухсторонняя) Хи-квадрат Пирсона Асимптотическая значимость (двухсторонняя) Хи-квадрат Пирсона Асимптотическая значимость (двухсторонняя)
... качеством медицинской помощи 38,565 0,001 27,202 0,039 39,701 0,001 31,560 0,011
...качеством дошкольного образования 22,308 0,039 28,986 0,024 51,328 0,000 38,829 0,007
...качеством общего образования 35,284 0,004 27,493 0,036 36,975 0,002 28,390 0,028
...качеством дополнительного образования 22,027 0,03 25,692 0,059 37,464 0,002 30,160 0,017
... качеством жилищно-коммунальных услуг 22,742 0,030 27,712 0,034 40,382 0,001 49,679 0,000
...качеством предоставляемых услуг в сфере культуры 21,533 0,04 28,087 0,031 31,489 0,012 30,570 0,015
.. .деятельностью органов местного самоуправления муниципального образования 22,234 0,038 30,570 0,015 28,899 0,025 39,007 0,001
...информационной открытостью органов местного самоуправления 22,425 0,033 31,317 0,012 62,209 0,000 38,092 0,001
Таблица 4. Таблица сопряженности «Насколько Вы удовлетворены информационной открытостью органов местного самоуправления Вашего муниципального района/образования (в городе, поселке, деревне)?» и «Суждения респондентов»
Насколько Вы удовлетворены информационной открытостью органов местного самоуправления Вашего муниципального района/образования (в городе, поселке, деревне)? Суждения респондентов Итого
Уверенные рассуждения по тематике вопроса Присутствие непонятных высказываний в речи респондента Трудность Ожидания помощи интервьюера (пояснения и т. п.) Вербальные / невербальные сигналы отсутствуют
Удовлетворен Частота 12 4 1 0 5 22
Ожидаемая частота 2,8 5,1 1,3 1,7 11,2 22,1
Остаток 9,2 -1,1 -,3 -1,7 -6,2
Скорее удовлетворен, чем не удовлетворен Частота 3 15 1 6 36 61
Ожидаемая частота 7,6 14,0 3,7 4,6 31,1 61,0
Остаток -4,6 1,0 -2,7 1,4 4,9
Скорее не удовлетворен, чем удовлетворен Частота 0 7 1 2 10 20
Ожидаемая частота 2,5 4,6 1,2 1,5 10,2 20,0
Остаток -2,5 2,4 -,2 ,5 -,2
Не удовлетворен Частота 10 8 6 2 21 47
Ожидаемая частота 5,9 10,8 2,8 3,5 24,0 47,0
Остаток 4,1 -2,8 3,2 -1,5 -3,0
Затрудняюсь ответить Частота 0 12 3 5 30 50
Ожидаемая частота 6,3 11,5 3,0 3,8 25,5 50,1
Остаток -6,3 ,5 ,0 1,2 4,5
Итого Частота 25 46 12 15 102 200
Ожидаемая частота 25,1 46,0 12,0 15,1 102,0 200,0
Таблица 5. Критерии хи-квадрат
Значение Степень свободы Асимптотическая значимость (двухсторонняя)
Хи-квадрат Пирсона 62,209а 16 ,000
Отношение правдоподобия 59,396 16 ,000
Линейно-линейная связь 5,887 1 ,015
Кол-во валидных наблюдений 200
а. В 13 (52,0%) ячейках ожидаемая частота меньше 5. Минимальная ожидаемая частота равна 1,20.
Таблица 6. Симметричные меры
Значение Прибл. значимость
Номинальная по номинальной Фи ,558 ,000
V Крамера ,279 ,000
Коэффициент сопряженности ,487 ,000
Кол-во валидных наблюдений 200
Результаты исследования свидетельствуют о том, что у значительного числа участников опроса формулировки и используемые шкалы ответов на тестируемые вопросы вызвали трудности. Они наблюдались на всех этапах модели процесса ответа на вопрос. Это было связано с тем, что вопросы, используемые для определения уровня удовлетворенности населения деятельностью органов местного самоуправления, сформулированы без учета таких факторов как информированность населения об органах местного самоуправления, их вовлеченности в процесс получения той или иной муниципальной услуги. Кроме того, когнитивные трудности, зафиксированные в ходе опроса, говорят о том, что данные формулировки вопросов и шкала ответов на них содержат понятия, имеющие несколько значений, затрагивают слишком длительный период (как правило, год), являются чрезмерно обобщающими.
Учитывая наличие связи между этими переменным можно уверенно говорить о низкой валидности получаемых социальных характеристик удовлетворенности отдельными направлениями деятельности местных органов власти. Без преувеличения можно сказать, что вопросы, используемые в ряде субъектов для определения уровня социальной удовлетворенности деятельностью органов местного самоуправления, сформулированы таким образом, что получить на них адекватные ответы достаточно трудно.
Литература
1. Доктрина регионального развития Российской Федерации (макет-проект) / Сулашкин С. С., Лексин В. Н., Малчинов А. С., Глигич-Золотарева М. В., Колосов В. А., Борисова Н. А., Хаванский Н. А. / под общ. ред. А. С. Малчинова. М.: Научный эксперт, 2009. С. 111-112.
2. Федоляк В. С. Межрегиональные диспропорции социально-экономического развития современной России // Известия Саратовскогоуниверситета. Новая серия. 2008. Т. 8, вып. 2. С. 12-20.
3. Кремлев Н. Д. Статистический учет: учебное пособие. Курган: Издательство Курганстат, 2009. 479 с.
4. Харченко К. В. Оценка удовлетворенности населения различными сторонами жизнедеятельности: от методики к стандарту // Муниципальная власть. 2008. № 6. С. 32-39.
5. Крыштановский А. О. Анализ социологических данных с помощью пакета SPSS: учеб. пособие для вузов. М.: Изд. дом ГУ ВШЭ, 2006. 281 с.
6. Рогозин Д. М. Когнитивный анализ опросного инструмента. М.: Фонд «Общественное мнение», 2002. 245 с.
7. Survey methodology / Robert M., Groves R. M., Fowler F. J. J., Couper M. P., Lepkowski J. M., Singer E., Tourangeau R. New York: Wiley, 2004. 424 с.
Статья поступила в редакцию 12 марта 2015 г.
Контактная информация
Киселёва Наталия Викторовна — аспирант; nkiseleva_polit@mail.ru Kiseleva Natalia V. — post graduate student; nkiseleva_polit@mail.ru
