CC BY
73
ТЕОРИЯ, МЕТОДОЛОГИЯ, МЕТОДЫ
DOI: 10.14515/monitoring.2014.4.04 УДК 330.564.2:303.62
К.М. Мануильская МЕТОДИЧЕСКИЙ АНАЛИЗ ВОПРОСОВ О ДОХОДЕ. КОММУНИКАТИВНЫЕ СБОИ КАК ИНДИКАТОРЫ КАЧЕСТВА1
МЕТОДИЧЕСКИЙ АНАЛИЗ ВОПРОСОВ О ДОХОДЕ. КОММУНИКАТИВНЫЕ СБОИ КАК ИНДИКАТОРЫ КАЧЕСТВА
МАНУИЛЬСКАЯ Ксения Максимовна — научный сотрудник лаборатории методологии федеративных исследований ИНСАП РАНХиГС при Президенте РФ. E-mail: [email protected]
Аннотация. В статье представлены результаты методического исследования, проведенного на материале телефонного опроса физических лиц «Мониторинг зарплат, бедности и социального неравенства». Предметом анализа являются 23 вопроса о доходе и материальном положении. Основные задачи — оценка качества вопросов о доходе и выбор наиболее релевантных вопросов для использования в массовых опросах. На основе когнитивного кодирования 41 интервью выбраны 3 наиболее часто встречающиеся смещения (коммуникативные сбои). Поскольку каждое из них сопровождается рядом других, они рассматриваются как индикаторы качества вопросов. Анализ встречаемости индикаторов позволил выделить недостатки в дизайне анкеты. Кроме того, выделены 5 наиболее проблемных, сложных для восприятия вопросов о доходе, использование которых не рекомендуется в массовых опросах.
Ключевые слова: методический анализ, когнитивный анализ, когнитивное кодирование, коммуникативные схемы, коммуникативные смещения, коммуникативный сбой,
коммуникативный узел, интервью, интервьюер, респондент, качество вопросов, индикаторы качества.
METHODOLOGICAL ANALYSIS OF THE QUESTIONS ABOUT INCOME. COMMUNICATIVE FAILURES AS QUALITY INDICATORS
MANUL 'SKAYA Kseniya Maksimovna -researcher, Laboratory of Federative Research Methodology, RANEPA. E-mail: [email protected]
Abstract. The article provides the results of the methodological study based on the telephone survey "Monitoring salaries, poverty and social inequality". Twenty-three questions concerning the income and financial well-being are analyzed in the study. The purpose of the study is to assess the quality of the questions about the income and to choose the most relevant ones to use in mass surveys.
Based on the cognitive coding of 41 interviews, three common shifts (communicative failures) were singled out. All of them are considered as indicators of quality. The indicators^ frequency helps to determine the weak points in the questionnaire. Besides, the author detects five questions about the income which are hard for respondent to perceive; these questions are not recommended to use in mass surveys.
Keywords: methodological analysis, cognitive analysis, cognitive coding, communicative schémas, communicative shifts, communicative failure, communicative node, interview, interviewer, respondent, quality of questions, quality indicators.
1 Автор выражает глубокую признательность коллективу Лаборатории методологии федеративных исследований Института социального анализа и прогнозирования РАНХиГС при Президенте РФ, а также группе «Методический цех» за неоднократные обсуждения результатов. 41 _
Изучение структуры доходов и материального положения населения — междисциплинарная тема. В первую очередь она представляет интерес для экономистов и маркетологов. Тем не менее такая переменная, как «уровень дохода и/или материального положения», прочно вошла в блок социально-демографических переменных практически каждого массового опроса. Интерес к этому вопросу возник еще в XIX в. [18, 19]. Сегодня существует большое количество концепций и подходов к измерению благосостояния населения [15]. Для экономистов вопрос измерения доходов стоит достаточно остро, о чем свидетельствует значительное число публикаций, в которых поднимается эта тема [4, 5, 12,
16]. Зачастую основное внимание в таких исследованиях сосредоточено на этапе анализа данных и способах понимания экономических процессов, происходящих в обществе [1, 6, 8,
17].
Социологи традиционно относят вопросы об уровне дохода к сензитивным, поэтому методические исследования, как правило, сфокусированы на искренности и достоверности ответов респондентов [9, 11, 13]. Составители анкет не могут рассчитывать на абсолютную искренность и открытость респондентов о доходе и материальном положении семьи, что приводит к определенной доле ожидаемых (прогнозируемых) неответов. Существует и другая сторона проблемы, которой, как правило, уделяется мало внимания: само взаимодействие интервьюера и респондента, разговор, в ходе которого конструируются ответы на вопросы о доходах. Поведенческие и коммуникативные реакции участников взаимодействия, то, как был получен и как именно звучал ответ, какие аргументы и примеры были приведены, могут эксплицировать позицию респондента, смысл, который он вкладывает в ответ. Проанализируем особенности коммуникации интервьюера и респондента в телефонном интервью о доходах и материальном положении, а также оценим качество используемых в анкете вопросов.
Методика исследования и описание диагностической процедуры
Методическое исследование проведено на материалах общероссийского телефонного опроса «Мониторинг зарплат бедности и социального неравенства», который состоялся в августе 2013 г. Опрос проводили 4 звонковых центра, опрошено 4045 респондентов старше 18 лет, обзвон проходил с 10.00 до 21.00 по местному времени. Анкета содержала 108 вопросов, 23 из них касались доходов и материального положения, последние и стали предметом нашего анализа.
Мы пытались не только оценить каждый конкретный вопрос по отдельности, но и понять, какие типы вопросов о доходе подвержены наибольшим смещениям или вызывают сложности при коммуникации. С этой целью все анализируемые вопросы были разделены на несколько групп. С точки зрения содержания — на оценочные и фактологические2, с точки зрения уровня измерения — на номинальные, порядковые и метрические. Вопросы о доходе могут затрагивать и различные временные аспекты (прошлое, настоящее, будущее). В процессе анализа нами была выделена такая переменная, как длина вопроса (знаков в пробелами), в результате чего вопросы были разделены на 3 группы: короткий, средний и длинный.
Для оценки качества вопросы о доходах были подвергнуты когнитивному кодированию. В зависимости от социального статуса респондента (работающий/временно
2 Такое разделение мы уже использовали в наших предыдущих исследованиях [14, с. 105].
42 _
неработающий/пенсионер) предполагался различный набор вопросов о доходе. Большая часть вопросов задавалась всем респондентам. Было прослушано 41 интервью, матрица данных составила 706 строк. По результатам прослушивания кодировались поведенческие реакции участников коммуникации, единицей наблюдения был вопрос. Для изучения поведенческих реакций интервьюера фиксировались следующие переменные: 1) изменение формулировки вопроса, в том числе пропуск вопроса; 2) неприятие или корректировка ответа; 3) подсказка ответа (интервьюер предлагает свои варианты ответа); 4) комментарии, объяснения, пояснения интервьюера; 5) уточняющие вопросы. Для изучения реакций респондента разработано 5 переменных: 1) развернутый ответ на вопрос; 2) возврат к ответу на вопрос (фиксировался тот вопрос, к которому происходит возвращение, а не тот, на котором происходит возврат); 3) уточняющие вопросы интервьюеру; 4) комментарии к вопросу; 5) задержка ответа.
Общие характеристики объема коммуникативных сбоев
При апостериорном анализе опросного инструмента Д. Рогозин выделяет 3 уровня контроля опросного инструмента: узкий, средний и широкий [13, с. 19]. Фиксация хотя бы одного смещения относится к жесткому уровню контроля. В «Крымском опросе», по данным Рогозина, уровень жесткого контроля составил 27%. Важно отметить, что в анализе Рогозина единицей наблюдения являлось интервью, а сам опросник состоял из четырех содержательных вопросов. Разговор между интервьюером и респондентом в нашем исследовании часто выходил за рамки стандартизированного интервью — в 55,3% случаев зафиксировано нарушение процедуры стандартизации хотя бы одним из участников беседы (табл. 1). Таким образом, уже на начальном этапе анализа становится очевидно, что вопросы о доходах гораздо больше подвержены смещениям и коммуникативным сбоям.
Таблица 1 Распределение смещений среди всех заданных вопросов
Хотя бы одно смещение по: Частота %
Респонденту 262 37,3
Интервьюеру 261 37,2
В целом 386 55,3
При использовании жесткого уровня контроля доля смещений, сделанных респондентом и интервьюером, практически совпадает и составляет 37,3 и 37,2% соответственно. Доля совместных смещений в одном вопросе, т.е. смещения как со стороны интервьюера, так и со стороны респондента (18,9%), практически совпадает с долей вопросов, где смещения связаны только с интервьюером (18,2%) или только с респондентом (18,2%). На наш взгляд, полученные данные свидетельствуют о том, что вопросы о доходах сложны для обоих участников коммуникации. Проанализируем вопросы с точки зрения плотности коммуникативных сбоев.
Плотность коммуникативных сбоев
Под плотностью коммуникативных сбоев мы подразумеваем сумму ошибок, зафиксированных по каждому вопросу. Плотность мы также будем рассматривать в трех плоскостях: по интервьюеру, по респонденту и в целом по акту коммуникации. В большинстве
43 _
прослушанных вопросов встречается 1 (30,1%) или 2 смещения (16,3%), в ряде случаев зафиксированы 3 (5,24) и 4 смещения (2,6%), доля большего количества смещений ничтожно мала (рис. 1). Тем не менее плотность смещений по данному исследованию можно считать довольно высокой. В апостериорном анализе опросного инструмента, проведенного Рогозиным [13, с. 16.], эти показатели ниже в 2 и более раз.
70,0%И 60,0%И 50,0%И 40,0%И 30,0%И 20,0%И 10,0%И 0,0%И
нетИсмещенийИ одноИ дваИсмещенияИтриИсмещенияИ четыреИ пятьИсмещенийИ шестьИ
смещениеИ смещенияИ смещенийИ
поИреспондентуИ поИинтервьюеруИ вИцеломИ
Рисунок 1 - Плотность коммуникативных сбоев, %
Всего проанализировано 10 видов смещений — 5 для респондента и 5 для интервьюера. По каждому смещению зафиксирована своя плотность (табл. 2, 3).
Таблица 2 Плотность смещений по респонденту*
Количество смещении Развернутый ответ Возвращение к ответу Уточняющие вопросы Комментарии к вопросу Задержка в ответе
частота % частота % частота % частота % частота %
1 68 46,6 2 28,6 21 30 3 13 20 30,8
2 45 30,8 2 28,6 27 38,6 7 30,4 18 27,7
3 16 11 1 14,3 13 18,6 4 17,4 12 18,5
4 13 8,2 2 28,6 4 5,7 8 34,8 9 13,8
5 5 3,4 0 5 7,1 1 4,3 5 7,7
6 0 0 0 1 1
итого 146 100 7 100 70 100 23 100 65 100
*Жирным выделены максимальные, курсивом и серым — минимальные значения по строке.
Таблица 3 Плотность смещений по интервьюеру
Кол-во смещений Изменение формулировки вопроса Неприятие ответа Подсказка ответа/интервьюер предлагает свои варианты Комментарии к вопросу Уточняющие вопросы
частота % частота % частота % частота % част ота %
1 38 43,2 1 16,7 9 16,1 10 12,30 38 32,5
2 26 29,5 2 33,3 21 37,5 29 35,80 51 43,6
3 12 13,6 1 16,7 12 21,4 24 29,60 13 11,1
4 9 10,2 1 16,7 8 14,3 10 12,30 9 7,7
5 2 2,3 5 8,9 7 8,60 5 4,3
6 1 1,1 1 16,7 1 1,8 1 1,20 1 0,9
Итого 88 100 6 100 56 100 81 100 117 100, 00
Как видно из таблиц, 2 смещения — со стороны респондента (развернутый ответ) и со стороны интервьюера (изменение формулировки вопроса) — в подавляющем большинстве случаев не сопровождаются какими-либо другими сбоями. Первый факт свидетельствует о том, что вопросы о доходах наталкивают на размышления и рассуждения, респонденты, как правило, стараются обосновать, пояснить ответ, однако не всегда встречают ответный отклик интервьюера. Зачастую интервьюер, целью которого является получение ответа на вопрос, отмечает подходящее на его взгляд закрытие, после чего коммуникация по вопросу прекращается. При этом выбор закрытия часто происходит на основании домыслов интервьюера, а за рамками интервью могут остаться значимые для исследователя факты (фрагмент 1).
Фрагмент 1
Ответ на вопрос 5. Женщина, 62 года
1 И.: Как вы считаете, в ближайшие несколько лет материальное положение вашей семьи улучшится, ухудшится или останется без изменений?
2 Р.: Ну, не знаю, все зависит от пенсии, как там ее увеличат или нет. Сейчас у нас по семь тысяч.
3 И.: Ага, понятно.
В приведенном фрагменте ответ респондента гораздо шире предполагаемых закрытий. Женщина затрагивает такие аспекты, как структура и размер доходов, а также дает пояснение, от чего зависит материальное положение ее семьи. При этом остается неясным, совпадает ли закрытие, отмеченное интервьюером, с истинным мнением респондента.
Второй факт — изменение формулировки вопроса интервьюером — свидетельствует о сложности и непонятности формулировок анкетных вопросов.
В то же время есть ряд смещений, которые в большинстве случаев сопровождаются и другими нарушениями ситуации стандартизированного интервью. Прежде всего это комментарии к вопросу со стороны интервьюера и респондента. Комментарии к вопросу дополняются тремя и более смещениями. Смещениями, провоцирующими диалог, являются уточняющие вопросы: как респондента — в 38,6% случаев они сопровождаются еще одним, в
45 _
18,6% — двумя смещениями, так и интервьюера — в 43,6% случаев дополняется еще одним смещением.
Фрагмент 2
Ответ на вопрос 25. Мужчина, 23 года, Челябинск. Пример нескольких смещений
1 И.: Скажите, пожалуйста, сколько примерно рублей в месяц вы зарабатываете?
2 Р.: Скажите, а зачем эта информация нужна? [Уточняющий вопрос.]
3 И.: Мы анализируем уровень зарплат, если пенсионер, то пенсий. Мы звоним по всей России и уровень зарплат очень разный. [Интервьюер комментирует вопрос.]
4 Р.: Угу, понятно, тогда 25 тысяч.
5 И.: Угу, хорошо. Тогда следующий вопрос.
Дополнительные вопросы — нормальная практика для любого человека, потому они возникают как со стороны респондента, так и со стороны интервьюера. Что касается последнего, то «нейтрально заданные уточняющие вопросы интервьюера разрешаются и даже необходимы, если ответ кажется не ясным» [10, с. 153]. Случаи, когда вопросы об исследовании, организаторе, использовании данных задаются респондентом вдруг, в процессе интервью, широко распространены. Конструирование информированного согласия3 может длиться в течение всего интервью, вплоть до завершающей реплики [20, с. 30]. По этой причине подготовка интервьюера чрезвычайно важна, ведь далеко не всегда выход за рамки стандартизированного интервью проходит гладко, что провоцирует коммуникативные сбои. Для интервью коммуникативные сбои — обычная, рядовая ситуация, и при квалифицированной работе интервьюера они могут не оказать никакого влияния на достоверность получаемой информации.
Использование коммуникативных схем для определения качества вопросов
Попробуем построить модели коммуникативных схем, характерных для вопросов о доходах. Под коммуникативной схемой мы понимаем ситуацию, в которой совместно встречается сразу несколько смещений. Поскольку использованный нами способ кодировки не позволяет выявить последовательность смещений, для построения схем будут заданы несколько коммуникативных узлов и рассмотрено, какие смещения наиболее часто сопровождают тот или иной узел. В качестве узлов мы выберем смещения, которые практически никогда не встречаются в одиночку. Со стороны респондента это: 1) уточняющие вопросы, 2) задержка/пауза в ответе; со стороны интервьюера: 1) подсказка ответа/интервьюер предлагает свои варианты, 2) комментарии к вопросу, 3) уточняющие вопросы (см. табл. 2, 3).
Мы предполагаем, что коммуникативные схемы, выходящие за рамки стандартизированного интервью, свидетельствуют о качестве вопросов. Чем активнее развивается разговор, чем больше зафиксировано смещений, тем сложнее оказывается вопрос, его восприятие. Рассмотрим последовательно каждую из схем.
3 Информированное согласие, по С. Садмену и Б. Бредборну, — явная или неявная договоренность с респондентом об участии в опросе после его ознакомления с характером и задачами исследования [20. р. 10]. 46 _
РазвернутыйВЬтветШ респондента1|25,9%)Ш
Гид
Комментарий^ интервьюера0к0 вопросуЕ(81[алучай)0
РеспондентИадаетШ уточняющиейопросыЕ] (40,7%)И
УточняющиеВВопросыИ интерьюераЕ(21%)0
Грс
Задержка/ЕЛаузаИОтвете! (23,5%%)0
Изменением формулировкиЕВопросаЕ] (21%)0
ПодсказкаВЬтвета0 интервьюеромЕ(23,5%)0
га
ш
Рисунок 2 - Коммуникативная схема 14
Первый коммуникативный узел: комментарии к вопросу со стороны интервьюера, — достаточно часто сопровождаются и другими смещениями. Мы выделили 6 основных видов других смещений, причем каждый из них встречается более чем в 20% случаев. На схеме видно, что дополнительные смещения в равной степени происходят как со стороны интервьюера, так и со стороны респондента (по 3 смещения на каждого). Наиболее часто во взаимосвязи с коммуникативным узлом встречаются уточняющие вопросы респондента (40,7%). Эта пара является взаимообусловленной. Однако высокий уровень таких смещений, как пауза в ответе, изменение формулировки, подсказка ответов, явное свидетельствует о сложности в восприятии вопросов, причем не только текста, но и предлагаемых закрытий или способов ответа на вопрос. Таким образом, мы выдвигаем гипотезу: смещение «интервьюер комментирует вопрос» можно считать индикатором качества вопроса, а те вопросы, для которых зафиксировано это смещение, можно отнести к группе риска, а также поставить под сомнение их использование в анкете. Посмотрим, что это за вопросы.
Для оценки качества вопросов при помощи смещений-индикаторов мы будем использовать следующую схему. Во-первых, выделим, для каких групп вопросов (содержательный тип, уровень измерения, временной горизонт, длина вопроса) это смещение наиболее характерно. Во-вторых, обозначим конкретные вопросы. При анализе коммуникативного узла «интервьюер комментирует вопрос» наиболее яркие различия зафиксированы по таким переменным, как уровень измерения и длина вопроса.
4 На схеме буквами указано, кто является источником смещений «И» — интервьюер, «Р» — респондент. В левой части схемы располагается коммуникативный узел, в правой — те смещения, которые чаще всего его сопровождают.
47 _
Комментарии интервьюера чаще всего встречаются у вопросов с метрическим уровнем измерения (в 22,6% случаев)5 и длинных вопросов (15,8%)6.
Если от общих показателей переходить к конкретным вопросам, то по данному смещению качество 8 вопросов ставится под сомнение (табл. 4). В первую очередь следует отметить существенный недостаток анкеты, касающийся дизайна: из 8 вопросов 5 следуют практически один за другим, это вопросы с 95 по 100. Целая серия вопросов провоцирует затруднения в коммуникации, что может привести к существенным сложностям во время интервью. Эти вопросы располагаются в завершающей части анкеты, когда респонденты нередко испытывают усталость и череда длинных вопросов, многие из которых требуют точной количественной оценки, могут, во-первых, привести к росту уровня неответов или к неточным ответам и, во-вторых, к прерыванию интервью.
Таблица 4 Комментарии интервьюера: распределение по вопросам
Номер вопроса По столбцу По строке Сколько раз задавался Содержание вопроса
1 Я97 16,05 31,71 41 Скажите, пожалуйста, за последний месяц сколько примерно денег получили все члены вашей семьи, проживающие вместе с вами, включая зарплаты, пенсии, пособия, стипендии, любые денежные поступления (нам нужно лишь приблизительное число)?
2 Я100 14,81 29,27 41 Сколько денег, на ваш взгляд, нужно иметь вашему домохозяйству в месяц, чтобы жить хорошо, ни в чем себе не отказывая?
3 Я96 9,88 24,24 33 Как вы думаете, как долго вы, ваше домохозяйство смогли бы жить так же, как вы живете сейчас, не уменьшая расходов, только за счет сбережений: больше года, несколько месяцев, не больше месяца?
4 Я99 8,64 17,50 40 Какая из оценок наиболее точно характеризует материальное положение вашей семьи (предлагается 5 вариантов ответа)
5 Я95 6,17 12,20 41 Скажите, пожалуйста, получается ли у вашей семьи делать сбережения в течение года?
6 д4 7,41 14,63 41 Скажите, пожалуйста, у вашей семьи сейчас хорошее, скорее хорошее, скорее плохое или плохое материальное положение?
7 Я25 4,94 14,81 27 Скажите, пожалуйста, сколько примерно рублей в месяц вы зарабатываете?
8 д89 3,70 23,08 13 Какую сумму пенсии вы получаете в месяц?
Двумя наиболее сложными вопросами являются вопрос о суммарном доходе ДО7) и о желаемом уровне дохода в месяц ^100). Эти вопросы порождают огромное количество смещений и отклонений от процедуры стандартизированного интервью. В приведенном ниже фрагменте диалога по вопросу 100 встречаются 8 видов смещений, причем многие из них появляются неоднократно. Смысловая конструкция вопроса сильно перегружена. Во-первых, вопрос достаточно длинный, и респондент не воспринимает его сразу и целиком, а выделяет лишь ключевой конструкт, сколько нужно денег (строка 2). Во-вторых, вопрос является проективным и требует какого-то предположения, гипотетической оценки, что заставляет респондента задуматься, начать рассуждать и прикидывать (строки 8, 10, 23). Интервьюер, в
5 Для порядковых вопросов этот показатель равен 13,3%, для номинальных — 4,8%.
6 Для коротких и средних вопросов этот показатель колеблется в интервале 8,5-9%. 48 _
свою очередь, вынужден направлять, корректировать рассуждения респондента (строки 3, 7, 11, 22). В-третьих, долгие рассуждения приводят к тому, что респондент частично забывает вопрос, особенно это касается временного интервала. Подобная тенденция была зафиксирована нами в предыдущих методических экспериментах [13, 14]. Мы уже отмечали, что интервьюер далеко не всегда до конца зачитывает весь вопрос. Касательно вопросов о доходе часто пропускаются такие фразы, как «в среднем на человека», «на всех членов семьи», «в месяц», «за последний месяц» и т.д. И дело тут не только в профессионализме или, наоборот, халатности интервьюера, нужно понимать саму ситуацию опроса. Подобные «недомолвки» ведут к неверному понимаю вопроса, собственной интерпретации, и, как следствие, к смещению [13, с. 109]. Поэтому на наш взгляд, следует избегать длинных формулировок с многочисленными уточнениями, лучше задать короткий и легко операционализируемый вопрос.
Фрагмент 3
Ответ на вопрос 100. Мужчина 57 лет, село, высшее образование. Тверская область
1 И.: Сколько примерно нужно денег вашему домохозяйству в месяц, чтобы жить хорошо, ни в чем себе не отказывая?
2 Р.: Как вам сказать? Денег всегда надо. [Развернутый ответ и комментарий респондента.]
3 И.: Ну сколько? [Уточняющий вопрос интервьюера.]
4 Р.: Денег много не бывает...
5 И.: Понятно...
6 Р.: Ну, я не знаю... [Пауза/сомнение в ответе.]
7 И.: Сколько бы вам хватило? [Уточняющий вопрос интервьюера.]
8 Р.: Ну, я не знаю. Надо сумму назвать? Вроде так нормально в достатке, но если чего, как вы говорите, приобрести большое, то... [Уточняющий вопрос респондента, развернутый ответ.]
9 И.: Да, какой суммы бы вам хватило, чтобы жить хорошо ни в чем себе не отказывая? [Изменение формулировки вопроса.]
10 Р.: Смотря в чем ни в чем. Покупка автомобиля, квартиры... [Уточняющий вопрос интервьюера.]
11 И.: Ну подумайте, какие у вас запросы? [Уточняющий вопрос интервьюера, подсказка.]
12 Р.: Запросы...
13 И.: Я все равно ведь не дам вам такую сумму, так?
14 Р.: [смех]. А я думал, может вы дадите, какую скажу.
15 И.: Нет, я не выдаю. Помечтаем немножечко.
16 Телефонный звонок по другому телефону.
17 Р.: Так, это мне уже с работы звонят.
18 И.: Ой-ой. Нам осталась буквально пара вопросов.
19 Р.: Сейчас, подождите.
20 И.: Ну как, придумали?
21 Р.: Ой, миллион...
22 И.: Ну нет... [Неприятие ответа респондента.]
23 Р.: Чтоб машину детям купить, чтобы все достатке были... [Развернутый ответ.]
49 _
24 И.: В месяц? [Уточняющий вопрос интервьюера.]
25 Р.: Ну нет, это нам хотя бы раз в год. А имеется в виду, чтобы доход в месяц был? [Уточняющий вопрос респондента.]
26 И.: Да-да-да.
27 Р.: Ну я же говорил вам — 25 хватит...
28 И.: То есть вас устраивает, от миллиона вы уже отказываетесь? 25 вы так и получаете. Ну смотрите, какую сумму окончательно? [Подсказка, навязывание ответа респонденту.]
29 Р.: Ну как окончательно? С потолка взять? [Уточняющий вопрос респондента.]
30 И.: В месяц. Сколько денег нужно вашему домохозяйству, чтобы жить хорошо, ни в чем не отказывая?
31 Р.: Ох... чтоб не отказывать, чтоб всегда деньги были, чтоб всегда в достатке все наши были, ездить куда-нибудь отдыхать — миллион надо наверное [Развернутый ответ респондента.]
32 И.: В месяц? [Уточняющий вопрос интервьюера.]
33 Р.: Опять в месяц? Нет, в месяц не надо столько. Ну, в месяц, грубо говоря так, если на... на... на... Тысяч 80 хватит. Надо поскромнее... [Развернутый ответ респондента.]
Разговор длился очень долго (более 2 минут). В результате ответ все-таки получен, но его релевантность вызывает сомнение. Во время разговора была названа сумма в миллион рублей, однако окончательный ответ — 80 тысяч. Подобная ситуация говорит о некорректности и неоднозначности восприятия вопроса участниками коммуникации. Респондент изначально воспринимает его как полностью гипотетический и называет сумму, далекую от его реального дохода, однако интервьюер иначе понимает вопрос, и в результате ответом становится другая сумма, более согласующаяся, по мнению интервьюера, с уровнем жизни опрашиваемого. Практически любой вопрос может быть истолкован участниками коммуникации по-своему. Такая практика встречается сплошь и рядом. Как отмечает Е. Вьюговская, причина сужения или расширения границ вопроса кроется «не в коммуникативном поведении, а в формулировке вопроса, носящего метафорический характер, что, как известно, дает возможность разного толкования того или иного высказывания/понятия» [2, с. 61]. Действительно, при неоднозначности формулировки ошибочно обвинять респондента в неверном понимании вопроса или интервьюера в его неверном толковании.
Фрагмент 3 иллюстрирует, что к подсказкам ответа интервьюер прибегает в случае растерянности респондента, трудностях при формулировке ответа. Подсказка — прямое нарушение процедуры проведения стандартизированного интервью, вопросы должны быть построены таким образом, чтобы респондент мог легко выбрать подходящий ответ из предлагаемых вариантов или без затруднений дать свой ответ. Рассмотрим коммуникативную схему, где узлом является это смещение.
50 _
0
ПодсказкаШ интервьюераШ56Ш, случаев)Ш
РазвернутыйШЬтветШ респондентаШ26,3%)2Н
РеспондентВадаетШ уточняющиейопросыШ (19,3%)Ш
Задержка/йаузайЗЬтветеЕ (30,4%%)Ш
ИзменениеШформулировки! вопросаШ26,6%)Ш
ИнтервьюерШ комментируетйопросШ (33,6%)Ш
ПодсказкаЕЬтветаШ интервьюеромШ(23,5%)Ш
УточняющиейопросыШ интерьвюераШ(22,8%)Ш
ГШ
и)
и/
Рисунок 3 - Коммуникативная схема 2
Подсказка — это коммуникативный прием, к которому интервьюер прибегает в крайних случаях, это считается грубым нарушением норм стандартизированного интервью. Как отмечает Э. Ноэль в инструкции интервьюеру, «ни при каких обстоятельствах нельзя оказывать влияние на ответ: ни подсказывая возможный ответ (разжевывать), ни жестами — покачивая головой, кивая и т.п.» [10, с. 153]. Если это смещение зафиксировано, то с большой долей вероятности можно сказать, что ему предшествовала целая серия других попыток получения ответа, целый набор смещений со стороны как интервьюера, так и респондента. Большое количество смещений позволяет рассматривать «подсказку интервьюера» как один из индикаторов качества вопросов.
Если говорить о характеристиках вопросов в целом, то подсказки интервьюера чаще встречаются в оценочных вопросах, в вопросах с порядковым или метрическим уровнем измерения. Для длинных вопросов также зафиксирован более высокий уровень смещения.
Выделим, в каких вопросах это смещение фиксируется наиболее часто (табл. 5). Так же, как и для смещения «интервьюер комментирует вопрос», нами выделено 8 вопросов, наиболее сложных для восприятия, причем 5 из них совпали с вопросами из предыдущего коммуникативного узла. Это вопросы q25, q89, q96, q97, q100.
Таблица 5 Подсказка интервьюера (распределение по вопросам)
№ № вопроса По столбцу По строке Задавался раз Содержание вопроса
1 Я100 14,04 19,51 41 q100. Сколько денег, на ваш взгляд, нужно иметь вашему домохозяйству в месяц, чтобы жить хорошо, ни в чем себе не отказывая?
2 10,53 18,18 33 q96. Как вы думаете, как долго вы, ваше домохозяйство смогли бы жить так же, как вы живете сейчас, не уменьшая расходов, только за счет сбережений: больше года, несколько месяцев, не больше месяца?
3 Я97 10,53 14,63 41 q97. Скажите, пожалуйста, за последний месяц сколько примерно денег получили все члены вашей семьи, проживающие вместе с вами, включая зарплаты, пенсии, пособия, стипендии, любые денежные поступления (нам нужно лишь приблизительное число)?
4 Я25 8,77 18,52 27 q25. скажите, пожалуйста, сколько примерно рублей в месяц вы зарабатываете?
5 Я90 8,77 13,51 37 q90. За последние 12 месяцев другие члены вашей семьи, проживающие вместе с вами, получали зарплату или пенсию?
6 Я91 8,77 14,29 35 q91. В вашей семье кто является основным кормильцем (зарабатывает/получает больше других): вы, другой член семьи, или вы зарабатываете примерно поровну?
7 Я46 1,75 16,67 6 q46. За какую минимальную зарплату (рублей в месяц) вы сейчас согласились бы работать?
8 д89 5,26 23,08 13 q89. Какую сумму пенсии вы получаете в месяц?
Большинство вопросов, для которых характерна подсказка интервьюера, требуют точной количественной оценки. Безусловно, спрашивать напрямую об уровне дохода — наиболее простой и очевидный способ получения необходимой информации. Как показывают данные методических экспериментов, этот подход ведет к многочисленным трудностям и смещениям. Точность ответов респондентов — один из важных аспектов при ответе на вопросы о доходе. Однако не следует на нее рассчитывать. «Чем выше размеры зарплаты, тем чаще респонденты ее занижают и, напротив, чем меньше этот показатель, тем больше склонность его завышать» [11, с. 108]. Подобная стратегия ответа приводит к «усреднению» заработков, поэтому ошибочно гнаться за повышенной «точностью» открытых вопросов, гораздо логичнее использовать шкалу с вариантами ответов. Ярким примером бесполезности такой «точности» является следующий фрагмент (фрагмент 4).
Фрагмент 4
Ответ на вопрос 46. Мужчина 55 лет. Село. Хабаровский край, поселок Лососина
1 И.: А если бы вы меняли работу, то за какую минимальную зарплату вы бы сейчас согласились работать?
2 Р.: Ой, даже представления не имею за какую. Если бы зарплата росла с учетом инфляции, тогда можно было подумать о какой зарплате можно говорить, а так что? [Расширенный ответ респондента.]
3 И.: Ну хоть какую-то минимальную заплату, за которую согласитесь работать, можно назвать или трудно это сделать? [Подсказка ответа.]
52 _
4 Р.: Скорее всего, трудно это сделать, я довольствуюсь малым. [Расширенный ответ.]
5 И.: Угу...
6 Р.: Потому что чем больше этих денег, тем больше они нужны.
7 И.: Ну какую-то небольшую сумму можете назвать или нет? [Уточняющий вопрос интервьюера.]
8 Р.: Ну, сумму, ну десять тысяч... двадцать...
9 И.: Так десять или двадцать вас бы устроили? [Уточняющий вопрос интервьюера.]
10 Р.: Меня, в принципе, не устроило бы ни то, ни другое
11 И.: Ну, согласились бы работать? [Уточняющий вопрос интервьюера.]
12 Р.: Я согласился бы работать такую работу, но за очень хорошие деньги, но какие хорошие деньги в наше время я не знаю — 50 тысяч, 100 тысяч, 150? У кого какие деньги [Расширенный ответ респондента.]
13 И.: Ну, за 10 тысяч вы бы согласились, как минимальную? [Уточняющий вопрос интервьюера.]
14 Р.: Не, я бы не стал даже заморачиваться.
15 И.: Не стали бы.
16 Р.: Нет, если просто работать сторожем за 100 тысяч, что же я буду?
17 И.: Вас ваша подработка больше устраивает? [Уточняющий вопрос интервьюера.]
18 Р.: Да, я не сижу дома, не застаиваюсь.
19 И.: То есть сумму мы никакую не будем писать? [Уточняющий вопрос интервьюера.]
20 Р.: Нет, не будем.
Фрагмент состоит из 20 реплик, в том числе практически в самом начале беседы зафиксирована подсказка интервьюера, провоцирующая неответ (строка 3). После нее идет длинная дискуссия с конкретными цифрами, рассуждениями, но в конце (строка 19) интервьюер вновь возвращается к возможности отказаться от ответа, что на этот раз поддерживает респондент. Становится очевидно, что вопрос доходов, смены работы, ожиданий относительно заработной платы актуален для респондента, однако назвать конкретную сумму ему сложно.
Вопрос о желаемом доходе вызывает наибольшее количество трудностей. По двум смещениям-индикаторам он занимает первую строчку. Во многом ответ на этот вопрос зависит от стратегии, выбранной интервьюером, и от его понимания вопроса (фрагмент 5).
Фрагмент 5
Ответа на вопрос 100. Мужчина, 23 года, житель города (Челябинск)
1 И.: Сколько денег нужно вам, вашему домохозяйству в месяц, чтобы жить хорошо, ни в чем себе не отказывая? Тут вы можете назвать любую сумму, даже очень крупную.
2 Р.: Тут надо конкретную цифру назвать? [Уточняющий вопрос респондента.]
3 И.: Не, вы можете сказать 100 тысяч, 200, 300... [Подсказка интервьюера.]
4 Р.: Ну я думаю, тысяч сто как минимум...
5 И.: Угу...
53 _
Хотя в самом начале, когда интервьюер читает вопрос, он оговаривается, что респондент может назвать любую сумму (строка 1), сразу же после уточняющего ответа респондента (строка 2) интервьюер ограничивает возможности его ответа — 100, 200 или 300 тысяч, в соответствии со своими представлениями о крупной сумме или с тем, что, по его мнению, является крупной суммой для респондента. В этом диалоге мы видим полную несостоятельность данного вопроса, полученные ответы на него очень сомнительны, впрочем, как и сама задумка.
По результатам когнитивного тестирования одно смещение, относящееся к эффекту респондента, также может быть индикатором качества вопросов. Это задержка в ответе респондента (коммуникативная схема 3).
щ
и
ы
и
ш
Задержка в ответе — одно из ярких смещений со стороны респондента. Пауза или задержка могут свидетельствовать как о нежелании отвечать на вопрос, так и о размышлениях об ответе. Это может быть поиск релевантной информации в памяти, выбор среди предложенных вариантов, формулировка ответа в случае открытого вопроса или вопроса о конкретных суммах. Кроме того, задержка в ответе может говорить о непонятности вопроса и об одновременном нежелании показать свою некомпетентность. В любом случае пауза — это свидетельство сложности вопроса, трудности в его понимании (фрагмент 6). Как отмечают А.А. Ипатова и Д.М. Рогозин, «интервьюер, не реагируя на возникшую паузу, начинает подвергать риску когнитивную и эмпатическую компоненты общения и создает потенциальные условия для обрыва коммуникации [7, с. 40]. Поэтому очень важна осмысленная реакция на паузы со стороны интервьюера поддержание разговора, одобрение позиции респондента и т.п.
54 _
РазвернутыйВЬтветй респондента]22,4%)[Е
й
ЗадержкаВЬтветай респондента]65]?] случаев)!
РеспондентЭадаетй уточняющиеВопросый (14,9%)й
Изменение! формулировкийзопросай (16,4%)!
Интервьюер! комменти руетйзо п рос! (28,4%)!
ПодсказкайЬтветай интервьюеромЕ(24,5%)0
Уточняющиейзопросый интервьюера]24,2%)й
Рисунок 4 - Коммуникативная схема 3
Фрагмент 6
Ответ на вопрос 26. Мужчина, 39 лет, пгт
1 И.: Скажите, пожалуйста, сколько примерно получают люди в вашем городе, селе на такой же должности, как ваша? Хотя бы приблизительно. [Комментарий интервьюера к вопросу.]
2 Р.: [молчание] [задержка ответа]. Смотря какое предприятие. Где-то могут по 50 тысяч получать. [Развернутый ответ респондента.]
3 И.: Ага, где-то в этом районе...
4 Р.: А где-то 15-20...
5 И.: Ну а в среднем число, которое получают? От 15? [Уточняющий вопрос и подсказка интервьюера.]
6 Р.: Ну да, где-то от 15 до 20.
Вопрос 26 задавался только тем респондентам, которые не ответили на предыдущий вопрос о реальном уровне дохода. Предполагалось, что для опрашиваемых легче ответить на вопрос, если он будет содержать более общую формулировку «на такой должности, как ваша». Вопрос является неоднозначным, он сразу наталкивает респондента на размышления, что ситуация варьируется на различных предприятиях. В диалоге были названы две достаточно различные суммы в 50 и 15-20 тысяч рублей, в итоге выбор был сделан в пользу меньшей. В этом контексте абсолютно не ясно, каким же на самом деле является доход респондента. Неясность и сомнения в валидности остаются у нас после прослушивания аудиозаписи.
Определим, какие типы вопросов наиболее подвержены задержке или паузе при ответе. Для выделенных нами типов вопросов — оценочный и фактологический — существенных различий не выявлено, хотя незначительно доминирует последний тип. По другим параметрам различия существенные. Так, сохраняется тенденция наибольшей доли смещений в вопросах с метрическим уровнем изменения. Задержка в ответе встречается в 19% метрических вопросов, в 10,3% порядковых и всего в 4,2% номинальных. Примечательно, что длина вопроса — значимая переменная для других индикаторов — практически не влияет на наличие паузы или задержки в ответе. Для длинных вопросов показатель держится на уровне 11,9% и всего на 3,5 процентных пункта отличается от коротких и средних. Несколько более существенные различия отмечены для временного горизонта вопроса — наибольшая доля этого смещения приходится на вопросы о настоящем и составляет 11%, наименьшая — в вопросах о будущем — 6,8%.
По смещению «задержка/пауза в ответе респондента» 10 вопросов имеют довольно высокие значения, 4 из них также имеют высокую долю смещений по двум предыдущим индикаторам. Это вопросы — q89, q96, q97, q100. Последний из названных вопросов — д100 — можно отнести к наиболее проблемным, он занимает верхние позиции по всем трем индикаторам. Качество этого вопроса и целесообразность его использования в массовых опросах очень сомнительны.
Таблица 6 Задержка/пауза в ответе (распределение по вопросам)
55 _
№ № вопр По столбцу По строке Задавался раз Содержание вопроса
q100. Сколько денег, на ваш взгляд, нужно иметь
1 я100 14,93 24,39 41 вашему домохозяйству в месяц, чтобы жить хорошо, ни в чем себе не отказывая?
q97. скажите, пожалуйста, за последний месяц сколько
примерно денег получили все члены вашей семьи,
2 Я97 13,43 21,95 41 проживающие вместе с вами, включая зарплаты, пенсии, пособия, стипендии, любые денежные поступления (нам нужно лишь приблизительное число)?
q4. Скажите, пожалуйста, у вашей семьи сейчас
3 д4 8,96 14,63 41 хорошее, скорее хорошее, скорее плохое или плохое материальное положение?
q99. Какая из оценок наиболее точно характеризует
4 Я99 7,46 12,5 40 материальное положение вашей семьи: (прочитайте варианты ответов)
q101. Как вы думаете, по сравнению с вашими
5 Я101 5,97 9,76 41 знакомыми, друзьями материальное положение вашей семьи скорее лучше, скорее хуже или примерно такое же?
q30. Если бы вы меняли работу, за какую минимальную
6 Я30 5,97 12,50 32 зарплату (рублей в месяц) вы сейчас согласились бы работать?
7 Я95 5,97 9,76 41 q95. Скажите, пожалуйста, получается ли у вашей семьи делать сбережения в течение года?
q96. Как вы думаете, как долго вы, ваше
домохозяйство смогли бы жить так же, как вы живете
8 Я96 5,97 12,50 32 сейчас, не уменьшая расходов, только за счет сбережений: больше года, несколько месяцев, не больше месяца?
9 Я89 4,48 23,08 13 q89. какую сумму пенсии вы получаете в месяц?
10 д26 1,49 33,33 3 q26. Тогда скажите, пожалуйста, сколько примерно получают люди, работая в вашем городе/селе на такой должности как ваша?
Пауза в ответе свидетельствует о явных затруднениях респондента либо с выбором подходящего варианта, либо с формулировкой. Яркий пример трудности выбора Вопрос 4 о материальном положении семьи (фрагмент 7).
Фрагмент 7
Ответ на вопрос 4. Мужчина 69 лет
1 И.: Скажите, пожалуйста, материальное положение вашей семьи на данный момент хорошее, скорее хорошее или плохое?
2 Р.: Среднее... [пауза]
3 И.: Ну, ближе к плохому или к хорошему? [Уточняющий вопрос интервьюера.]
4 Р.: Ну, среднее. Хотелось бы, конечно...
5 И.: Ну нет такого варианта ответа. [Комментарий интервьюера к вопросу.]
6 Р.: Ну среднее. Работаем мы оба. Я знаю одно, мне 69 лет и я работаю! Ну что ж хорошего? Где такое видано? До 70 и после 70 работать? И оба работают! Жене 63 и мне под 70. Елки! Елки-палки, чего там говорить? А кончишь работать — значит все! Хана! На пенсии нам очень тяжко будет. [Расширенный ответ респондента.]
56 _
Это один из трех вводных вопросов анкеты, направленных на изучение оценки респондентом экономического положения региона ^3), а также его семьи ^4,5). Именно через эти вопросы респондент начинает знакомство с анкетой, погружается в разговор. Поэтому анализ этих вопросов, в частности вопроса 4, относящегося к сфере доходов, следует проводить в нескольких плоскостях. Во-первых, с точки зрения понимания смысла вопроса, а именно используемой в нем терминологии. Во-вторых, с точки зрения уместности использования вопросов данного типа для начала беседы и, в-третьих, с точки зрения полноты предлагаемых закрытий.
В приведенном фрагменте конструкт «материальное положение» в первую очередь связывается с доходами и денежной составляющей. Это очевидный факт, однако в процессе беседы респондент отмечает, что хотя в целом материальное положение на настоящий момент его устраивает, но само положение дел — необходимость работать в его возрасте — нет. Вопрос охватывает более широкий круг вопросов, нежели в нем было заложено, и наталкивает респондента на рассуждения. Затянувшееся начало беседы задает темп всему разговору, респондент настраивается отвечать обстоятельно, с расстановкой. Такая стратегия может стать губительной для интервью, предполагающего более 100 вопросов.
Другая сложность этого вопроса — отсутствие срединных значений. Пауза при ответе происходит именно из-за того, что респондент не услышал своего варианта ответа (строка 2). В данном исследовании намеренно были исключены нейтральные позиции. Получение ответа на подобные вопросы — важный элемент коммуникативной стратегии интервьюера. К сожалению, в значительном количестве случаев интервьюеры не прилагали дополнительных усилий для уточнения ответа — «нет такого варианта» (строка 5). Интервьюер лишь отмечает несоответствие ответа респондента закрытиям, однако никак не пытается добиться релевантного ответа. Возможно, это лень интервьюера, а может быть, недостаточное внимание к этим вопросам при инструктаже.
Вопрос 4 о материальном положении семьи, так же как и сопутствующие ему два вопроса, нельзя признать удачным, особенно для начала интервью. Это подтверждается данными анализа прерванных интервью: на этом вопросе зафиксирован один из самых высоких порогов прерывания разговора [3].
Доходы и материальное положение — сложный для изучения конструкт. Мы рассмотрели лишь один из возможных подходов к методическому анализу вопросов о доходе в структурированной анкете. Безусловно, они требуют комплексного и многостороннего изучения. По результатам проведенного анализа можно сделать ряд значимых выводов.
Прежде всего смещения и нарушения процедуры стандартизации не всегда свидетельствуют о плохом качестве опросного инструмента. Интервью — это беседа, разговор двух людей, и нельзя требовать полной его унификации, отклонения от процедуры должны быть, и это нормально. Тем не менее наличие коммуникативных сбоев не может не настораживать. В проанализированном корпусе вопросов в значительном количестве случаев они являлись именно показателем не самого высокого качества инструментария.
Когнитивный анализ вопросов показал высокую плотность смещений по сравнению с другими опросами. В соответствии с многоуровневой системой контроля 55,3% вопросов имеют те или иные смещения. Другими словами, при использовании концепта жесткого уровня контроля качество более половины вопросов прослушанного массива подвергается сомнению. Примечательно, что доля смещений, сделанных обоими участниками коммуникации, практически совпадает.
57 _
На основе анализа плотности смещений построены коммуникативные схемы разговоров о доходах и материальном положении. Схемы основываются на том, что большинство смещений провоцируют другие. В результате было обнаружено, что 3 смещения способствуют появлению наибольшего количества других коммуникативных сбоев. Это такие смещения, как «комментарии к вопросу интервьюера», «подсказка ответа интервьюером», «задержка/пауза при ответе респондента». Подобные смещения стали узлами коммуникативных схем, мы предлагаем использовать их как индикаторы качества вопросов.
Анализ вопросов о доходе по предложенным трем индикаторам позволил выявить существенные недостатки в дизайне анкеты. Во-первых, неудачным является начало анкеты, состоящее из трех однотипных вопросов, причем один из них (вопрос 4 о материальном положении семьи) попадает в зону риска. Недостаточная методическая проработка и недостаточные инструкции интервьюеру делают эти вопросы тяжелыми для восприятия и ответа. Во-вторых, большинство вопросов, по которым зафиксированы высокие значения смещений-индикаторов, следуют один за другим и располагаются в конце анкеты — это вопросы д89-д101. Такая концентрация сложных вопросов в конце анкеты недопустима.
Некоторые вопросы признаны крайне неудачными и не работающими. Прежде всего это вопрос о желаемом месячном доходе (д100), вопрос о возможности прожить без сбережений (д96) и о суммарном доходе семьи в месяц (д97). Все эти вопросы мы рекомендуем исключить из дальнейшего использования и попытаться измерить необходимые характеристики при помощи других, более простых переменных.
В будущем мы планируем продолжить разработку данной проблематики. В частности будет проведен анализ вопросов о доходах с точки зрения уровня неответов, эффектов респондента и интервьюера, расширен коммуникативный анализ. По результатам предполагается построить комплексный индекс качества вопросов.
Литература
1 Берендеева А. Б., Николаева Е. Е. Неравномерность распределения доходов населения региона: теоретико-прикладные аспекты // Современные наукоемкие технологии : регион. прил. 2013. № 2. С. 11-19.
2 Вьюговская Е. В. Призрачная сжатость формулировок вопросов : (на материале телефон. опроса о Крыме) // Мониторинг общественного мнения. 2014. № 2. С. 57-62.
3 Вьюговская Е. В., Сапонов Д. И. Анализ прерванных интервью // Мониторинг общественного мнения 2014. № 3.
4 Глушанок Т. М. Об определении доходов населения // Вопросы статистики. 2008. № 8. С. 19-21.
5 Григорян В. А. Специфика измерения уровня неравенства доходов в Армении // Учет и статистика. 2007. № 8. С. 212-217.
6 Дубынина А. В. Доходы и расходы домашних хозяйств и их роль в измерении уровня и качества жизни // Домашнее хозяйство в прошлом и настоящем : материалы Междунар. науч.-практ. конф / под ред. Я. С. Ядгарова. 2013. С. 3136.
7 Ипатова А. А., Рогозин Д. М. Эффективное стандартизированное интервью // Социологический журнал. 2014. № 1. С. 21-54.
58 _
8 Михайлова С. С. Статистический анализ пространственной дифференциации доходов пенсионной системы // Экономика, статистика и информатика. 2014. № 1. С. 149-153.
9 Мягков А. Ю. Социально-демографические переменные в социологическом исследовании: оценка достоверности самоотчетов респондентов // Социологический журнал. 2001. № 3. C. 88-100.
10 Ноэль Э. Массовые опросы: введение в методику демоскопии. М., 1993. 272 с.
11 Попова И. М., Моин В. Б. Заработная плата как социальная ценность // Социологические исследования. 1983. № 2. С. 102-110.
12 Решетникова Е. Г. Проблемы измерения социально-экономической дифференциации // Вестник Саратовского государственного социально-экономического университета. 2010. № 3. С. 85-87.
13 Рогозин Д. М. На сколько корректен телефонный опрос о Крыме: апостериорный анализ ошибок // Мониторинг общественного мнения. 2014. № 2. С. 24-26.
14 Рогозин Д., Мануильская К., Климов И. Тестирование вопросов о доходе // Социальная реальность. 2006. № 11. С. 103-115.
15 Торопова Т. В. Генезис концепций благосостояния: от А. Смита до А. Сена // Экономический вестник Ростовского государственного университета. 2007. Т. 5, № 4, ч. 2. С. 252-255.
16 Урбанская Г. Г. Измерение сельской бедности : (методология и опыт) : [на примере Белгород. обл.] // Экономика сельского хозяйства : реф. журн. 2006. № 1. С. 162.
17 Фарюн A.I. Кластерний тдход для анал1зу та прогнозування доход1в i видатк1в державного сектора економки Украни // Економiчнi науки. Серiя: Обл^ i фнанси. 2013. № 10. С. 495-507.
18 Engel E. Das Rechnungsbuch der Hausfrau und seine Bedeutung im Wirtschaftsleben der Nation. 1881.
19 Le Play F. Les ouvriers europeens... 1855.
20 Sudman S., Bradburn N. M. Asking questions : а practical guide to questionnaire design. San Francisco : Jossey-Bass Publishing, 1982.
59 _
