CC BY
66
УРОВЕНЬ ИСКРЕННОСТИ ОТВЕТОВ РЕСПОНДЕНТОВ НА СОЦИАЛЬНО-ДЕМОГРАФИЧЕСКИЕ ВОПРОСЫ АНКЕТЫ А.Ю. Мягков
Myagkov A.Y. The sincerity rate of subjects’ answers to socio-demographic questions. The article contains a quantitative estimation of the reliability of the subjects’ self-reports on their demographic characteristics and social status. The author concludes that the gap between the gender, age, education, family income and other data and the subjects’ objective characteristics is much wider than the sociologists usually consider.
Постановка проблемы
В любом исследовании социологу неизбежно приходится решать самые различные задачи, связанные с получением и использованием социально-демографической информации. Невозможно представить себе исследование, в котором не учитывались бы те или иные объективные показатели, характеризующие личность, группу, коллектив, территориальную или поселенческую общность. Когда социолог на основе проведенного опроса делает, например, вывод о том, что симпатии населения в отношении того или иного кандидата в президенты (депутаты и так далее) зависят главным образом от возраста, образования и рода занятий респондентов, то прежде всего он имеет в виду, что именно данные признаки являются «мнениеобра-зующими» и определяют политические предпочтения избирателей. Но прежде чем сделать подобное заключение, исследователь должен быть уверен, что полученные от респондентов социально-демографические сведения являются точными и достоверными.
Опыт проведения социологических исследований убеждает, что получение надежной информации относительно этой группы социальных характеристик - дело весьма не простое, требующее от социолога высокой методологической культуры. Связано это прежде всего со специфической природой самих социально-демографических показателей: с их многослойностью и многоаспектно-стью, внутренней сложностью и противоречивостью, с невозможностью в большинстве случаев их однозначной интерпретации и операционализации, а следовательно, и с дополнительными затруднениями в процессе их фиксации и измерения [1—4].
Однако нельзя не учитывать и то обстоятельство, что данные признаки являются «социально-демографическими» лишь для
исследователя. Для респондентов же - это личностные характеристики, требующие ответов на деликатные вопросы о них самих или об их родственниках и затрагивающие сложный комплекс человеческих эмоций. Сама стратегия установления значений демографических и статусных переменных на основе вербальных референтов таит в себе еще один источник получения недостоверных данных, связанный как с сознательным искажением ответов респондентами, так и с их неосознанным стремлением к самопрезентации.
В современной социологической литературе прочно укоренилось мнение, что социально-демографическая информация, собираемая в ходе опросов, обладает предельно высоким уровнем достоверности. Высокое качество самоотчетов респондентов относительно их пола, возраста, уровня образования и прочих объективных характеристик исследователи связывают либо с «естественной валидностью обыденного языка» («face validity»), якобы, надежно гарантирующей эти данные от искажений [5], либо с тем, что они известны самим респондентам «с высокой степенью определенности» [6]. По мнению английского социолога П. Каттенса, к информации, сообщаемой участниками опроса «о себе», следует относиться как «к идеально надежной», «не содержащей в себе компонента ошибок» [6, р. 45]. Показатели надежности сведений, касающихся пола, возраста респондентов, времени окончания школы, количества братьев и сестер, полученные в результате измерения посредством «тест-ретест» метода, оказались в его экспериментальном исследовании близкими к единице [6, р. 40-42].
Между тем, как показывают опыт и результаты специальных исследований, указанные обстоятельства вовсе не гарантируют опросные данные этого рода от искажений. Простота, понятность и доступность соци-
ально-демографической терминологии любому из респондентов еще не обеспечивают автоматически надежности и достоверности сообщаемых ими сведений. Здесь, как правило, не возникает особых трудностей, связанных с достижением взаимно однозначного индикативного соответствия между измеряемыми признаками и понятиями, в которых они репрезентируются в анкетных вопросах. Зато встает серьезная проблема сознательных и неосознаваемых искажений опрашиваемыми их демографических и статусных характеристик. Примеры такого рода довольно часто можно встретить в массовой социологической практике: завышение или занижение респондентами своего возраста, стажа работы, уровня образования, размеров дохода, заработной платы, изменение (фальсификация) профессиональной принадлежности работниками редких и / или высокооплачиваемых профессий и так далее. Причем степень искажений здесь бывает значительно более высокой, чем обычно считается.
Знание опрашиваемыми своих «объективных» характеристик также не гарантирует точных сведений, поскольку не является единственным фактором формирования ответов. Как показывают специальные исследования, посвященные этой теме [7], на них влияет множество различных внешних стимулов среды и внутренних состояний самих респондентов. Возраст, образование, доходы, место жительства и прочее - это такие характеристики, которые воспринимаются многими людьми как престижные. Сообщая о них в ходе опросов, респонденты не просто актуализируют и вербализируют известные им сведения, бесстрастно констатируют данные факты из своей жизни или биографии. Каждый из участников исследования по своему оценивает и переживает их, сопоставляет и интерпретирует в контексте сложившейся социальной ситуации с учетом той роли, которые играют эти характеристики в их собственной жизни, в жизни различных референтных групп и общества в целом. Поэтому ответы на социально-демографические вопросы всегда сопряжены «с нормативными и компаративными аспектами самооценки» [6, р. 32].
Обзор предшествующих исследований
Вопрос о величине дистанции между «самоотчетами» респондентов относительно их «личных» характеристик и объективными
данными на сегодняшний день изучен явно недостаточно. В отечественной социологии экспериментальных исследований на эту тему, насколько нам известно, не проводилось, в зарубежной науке их тоже было очень немного. Более того, сведения, имеющиеся в западных источниках, весьма противоречивы, носят преимущественно косвенный характер и малопоказательны, поскольку рассматриваются вне связи с тематической спецификой проводимых опросов.
Попытку косвенной оценки степени сен-ситивности различных тем в персональном интервью в конце 70-х годов предприняли, в частности, Н. Брэдбери и С. Садман. Предъявляя респондентам серию различных по содержанию вопросов (от уровня образования до употребления марихуаны), они в своем исследовании интересовались тем, какие из них, по мнению опрашиваемых, могут вызвать у «большинства людей» чувство смущения и неудобства и являются «слишком личными», чтобы их можно было свободно обсуждать с незнакомым человеком. Кроме того, вопросы из того же списка тестировались на предмет количества пропусков и отказов от ответа. По замыслу Н. Брэдберна и С. Садмана, реакции на оценочные вопросы должны были фиксировать нормы, не позволяющие людям открыто обсуждать указанные темы с незнакомцем и давать точные ответы о себе и своем поведении интервьюеру [8]. Уровень тревоги и беспокойства респондентов в экспериментальной ситуации рассматривался авторами в качестве индикатора масштабов возможных информационных искажений в реальной ситуации будущих интервью [8, р. 50], а число неответов интерпретировалось ими как «бихевиориаль-ная мера опасений» и свидетельство ощущаемой угрозы [8, р. 69].
Данные, полученные в ходе этого исследования (таблица 1), свидетельствуют, что статусные вопросы являются для опрашиваемых не самыми эмоционально нейтральными. С другой стороны, далеко не все респонденты, как выяснилось, считают возможным сообщать те или иные сведения личного характера незнакомым людям.
Исходя из этих данных, трудно с уверенностью сказать, какие вопросы социальнодемографического блока являются более надежными, а какие менее. Исключение составляет, пожалуй, лишь вопрос о доходах, оцененный опрошенными как весьма дели-
катный. Однако вывод в том, что сведения, сообщаемые респондентами «о себе», не обладают абсолютной достоверностью, не вызывает больших сомнений.
Таблица 1
Мнения респондентов относительно степени деликатности различных вопросов (в %)
Типы вопросов (темы) Большинство людей будут чувствовать смущение при предъявлении данного вопроса Считают, что данный вопрос слишком личный Не ответили на вопрос при его предъявлении
Занятия спортом 1,0 0,0 0,1
Образование 3,0 1,0 0,3
Род занятий 3,0 2,0 0,1
Доходы 12,0 6,0 4,8
Злоупотребление алкоголем 29,0 2,0 2,3
Употребление марихуаны 42,0 3,0 0,4
Сексуальное поведение 42,0 34,0 6,0
Источник: [8, р. 68].
Иные результаты были получены в ходе почтового опроса, проведенного в середине 80-х годов нидерландским социологом А. Недерхофом и посвященного изучению проблемы самоубийств (таблица 2). В нем также, как и в предыдущем случае, в качестве индикатора вероятных смещений в опросных данных использовался удельный вес не-ответов на различные вопросы анкеты.
Таблица 2
Доли неответов на вопросы анкеты (в %)
Типы вопросов Доли неответов
Пол 1,2
Возраст 1,4
Брачный статус 2,2
Конфессия 2,3
Род занятий 3,4
Политические предпочтения 4,0
Образование 14,3
Средний показатель по вопроснику в целом 8,3
Диапазон для шкал самоубийств 12,8-28,7
Источник: [9].
Анализ результатов этого исследования показывает, что доля респондентов, отказавшихся сообщить свои социальные и демографические характеристики и пожелавших тем самым остаться неидентифицируемыми, вполне сопоставима с удельным весом неот-
ветивших на вопросы о политических симпатиях, традиционно считающиеся деликатными. Более того, вопрос об образовании вызвал значительно большее число неответов, чем то, которое было зафиксировано в среднем по всей анкете, предназначенной для сбора данных по «устрашающей» проблематике.
В телефонном интервью, организованном Ч. Уивером и К. Свенсон, 5,3 процента респондентов не пожелали указать свой возраст, 7,7 процента опрошенных отказались от сообщения о стаже работы и 18,0 процентов -от ответа о размере годового жалованья [10]. Вместе с тем в экспериментальном исследовании Дж. Фрея удельный вес неответов на демографические и статусные вопросы, задававшиеся по телефону, варьировал в более узких пределах: от 0,5 процента для вопроса об образовании до 11 процентов - о величине дохода (таблица 3).
Таблица 3
Удельный вес неответивших на различные типы социально-демографических вопросов в телефонном интервью (в %)
Типы вопросов Удельный вес неответивших
Образование 0,5
Размер жилиша 1,0
Раса 1,6
Брачный статус 1,6
Религия 3,1
Доход 10,9
Источник: [11].
По приведенным выше косвенным показателям можно судить о значительных расхождениях, имеющихся в социологической литературе, по поводу оценок надежности различных вопросов социально-демографического блока.
Прямые данные также убеждают в правомерности такого вывода. Так, в трех исследованиях, анализируемых Г. Хайманом, степень достоверности самоотчетов респондентов о возрасте варьировала в диапазоне от 88 до 98 процентов [12]. В методическом эксперименте Р. Петерсона правильный возраст указали 95-99 процентов опрошенных в зависимости от формы и формулировки вопроса. При этом от 1 до 10 процентов респондентов отказались от ответа [13]. По сообщению Ч. Уивера и К. Свенсон, лишь около 92 процентов всех полученных ими ответов на вопрос о дате рождения испытуемых
после проверки по методу «объективного эталона» были признаны соответствующими действительности [10, р. 73].
Сложнее обстоит дело с вопросом о доходах, поскольку в литературных источниках относительно этого признака наблюдается еще больший разнобой и неопределенность в оценке масштабов искажений вербальной информации. Если в большинстве специальных исследований уровень достоверности сообщений респондентов о размере доходов оценивается обычно в несколько десятков процентов, то Ч. Уивер и К. Свенсон в проведенным ими валидационном эксперименте обнаружили всего 0,4 процента правильных ответов при сравнении их с «критериальными» данными [10, р. 74].
Что же касается уровня неответов на вопрос о доходах, то в разных исследованиях, в зависимости от метода сбора данных, он также колеблется в довольно широких пределах: от 5 до 15 процентов в личных интервью [8, р. 68; 14,] и от 11 до 28 процентов в телефонных [ 11, 14]).
Методология и методы исследования
Экспериментальный план. Поскольку сведения, имеющиеся в литературе, носят разрозненный, часто случайный характер и порой существенно различаются от исследования к исследованию, то, опираясь на них, очень трудно представить истинные масштабы искажений, содержащихся в сообщениях опрашиваемых о самих себе. Поэтому с целью оценки уровня достоверности (искренности) ответов респондентов в 1999 году мы провели специальный методический эксперимент, организованный по принципу «тест-ретест»1. В качестве испытуемых в нем участвовали 110 человек, проживающих в г. Иванове и представляющих разные социально-демографические и профессиональные группы взрослого населения (студенты, представители производственной и непроизводственной интеллигенции, работники торговли и сферы обслуживания, пенсионеры). Поскольку эксперимент состоял из двух фаз, то от респондентов в общей сложности было получено 220 анкет.
Опрашиваемым предлагалось ответить на вопросы нашей анкеты дважды через небольшой промежуток времени, составивший
около трех недель. В первый раз их просили дать максимально искренние ответы («для себя»), а во второй - ответить так, как бы они отвечали в том случае, если бы не были уверены в конфиденциальности опроса и не доверяли интервьюеру. В результате мы получили своеобразные «эталоны» искренних и неискренних ответов, которые затем сопоставлялись, и на основе обнаруженных различий выводились средние показатели уровня искренности по каждому из вопросов, по различным их группам (типам) и по вопроснику в целом.
Измерительная стратегия. Уровень искренности респондентов по отдельным вопросам (УИт) рассчитывался как частное от деления числа совпадений в ответах всех респондентов в двух последовательно взятых пробах на объем выборки (1), а по вопроснику в целом (УИв) - как отношение общей суммы всех совпавших пар ответов по всем вопросам и для всех респондентов к числу всех возможных ответов (2).
УИ„
81 N
(1)
где £ СОт - сумма совпавших пар ответов по /-му вопросу;
N - число испытуемых.
УИа =
(2)
1 В этой работе участвовали также С.Л. Журавлева, А.О. Морозова и О.В. Симакова.
К-N
где £ СОв - общее число совпавших пар
ответов по вопроснику в целом;
К - число вопросов в анкете;
ТУ - число испытуемых.
Структура и содержание вопросника. Предлагавшийся респондентам вопросник насчитывал в общей сложности 33 вопроса, из которых 26 были «содержательными», а 7 -социально-демографическими. Из числа содержательных вопросов 7 касались нравственно-правовых тем, а также оценок респондентами взаимоотношений в семье и их собственного здоровья, а 19 задавались с целью измерения политических установок. В социально-демографическом блоке анкеты присутствовали 5 традиционных вопросов (пол, возраст, образование, род занятий, размер среднемесячного душевого дохода в семье) и 2 «сопутствующих» (о наличии дополнительных доходов и их удельном весе по отношению к основному заработку). Как можно видеть в таблице 4, в большинстве своем вопросы анкеты не принадлежали к числу особо «сенситивных».
Таблица 4
Уровни искренности ответов респондентов по отдельным вопросам анкеты, вопросным блокам и вопроснику в целом (в % и абс. числах, п = 110)
№ вопро- са Содержание вопросов Число несовпадений, абс. числа Уровень искренности ответов, %
1 Отношение к социально- экономической политике правительства 57 48,2
2 Намерение участвовать в выборах в Гос. Думу 40 63,6
3 Оценка взаимоотношений в семье 40 63,6
4 Допустимость лжи 51 53,6
5 Оценка состояния собственного здоровья 67 39,1
6 Размер среднего дохода в семье 66 40,0
7 Наличие дополнительных источников дохода 17 84,5
8 Доля дополнительных источников дохода по отношению к средней заработной плате 33 70,0
9 Уплата налогов 29 73,6
10 Партийные предпочтения. 53 51,8
11 Оценка деятельности Президента России за прошедший год 60 45,4
12 Факты физического наказания детей 33 70,0
13 Злоупотребление алкоголем 33 70,0
14 Отношение (степень доверия) к Президенту России 50 54,5
15 Отношение к Правительству 53 51,8
16 Отношение к Совету Федерации 51 53,6
17 Отношение к Государственной Думе 46 58,2
18 Отношение к руководителям города и области 51 53,6
19 Отношение к милиции 42 61,8
20 Отношение к суду 47 57,3
21 Отношение к прокуратуре 42 61,8
22 Отношение к армии 48 56,4
23 Отношение к профсоюзам 40 63,6
24 Отношение к церкви 34 69,1
25 Отношение к политическим партиям и движениям 51 53,6
26 Отношение к СМИ 49 55,4
27 Отношение к предпринимательским и банковским кругам 44 60,0
28 Электоральные рейтинги политиков 46 58,2
29 Возможность присвоения чужого 50 54,5
30 Пол 9 91,8
31 Возраст 6 94,5
32 Образование 11 90,0
33 Род занятий 9 91,8
УИ по вопроснику в целом (К =33). УИ по основным вопросам (К= 26). УИ по социально-демографическим вопросам (К=1). УИ по четырем вопросам социально-демографического блока (пол, возраст, образование, род занятий) УИ по пяти основным вопросам социально-демографического блока (пол, возраст, образование, род занятий, размер дохода). 62,6 57,8 80,4 92,0 81,6
Результаты и их интерпретация
В результате обработки и обобщения материалов, полученных в исследовании, оказалось, что средний уровень искренности ответов респондентов на «содержательные» вопросы составил 57,8 процента, а на демографические и статусные - 80,4 процента. При этом, судя по данным, представленным в таблице 4, сами вопросы социально-демографического блока также отличаются по степени остроты и деликатности. Самым сенситивным в этой группе (и одним из самых деликатных по анкете в целом) оказался вопрос о размере дохода: средний уровень
искренности ответов на него составил всего 40 процентов. А это значит, что большинство респондентов (60 процентов) изменили во втором исследовании (то есть, в ситуации с нарушенной анонимностью) свои первоначальные ответы и лишь 40 процентов сохранили их неизменными.
«Сопутствующие» доходам вопросы о наличии дополнительных заработков и их размеров воспринимаются испытуемыми с меньшей остротой и подозрительностью. Однако удельный вес неискренних ответов здесь также достаточно высокий (от 15 до 30 процентов). Эти данные подтверждают вывод Н. Брэдберна и С. Садмана о том, что вопросы, требующие от респондентов про-
стой констатации факта и ответов «да-нет» типа, являются менее сенситивными, чем те, которые предполагают «квантификацию поведения», то есть сообщение его количественных характеристик (частоты, интенсивности и так далее) [8, р. 19-23]).
Уровень достоверности ответов на традиционные вопросы относительно пола, возраста, образования и рода занятий респондентов на первый взгляд кажется довольно высоким: в этой вопросной группе он колеблется в диапазоне от 90 до 94,5 процента, составляя в среднем 92 процента. Однако так может показаться лишь на фоне других, и прежде всего, содержательных вопросов. Взятые сами по себе, они свидетельствуют, что от 5 до 10 процентов всех респондентов могут изменить свои ответы, касающиеся их персональных данных, в случае возникновения ситуации, которая, по их мнению, создает условия для идентификации личности опрашиваемых.
Кроме того, несмотря на то, что искренность ответов на «личные» вопросы в целом выше, чем на все остальные, она тем не менее не является абсолютной и ни по одному из них не достигает 100 процентов, а по вопросу о размере дохода ее уровень оказался одним из самых низких.
Результаты исследования позволяют сделать еще один вывод. Вопросы, касающиеся уровня образования, профессии и даже возраста и пола, также могут восприниматься респондентами как сенситивные, однако в качестве таковых они чаще всего выступают не сами по себе, а в общем предметно-содержательном (тематическом) контексте исследования. Поэтому уровень их надежности варьирует в зависимости от обсуждаемой в опросе темы. Чем острее тема исследования, тем ниже вероятность получения искренних ответов, в том числе и на вопросы социально-демографического блока. Но даже в относительно нейтральных по тематике опросах можно ожидать появления недостоверных сведений о личных характеристиках респондентов. Следовательно, искренность
ответов необходимо контролировать не только по основным вопросам исследования, но и по всем прочим, включая социальнодемографические.
1. Батыгин Г.С. Обоснование научного вывода в прикладной социологии. М., 1986. С. 21, 7475.
2. Мягков А.Ю. Возраст как переменная в социологическом исследовании (Методологические и методические проблемы измерения) // Вестн. Тамбов, ун-та. Сер. Гуманитарные науки. Тамбов, 1996. Вып. 2. С. 31-38.
3. Мягков А.Ю. Семейный статус как социологическая переменная: система показателей и методика измерения // Женщина в российском обществе. 1996. № 3. С. 27-34.
4. Мягков А.Ю. Измерение уровня образования респондентов в социологическом исследовании: методологические трудности и методические приемы // Женщина в российском обществе. 1996. № 4. С. 24-30.
5. Логика социологического исследования. М., 1987. С. 33,43.
6. Cuttance P.F. Towards a typology of information to aid reliability of response in social surveys // Quality and Quantity. 1986. V. 20. № l.P. 33.
7. Давыдов А.А. Респондент как источник информации. М., 1993. С. 24-25.
8. Bradburn N.M., Sudman S. Improving Interview Method and Questionnaire Design. San-Francisco, 1979. P. 67.
9. Nederhof A. A survey on suicide: using a mail survey to study a highly threatening topic // Quality and Quantity. 1985. V. 19. № 3. P. 299.
10. Weaver C.N., Swanson C.L. Validity of reported date of birth, salary, and seniority // Public Opinion Quarterly. 1974. V. 38. № 1. P. 72.
11. Frey J.H. An experiment with a confidentiality reminder in a telephone survey // Public Opinion Quarterly. 1986. V. 50. № 2. P. 268.
12. Hyman H. Secondary Analysis of Sample Surveys. N.Y., 1972. P. 258.
13. Peterson R.A. Asking the age question: a research note // Public Opinion Quarterly. -1984. V. 48. № l.P. 381.
14. Groves R.M. Actors and questions in telephone and personal interview surveys // Public Opinion Quarterly. 1979. V. 43. № 2. P. 194.
