CC BY
58
ВЛИЯЮТ ЛИ НАПОМИНАНИЯ ОБ АНОНИМНОСТИ ОПРОСА НА ИСКРЕННОСТЬ ОТВЕТОВ РЕСПОНДЕНТОВ?
А.Ю. Мягков
Myagkov A.Y. Do confidentiality reminders influence sincerity of the respondents' answers in surveys? The results of an ad hoc methodological experiment aimed to test the effects of confidentiality reminders on sincerity of the interviewees’ responses in sociological surveys are presented in the article. The data gathered by the author shows that oral guarantees of anonymity don’t improve the quality of respondents’ self-reports.
ВВЕДЕНИЕ
В отечественной литературе по методологии и методике социологических исследований вопрос о методах стимулирования субъективной анонимности опрашиваемых в последние полтора-два десятилетия серьезно практически не обсуждался. Не случайно поэтому, что набор приемов и средств ее обеспечения, заимствованный когда-то из зарубежной социологии и по-прежнему сохраняющийся на вооружении российских исследователей, крайне ограничен, а по своему методическому потенциалу и технической оснащенности он остается на уровне 1960-х годов. Те немногочисленные советы и рекомендации, которые имеются в нашей специальной литературе для практикующих социологов, в большинстве случаев малоубедительны и вызывают вполне обоснованные сомнения в силу своей гипотетичности и отсутствия экспериментальных, эмпирических обоснований. Они, как правило, сводятся к необходимости устных или письменных деклараций, якобы гарантирующих респондентам конфиденциальность их ответов, к требованиям удаления «третьих» лиц, к пожеланиям использовать «анкетосборник» при проведении опросов и ряда других мер организационного и «психотерапевтического» характера. Однако многим исследователям, интервьюерам, анкетерам они кажутся весьма сомнительными и неэффективными, а респондентам - не внушающими доверия. В целом ряде ситуаций они явно не срабатывают. Поэтому вопросы типа: «А чем Вы мне гарантируете...», не столь уж и редкие в нашей исследовательской практике, вполне могут обескуражить не только начинающего, но и опытного интервьюера.
Справедливости ради нужно сказать, что и в зарубежной социологии на сегодняшний день выработано не так уж много надежных
рекомендаций и эффективных методов обеспечения субъективной анонимности. Однако в научном плане эта проблема изучена там гораздо более глубоко и обстоятельно. Причем подходы к ее возможному решению эволюционировали по мере появления нового экспериментального материала и накопления методологического знания.
В 1930—50-е годы специалисты по изучению общественного мнения ориентировались преимущественно на использование вопросных методов стимулирования субъективной анонимности (замену открытых вопросов закрытыми, прямых вопросов - косвенными, личных - безличными, ситуативных - проективными и т. п.). При этом считалось, что достаточно намекнуть опрашиваемым на «нормальность» или «типичность» тех или иных поступков, и саморазоблачительные признания в социально неодобряемых формах поведения будут получены от них чуть ли не автоматически.
Тогда же окончательно вошло в практику и выработанное ранее правило, требовавшее от социологов обязательного включения в инструктивную часть вопросника напоминаний респондентам об анонимности проводимого исследования. Социологи полагали, что предварительное информирование испытуемых о том, что их ответы будут сохранены в тайне, «снизит тревожные опасения и соответственно элиминируют потребность в пропуске вопросов и сообщении искаженных сведений» [1].
Однако впоследствии стало ясно, что манипулирование вопросной формулировкой отнюдь не обеспечивает «самораскрытия» респондентов, так как не гарантирует им уверенности в конфиденциальности будущих ответов [2-4]. Не оправдались надежды социологов и на организационно-технические средства обеспечения анонимности (в форме устных или письменных заверений в нераз-
глашении ответов), казавшиеся ранее вполне надежными и эффективными. Декларации об анонимности, как выяснилось в ходе специальных исследований, не способствуют установлению более доверительных отношений респондентов с интервьюерами.
ПРЕДШЕСТВУЮЩИЕ ИССЛЕДОВАНИЯ
Вопрос о влиянии устных или письменных гарантий анонимности на характер ответов респондентов в отечественной социологии и психологии на экспериментальном уровне до сих пор не изучался. А между тем в США, начиная с 1960-х годов, подобные исследования проводились неоднократно. С одной стороны, они были стимулированы поиском эффективных средств минимизации психологического ущерба респондентам в опросных исследованиях, а с другой, - необходимостью получения валидных данных [1].
Так, в 1968 году роль напоминаний о конфиденциальности в повышении достоверности ответов на «чувствительные» вопросы анализировал Ф. Кинг. В своем двухсекционном исследовании среди студентов и выпускников Дартмутского колледжа (./V = 775) он не обнаружил статистически значимых различий в сообщениях респондентов об употреблении наркотиков в зависимости от обещаний анонимности [5].
В 1974 году эту же проблему применительно к другой группе сенситивных вопросов изучала К. Фуллер. Полученные ею данные оказались весьма противоречивыми. С одной стороны, письменные гарантии конфиденциальности способствовали увеличению на 11 процентов уровня возврата почтовых анкет, а с другой, - росту числа социально желательных ответов. В результате исследования автор пришла к выводу, что риск получения смещенных данных в связи с отсутствием деклараций об анонимности, весьма незначителен [6].
Р. Уайлдман в ходе своих исследований 1977 года тестировал влияние декларируемой анонимности, а также места проведения опроса на возврат почтовых анкет, заполняе-мость вопросников и характер ответов респондентов. В качестве испытуемых выступали учителя средних школ одного из штатов Среднего Запада (А^ = 320). Полученные результаты позволили заключить, что ни один из тестируемых факторов ни порознь, ни в комбинации значимо не влияет на ответы
опрашиваемых и их желание сотрудничать с социологами. Вместе с тем, отмечает автор, возможность генерализации этих выводов ограничена спецификой аудитории, особенностями условий, в которых проводится опрос, и его проблемно-тематической природой [7].
В 1978 году в рамках изучения эффективности процедур «информированного согласия» Э. Сингер была предпринята новая попытка эмпирической верификации гипотезы о существовании «эффекта устных гарантий». В своем эксперименте она исследовала воздействие предупреждений об анонимности, содержащихся во вводной части интервью, на формирование кооперативных установок и улучшение качества ответов на сенситивные вопросы. Однако обнаруженные ею смещения оказались слишком незначительными для однозначного заключения о стимулирующей роли напоминаний [8; 9].
К концу 1970-х годов относятся и эксперименты Н. Брэдберна и С. Садмана, результаты которых в конечном счете также не дали убедительных доказательств позитивного влияния обещаний анонимности на повышение доверия к интервьюерам. Испытуемые не очень-то верили в то, что сообщаемые ими сведения будут действительно сохранены в тайне. Заверения в абсолютной конфиденциальности, отмечали в этой связи авторы проекта, в некоторой мере стимулируют готовность респондентов отвечать на индивидуально острые вопросы, но не влияют на их желание участвовать в исследовании и не улучшают качество самоотчетов о поведении [10]. Аналогичные данные, касающиеся роли напоминаний, приводятся Ж. Малвин и Дж. Москови-чем [11].
В отличие от большинства предыдущих исследований, осуществлявшихся на выборках, репрезентирующих социально благополучные слои населения, в эксперименте Ф. Римера, проведенном в 1979 году в штате Иллинойс, в качестве испытуемых выступали малолетние преступники (ТУ = 505), арестованные за различные правонарушения и содержавшиеся в специальных учреждениях для несовершеннолетних [1, р. 497-506]. Подросткам задавали сенситивные вопросы, касающиеся их прошлой жизни, поведения после ареста, оценок совершенных ими преступлений и так далее. В общей сложности вопросник включал в себя 121 вопрос. Качество данных оценивалось на основе двух показателей: числа пропущенных вопросов и
доли респондентов, давших социально желательные ответы.
В экспериментальной группе интервью начинались с оглашения стандартного введения, рассчитанного на ослабление у испытуемых тревожных предчувствий. В нем говорилось, что все ответы респондентов будут сохранены в строжайшей тайне и никто, включая интервьюера, не узнает их содержания. При этом опрашиваемым вручались копии вопросника, интервьюер зачитывал вопросы, а респондент отмечал нужные ответы в своем экземпляре анкеты. Кроме того, каждый испытуемый получал письменное заверение, подписанное руководителем исследования, гарантирующее конфиденциальность предстоящей беседы. В контрольной группе
об анонимности вообще не упоминалось. Интервью начинались с представления интервьюера и зачитывания инструкций по заполнению вопросника.
В результате анализа полученных данных оказалось, что только по двум предъявленным вопросам имели место существенные различия в количестве неответов. Гарантии анонимности, таким образом, не повлияли на отвечаемость по отдельным пунктам интервью. С другой стороны, несмотря на то, что в исследовании участвовали люди, потенциально склонные к обману и заинтересованные в искажении сообщаемых сведений, тем не менее его результаты позволяют говорить о примерно одинаковом уровне искренности респондентов, принадлежащих к контрольной и экспериментальной группам: лишь по 9 парам ответов из 121 сравниваемой были обнаружены отклонения, статистически значимые для р < 0,05 [1, р. 503-504].
Вместе с тем в отдельных публикациях были представлены и иные данные, свидетельствовавшие о том, что заверения в анонимности опроса во вводной части интервью все же оказывают некоторое (хотя и слабое) позитивное воздействие на респондентов. По утверждению некоторых авторов [12], они, в частности, способствуют снижению числа неответов на вопросы о доходах и сексуальном поведении, а с другой стороны, - приводят к увеличению объема и детализации сообщаемой респондентами информации.
Учитывая противоречивость полученных ранее результатов, Дж. Фрей в конце 1984
года вновь возвращается к этой проблеме, рассматривая ее применительно к условиям телефонного интервью [13]. Суть поставленного им эксперимента заключалась в следующем. Из случайной стратифицированной выборки 385), представляющей домохозяйства штата Невада и разделенной пополам, были сформированы две группы - экспериментальная и контрольная. Интервьюируемым предлагалось ответить на 22 содержательных (о политических предпочтениях,
06 отношении к референдуму, о налогах, к политике в области образования и другие) и
7 социально-демографических вопросов (о возрасте, уровне образования, расовой принадлежности, доходе, размере жилища, вероисповедании и брачном статусе). Общий уровень ответов в исследовании составил 82 процента.
В обеих группах интервью начинались со стандартного введения, которое включало имя интервьюера, название исследовательской организации, проводившей опрос, тему исследования, а также универсальные фразы, касающиеся его анонимности. Кроме того, непосредственно перед блоком демографических вопросов экспериментальной группе респондентов зачитывалось «буферное» утверждение, содержавшее в себе дополнительное предупреждение об анонимности: «А сейчас мне хотелось бы получить некоторые сведения лично о Вас исключительно в статистических целях. Помните, Ваши ответы анонимны». Контрольной группе эта фраза зачитывалась без напоминания о конфиденциальности опроса.
Сравнение результатов, полученных в экспериментальной и контрольной группах, не выявило существенных различий в ответах на личные вопросы, касающиеся образования, размеров жилища, расы, религии, дохода и брачного статуса респондентов. Меры ассоциации («гамма»-коэффициенты) варьировали от -0,161 (для дохода) до -0,065 (для расовой принадлежности). И ни одна из них, по свидетельствам Дж. Фрея, не была статистически значимой.
Однако повторное напоминание о конфиденциальности, сделанное респондентам экспериментальной группы, стимулировало более высокий уровень неответов по сравнению с контрольной (таблица 1).
Таблица 1
Соотношение неответивших* на различные типы социально-демографических вопросов в экспериментальной и контрольной группах респондентов в зависимости от наличия или отсутствия напоминания об анонимности в телефонном интервью (в абс. числах)
Вопросы Экспериментальная группа (Ы= 192) Контрольная группа (Ы= 193)
Образование 1 0
Размеры жилища 1 1
Раса 1 0
Религия 2 4
Доход 15 7
Брачный статус 2 I
* Суммировалось число отказавшихся от ответа и ответивших «не знаю». Источник: [13, р. 269].
За исключением вопроса о доходе, как видно из таблицы 1, выявленные различия оказались несущественными, хотя общая тенденция, фиксируемая в распределениях, по мнению автора исследования, очевидна. Напоминание о конфиденциальности, предваряющее блок личных вопросов, считает Дж. Фрей, элиминирует влияние вводной инструкции и «ломает» начавшие было устанавливаться (хотя пока еще и очень хрупкие) отношения доверия между респондентами и интервьюером. Напоминание, по-видимому, производит эффект, повышающий чувствительность респондентов, и предупреждает их о необходимости быть осторожными в своих ответах на последующие вопросы. «Вследствие этого качество данных подвергается определенному (хотя и не очень сильному) риску» [13, р. 269].
В результате проведенного эксперимента Дж. Фрей приходит к выводу, подтверждающему обнаруженную ранее тенденцию: заверения в анонимности практически не влияют на уровень отвечаемости и достоверность ответов респондентов. Но, непосредственно предшествуя «сенситивным» вопросам, они могут оказывать и негативное воздействие на качество итоговых данных.
РЕЗУЛЬТАТЫ И ИХ ИНТЕРПРЕТАЦИЯ
В ходе одного из наших исследований (декабрь 1999 года) мы предприняли попыт-
ку эмпирической верификации гипотезы об отсутствии взаимосвязи между обещаниями конфиденциальности и ответами респондентов. Опрос был посвящен электоральной проблематике и проводился накануне выборов в Государственную Думу России среди избирателей г. Иванова. 996 человек, отобранных квотно-случайным путем, были разделены на две примерно одинаковые по численности и выровненные по социальнодемографическим характеристикам группы. В первой из них (М = 504) интервьюеры / анкетеры специально напоминали респондентам об анонимности предстоящего опроса и неразглашении их ответов, во второй (ТУ = 492) такого напоминания не делалось.
Анализ данных, полученных по 14 содержательным вопросам в контрольной и экспериментальной группах, показывает, что ни по одной из 68 сравниваемых пар ответов не наблюдается статистически значимых различий. Максимальные расхождения, обнаруженные в вопросах №№ 4 и 7, не превышают 4 процентов, составляя 3,7 процента и 3,8 процента, соответственно (таблица 2). Статистическая проверка 11 наиболее существенных в процентном отношении различий (превышающих 2 процента), проведенная с использованием х2_кРитеРия^ не дала положительных результатов. Ни в одном из тестированных случаев не было обнаружено сдвигов, значимых на конвенционально приемлемом уровнер < 0,05.
Испытуемым задавались вопросы разной степени деликатности, касающиеся их партийных предпочтений, персональных симпатий, характера будущего голосования, уровня информированности о кандидатах в депутаты и так далее. И тем не менее ни по одному из них обещания конфиденциальности значимо не повлияли на ответы респондентов. Не было обнаружено и стимулирующей роли напоминаний в сокращении количества неответов на вопросы анкеты. Наибольшее отклонение по этому показателю составляет всего 2 процента и не выходит за рамки случайной величины. Возможно, что данная ситуация обусловлена невысоким уровнем сен-ситивности задававшихся нами вопросов. Однако, учитывая результаты предыдущих исследований на эту тему, мы склонны все же объяснять ее недостаточным суггестивным потенциалом декларируемой анонимности.
Таблица 2
Распределение ответов (и неответов) респондентов на вопросы анкеты в контрольной и экспериментальной группах (с напоминанием об анонимности и без напоминания), в %
№ п/п Вопросы и ответы Контрольная группа (N = 492) Экспериментальная группа (N=504) Степень расхождения
1 2 3 4 5
1. «Вы будете или не будете участвовать в предстоящих выборах?» Да, буду 59,3 59,5 0,2
Скорее да, чем нет 17,5 20,0 2,5*
Скорее нет, чем да 6,5 5,0 1,5
Нет, не буду 7,9 9,0 1,4
Затрудняюсь ответить 8,3 6,2 2,1
Пропустили вопрос 0,4 0,0 0,4
2. «Если бы выборы в Гос. Думу состоялись в ближайшее воскресенье и в бюллетене были указаны перечисленные ниже партии (движения, блоки), то за какую из них Вы проголосовали бы?» «Духовное наследие» 0,4 0,6 0,2
«Коммунисты, трудящиеся России - за Советский 0,6 1,0 0,4
Союз» «Аграрная партия России» 0,2 0,4 0,2
«Отечество - вся Россия» 12,0 9,3 2,7*
«Наш дом - Россия» «Коммунистическая партия РФ» 17,3 3,6 17,9 1,8 0,6
«Конгресс русских общин» 0,0 0,2 0,2
«Экологическая партия России» («Кедр») 0,6 0,8 0,2
«Единство» 19,7 20,2 0,5
«Яблоко» 8,1 8,7 0,6
«Блок В. Жириновского» 6,3 5,4 0,9
«Союз правых сил» 6,1 6,7 0,6
«Партия пенсионеров» 1,8 1,8 0,0
«Русская социалистическая партия» 0,2 0,0 0.2
«Российский общенародный союз» 0,2 0,8 0,6
«Блок генерала Андрея Николаева и академика 0,4 0,8 0,4
Святослава Федорова» Против всех партий 14,4 11,7 2,7*
Затруднились ответить 9,1 9,7 0,6
Пропустили вопрос 0,6 0,4 0,2
3. «Вы уже решили, за кого из кандидатов в депутаты Гос. Думы Вы будете голосовать?» Да, решил(а) 40,4 40,3 0,1
Нет, не решил(а) 58,1 58,5 0,4
Пропустили вопрос 1,4 1,2 0,2
4. «Представьте себе, что выборы в Гос. Думу состоятся уже в ближайшее воскресенье. За кого из кандидатов Вы бы проголосовали?» Кандидат № 1 0,4 1,0 0,6
Кандидат № 2 2,0 2,4 0,4
Кандидат № 3 0,4 0,0 0,4
Кандидат № 4 1,2 1,8 0,6
Кандидат № 5 7,5 5,8 1,7
Кандидат № 6 Кандидат № 7 7,3 0,6 7,7 0,4 0,4
Кандидат № 8 0,0 0,0 0,0
Кандидат № 9 1,4 0,6 0.8
Кандидат № 10 4,3 5,2 0,9
Кандидат № 11 0,2 0,0 0,2
Кандидат № 12 8,7 8,5 0,2
Кандидат № 13 6,5 5,0 1,5
Кандидат № 14 1,2 1,2 0,0
Кандидат № 15 10,0 9,1 0,9
Продолжение таблицы 2
1 2 3 4 5
Кандидат № 16 4,1 2,2 1,9
Кандидат № 17 0,4 0,6 0,2
Кандидат № 18 0,8 1,0 0,2
Против всех кандидатов 21,3 25,0 3,7*
5. Затруднились ответить «В какой мере Вы уверены 18,5 17,3 1,2
или не уверены в своем выборе?»
Полностью уверен 29,5 31,0 1,5
Скорее уверен 33,3 32,3 1.0
Скорее не уверен 17,1 17,9 0,8
Не уверен совсем 7,5 6,3 1,2
Пропустили вопрос 12,6 12,5 0,1
6. «Что Вы знаете о перечисленных ниже кандидатах
в депутаты?»
Кандидат № 1
Ничего не знаю 83,5 82,9 0,6
Я знаю, что он... 16,3 17,1 0,8
Нет ответа 0,2 0,0 0,2
7. Кандидат №2
Ничего не знаю 73,0 69,2 3,8*
Я знаю, что он... 26,8 30,6 3,8*
Нет ответа 0,2 0,2 0,0
8. Кандидат №3
Ничего не знаю 78,5 78,0 0,5
Я знаю, что он... 21,3 21,8 0,5
Нет ответа 0,2 0,2 0,2
9. Кандидат №4
Ничего не знаю 76,2 73,8 2,4*
Я знаю, что он... 23,4 26,2 2,8*
Нет ответа 0,4 0,0 0,4
10. Кандидат №5
Ничего не знаю 70,9 72,4 1,5
Я знаю, что он... 29,1 27,6 1,5
Нет ответа 0,0 0,0 0,0
И. Кандидат №6
Ничего не знаю 82,3 84,5 2,2*
Я знаю, что он... 17,3 15,5 1,8
Нет ответа 0,4 0,0 0,4
12. Кандидат №7
Ничего не знаю 52,4 51,4 1,0
Я знаю, что он... 47,4 48,6 1,2
Нет ответа 0,2 0,0 0,2
13. Кандидат №8
Ничего не знаю 77,0 77,0 0,0
Я знаю, что он... 22,2 22,6 0,4
Нет ответа 0,8 0,4 0,4
14. Кандидат №9
Ничего не знаю 89,8 92,3 2,5*
Я знаю, что он... 9,6 7,5 2,1
Нет ответа 0,6 0,2 0,4
* Различия значимы на уровне р > 0,05.
ОСНОВНЫЕ ВЫВОДЫ
Таким образом, проведенный анализ свидетельствует, что вербальные гарантии в форме разовых (единичных) напоминаний об анонимности, традиционно используемые в социологических опросах, не способствуют установлению более доверительных отношений с респондентами и улучшению качества данных. Опрашиваемые скорее всего рассматривают их как пустую формальность со стороны интервьюеров, обусловленную необходимостью соблюдения инструкций, и не воспринимают с должной серьезностью. В результате эта мера не снимает напряженность, характерную для формализованных персональных интервью и не ведет к повышению искренности ответов респондентов.
Вместе с тем следует отметить, что во всех описанных выше исследованиях (включая наше) интересующая нас экспериментальная переменная рассматривалась обособленно, в отрыве от других (вопросных техник, использования анкетосборника, более сильных вербальных средств), также предположительно влияющих на формирование субъективной анонимности. В результате до сих пор остается неясным вопрос о наличии и характере взаимосвязей между различными переменными, традиционно изучаемыми в качестве независимых. На ограниченность такого подхода при изучении источников смещений в ответах респондентов еще в 1970-е годы указывал Д. Филипс. Критикуя исследовательскую практику, сложившуюся в социальных науках, он отмечал, что партикулярный анализ различных факторов, их рассмотрение поодиночке фактически исключает возможность обнаружения аддитивных (кумулятивных) эффектов, возникающих из объединения влияний нескольких взаимокоррелирующих переменных [14]. Очевидно, что комплексное (одновременное) исследование разных стимулирующих условий позволило бы уточнить их частный и совокупный вклад в обеспечение субъективной анонимности. Вполне возможно, что в этом случае напоминания о конфиденциальности опроса продемонстрируют более высокий уровень эффективности и окажутся важной составляющей того самого аддитивного эффекта, существование которого предвидел
Д. Филипс. Однако его обнаружение и фиксация требуют проведения новых, дополнительных исследований, предполагающих применение иных экспериментальных планов и использование соответствующих статистических методов и процедур.
1. Reamer F.G. Protecting research subjects and unintended consequences: the effect of guarantees of confidentiality // Public Opinion Quarterly. 1979. V. 43. № 4. P. 498.
2. Hoinville G., Jowell R. Survey Research Practice. L., 1978.
3. Sudman S., Bradburn N. Asking Questions. A Practical Guide to Questionnaire Design. San-Francisco, 1982.
4. Makkai T., Mcallister I. Measuring social indicators in opinion surveys: a method to improve accuracy on sensitive questions // Social Indicators Research. 1992. V. 27. № 2. P. 169-186.
5. King F.W. Anonymous versus identifiable questionnaires in drug usage surveys // American Psychologist. 1970. V. 25. № 12. P. 982-985.
6. Fuller C. Effect of anonymity on return rate and response bias in a mail survey // Journal of Applied Psychology. 1974. V. 59. № 2. P. 292-296.
7. Wildman R.C. Effects of anonymity and social setting on survey responses // Public Opinion Quarterly. 1977. V. 41. № 1. P. 74-79.
8. Singer E. «Informed consent»: consequences for response rate and response quality in social surveys // American Sociological Review. 1978. V. 43. № 1. P. 144-162.
9. Singer E. The effect of informed consent procedures on respondents' reactions to surveys // Journal of Consumer Research. 1978. V. 5. № 1. P. 49-57.
10. Bradburn N.M., Sudman S. Improving Interview Method and Questionnaire Design. San-Francisco, 1979. P. 170.
11. Malvin J.H., Moskowifz J.M. Anonymous versus identifiable self-reports of adolescent drug attitudes, intentions, and use // Public Opinion Quartery. 1983. V. 47. № 4. P. 557-566.
12. Singer E., Frankel M.R. Informed consent pro-
cedures in telephone interviews // American Sociological Review. 1982. V. 47. 3. P. 416-
426.
13. Frey J.H. An experiment with a confidentiality reminder in a telephone survey // Public Opinion Quarterly. 1986. V. 50. № 2. P. 267-269.
14. Phillips D.L. Knowledge from What? Theories and Methods in Social Research. Chicago, 1971. P. 20.
