CC BY
78С. САДМЕН, Н. БРЭДБЕРН
ФОРМА ВОПРОСА В СОЦИАЛЬНОМ КОНТЕКСТЕ
Постановка проблемы
Формулирование вопроса имеет исключительно важное значение для обеспечения достоверности данных социального обследования. Важность точной формулировки вопроса1 может быть проиллюстрирована анекдотом. Доминиканец и иезуит спорят о том, грешно ли курить и молиться одновременно. Не сумев прийти к соглашению, они решили посоветоваться со своими наставниками. Встречаются. «Что же сказал твой наставник?», — спрашивает доминиканец. Иезуит отвечает: «Он сказал, что это допускается». «Ничего себе, — удивляется доминиканец, — а мой наставник сказал, что это грешно». Иезуит: «Что ты у него спросил?». — «Я спросил, допустимо ли курить во время молитвы». — «А я спросил, — говорит иезуит, — можно ли молиться, когда куришь».
Уже в период возникновения социальных обследований было известно, что незначительные изменения в формулировке вопроса могут вызывать существенные различия в ответах. И все же принято полагать, что составление вопросника — самая простая часть проектирования исследования, поэтому часто ей не уделяется достаточного внимания. Поскольку кодифицированных правил составления вопросов не существует, может возникнуть впечатление, что если и есть критерии, позволяющие отличить хорошие вопросы от плохих, то их очень мало. Мы считаем, что это не так. В данной статье приведены предварительные формулировки правил, которые могут помочь как начинающим, так и опытным социологам при выборе наиболее подходящих вопросов. Кроме того, при освещении темы мы будем ссылаться на примеры хороших и плохих вопросов, показывающие, как формы во-
Садмен Сеймур (1923-2000) — профессор Университета штата Иллинойс (Чикаго), автор трудов по методологии массовых обследований. Брэдберн Норман — профессор, заместитель директора департамента Национального научного фонда США по социальным и поведенческим наукам. Электронная почта: nbradbur@nsf. gov
Статья представляет собой перевод фрагмента книги С. Садмена и Н. Брэдберна «Как правильно задавать вопросы: практическое введение в проектирование опросного инструмента» (Wiley&Sons, 1982). Перевод с английского кандидата технических наук А.А. Виницкой, научный редактор перевода и автор комментариев Д.М. Рогозин. Редакция выражает признательность издательству фонда «Общественное мнение», в котором готовится русское издание монографии, за любезное разрешение на публикацию фрагмента перевода.
1 Wording of question, wording question или просто wording обозначают не только написание вопроса, но и форму его предъявления. Например, вопрос может быть представлен респонденту на карточках, в виде списка или устно. В зависимости от контекста используются термины «форма» или «формулировка вопроса». — Прим. ред.
просов порождают смещения. Многие примеры заимствованы из национальных обследований, результаты которых опубликованы в журнале «Public Opinion Quarterly»2. Посмотрим на опросный лист, применявшийся группой политического лоббирования:
Отношение к праву на труд__________________________________________________Да_Нет
Считаете ли вы, что в руках профсоюзных лидеров сконцентрировано слишком много власти?
Выступаете ли вы за то, чтобы для сохранения мест профсоюзных лидеров в правительстве принуждать государственных, окружных и муниципальных служащих платить профсоюзные взносы?
Выступаете ли вы за то, чтобы разрешить профсоюзным боссам своей властью прекращать все работы на строительной площадке из-за спора с одним из подрядчиков, тем самым принуждая большее число рабочих подчиниться требованиям профсоюзов?
Хотите ли вы, чтобы руководство профсоюзов действительно решало, сколько муниципальных служащих вы, налогоплательщик, должны финансировать?
Следует ли принуждать всех строительных рабочих к вступлению в профсоюзы путем открытого пикетирования, взвинчивая тем самым цены на строительство ваших школ, больниц и домов?
Будете ли вы голосовать за того, кто принудил государственных служащих вступить в профсоюз под угрозой увольнения?
Даже неискушенный читатель видит, что опросный лист перегружен оценочными выражениями: «принуждать», «профсоюзные боссы», «подчиняться» и т. д. Очевидно, что группа лоббирования заинтересована не в беспристрастном анкетировании, а в одобрении тех, кто поддерживает ее позицию. Кроме того, вопросник сопровождается просьбой о внесении взноса на возмещение расходов по проведению опроса и публикации его результатов. Опросы такого типа проводятся скорее для сбора денежных средств, а не для получения объективной информации. Американская ассоциация по исследованию общественного мнения квалифицировала опросы, обеспечивающие поступление денежных средств, как не заслуживающие доверия и неэтичные. Тем не менее, проведение подобных опросов не запрещено.
Хотя приведенный пример относится к разряду крайних случаев, он показывает, что автор вопросника осознанно или неосознанно может сформу-
2 Журнал «Public Opinion Quarterly» является официальным изданием Американской ассоциации по исследованию общественного мнения (American Association for Public Opinion Research). На веб-сайте этой ассоциации (http://www.aapor.org/poq/) размещен указатель статей, опубликованных в журнале с 1937 по 1997 год. — Прим. ред.
лировать вопросы так, чтобы получить желаемый ответ. В других примерах, приведенных ниже, мы не обнаружим явного стремления задавать преднамеренные вопросы. Однако и в этом случае можно видеть, насколько трудно составлять хорошие вопросы.
Рассмотрим пример опросного инструмента, показывающий, как политически окрашенная лексика влияет на распределение ответов:
Отношение к войне в Корее__________________________________________________
Как вы думаете, совершили ли Соединенные Штаты ошибку, приняв решение защитить Корею? (Служба Гэллапа, январь 1951 г.)
Ошибка 49%
Ошибки нет 38%
Не знаю 13%
Как вы думаете, Соединенные Штаты поступили правильно или неправильно, направив американские войска предотвратить вторжение коммунистов в Южную Корею?
(Национальный центр исследования общественного мнения, январь 1951) Неправильно 36%
Правильно 55%
Не знаю 9%
Использование выражения «вторжение коммунистов» значительно увеличило долю одобрительных оценок. Этот результат очень устойчив, так как различия в распределении ответов между вопросами, предлагаемыми Службой Гэллапа и Национальным центром, наблюдались в течение двух лет. Другие исследователи также обнаружили, что одобрение внешней политики Соединенных Штатов усиливается, если принятое правительством решение формулируется как попытка «остановить коммунистов».
Не каждое изменение формы вопроса приводит к смещению распределения ответов. Рассмотрим другой пример:
Ответственность^равительства^абезработиц^^^^^^^^^^^^^^^^^
Как вы думаете, следует или не следует нашему государ- Да-69% ству обеспечивать всех людей, которые не имеют средств к существованию? (Роупер, июнь 1939)
Как вы думаете, является ли обязанностью государства Да-69% выплата средств к существованию нуждающимся людям,
находящимся без работы? (Гэллап, январь 1938)______________________________
Следует отметить, что в этом примере оба вопроса носят общий характер. Количество положительных ответов уменьшается, как только вопросы становятся более конкретными. Это факт подтверждается смещением в ответах на три вопроса Г эллапа, задававшихся с мая по июнь 1945:
Формулировки вопросов
Да, согла- Нет, не Не знаю сен согласен
Как вы думаете, должно ли государство давать денежные пособия рабочим, временно находящимся без работы, до тех пор, пока они не найдут другую работу? 63% 32% 5%
Было предложено, чтобы течение 26 недель безработным, имеющим иждивенцев, правительство выдавало пособие до 25$ в неделю до тех пор, пока они ищут работу. Согласны вы с этим предложением или нет? 46% 42% 12%
Готовы ли вы платить более высокие налоги, чтобы безработные могли получать до 25$ в неделю в течение 26 недель, если им не удается найти подходящую работу? 34% 54% 12%
Опрос как социальный процесс
Сходство между интервью и обычным разговором отмечалось часто. В. Бингем и Б. Мур определили интервью как «целенаправленную беседу» [2]. Похоже, что возможность встречаться и говорить с разными людьми — один из самых привлекательных стимулов для интервьюеров. Равным образом, основным мотивом респондентов, по всей вероятности, является возможность поговорить на разные темы с приятным слушателем. Мы многого не знаем о намерениях людей, принимающих участие в опросах, но, исходя из имеющихся данных, можно предположить, что большинство делают это с удовольствием. Люди, которые отказываются участвовать в опросах, поступают так не потому, что устали от многократного участия в обследованиях. Это те, кто по складу характера не расположен к опросам как таковым и всегда отказывается участвовать в них.
В отличие от свидетелей в суде, респондентов никто не обязывает отвечать на вопросы. Мы можем лишь убеждать людей принять участие в интервью и всячески поддерживать их интерес (или, по крайней мере, терпение). Если вопросы унижают, смущают или расстраивают респондентов, они могут прервать интервью или искажать ответы. В отличие от претендентов на вакантную должность или пациентов, отвечающих на вопросы врача, респонденты не могут получить взамен ничего осязаемого. Их единственная награда — психологическое удовлетворение: возможность высказать собственное мнение, поделиться опытом с приятным и беспристрастным слушателем, внести свой вклад в общественное или научное знание, а то и просто поднять себе настроение, оказав помощь интервьюеру.
Интервью отличается от обычного разговора несколькими особенностями. Интервью — прежде всего взаимодействие двух людей, связанных особыми нормами поведения: интервьюер не должен высказывать никаких суждений по поводу ответов и обязан обеспечивать их конфиденциальность; респонденты, в свою очередь, должны отвечать на вопросы правдиво и вдумчиво. В обычном разговоре мы можем игнорировать неприятные вопросы или давать двусмысленные, не относящиеся к делу ответы, или отвечать вопросом на вопрос. Однако при интервьюировании сложнее уйти от вопроса подобными способами. Опытный интервьюер либо повторит во-
прос, либо попытается подвести респондента к однозначному и уместному ответу.
Несомненно, для проведения интервью имеет важное значение способность интервьюера добиваться взаимопонимания с респондентом. Кроме того, вопросник как «инициатор» разговора является важнейшим элементом в создании благоприятной атмосферы и стимулировании желания респондента предоставить необходимую информацию. Плохой вопросник, как и неловкая беседа, может превратить исходно благоприятную ситуацию в скучную и разочаровывающую встречу. Помимо стремления сформулировать отдельные вопросы наилучшим образом, вам как составителю вопросника должно быть присуще умение видеть его в целом и оценивать его совокупное влияние на процесс опроса. При включении в вопросник тем, которые могут не заинтересовать респондентов, необходимо быть особенно внимательным к тому, чтобы некоторые разделы интервью были для них интересны и, возможно, могли развлечь.
Начинающие исследователи часто беспокоятся по поводу вопросов на темы, которые могут вызывать страх или смущение у респондентов. Долгое время считалось, что в интервью можно задавать только социально одобряемые вопросы. В 1940-х годах при проведении опроса общественного мнения службой Гэллапа был задан вопрос о том, страдает ли кто-нибудь в семье респондента от заболевания раком, что вызвало общее недовольство среди опрашиваемых (опрос проводился на национальной выборке). Сегодня респондентам задаются вопросы на темы, в прошлом неприемлемые. Людей спрашивают о религиозных убеждениях, источниках доходов и расходах, здоровье, употреблении наркотиков и алкоголя, отношении к сексу и преступности. Люди готовы обсуждать эти темы при соответствующей мотивации и гарантиях конфиденциальности.
Если мы будем рассматривать интервью как особый случай социального взаимодействия, мы сможем понять источники ошибок при составлении вопросов. Большинство респондентов добровольно участвуют в исследованиях. Они с самого начала хотят предоставить наиболее релевантную информацию. Ваша задача — усилить эту тенденцию, создав такой вопросник, который будет поддерживать намерение респондентов отвечать на вопросы. Если предмет обсуждения требует возврата к прошедшим событиям, вопрос должен включать все возможные подсказки, помогающие точно воспроизвести события [16, р. 20-53].
Если брать в целом, респонденты настроены быть «хорошими респондентами» и предоставлять ту информацию, которую от них хотят получить. В то же время они хотят выглядеть хорошими людьми. В присутствии интервьюера они будут стремиться показать себя с лучшей стороны. В социологическом исследовании очень важной остается проблема предотвращения смещений, вызванных стремлением респондентов давать социально одобряемые ответы. Многие вопросы связаны с желательным или нежелательным поведением. Если респонденты не могут оценить свои действия как социально одобряемые, они оказываются перед дилеммой: с одной стороны, им хочется сообщить точные сведения, с другой — они хотят оставаться хоро-
шими людьми и производить положительное впечатление на интервьюера. Известно несколько приемов, призванных помочь респонденту в разрешении этой дилеммы: обучение интервьюера способам установления взаимопонимания с опрашиваемым; создание для последнего располагающих для ответа условий; исключение любой критики со стороны интервьюера. Корректное формулирование вопросов также позволяет избежать подобных смещений. [16, р. 54-87]. Исследователям не следует задавать вопросы о неизвестной респондентам информации. Если все же необходимо задать такие вопросы, интервьюер должен особо подчеркнуть, что знание ответов в этом случае необязательно.
Личное (face-to-face) интервью представляет собой социальное взаимодействие. Предназначенная для самостоятельного заполнения почтовая анкета предполагает гораздо меньшую социальную вовлеченность; в индивидуальных телефонных интервью социальное взаимодействие меньше, чем в личных, но больше, чем при использовании самостоятельно заполняемой анкеты. Компенсировать недостаток взаимодействия при почтовом анкетировании могут только вопросы и инструкции, обеспечивающие получение точных ответов и побуждающие респондента к участию в исследовании. При этом у интервьюера нет возможности поощрить опрашиваемого или что-то объяснить ему, как при личном или телефоном интервью. При организации исследования необходимо учитывать различия между этими видами опросов [16, р. 261-280].
Этические принципы опросов
В основе дискуссий по этическим проблемам социологического исследования лежат три принципа: право на частную жизнь, информированное согласие и конфиденциальность. Социологическое исследование в некотором смысле нарушает право респондентов на частную жизнь. Это происходит, когда их отбирают, привлекают к участию в опросе, а затем опрашивают. Поэтому вы должны прежде всего уведомить респондента о его правах на частную жизнь. А. Уэстин определяет «право на частную жизнь» как право человека самостоятельно определять, когда и при каких условиях его действия могут быть предметом публичного обсуждения. Исключением могут быть лишь экстраординарные случаи, когда раскрытия информации требуют интересы общества. [19, р. 373]. Применительно к социологическому исследованию мы расширим определение Уэстина и будем говорить об установках, мнениях и убеждениях человека.
Некоторые особенности «права на частную жизнь» отражаются в этике социологических исследований. Во-первых, это право не рассматривается как абсолютное. Иногда интересы общества оправдывают нарушение права на частную жизнь. Во-вторых, существенным является то обстоятельство, что ответы остаются под полным контролем респондента. Это не означает, что у людей нет возможности добровольно что-нибудь рассказывать о себе или что нельзя расспрашивать их об этом. Нет никаких оснований считать, что действия и убеждения людей совершенно секретны. Напротив, респонденты обладают правом решать, кому и при каких обстоятельствах предоставлять информацию. Таким образом, право на частную жизнь не мешает
рассказывать незнакомцу, оказавшемуся на соседнем месте в самолете, множество подробностей об интимной жизни; оно не мешает постороннему человеку задавать любые вопросы. В тоже время оно защищает респондентов от распространения информации, если они к этому не расположены. Более того, если респондент настаивает на конфиденциальности, необходимо ее сохранять при любых обстоятельствах. Что касается конфиденциальности, нормы могут меняться от ситуации к ситуации. В некоторых случаях необходимо получить однозначное разрешение передать информацию третьей стороне («вы можете рассказать X»); в других (например, в обыденном разговоре) — негласная норма позволяет передавать информацию третьей стороне, если нет явного запрета («храните это в тайне»). Одной из причин открытых уверений в конфиденциальности, принятых в социологических исследованиях, является стремление преодолеть естественное сходство между интервью и простым разговором с незнакомцем, который содержит неявное разрешение на передачу информации.
Понятие «информированное согласие» предполагает, что потенциальный респондент будет осведомлен о предмете опроса и цели его проведения. Это необходимо для того, чтобы опрашиваемый смог оценить возможность появления неприятных последствий от раскрытия его ответов. Предполагается, что если человека просят рассказать что-нибудь о себе, он способен адекватно ответить только в том случае, когда понимает возможные последствия. Критерии, по которым оценивают процесс получения «информированного согласия», основаны на анализе риска причинения ущерба респонденту в случае предоставления им требуемой информации или участия в социологическом исследовании. Понятие риска становится решающим при обсуждении процедур, направленных на установление «информированного согласия».
Когда же согласие является «информированным»? К сожалению, единой точки зрения по этому вопросу нет. Обычно считают, что количество информации, сообщаемой респонденту, должно быть пропорционально степени риска, в который он вовлекается. Вы должны спросить себя: «Насколько рискованным для респондента является исследование? Насколько полно я могу рассказать об исследовании, не искажая данные, которые я пытаюсь получить? Что может понять типичный респондент в исследовательском проекте? И если респондент не в состоянии понять того, что я ему рассказываю, является ли такое согласие информированным?». Множество подобных вопросов встают перед социологами, когда они пытаются определить свои обязательства по отношению к респондентам.
В большинстве социологических исследований респонденты не рискуют, отвечая на вопросы. Однако при исследовании нелегального или социально неодобряемого поведения, ответы респондентов, если они будут обнародованы, могут привести к социальному отторжению или судебному преследованию. В таких исследованиях принимаются дополнительные меры по обеспечению конфиденциальности и защите данных. Другие исследования могут касаться вопросов, вызывающих у респондентов беспокойство и чувство дискомфорта. Однако специальное обучение интервьюеров помога-
ет предотвратить подобные реакции респондентов. Профессиональный интервьюер умеет создать такую атмосферу, в которой респондент может говорить о личных делах без смущения. Если вопросы все-таки вызывают внутреннее беспокойство у опрашиваемого, все, что может сделать интервьюер, — это как можно подробнее объяснить цели опроса. Обычно интервьюеры информируют опрашиваемых о задачах исследования и отвечают на все возникающие у респондентов вопросы. Если исследование затрагивает проблемы личного характера, респонденту сообщают, что он может не отвечать на вопросы, если не хочет. Поскольку участие в опросе добровольно, письменное согласие не оформляется. Однако иногда интервьюеру необходимо документальное подтверждение полученной информации. Например, сведения о проблемах со здоровьем респондента хорошо бы дополнить выпиской из истории болезни. В этом случае интервьюер должен получить письменное разрешение респондента. Если проводится опрос детей вне дома, как правило, необходимо письменное согласие родителей.
Подразумевает ли «информированное согласие», что респонденту прямо сообщают о добровольности его участия в опросе? Многие практики полагают, что разъяснение характера исследования и предоставление гарантий конфиденциальности ясно показывает, что участие в опросе добровольно. Если нарушить принятые в данной ситуации нормы, то у респондента может возникнуть подозрение, что с опросом не все в порядке. Например, Е. Зингер обнаружила, что даже просьба о подписи снижает общее количество полученных ответов [15, р. 144-161]. Если требуется письменное согласие, она советует спрашивать о нем лишь в конце интервью.
В некоторых обстоятельствах сам факт участия в опросе может вызвать беспокойство респондента. Например, если бы вы проводили исследование индивидов, принимавших участие в программе по избавлению от алкогольной и наркотической зависимости, то сама просьба об участии в интервью означала бы, что они ранее находились на излечении. Если бы они не хотели, чтобы этот факт стал известен в их семье или кругу друзей, то любой контакт или попытка задавать вопросы могла бы вызвать стрессовое состояние. Чтобы защитить право респондентов на частную жизнь, убедить, что они ничем не рискуют, и сохранить конфиденциальность информации, необходимо уделить особое внимание процедуре исследования.
Как правило, составители вопросника ограничиваются лишь общим описанием задач исследования. Из опыта массовых опросов известно, что связь между объемом информации, предоставленной респондентам, и их желанием участвовать в опросе практически нулевая. В большинстве выборочных обследований проблема заключается не в информированном согласии, а в «неинформированном отказе». Большинство отказов от участия в опросе происходит до того, как интервьюеры начинают объяснять респонденту цели исследования. Это явление хорошо описано в работе Е. Зингер [15]. Архивные данные показывают, что участие в опросах в большей степени зависит от общего отношения человека к массовым обследованиям, а не от содержания конкретного проекта. Похоже, что люди, отказывающиеся участвовать в опросах, характеризуются не только негативным отношением
к ним, но и изолированностью или оторванностью от своего окружения; они озабочены защитой частной жизни от вторжения посторонних независимо от целей этого вторжения [14].
Можно сказать, что моральная ответственность за предоставление респонденту достаточного объема информации об общем содержании вопросов, источниках финансирования и дальнейшем использовании данных полностью лежит на исследователе. Кроме того, вы должны информировать респондентов о степени, в которой гарантируете конфиденциальность их ответов, и приложить все усилия для ее обеспечения. Нельзя обещать больше, чем можно достигнуть. Если, например, условия опроса не позволяют сохранить ответы в тайне, и опрашиваемого могут вызвать в суд, вы не должны гарантировать конфиденциальность полученной информации.
Программный и анкетный вопросы3
При разработке вопросника следует отличать программный вопрос от анкетных вопросов, которые задаются для получения на него ответа. Программный вопрос отвечает целям исследования и служит критерием выбора конкретных вопросов, включаемых в анкету. Как правило, он сформулирован в общих терминах и содержит абстрактные понятия, не всегда очевидные для опрашиваемых. Например, вы хотите определить отношение американского общества к контролю над продажей оружия; либо влияние телевизионной программы, посвященной проблемам здоровья, на практическое использование слушателями информации; либо отношение к сокращению численности рабочих мест, вызванному повышением уровня автоматизаци-
4
и.
Процедура разработки вопросника не меняется от того, заключается ли цель исследования в проверке социальной теории или в оценке распределения конкретных установок населения. Прежде всего, вам необходимо проанализировать концепты, входящие в программный вопрос. Затем вы должны сформулировать конкретные вопросы, которые в совокупности будут определять исследуемые концепты. Например, если вас интересует отношение потенциальных избирателей к конкретному кандидату, следует решить, какие отношения вас в данном случае интересуют: отношение к позиции кандидата, отношение к его личности или общее представление о симпатиях электората?
3 Для различения программного и анкетного вопросов авторы используют термины «the research question» и «the question asked». В последнем случае авторы имеют в виду лишь написанные в анкете вопросы, тогда как требуется дополнительное различение написанного (анкетного) и артикулированного вопросов. — Прим. ред.
4 Программный вопрос направлен на выявление латентного признака, который можно обнаружить лишь в особой реальности, называемой теорией. Анкетные вопросы предназначены для распознавания данного признака в эмпирическом пространстве. Поэтому ответы на анкетные вопросы никогда не совпадают с ответами на программные вопросы, что является основной эпистемической проблемой любого исследования. — Прим. ред.
Формулирование конкретных вопросов, предъявляемых респондентам, помогает более отчетливо понять программный вопрос. Если при формулировании вопроса возникает двусмысленность или возможны альтернативные варианты его прочтения, то необходимо вернуться к целям исследования. Часто оказывается, что сами цели исследования недостаточно четко определены и требуют дальнейшего уточнения. Например, если вы проводите исследование для определения того, следует ли определенному политику выставлять свою кандидатуру на выборах, необходимо поинтересоваться, как много респонденты знают об этом человеке, какие политические идеи с ним ассоциируются, и что респонденты ожидают от «хорошего» кандидата. Если вы проводите исследование общественного мнения о кандидате, который публично объявил о своем намерении баллотироваться, вероятно, следовало бы поинтересоваться мнением респондентов о позиции кандидата по конкретным проблемам и их намерением голосовать за него.
В исследованиях, проводимых на одну и ту же тему, но с разными целями, могут ставиться совершенно разные вопросы. Даже если в исследованиях задаются одинаковые общие вопросы, уточняющие вопросы будут различными в зависимости от целей проекта. Например, в большинстве опросов выясняется уровень образования респондентов. Если для вашего исследования достаточно разделения респондентов на три или четыре группы по уровню образования, можно использовать простой вопрос «Какое образование вы получили?» с несколькими вариантами ответов. Если же требуется точно оценить уровень образования населения, вам необходимо более детально подойти к этому вопросу, различая, например, законченное и незаконченное образование. Поскольку формулировка вопроса непосредственно связана с целями исследования, не существует «стандартного» способа написания даже широко используемых в исследованиях вопросов об индивидуальных характеристиках, например, таких как образование или доход [16, р. 174-206]. В качестве общего правила при разработке вопросника вы должны постоянно спрашивать себя: «Почему я задаю этот вопрос?» И в каждом конкретном случае вы должны суметь объяснить, насколько тесно любой анкетный вопрос связан с программным.
Советы начинающим
Процесс написания вопросов увлекателен и быстро захватывает его участников. Между составителями вопросов разгорается соревнование, у кого вопросы интеллектуальнее и интереснее. Возникает игра «Разве не здорово узнать...?», и вскоре оказывается, что вопросов написано намного больше, чем может выдержать бюджет или терпение респондентов. Достаточно часто составители вопросов настолько захвачены процессом их создания, что принимаются за составление вопросов прежде, чем будут четко сформулированы задачи исследования и осмыслены программные вопросы. Многие вопросники, разработанные неопытными людьми, выглядят так, как если бы исследователи не знали, что им нужно выяснить, до тех пор, пока не увидели, что они спросили.
Чтобы разработать хороший вопросник, полезно соблюдать следующие правила:
1. Не торопитесь писать анкетные вопросы, пока вы не продумали программные;
2. Выпишите программные вопросы и держите их перед глазами, когда составляете анкетные вопросы;
3. Каждый раз, когда вы записываете очередной вопрос, спрашивайте себя: «Почему я хочу это знать»? Отвечайте таким образом, чтобы это помогло вам ответить на программный вопрос. «Это было бы интересно знать» — ответ неприемлемый.
Перед формулированием новых вопросов всегда полезно посмотреть, что было написано другими исследователями на ту же тему. Однако вопросы, хорошо работавшие в других исследованиях, не могут отразить весь круг проблем, изучаемых в новом социологическом опросе. Большинство проектов содержат как заимствованные из прежних исследований, так и вновь разработанные вопросы. Однако и новые вопросы могут быть лишь адаптированным вариантом уже существующих, использование которых сокращает процесс тестирования и позволяет сравнить результаты нового и ранее проведенного исследования. Если мы изучаем одинаковые группы населения, примерно совпадают обстоятельства проведения опроса и нет причин ожидать каких-либо значимых изменений предмета исследования, то использование одинаковых вопросов позволяет оценить надежность полученных результатов. Если мы проводим исследование в течение длительных периодов времени и возможны изменения, то использование одинаковых вопросов позволяет проанализировать тренды.
Некоторые исследователи, руководствуясь этическими соображениями, не считают возможным пользоваться вопросами других авторов. Но в социальных науках в целом и в социологических исследованиях в частности не только допустимо, но и целесообразно повторное использование вопросов. Обычно не требуется получать разрешение на повторное использование вопроса у его составителя. Однако не исключено, что вам захочется пообщаться с автором, чтобы выяснить какие трудности (которые могли не обсуждаться в публикациях) были связаны с конкретным вопросом. Если вы хотите использовать некоторые разделы опубликованного вопросника, вам потребуется получить разрешение издателя и, возможно, заплатить небольшую сумму.
Исследователи все больше убеждаются в том, что повторение вопросов не так тривиально, как может показаться с первого взгляда. Недостаточно лишь скопировать вопрос. Следует также обратить внимание на условия, при которых задавались конкретные вопросы, так как ответы на некоторые из них зависят от контекста, созданного предыдущими вопросами [13]. Если вы анализируете динамику ответов на вопрос, обращайте особое внимание на вопросы, предшествовавшие рассматриваемому. Это замечание относится ко всем исследованиям, которые вы анализируете для построения трендов [16, р. 207-228].
Как только вы начнете искать примеры анкетных вопросов, то будете приятно удивлены разнообразием источников, из которых можно взять вопросы на любую интересующую вас тему. Материалы публикаций и данные архивов - две основных области для поиска анкетных вопросов. Самостоятельный поиск информации не всегда приводит к удовлетворительным результатам, поэтому рациональнее обратиться за помощью к библиотекарю или специалисту по поиску информации.
Тщательно выполненный библиографический поиск помогает определить программные вопросы. В научные издания по социологии в качестве приложения часто включаются рабочие вопросники. В тоже время в журнальных статьях вопросник обычно не приводится из-за ограниченности объема. В этом случае целесообразно обратиться к автору исследования и попросить копию вопросника. Ниже приводится перечень основных источников, содержащих вопросы, задававшиеся в массовых обследованиях:
CBS - New York Times Poll, индексированное в указателе New York Times;
Массовые опросы, проводимые Гэллапом с 1935 по 1971 [3] и с 1972 по 1978 [4]5;
социальные исследования, выполненные Национальным центром изучения общественного мнения (NORC) [5];
сборник данных международных обследований общественного мнения под редакцией Р. и Е. Хастингс [6];
книга «Измерение политических установок», написанная Дж. Робинсоном, Дж. Раском и К. Хэдом [10];
книга «Измерение социально-психологических установок», написанная Дж. Робинсоном и П. Шейвером [11];
Обзор данных обследований общественного мнения (Opinion roundup section of public opinion) - раздел в журнале «Public Opinion Quarterly»;
Книга «Данные для анализа трендов...», подготовленная Центром
Э. Роупера по исследованию общественного мнения [18];
Ниже приводится перечень нескольких крупнейших американских архивов, содержащих данные социологических исследований. За предоставление копий вопросов или результатов исследований обычно необходимо внести небольшую плату;
Лаборатория поведенческих наук Университета штата Цинциннати (Behavioral Sciences Laboratory, University of Cincinnati, Cincinnati, Ohio 45221); Отсюда продолжить правку
Data and Program Library Service, University of Wisconsin, 4451 Social Science Building, Madison, Wisconsin 53706
- Institute for Research in Social Science, Manning Hall, University of North Carolina, Chapel Hill, North Carolina 27514
5 Текущие опросы Гэллапа с полным перечнем вопросов и массивом данных представлены на сайте http://www.gallup.com/poll/surveys/index/ — Прим. ред.
- Inter-University Consortium for Political and Social Research, University of Michigan, Ann arbor, Michigan 48106 (Institute for Social Research archives is at same address)
- National Opinion Research Center, University of Chicago, 6030 South Ellis Avenue, Chicago, Illinois 60637
- Roper Center, University of Connecticut, Storrs, Connecticut 06268
- Survey Research Center, University of California, Berkeley, California 94720
Доступны также архивы в Канаде, Австралии, Израиле и большинстве европейских стран. Кроме этого, правительства разных стран, университеты и другие некоммерческие организации делают используемые ими вопросники открытыми для ознакомления даже в том случае, если у них нет официальных архивов.
Поиск вопросов иногда становится трудоемким процессом и занимает много времени, но это время тратится не впустую. Даже если вы используете только малую часть вопросов, сам поиск помогает более четко определить программный вопрос и улучшить качество написанных Вами вопросов.
Источники ошибок в ответах
Одним из критериев качества вопроса является степень соответствия получаемой информации той, что необходима исследователю. Этот критерий называется валидностью. Непосредственное измерение валидности в большинстве случаев затруднительно. Для многих типов вопросов это просто невозможно. Есть и вопросы, с которыми сложно соотнести само понятие валидности.
Мы разделяем вопросы на два класса: (1) вопросы о поведении или фактах; (2) вопросы о психологических установках и субъективных мнениях. В поведенческих или фактологических вопросах выясняются характеристики людей или их действия, то есть то, что в принципе может быть проверено сторонним наблюдателем. Другими словами, эта группа вопросов связана с характеристиками, событиями или действиями, которые являются внешними по отношению к конкретному человеку, и могут наблюдаться со стороны. Возможность внешней верификации ответов реализуется далеко не всегда. В некоторых случаях возникает проблема законности или этической допустимости такой верификации, например, когда речь идет о голосовании или сексуальном поведении. Вопросы относительно установок, мнений и отношений нельзя верифицировать в принципе, так как психологические состояния присутствуют только в сознании опрашиваемых и доступны (если это в принципе возможно) только самим респондентам. Для поведенческих актов валидность определяется интуитивно, посредством согласования мнений экспертов, наблюдающих одни и те же факты. Для установок респондентов такое определение валидности проблематично. Является ли суждение валидным, когда респондент говорит о себе в минуты откровения либо когда общается с близкими друзьями? Или мы вправе говорить о валидности только при появлении возможности сопоставить его
высказывания с поведением? Ответ лежит в большей степени в теоретическом обосновании, чем в достигнутом согласии.
Даже если нет отчетливого представления о критерии валидности для вопросов об установках, вполне очевидно, что на вопросы, заданные разными способами, могут последовать различные ответы. Кроме того, вопросы об одних установках более подвержены влиянию формулировки, чем о других. Мы не знаем, почему так происходит. В настоящее время мы можем только сказать, что некоторые мнения более чувствительны к способу их измерения, нежели другие. Ранее мы использовали понятие «эффект ответа» (response effect)6, которое включает в себя компоненты смещения и вариабельности [17]. Смещение понимается как отклонение от истинной величины. Вариабельность - как чувствительность измерений к различным формулировкам вопроса.
Для понимания эффекта ответа рассмотрим типичный фактологический вопрос: «Каким был ваш общий семейный доход из всех источников в прошлом году?» (Или можно уточнить год и спросить, например, о прошлом годе). Мы понимаем, что существует правильный ответ на этот вопрос, хотя можем его никогда и не узнать (поскольку даже сумма подоходного налога, предполагающая знание о всех источниках доходов, содержит собственные источники ошибок). Мы можем получить ошибочный ответ, потому что респондент просто забыл о некоторой сумме доходов из небольших или непостоянных источников (таких, как дивиденды от акций или проценты от вкладов). Или респондент мог отнести полученный доход к другому периоду времени. Неверное отнесение событий к определенному периоду времени называется временным сдвигом, который может быть прямым или обратным. При прямом сдвиге респондент включает события предшествующего периода в тот, о котором его спрашивают. При обратном сдвиге респондент относит текущие события к предшествующему периоду. Прямой сдвиг приводит к преувеличению числа событий, а обратный - к их приуменьшению. Оба типа временных сдвигов могут возникать в опросе с одинаковой частотой, что приводит к их взаимному погашению. Однако методические исследования показывают, что прямой сдвиг наблюдается чаще, что приводит к увеличению числа фиксируемых в большинстве опросов событий.
Третьим источником ошибки может быть намеренное или мотивированное нежелание респондента сообщать о скрытом доходе, например, о нелегальном доходе или доходе, не включенном в налоговую декларацию. Четвертая категория ошибок включает сознательное искажение величины дохода, вызванное желанием отвечающего произвести впечатление на интервьюера. Обычно этот тип ошибок сводится к искусственному завышению доходов, хотя в некоторых случаях респонденты, особенно имеющие высо-
6 Садмен и Брэдберн приводят следующее определение эффекта ответа: «Эффект ответа - это общее понятие для смещений ответов, которое включает различия в ответах на атитьюдные вопросы, вызванные формой вопроса, контекстом и методами опроса. Эффект ответа используется, когда невозможно применить критерии внешней валидности. Для вопросов о поведении эффект ответа совпадает со смещением ответа» [16, р. 301]. — Прим. ред.
кий уровень дохода, могут и снижать фактическую сумму. Пятый источник ошибок связан с непониманием респондентом смысла анкетного вопроса. Например, респондент может не сообщить о доходе, полученном в форме подарка, хотя интервьюер подразумевал, что этот вид дохода включен в ответ. В конце концов, респондент может просто не знать о некоторых доходах, полученных другими членами семьи, но о которых ему следовало сообщить.
Обобщая все перечисленные типы ошибок, можно выделить четыре фактора, определяющие эти ошибки: память, мотивация, коммуникабельность и знание. Это означает, что (1) респонденты могут забыть как информацию, так и период времени к которому она относится; (2) они могут быть заинтересованы в сокрытии правды из опасения последствий или из-за желания представить себя в более выгодном свете; (3) респонденты могут не понимать, о чем их спрашивают, и давать ответ в рамках собственного представления; и, наконец, (4) они могут просто не знать ответа на вопрос, но дать его, не говоря о своем незнании. Все эти факторы требуют более детального рассмотрения.
ЛИТЕРАТУРА
1. Belson W.A. The design and understanding of survey questions. Aldershot: Gower, 1981.
2. Bingham W.V., Moore B.V. How to interview / 4th edition. New York: Harper & Row, 1959.
3. Gallup G.H. The Gallup Poll: Public Opinion, 1935-1971 / 3 Vols. New York: Random House, 1972.
4. Gallup G.H. The Gallup Poll: Public Opinion, 1972-1977 / 2 Vols. Wilmington: Scholarly Resources, 1978.
5. General Social Surveys, 1972-80: Cumulative Codebook / National Opinion research center. Chicago, 1980.
6. Index to International Public Opinion, 1978-1979 / Ed. by E. H. Hastings, P. K. Hastings. Westport, Connecticut: Greenwood Press, 1980.
7. Parry H.J., Crossley H.M. Validity of responses to survey questions // Public Opinion Quarterly. 1950. Vol. 14. P. 61-80.
8. Payne S.L. The art of asking questions. Princeton, New Jersey: Princeton University Press, 1951.
9. Robinson J.P., Athanasiou R., Head K.B. Measures of occupational attitudes and occupational characteristics. Ann Arbor: Survey Research Center, University of Michigan, 1969.
10. Robinson J.P., Rusk J.G., Head K.B. Measures of political attitudes. Ann Arbor: Survey Research Center, University of Michigan, 1968.
11. Robinson J.P., Shaver P.R. Measures of social psychological attitudes. Ann Arbor: Survey Research Center, University of Michigan, 1973.
12. Schuman H., Presser S, Ludwig J. Context effects on survey responses to questions about abortion // Public Opinion Quarterly. 1981. Vol. 45. P. 216-223.
13. Schuman H., Presser S. Questions and answers in attitude surveys: Experiments on question form, wording and context. New York: Academic Press, 1981.
14. Sharp L. M., Frankel J. Correlates of self-perceived respondent burden: Findings from an experimental study // Paper presented at the annual meeting of the American Statistical Association. Detroit, 1981.
15. Singer E. Informed consent // American Sociological Review. 1978. Vol. 43. P. 144-161.
16. Sudman S., Bradburn N. Asking questions: A practical guide to questionnaire design. San Francisco: Jossey-Bass Publishers, 1982.
17. Sudman S., Bradburn N. Response effects in surveys: A review and synthesis. Chicago: Aldine, 1974.
18. Survey data for trend analysis: An index to repeated questions in U.S. National Surveys held by the Roper Public Opinion Research Center / Roper Public Opinion Research Center, University of Connecticut. Storrs, 1974.
19. Westin A. Privacy and freedom. New York: Atheneum, 1967.
