CC BY
80
ТЕОРИЯ И МЕТОДОЛОГИЯ
УДК 303.622
К. М. Мануильская, Д. М. Рогозин МЕТОДИЧЕСКАЯ (НЕ)СОСТОЯТЕЛЬНОСТЬ ТАБЛИЧНЫХ ВОПРОСОВ
МАНУИЛЬСКАЯ Ксения Максимовна - научный сотрудник Центра методологии федеративных исследований РАНХиГС. E-mail: [email protected].
РОГОЗИН Дмитрий Михайлович - директор Центра методологии федеративных исследований РАНХиГС. E-mail: [email protected].
Аннотация: На эмпирическом материале пилотажного исследования, проведенного Центром методологии федеративных исследований РАНХиГС для Фонда «Общественное мнение», продемонстрированы угрозы валидности опросного инструмента, вызванные табличной формой вопроса. Риски и угрозы соотнесены с эффектом, привносимым интервьюером (самореферентная формализация, навязывание ответов, пропуск вопросов) и респондентом (инерционные или хаотичные ответы, сложность восприятия шкальных закрытий, сложность понимания вопросов).
Ключевые слова: когнитивное тестирование, коммуникативный спринт,
интервьюер, респондент, риски валидности опросного инструмента, самореферентная формализация пропуск вопросов, навязывание ответов, инерционные ответы, табличный вопрос, формализованное интервью, хаотичные ответы, шкальные оценки, эффект интервьюера, эффект респондента.
Реальные данные имеют гораздо более сложную структуру, чем это предполагает представление в виде плоской таблицы. Даже в обычной социологической анкете встречаются ситуации, которые демонстрируют ограниченность SPSS, например, табличные и матричные вопросы. У табличного вопроса есть свой собственный идентификатор и метка, подчиненные ему вопросы имеют собственные свойства - свои метки, пропущенные значения, тип и шкалу.
А. Виноградов. Реляционные возможности SPSS (http://www. alexwin 1961. livejo urnal. com)
Редко какая стандартизированная анкета обходится без табличных вопросов. Они настолько привычны, что не вызывают у социологов или маркетологов ни удивления, ни сожаления. Начинающие же составители анкетных вопросов и вовсе не видят альтернативы для табличных построений. Чем так привлекательны эти вопросы для исследователя? Насколько удобны они для интервьюера? Комфортно ли респондентам на них отвечать? На основе результатов пилотажного исследования, проведенного в октябре 2012 г. Центром методологии федеративных исследований РАНХиГС, мы попытаемся выявить типичные ошибки измерения, связанные с табличными вопросами.
© Мануильская К. М., Рогозин Д. М., 2013
13
Понятие табличного вопроса
Обычно табличный вопрос состоит из трех блоков: основной, или вводный, вопрос, перечень подвопросов, или вариантов ответов, помещенных в строках таблицы, и критерии (шкала) оценки, располагающиеся в верхней строке таблицы, пустые или заполненные цифрами ячейки (которые должен обвести интервьюер) - для регистрации ответов респондента (табл. 1). Зачастую табличный вопрос дополняется карточкой либо с вариантами ответов, либо с оценочной шкалой. Карточка дается респонденту для удобства. Фактически табличный вопрос - это не один вопрос, а серия однотипных вопросов. Поэтому иногда их называют комбинированными [1, с. 52].
Таблица 1. Пример типичного табличного вопроса (приведены не все варианты ответов. Всего таблица содержит перечень из 18 закрытий)1
2. Скажите, пожалуйста, в какой степени Вас беспокоят следующие события И явления В нашей стране? (Интервьюер! Передайте респондент) карточку №1, зачитайте последовательно позиции-1-18-и-отметьте один ответ * по каждой-строке. Карточка №1, поз.1-3. Один ответ в строке.)
Уровень беспокойства Карточка №1
И 5 О О 1И и 0) ш аз X н о | 1§ £ и 0) ¿и х ю 3. СИЛЬНО беспокоит 4. затрудняюсь ответить'
■1. бедность, низ кие зарплаты, пенсии 1П 2П эп 4-
■ 2. высокие тарифы на жил ье и коммунальные услуги 1П 2П эи 4П
■3. дороговизна жилья,-неразвитость жилищной 1П 2П зи 4Д
ипотеки
■4. недоступность качеств энного медииинского- Ш 2Е ЗИ 4п
обслуживания
■5. техногенные аварии на производстве, транспорте, ю 2П зи 4Д
в коммунальном секторе
■6. межэтнические, межнаииональные конфликты 1П 2П зи 4П
■7. угроза террористических актов 1Ц 2и 4Л
■0. ограничение демократических прав и свобод 1П 2П ЗИ 4Д
Что удивительно, при всей распространенности табличных вопросов, в учебных пособиях и словарях им далеко не всегда уделяется должное внимание. Часто они вообще не выделяются как отдельный тип вопроса. В одном из известнейших методических пособий Э. Ноэль-Нойман есть пример инструкции интервьюера (автор называет ее «Азбука интервьюера»), где представлены различные типы вопросов и рекомендации работы с ними.
1 Табличный вопрос из анкеты ФОМ «Георейтинг - МВД 2012». Эта анкета была подвергнута когнитивному тестированию в октябре 2012 г., результаты которого представлены в статье.
14
Табличных вопросов там нет [2, c. 149-150]. Другой известный немецкий методист А. Дикманн также не упоминает о табличных вопросах. Он опирается лишь на содержательный аспект, выделяя вопросы об установках, убеждениях, отношении и о социально-демографических характеристиках [12, с. 404]. О существовании табличных вопросов мы догадываемся лишь косвенно. Сопоставляя приведенную классификацию Дикманна с описанными им подходами к измерению, понимаем, что в анализе установок, например, с применением шкалы Лайкерта в анкете может быть использована табличная форма вопроса [12, с. 209-210]. Причина столь ничтожного внимания к одной из наиболее распространенных форм анкетного вопроса кроется, во-первых, в изначальном нарушении базового правила опросного дизайна. Вопросы, предъявляемые респонденту, должны быть просты и безыскусны. Тотальное упрощение вопроса - задача методиста, которая изначально практически невыполнима для табличных вопросов. Возникает ситуация умолчания, или радикального расхождения исследовательской практики и методических требований к опросному инструменту. Во-вторых, в англоязычной традиции сложные табличные вопросы зачастую рассматриваются как наборы самостоятельных вопросов (multipleitems), написание которых тестируется отдельно, а схожие вопросы (relatedquestions), в лучшем случае, анализируются с точки зрения эффектов контекста и порядка следования. Н. Шаффер и Дж. Дайкма раскрывают табличные вопросы через особенности представления (question implementation), когда обязательно требуется общая инструкция для ответа на однотипные конструкции [19, с. 928-929]. Столь фрагментарный подход, на наш взгляд, изначально ложный, поскольку искусственно отрицает единство формы, которое проявляется как в графическом представлении вопроса, так и особенностях его произношения и восприятия.
Откуда берутся табличные вопросы?
Можно выделить три причины обращения исследователей к табличным вопросам: давление заказчика; гибкость ценообразования; видимая компактность и наглядность представления сложно организованных данных.
Первая причина обусловлена завышенными ожиданиями от опросной процедуры. Исследователю, выполняющему заказной проект, знакома ситуация, когда ставится обширный перечень задач, которые надо уместить в одну «небольшую» анкету, так как бюджет минимален, упустить ничего нельзя: каждый изучаемый параметр - «жизненно необходимый». На помощь приходят столь притягательные табличные вопросы, позволяющие заказчику воочию переложить собственные представления в анкетный формат. Как правило, предварительная анкета, составляемая неискушенным заказчиком, состоит из табличных вопросов, что в первую очередь отражает попытку структурного представления исследовательских вопросов.
Вторая - связана с привычными практиками контрактных отношений, когда-то сложившихся в опросной индустрии. Во многих исследовательских компаниях ценообразование привязано к количеству задаваемых вопросов. В результате табличные вопросы используются в качестве буфера для гибкой корректировки цены, а так же для обоснования предлагаемых расценок перед заказчиком и субподрядчиками. Не раз приходилось слышать, что объяснить большому числу контрагентов предъявляемую стоимость услуг слишком сложно. Привязка же цены к вопросам анкеты хотя бы формально
снимает многие недоразумения. Любопытно, что формализация - один из постоянных атрибутов табличных вопросов, который проявляется как в ходе их легитимации, так и в вербальном поведении интервьюера или респондента.
Третья причина, пожалуй, наиболее легитимна с точки зрения методического знания. Компактность, информативность и удобство в обращении рассматриваются очевидными и непроблематизируемыми свойствами табличных вопросов. Согласно этой логике, последние позволяют получить развернутые и в то же время точные ответы, отражающие сложность измеряемых объектов. Общий вопрос конкретизируется частными, по каждому из которых достигается точная оценка. В табличный вопрос как бы упаковывается целый блок анкетных вопросов.
«Социологи довольно охотно пользуются табличными вопросами, и тому есть веские основания. Во-первых, они очень емкие и в то же время занимают мало места. Представьте себе, что приведенный табличный вопрос был бы представлен серией отдельных вопросов с полным наименованием каждого вопроса и полным набором собственных альтернатив. Это заняло бы по крайней мере в три раза больше места, чем сейчас. Учитывая, что место в анкете всегда ограничено, можно понять приверженность социологов к комбинированным, или табличным вопросам. Во-вторых, применение такого типа вопроса выгодно с точки зрения графического оформления анкеты. Они снимают монотонность, вносят разнообразие в анкету, когда исследователь перебивают серию традиционно построенных вопросов такими табличными вопросами» [1, с. 52-53].
Для весьма широкого круга практикующих аналитиков, управленцев, государственных служащих, предпринимателей табличные вопросы кажутся разумным и оправданным. Они отчетливо демонстрируют наиболее формализованный и отчужденный способ организации личного опыта, отсекающий любые интерпретации.
Интеракжвное представление опроса
Любой исследовательский вопрос проходит довольно длинный путь, в котором выделяются весьма разнородные участники: заказчик - исследователь - интервьюер -респондент - набивщик - аналитик - заказчик. Каждый из этой цепочки воспринимает вопрос по-своему. Риск смещений присутствует на любом этапе работы - от интервьюера до аналитика (рис. 1), не исключая никого, кто так или иначе соприкасается с вопросом (см., например, анализ смещений, вызванных работой набивщика данных: [4]). Нора Шеффер и Дженифер Дайкма выделяют два наиболее распространенных подхода к анализу вопросов: когнитивный и интеракционный. Первый основан на модели передачи информации, которая транслируется от респондента по запросу интервьюера, второй - на интеракции между интервьюером и респондентом, в которую включена исследовательская задача, реифицированная в форме анкеты [19, с. 912-913]. Оба подхода отражают когнитивное моделирование вопрос-ответной коммуникации. Подход, обозначенный когнитивным, отражает ранние экспериментальные планы, в которых рассматривались мыслительные операции, необходимые для адекватного ответа: восприятие вопроса, поиск в памяти релевантной информации, вынесение оценки, формулирование ответа и т. д. [4, 7, 11, 21, 22]. Параллельно и даже чуть ранее [9, 10], в том числе, благодаря плодотворной работе методистов, практикующих этнометодологические и феноменологические интерпретации [13, 14, 15, 23], эмпирически была показана недостаточность столь узкого моделирования,
что привело к включению в модель дополнительных элементов. В самой широкой рамке интерактивная модель когнитивного анализа подразумевает детальный разбор вклада всех участников опросной ситуации, независимо от их физического присутствия в момент разговора.
Рисунок 1 - Интерактивная модель опросной процедуры
Мы рассматриваем смещения и риски, характерные для табличных вопросов на этапе интервьюирования. Основная задача - описать коммуникативную ситуацию во время интервью и обозначить возможные смещения, вызванные применением табличных вопросов. Концептуализируемая зона смещений отражает ошибки измерения, в первую очередь связанные с поведением интервьюера, респондента, а также влиянием на них опросного задания, формализированного в анкетной форме. Подобная задача актуальна именно для табличных вопросов - состоящих из наиболее сложных лексических и семантических опросных конструкций.
Методика исследования
Центром методологии федеративных исследований при РАНХиГС в октябре 2012 г. было проведено когнитивное тестирование анкеты, разработанной Фондом «Общественное мнение» по заказу МВД России. Анкета затрагивала общую ситуацию в стране, уровень безопасности, чувство защищенности граждан, отношение к МВД и другим властным структурам, оценку их деятельности.
Опрос проходил по структурированной анкете с записью всех интервью на диктофон. Всего проведено 20 интервью: 10 - в Санкт-Петербурге, где работали три профессиональных интервьюера, и 10 - в Йошкар-Оле, где опрос проводили два профессиональных интервьюера. Впоследствии аудиозаписи подверглись когнитивному анализу, или интерпретации разговора с точки зрения мыслительных процессов.
Прослушивание аудиозаписей позволяет оценить качество анкетных вопросов с точки зрения как удобства работы интервьюера, так и восприятия вопросов респондентами. Учитывались такие параметры, как время, потраченное на прочтение вопроса
интервьюером, скорость прочтения вопроса, время ознакомления респондента с карточкой, быстрота получения ответа, наличие уточнений и дополнительных вопросов всеми участниками коммуникации; оценивались коммуникативные стратегии интервьюеров, поведенческие реакции респондентов. Анкета состояла из 51 вопроса, 11 из которых -табличные.
Эффект интервьюера
На инструктаже перед интервьюером, как правило, ставятся следующие задачи: дословное прочтение вопроса, получение точного ответа по заданной шкале по каждому из подвопросов. Обычно интервьюер не следует этим требованиям, заменяя шаблонные высказывания ситуативными репликами [4, 5, 6, 13, 14]. Обилие табличных вопросов (например, в тестируемой анкете пронумерован 51 вопрос, но поскольку многие вопросы были табличными, фактически интервьюеру требуется задать 182 вопроса) принуждает интервьюера вводить собственные стратегии формализации. Чтобы получить предварительное согласие на интервью, он обещает респонденту, что «беседа не займет много времени». Однако, произнося однотипные конструкции, интервьюер не только отклоняется от беседы в сторону автоматизированного и монотонного зачитывания вариантов, но и торопится быстрее пройти эту процедуру. Если формализация речи интервьюера в соответствии с анкетным вопросом приводит к риску неоднозначного понимания ответа [6, с. 91-95], то самореферентая формализация полностью фабрикует серьезное отношение к вопросам. Последние становятся преградой для нормального общения, формальностью, которую нужно преодолеть, чтобы закончить интервью и перейти к фрейму обыденного обмена репликами. Именно подобной формализацией конституируется рамка последующего возможного разговора: «а теперь я расскажу вам, как на самом деле».
После ответов на несколько подвопросов респонденту вроде бы уже становится понятной схема разговора. Как следствие - интервьюер увеличивает темп речи, торопит с ответами, требует кратких ответа по всем пунктам, часто ограничиваясь лишь названием номеров вариантов ответов (фрагмент 1). Происходит обучение респондента непривычной и несвойственной для обыденного разговора схеме: слушай быструю речь и старайся вовремя вставить ответ, не останавливая и не сбивая темпа зачитывания вопросов.
Фрагмент 1
Табличный вопрос «Опасаетесь ли Вы посягательств на Вашу жизнь, здоровье, имущество в следующих местах. И если опасаетесь, то в какой мере днем, в светлое время суток и в какой мере вечером, в темное время суток?» (далее следует перечень из 12 различных мест, которые следует оценить по шкале: «никогда не опасаюсь - иногда опасаюсь - постоянно опасаюсь» и внешкальному значению «затрудняюсь ответить»)
1 И.: А теперь рассмотрим несколько конкретных ситуаций. Следующую карточку откройте, четвертую. Опасаетесь ли Вы посягательств на Вашу жизнь, здоровье, имущество в следующих местах? И если опасаетесь, то в какой мере днем, в светлое время суток и в какой мере в вечернее время суток? По месту проживания здесь в квартире, в дневное время, какой вариант выбираете?
2 Р.: Не опасаюсь.
18
3 И.: Не опасаетесь никогда, да, первый вариант. А в вечернее время?
4 Р.: Тоже
5 И.: Тоже. В подъезде?
6 Р.: Первый
7 И.: Тоже первый. А в вечернее время?
8 Р.: Первый
9 И.: Тоже первый. Во дворе, около дома?
Приведенный вопрос весьма сложен. Фактически основной вопрос затрагивает две области восприятия и оценки: предметно-личную (посягательства на жизнь, здоровье, имущество) и временную (светлое и темное время суток). С прочтением подвопросов добавляется третья - пространственная область (дома, на работе, в парке и т. д.). От респондента требуется высокая степень сосредоточенности и концентрации, чтобы дать адекватные и точные ответы. Интервьюер, конечно, понимает, что обстоятельный и вдумчивый ответ по каждому из пунктов займет много времени и осознанно или неосознанно стремится ускорить беседу. Лучший способ для этого беглая речь и подталкивание к односложным ответам.
Каскадная формализация интервью обусловлена в том числе утомляемостью как респондента, так и интервьюера, что в свою очередь ведет к стремлению сократить время беседы. В результате возрастает риск пропуска вопросов (подвопросов) со стороны интервьюера. Порою складывается ситуация, что интервьюер «улавливает» тенденцию ответов (как правило, это происходит в случае инерционных ответов (см. ниже) и не зачитывает/ зачитывает скомкано последние закрытия или недослушивает ответы (строка 7, фрагмент 2).
Фрагмент 2 Табличный вопрос «Приходилось ли за последние 12 месяцев Вам или членам Вашей семьи иметь дело с сотрудниками следующих подразделений органов внутренних дел? Если да, то каковы в целом Ваши впечатления - положительные или отрицательные?» (далее следуют
11 различных подразделений ОВД, которые необходимо оценить по шкале «положительное, отрицательное» или по двум внешкальным значениям «иметь дело не приходилось», «затрудняюсь ответить»)
1 И.: Уголовный розыск. Следствие? Не приходилось дело иметь?
2 Р.: Там следователь был. Один из этих. Естественно отрицательное, я с ними до трех ночи прокатался.
3 И.: Паспортные столы. Федеральная миграционная служба? Не приходилось?
4 Р.: Нет.
5 И.: Вневедомственная охрана?
6 Р.: Нет.
7 И.: ГИБДД? Полиция на железнодорожном, воздушном и водном транспорте? Лицензионно-разрешительная служба? Инспекция по делам несовершеннолетних? Все нет?
Во втором фрагменте интервьюер переходит к стратегии тотального сокращения вопроса, когда в последней реплике объединяются сразу пять подвопросов. Однако может быть и другая ситуация, когда роль коммуникативного спринтера примеряет на себя респондент. Лишь беглым взглядом окидывая предлагаемые варианты, он дает быстрый и односложный ответ сразу по всем подвопросам. Только настойчивость интервьюера помогает исправить ситуацию и получить значимые ответы. Однако нельзя гарантировать, что такая ситуация будет всегда воспроизводится. Интервьюер может принять коммуникативную манеру респондента, что вновь приведет к риску пропуска вариантов ответа.
Фрагмент 3
Табличный вопрос «Подвергались ли Вы лично за последние 12 месяцев перечисленным ниже преступным посягательствам? И если подвергались, то сколько раз?» (далее в таблице представлены 15 типов преступлений, которые надо оценить по шкале «один раз - два раза -три раза и более - не подвергался»)
1 И.: Теперь вот следующую карточку откройте. Посмотрите, за последние двенадцать месяцев... вот всю ее до конца прочитайте... Подвергались ли Вы лично за последние двенадцать месяцев перечисленным ниже преступным посягательствам? Если подвергались, то сколько раз?
2 Р.: Нет.
3 И.: Ну, до конца посмотрите, ничего у вас не было?
4 Р.: Ну, принуждение к даче взятки.
5 И.: Было? Подвергались?
6 Р.: Подвергался более чем - вымогательство взятки, конечно.
7 И.: Так, принуждение к даче взятки. Сколько раз за последние двенадцать
месяцев?
8 Р.: Пару раз.
9 И.: Еще до конца посмотрите, ничего больше не было? ... нет, да? только вот это ... Обращались ли Вы в ОВД?
Многие интервьюеры берут на себя роль участливого собеседника и всячески стараются «помочь» респонденту. В табличных вопросах часто эта помощь касается не столько понимания вопроса, что не только вполне допустимо, но и необходимо в случае затруднений, сколько выбора ответа. Так возникает риск неосознанного навязывания ответов респонденту. Не редка ситуация, когда интервьюер не зачитывает все варианты ответа, респондент в этом случае, как правило, склонен к выбору крайних значений. Интервьюер, задавая один и тот же вопрос, подталкивает респондента к выбору однотипных ответов (фрагмент 4, строки 9-10, 11-12, 15-16).
Фрагмент 4
Табличный вопрос «Скажите, пожалуйста, в какой степени Вас беспокоят следующие события и явления в нашей стране? (далее в таблице представлен перечень из 18 событий, которые следует оценить по 3-х балльной шкале: «не беспокоит - немного беспокоит - сильно беспокоит» или внешкальному значению «затрудняюсь ответить»)
1 И.: Угроза террористических актов?
2 Р.: Беспокоит.
3 И.: Немножко или сильно?
4 Р.: Сильно.
5 И.: Ограничение демократических прав и свобод?
6 Р.: Да нет, не беспокоит.
7 И.: Коррупция?
8 Р.: Беспокоит.
9 И.: Сильно?
10 Р.: Сильно.
11 И.: Криминализация общества? Немного беспокоит?
12 Р.: Немного.
13 И.: Наркомания, алкоголизм?
14 Р.: Нет.
15 И.: Несильно, да?
16 Р.: Да.
В приведенном фрагменте трижды повторяется ситуация, когда респондент выбирает именно тот вариант ответа, который предлагает ему интервьюер, причем каждый раз ответы разные (сильно, немного беспокоит, не сильно), т. е. интервьюер стремится «улучшить» свою работу - получить разнообразные ответы. В то же время такое поведение можно интерпретировать как стремление избежать риска инерционных ответов, который будет описан ниже. Какой ценой это происходит? Действительно ли предложенный интервьюером ответ совпадает с точкой зрения респондента?
Подтверждением того, что это именно навязывание ответов, служит тот факт, что ответ «не сильно» (строка 15) отсутствует в вопросе (предложенные в вопросе закрытия: 1. не беспокоит. 2. немного беспокоит. 3. сильно беспокоит). Тем не менее, даже имея перед глазами карточку с вариантами ответа, респондент соглашается с вариантом, предложенным интервьюером.
Эффект респондента
Респонденту, если соблюдены все инструкции личного формализованного интервью, может даже остаться неизвестным, что вопрос имеет табличную форму. Для него это вереница однотипных вопросов, снабженных карточкой или воспринимаемых исключительно на слух. В обоих случаях существует определенный порог восприятия, после которого весьма сложно удерживать внимание и сохранить концентрацию. Таким образом, именно однотипность вопросов и их большой объем служат основными источниками смещений, воспроизводимых респондентом.
Итак, наиболее распространенным остается риск инерционных ответов. Он обусловлен не только длинным перечнем подвопросов и утомляемостью респондента, но и описанным выше стремлением интервьюера формализовать интервью. Влияние предшествующих вопросов может также сказываться в осознанных попытках догадаться о смысле последующих вопросов и повлиять на ответы [7, с. 72].
21
Фрагмент 5
Табличный вопрос «Если говорить о конкретных преступлениях, опасаетесь ли Вы лично стать жертвой.» (далее в таблице представлены 9 видов правонарушителей, отношение к которым предлагается оценить по следующей шкале «опасаюсь - скорее опасаюсь, чем не опасаюсь - скорее не опасаюсь, чем опасаюсь - не опасаюсь» или внешкальному значению «затрудняюсь ответить»)
1 И.: Если говорить о конкретных преступлениях, опасаетесь ли Вы лично стать жертвой мошенников? Опасаетесь ли, или не опасаетесь, или скорее не опасаетесь жертвой мошенников?
2 Р.: Скорее не опасаюсь.
3 И.: Скорее не опасаетесь. Вымогателей, шантажистов?
4 Р.: Нет.
5 И.: Не опасаетесь. Грабителей?
6 Р.: Нет
7 И.: Нет. Вооруженных бандитов, сексуальных насильников.?
8 Р.: Наверно, стоит опасаться при встрече с вооруженными бандитами, как бы при встрече.
9 И.: При встрече, скорее опасаетесь.
10 Р.: Не попадались.
11 И.: А если вдруг попадете?
12 Р.: Ну, да, наверно, стоит опасаться, если перед тобой размахивают оружием.
13 И.: Сексуальных насильников? Не опасаетесь?
14 Р.: Нет. Слабо себе представляю.
15 И.: А воров, если столкнетесь?
16 Р.: Напишите, иногда опасаюсь.
Приведенный выше фрагмент показателен тем, что инерционности и однотипности ответов старается избежать респондент. После долгого диалога и длительных уточняющих вопросов респондент, жизненная позиция которого такова, что он в целом не склонен чего-либо опасаться, сдается и соглашается выбрать иной вариант ответа (строка 16, фрагмент 5). Подобная согласительная стратегия традиционно привлекает внимание методистов, и наиболее распространенным решением для ее нивелирования признана обязательность включения во все вопросы закрытия «не знаю» или «затрудняюсь ответить». Как отмечают С. Садмен, Н. Бредберн, Н. Шварц, осмысливая вопрос, респонденты извлекают информацию из контекста. Делая прагматические выводы, они придерживаются правил ведения разговоров в обычной жизни [7, с. 79]. Таким образом, могут быть два варианта развития риска инерционных ответов. Первый - респондент в случае незаинтересованности дает однотипные ответы. Второй - ответы респондента действительно одинаковы на все вопросы, и он только, чтобы скрыть однообразие и подозрение в возможной фальсификации, меняет ответ на другой. Как уже в процессе анализа распознать обе ситуации и понять адекватность ответа?
В ряде случаев может возникнуть ситуация, противоположная инерционности -хаотичность ответов. Динамичные и последовательные ответы на табличные вопросы придают респонденту некий статус экспертности: вроде бы он сталкивался с данной ситуацией, дает ей оценку. Ложность статуса эксперта открывается в случае смысловых затруднений, непонимания вопроса, тогда респондент чувствует некое замешательство, неловкость и может ответить по инерции или просто наугад, чтобы не показать свою профанность (строки 10, 24-26, фрагмент 6).
Фрагмент 6
Табличный вопрос «Насколько, по Вашему мнению, эффективна деятельность следующих государственных и общественных институтов по защите Ваших личных и имущественных интересов?» (далее перечисляются 13 государственных и общественных институтов и организаций, которые необходимо оценить по шкале «в полной мере эффективна - скорее эффективна - скорее не эффективна - совсем не эффективна» или внешкальному значению «затрудняюсь ответить»)
1 И.: Насколько, по Вашему мнению, эффективна деятельность следующих государственных и общественных институтов по защите Ваших личных и имущественных интересов? Четырнадцатая карточка. Суд. Эффективна деятельность суда? Какой вариант выбираете? Первый, второй, третий, четвертый?
2 Р.: Второй.
3 И.: Прокуратура?
4 Р.: Третий.
5 И.: Федеральная служба безопасности?
6 Р.: Второй.
7 И.: Следственный комитет?
8 Р.: Третий.
9 И.: Органы внутренних дел?
10 Р.: Поставьте любые циферки.
11 И.: Нет, мне Ваше мнение очень надо, тут немножко осталось.
12 Р.: Второй.
13 И.: Федеральная служба по контролю за оборотом наркотиков?
14 Р.: Наверное, четвертый.
15 И.: Общественные советы при территориальных органах внутренних дел?
16 Р.: Даже не знаю, что это такое.
17 И.: Политические партии, союзы?
18 Р.: Четвертый.
19 И: Профсоюзы?
20 Р: Четвертый.
21 И.: Общественные некоммерческие правозащитные организации?
22 Р.: Третий.
23 И.: Общественная палата?
24 Р.: Что это?
25 И.: Ну ... общественная палата...там всякие эти вот.
23
26 Р.: Наверное, они чего-нибудь делают. Второй.
Проблема непонимания часто встречается в массовых опросах, причем ее практически невозможно выявить на этапе анализа. Многие понятия, используемые в исследованиях общественного мнения, не имеют четко определенного лексического значения [7, с. 73], и если респондент просит уточнить смысл, то обычно интервьюер предлагает сделать это ему самостоятельно (строки 24-25, фрагмент 6). В результате остается неясным, что имел в виду респондент, отвечая на вопрос. Кроме того, в процессе интервью респондент учится, приобретает навык ответов на вопросы. Как отмечает Э. Ноэль-Нойманн, «влиянию самого интервью на ответы способствует также процесс обучения респондента во время интервью, что необходимо учитывать при составлении анкеты» [2, с. 75]. Очевидно, что при ответах на табличные вопросы такое обучение происходит быстро, что может легко привести к инерционности и хаотичности ответов, в зависимости от того, какую стратегию ответов выберет респондент.
Риск хаотичных ответов напрямую связан с непониманием вопроса или сложностью восприятия, которые обусловлены тем, что интервьюер, как правило, сначала зачитывает текст вопроса, предъявляет карточку, объясняет, как ей пользоваться, затем переходит к вариантам ответа - за это время у респондента теряется связь между услышанным вопросом и предлагаемыми критериями для оценки. Это наиболее характерно для последних закрытий при наличии их большого списка (фрагмент 7, строка 2).
Фрагмент 7
Табличный вопрос «Насколько, по Вашему мнению, эффективна деятельность следующих государственных и общественных институтов по защите Ваших личных и имущественных интересов?» (далее перечисляются 13 государственных и общественных институтов и организаций, которые необходимо оценить по шкале «в полной мере эффективна - скорее эффективна - скорее не эффективна - совсем не эффективна» или внешкальному значению «затрудняюсь ответить»)
1 И.: Средства массовой информации - радио, телевидение, все?
2 Р.: В каком плане? ... Еще раз вопрос..?
3 И.: Насколько эффективна деятельность СМИ по защите ваших личных и
имущественных интересов?
4 Р.: Совсем не эффективна.
Последний выявленный нами в этом исследовании риск для респондентов -сложность восприятия шкальных оценок. Далеко не всегда при ответе на табличные вопросы со шкальными оценками респонденту предлагается карточка, иногда и вопрос, и закрытия и оценки-ответы приходится воспринимать на слух. Кроме того, для ответа часто предлагаются 4-х или 5-балльные шкалы, т. е. всегда присутствуют средние позиции. Это лишь усложняет задачу для респондента, ведь ему предлагается более десятка закрытий, каждое из которых надо оценить по многобалльной шкале. Возможно, для таких вопросов целесообразно применять более простую шкалу с трехбалльной оценкой, не отказываясь от средней позиции. Любопытно, что в маркетинговых исследованиях рекомендуют использовать пяти- или семибалльную шкалу: «пять категорий это минимально необходимое
24
число закрытий для адекватного восприятия категорий» [8, с. 310]. В качестве наиболее распространенной пятибалльной шкалы приводится шкала Лайкерта [17]. Как правило, в социальных исследованиях размерность шкалы варьируется от двух до семи значений. Предельная семибалльная шкала закрепилась после разработки осгудовского семантического дифференциала [18]. Очень редко предлагаются шкалы с десятком и более делений. Наиболее известный аналог - это 11-ти балльная шкала Терстоуна [20]. Д. Кросник и С. Пресслер отмечают, что не существует единого стандарта для размерности шкалы и, например, за последние 60 лет опросов, проводимых Американским национальным электоральным обследованием (TheAmericanNationalElectionStudy) широко применялись шкалы с двумя, тремя, четырьмя, пяти, семи и даже 101 значением [16, с. 269]. Тем не менее, мы уверены в необходимости максимального сокращения размерности шкал в сложных для восприятия вопросах и в эффективности использования 2-х или 3-балльной шкалы в табличных вопросах, особенно при значительном числе параметров для оценки. Рассмотрим фрагмент 8.
Фрагмент 8
Табличный вопрос «Если говорить о конкретных преступлениях, опасаетесь ли Вы лично стать жертвой...» (далее следует 9 типов правонарушителей, отношение к которым предлагается оценить по следующей шкале «опасаюсь , скорее опасаюсь, чем не опасаюсь - скорее не
опасаюсь, чем опасаюсь - не опасаюсь» или внешкальному значению «затрудняюсь
ответить»)
1 И.: Если говорить о конкретных преступлениях. Опасаетесь ли Вы лично стать жертвой мошенников? Опасаетесь; скорее опасаетесь, чем не опасаетесь; скорее не опасаетесь или не опасаетесь вообще? .стать жертвой мошенников?
2 Р.: Иногда, что-нибудь есть типа.
3 И.: «Скорее» есть - скорее опасаюсь, чем не опасаюсь и скорее не опасаюсь, чем опасаюсь, это средний вариант.
4 Р.: Ну пусть будет, давайте.
5 И.: Вымогателей, шантажистов?
6 И.: Пьяные водители?
7 Р.: Тоже два, три. любую поставьте.
8 И.: Скорее опасаетесь, да, их, чем скорее не опасаетесь?
9 Р.: Да не нравятся они мне. пьяные.
10 И.: Скорее опасаетесь, тогда, да?
11 Р.: Да.
В начале отрывка остается неясным, какой же ответ отметил интервьюер - скорее опасаюсь или скорее не опасаюсь? В последней части приведенного примера видно, что респондент не разграничивает для себя второй и третий варианты ответа, а интервьюер только в силу полученных инструкций склоняет респондента к выбору «скорее не опасаюсь».
Чтобы не создавать дополнительные трудности, лучше не перегружать шкалу и ограничиться тремя вариантами ответа или использовать балльные оценки с формулировкой «Оцените по Х-балльной шкале». В этом случае как раз подойдет, предлагаемая маркетологами шкала Лайкерта.
25
Заключение
Выявленные в ходе исследования риски валидности нельзя отнести к характерным исключительно для табличных вопросов. Безусловно, многие из них - (1) самореферентная формализация интервью, (2) пропуск вопросов интервьюером, (3) навязывание ответов респонденту, (4) инерционные или хаотичные ответы, (5) сложность восприятия шкальных закрытий и (6) понимания вопросов - могут быть зафиксированы при заполнении стандартизированных анкет (рис. 2). Однако табличные вопросы в силу своей сложной конструкции и композиции аккумулируют и мультиплицируют эти риски. Так, стремясь сократить время интервью и одновременно ничего не пропустить интервьюер, идет по пути формализации интервью, что с большой долей вероятности может привести к инерционным ответам.
Рисунок 2 - Типология рисков валидности табличных вопросов
Безусловно, наиболее сложна ситуация, когда закрытия табличного вопроса требуют оценки по многобалльной шкале. В этом случае риски каскадно мультиплицируются. Например, если респондент теряется и испытывает затруднения в выборе оценок, интервьюер может начать неосознанно подталкивать к определенному выбору. Другая ситуация, когда респондент начинает отвечать хаотично или наоборот единообразно, тем самым стараясь нивелировать свою некомпетентность.
Отследить уровень смещений, к которым приводят вышеописанные ситуации, без когнитивного анализа практически невозможно, заполненные анкеты и массивы данных, как правило, выглядят безупречно. Тотальная аудиозапись в настоящее время легко осуществима, а вот систематическое прослушивание и анализ записанных интервью -задача намного сложнее. Поэтому наряду с известными требованиями - не перегружать анкету громоздкими вопросами, не использовать длинных перечней ответов, облегчать восприятие респондента визуальными материалами - следует не пренебрегать небольшим пилотажем с прослушиванием 10-15 интервью. Это поможет выявить наиболее проблемные места анкеты и если не полностью избежать смещений, то хотя бы минимизировать риски
валидности и обосновать состоятельность выбираемого инструментария. Вряд ли уместно полностью отказываться от табличных вопросов. С одной стороны, слишком велико давление административной культуры (носителями которой выступают как заказчики, так и полстеры), нацеленное на принятие однозначных решений, оправданных объективированным перечнем показателей. С другой - возможны ситуации, например, в анкетировании по Интернету или электронной почте, когда табличное представление вопросов не столько усложняет, сколько контекстуально определяет однородные блоки вопросов. С третьей -привычки и внутренние убеждения, сложившиеся за годы проведения социальных и маркетинговых исследований, легитимировали табличный формат, сделали его привычным и обыденным для широкого круга социальных аналитиков. Весомые коммуникативные угрозы валидности, связанные с эффектами интервьюера и респондента, подталкивают к формированию дополнительной аргументации, направленной на оправдание приемлемости для конкретного анкетного дизайна табличных форматов. Последние не могут рассматриваться в качестве очевидных и естественных инструментов для вопрос-ответной коммуникации в рамках стандартизированного интервью.
Литература
1 Аверьянов Л. Я. Социология : искусствозадаватьвопросы. 2-е изд., перераб. и доп. М., 1998.
2 Ноэль Э. Массовые опросы: введение в методику демоскопии / под общ. ред. Н. С. Мансурова. М., 1993.
3 Рогозин Д. М. Влияние интервьюера на доступность респондентов в телефонном опросе // Социологический журнал. 2004. №1/2. С. 75-105.
4 Рогозин Д. М. Когнитивный анализ опросного инструмента. М.: Ин-т Фонда «Обществ. мнение», 2002.
5 Рогозин Д. М. Ошибки ввода данных открытых вопросов // Социология: 4М. 2004. № 19. С. 127-141.
6 Рогозин Д. М., Ипатова А. А. Как сфабриковать телефонный опрос //
Социологический журнал. 2012. № 2. С. 80-97.
7 Садмен С., Брэдберн Н., Шварц Н. Как люди отвечают на вопросы: применение
когнитив. анализа в массовых опросах / пер. с англ. Д. М. Рогозина,
М. В. Рассохиной. М.: Ин-т Фонда «Обществ. мнение», 2003. Пер. изд.:
Sudman, S.; Bradburn, N.; Schwarz, N. Thinking about answers: the application of cognitive processes to survey methodology. San Francisco : Jossey-Bass, 1996.
8 Aaker, D. A.; Kumar, V.; Day, G. S. Marketing research. 7-th ed. New York, 2000.
9 Brener, M. Response effects of the ‘role-restricted’ characteristics of the interviewer // Response behavior in the survey interview / ed. by W. Dijstra, Van der Zouwen. London: Academic Press, 1982. P. 131-165.
10 Cannell, Ch. F.; Flower, F. J.; Marquis, K. H. The influence of interviewer and respondent psychological and behavioral variables on the reporting in household interviews. Washington, DC: U.S. Department of Health and Human Services, 1968.
11 Cannell, Ch. F.; Miller, P. V.; Oksenberg, L. Reasearch on interviewing techniques / ed. by S. Leinhardt // Sociological Methodology. San Francisco: Jossey-Bass. 1981. Vol. 11.
27
12 Diekmann, A. Empirische Sozialforschung. Grundlagen, Methoden, Anwendungen. Reinbek: Rowohlt, 2004.
13 Hof, van S. From text to talk: answers and their uptake in standardized survey interviews. Utrecht: LOT, 2006.
14 Houtkoop-Steenstra, H. Interaction and the standardized survey interview: the living questionnaire. Cambridge: Cambridge University Press, 2000.
15 Houtkoop-Steenstra, H. Probing behavior of interviewers in the standardized semiopen research interview // Quality and Quantity. 1996. Vol. 30. P. 205-230.
16 Krosnick, J. A.; Presser, S. Question and questionnaire design // Handbook of Survey Research / ed. by P. V. Marsden, J. D. Wright. 2-nd ed. Bingley, UK: Emerald Group Publ. Lim., 2010. P. 263-313.
17 Likert, R. A technique for the measurement of attitudes // Archives of Psychology. 1932. Vol. 140. P. 1-55.
18 Osgood, C. E.; Suci, G. J.; Tannenbaum, P. H. The measurement of meaning. Urbana, IL: University of Illinois Press, 1957.
19 Schaeffer, N. C.; Dykema, J. Questions for surveys: current trends and future
directions // Public Opinion Quarterly. 2011. Vol. 75. Nr 5. P. 909-961.
20 Thurstone, L. L. Attitudes can be measured // American Journal of Sociology. 1928. Vol. 33. P. 529-554.
21 Tourangeau, R. Cognitive sciences and survey methods // Cognitive aspects of
survey methodology : building a bridge between discipline / ed. by T. Jabine, S.
J. Tanur, R. Tourangeau. Washington, DC: National Academy Press, 1984. P. 73100.
22 Tourangeau, R.; Rips, L. J.; Rasinski, K. The psychology of survey response.
Cambridge : Cambridge University Press, 2000.
23 Zouwen, van der. J.; Smit, J. H. Evaluating survey questions by analyzing patterns of behavior codes and question-answer sequences: a diagnostic approach // Methods for testing and evaluating survey questionnaires / ed. by S. Presser, J. M. Rothgeb, M. P. Couper et al. New York: Wiley, 2004. P. 109-130.
