CC BY
61
ТЕОРИЯ, МЕТОДОЛОГИЯ И МЕТОДЫ
DOI: 10.14515/monitoring.2016.5.03 Правильная ссылка на статью:
Марченко А. А. Разумная достаточность как стратегия реагирования респондентов в веб-опросах // Мониторинг общественного мнения : Экономические и социальные перемены. 2016. № 5. С. 31—40. For citation:
Marchenko A. A. Satisficing as a strategy of respondents' response in web-based surveys. Monitoring of Public Opinion: Economic and Social Changes. 2016. № 5. P. 31—40.
А. А. Марченко
РАЗУМНАЯ ДОСТАТОЧНОСТЬ КАК СТРАТЕГИЯ РЕАГИРОВАНИЯ РЕСПОНДЕНТОВ В ВЕБ-ОПРОСАХ
РАЗУМНАЯ ДОСТАТОЧНОСТЬ КАК СТРАТЕГИЯ РЕАГИРОВАНИЯ РЕСПОНДЕНТОВ В ВЕБ-ОПРОСАХ
МАРЧЕНКО Александра Александровна — маркетолог-аналитик, Vi Trend (Группа маркетинговых исследований и анализа рынка), Москва, Россия. E-MAIL: [email protected] ORCID: 0000-0003-4047-5468
Аннотация. Теория разумной достаточности в массовых опросах Джона Кросника в России изучена мало. Проявление разумной достаточности предполагает, что респондент, довольствуясь приемлемым ответом, затрачивает меньше усилий, чем это необходимо для выбора оптимального (наилучшего) ответа. Так респондент становится недобросовестным. К основным факторам, способствующим выбору стратегии разумной достаточности, исследователи относят сложность заданий (вопросов), разные уровни развития когнитивных способностей и мотивацию респондента. В статье со-
SATISFICING AS A STRATEGY OF RESPONDENTS' RESPONSE IN WEB-BASED SURVEYS
MARCHENKO Anna Alexandrovna1 — Marketing Analust E-MAIL: [email protected] ORCID 0000-0003-4047-5468
1 Vi Trend (Marketing Research and Analysis Group), Moscow, Russia
Abstract. Jon Krosnick's satisficing theory applied in mass survey is poorly studied in Russia. Satisficing theory suggests that a respondent being satisfied with a sufficient answer make fewer efforts than needed to choose an optimal (best) answer. Thus, respondent becomes dishonest. The basic factors that help choose satisficing strategy are complexity of tasks (questions), respondent's different levels of cognitive capacity and motivation. The paper proposes a review of forms of the satisficing strategy adopted during the survey as well as tools to detect unfair respondents.
держится аналитический обзор форм, в которых проявляется стратегия разумной достаточности респондентов при прохождении опроса, и методик для выявления недобросовестных респондентов.
Ключевые слова: разумная достаточность, качество данных, веб-опросы, недобросовестность, опрос, респондент
Key words: satisficing, data quality, web-based surveys, unfairness, survey, respondent
Введение
Опрос стал привычным способом получения необходимой информации об исследовательском объекте. Опросы проводятся для анализа общественного мнения, понимания потребностей и мотивов поведения аудитории, выявления общественных проблем и т. п. Однако могут ли исследователи быть уверены в том, что респонденты честно отвечают на вопросы?
На сегодняшний день веб-опросы являются самым популярным способом сбора данных [Global market..., 2013]. В последние годы в России, как и во всем мире, наблюдается устойчивая тенденция перехода исследовательских проектов в цифровой формат [Федоровский, 2015], поэтому качество веб-опросов особенно важно. Веб-опрос подразумевает самостоятельное заполнение респондентом анкеты в Интернете при отсутствии контроля со стороны интервьюера. Отсутствие контроля повышает риск получения недостаточно обдуманных ответов, которые, по существу, нельзя использовать при анализе и интерпретации данных. Для обеспечения качества данных важно научиться определять недобросовестных респондентов.
Статья посвящена частной стратегии реагирования респондентов в веб-опросах —разумной достаточности. Помимо стратегии представлены несколько методик ее измерения. Сам термин «разумная достаточность» появился в русском при переводе с английского языка термина «satisficing», который означает принцип поведения человека или организации, при котором цель заключается не в максимизации полезности, а в достижении удовлетворяющего уровня полезности [Сажина, Чибриков, 2007].
Теория разумной достаточности
Полвека назад Герберт Саймон, американский исследователь организационного поведения и процессов принятия решений, предложил подход к объяснению того, как человек делает свой выбор. Согласно этому подходу, индивид далеко не во всех случаях выбирает модель поведения рационально действующего экономического агента, максимизирующего выгоду. В поведении людей рациональность очень часто совмещена с нерациональными компонентами. Человек не всегда имеет полный объем информации, необходимый для ориентации в окружающем
мире и для принятия рациональных решений. Г. Саймон [Simon, 1957] предложил заменить принцип максимизации принципом удовлетворенности. Следуя принципу удовлетворенности, индивид сравнивает ценность различных решений и останавливается на том, которое является для него приемлемым. Такая стратегия предполагает выбор не оптимального, не наилучшего, но удовлетворительного решения.
Термин разумной достаточности по отношению к респондентам первым использовал Джон Кросник. Согласно этой теории многие респонденты, стремясь сократить время прохождения опроса, используют стратегию разумной достаточности, прилагая минимальные когнитивные усилия при ответе. Вместо того чтобы тщательно рассмотреть все возможные варианты ответов, респондент, определив для себя характеристики приемлемого ответа, останавливает свой выбор на первом варианте, который удовлетворяет установленным характеристикам. Отсюда вопрос: можно ли доверять данным, если они получены от респондента, применившего стратегию разумной достаточности?
Современная модель формирования ответа на вопрос, разработанная Р. Туранжо с коллегами [Tourangeau et al., 2000], включает четыре когнитивных этапа:
1. истолкование / понимание вопроса;
2. поиск релевантной информации для ответа на вопрос (вспоминание подходящих фактов);
3. обработка / обобщение имеющейся информации;
4. вердикт (принятие определенного решения).
Стратегия поиска оптимального (наилучшего, наиболее обоснованного) ответа состоит в последовательном прохождении всех четырех перечисленных этапов. Однако на практике некоторые этапы респондент может пропускать или, наоборот, проходить повторно. Кроме того, до оглашения ответа на последнем этапе респонденты могут менять свое решение в зависимости от самых различных факторов, например, от изменения эмоционального климата. Респонденты, пропускающие какие-то этапы при ответе на вопрос, используют стратегию разумной достаточности.
Считается установленным, что при опросе респонденты могут прибегать к стратегии разумной достаточности из-за усталости или отсутствия интереса к теме исследования. Некоторые респонденты в ходе опроса могут менять стратегию выбора ответа. Таким образом, некоторые ответы даются при экономии усилий и не отражают мнений респондентов.
Формы проявления стратегии разумной достаточности
Согласно Дж. Кроснику, стратегия разумной достаточности проявляется в двух формах [Krosnick, 1991]:
1. в слабой форме: решая, как ответить на вопрос, респонденты последовательно задействуют все 4 когнитивные процесса, но с меньшей интенсивностью, чем при поиске оптимального ответа;
2. сильная форма наблюдается, когда в ходе опроса начинает накапливаться усталость и формирование ответа требует все больше и больше усилий; в подобных случаях респондент может выбирать самые простые для понимания варианты ответа, пропуская этапы поиска и обработки информации.
Дж. Кросник выделил две разновидности слабых и четыре разновидности сильных форм проявления разумной достаточности. К слабым формам относятся:
— выбор первого по порядку подходящего варианта ответа. Ряд исследователей [Becker, 1954; Belson, 1966; Brook, Upton, 1974] выявили, что выбор респондента может зависеть от порядка представленных ответов. Эмпирически многократно подтверждалось, что расположенные первыми варианты ответов, при прочих равных условиях, выбираются чаще остальных. То же самое, но в меньшей степени, относится и к последним вариантам ответов. Здесь влияют ограничения памяти [Atkinson, Shiffrin, 1968];
— выражение согласия проявляется при ответах на однотипные по форме вопросы, когда респондента просят высказаться о нескольких утверждениях подряд: выразить степень согласия или несогласия, ответить да или нет, оценить, правда или ложь. Эмпирически установлено, что отдельные респонденты более склонны соглашаться, чем не соглашаться с утверждениями, независимо от их смысла и контекста.
К сильным формам проявления разумной достаточности относятся:
— поддержка статус-кво, или склонность людей желать, чтобы всё оставалось, как прежде, склонность противиться изменениям. Часто в опросах вопросы направлены на то, чтобы респондент задумался о серьезных насущных проблемах; например, об увеличении или уменьшении государственного финансирования на определенные цели, об ужесточении какого-либо закона. Самый простой вариант ответа в данном случае, не требующий долгих размышлений, — поддержать статус-кво. Если это решение принимается взвешенно, тогда оно является оптимальным. Однако зачастую данная стратегия предполагает пропуск второго и/или третьего этапов в принятии решения, т. е. этапов поиска и обобщения релевантной информации, так как выбранный ответ (без размышлений) кажется разумным;
— одинаковые ответы на однотипные вопросы. Отвечая на однотипные вопросы, некоторые респонденты выбирают определенный вариант ответа и придерживаются его на протяжении всего блока вопросов. При ответе на первый вопрос респондент может использовать стратегию оптимального ответа, а на все остальные вопросы дать тот же самый ответ, не вдаваясь в подробности;
— ответ «не знаю» респондент может выбрать всегда, независимо от формата вопроса. Зачастую так отвечают тогда, когда не хотят вспоминать и думать. Иногда к выбору этого ответа респондента подталкивает сам интервьюер, указывая на возможность его выбора;
— выбор варианта ответа «наобум» — самая сильная форма проявления стратегии разумной достаточности, когда процессы поиска и обработки информации и вынесения решения не задействуются. Отвечать не задумываясь респондента могут побуждать самые различные факторы.
Факторы проявления стратегии разумной достаточности
Дж. Кросник утверждает, что вероятность использования стратегии разумной достаточности обусловливают три фактора:
1. сложность задания;
2. способность респондента справиться с заданием;
3. мотивация респондента.
Чем сложнее задание и чем ниже способности и мотивация респондента, тем больше вероятность проявления стратегии разумной достаточности. Рассмотрим эти три условия подробнее.
Фактор 1: сложность задания
В процессе принятия решения на каждом этапе могут возникнуть сложности, с которыми респонденту приходится справляться, чтобы ответ получился точнее. Сложность может возникнуть на этапе поиска информации (вспоминания). Ответить на вопрос о недавнем событии проще, чем о событии давнего прошлого. Сложность могут вызвать обработка информации и вынесение вердикта. Например, для многих респондентов задача ранжировать более семи объектов может оказаться непосильной. Сложность задания возрастает при слишком быстром предъявлении вопросов, или если респондент постоянно отвлекается. Сложность повышает вероятность проявления стратегии разумной достаточности.
Фактор 2: способность респондента
По крайней мере, три аспекта данного фактора могут быть связаны с выбором стратегии разумной достаточности. Во-первых, поиск релевантной информации и вынесение решения проще выполнить тому респонденту, который привык выполнять сложные интеллектуальные операции. Во-вторых, респонденты, знакомые с форматом проведения опроса, лучше справляются со сложными заданиями, и им проще сориентироваться в новой теме опроса. В-третьих, способность респондента отвечать на вопросы может зависеть от того, задумывался респондент над ними раньше, или нет, выработал он какую-либо определенную точку зрения, или нет. Респондентам, которые хорошо разбираются в теме опроса, вспомнить нужную информацию и прийти к определенному решению быстрее и проще. Таким образом, данный фактор имеет обратную связь с проявлением стратегии разумной достаточности.
Фактор 3: мотивация респондента
К участию в опросе побуждают разные мотивы. Например, респонденты различаются потребностью в познании. У кого потребность в познании сильна, тот получает удовольствие, если участие в опросе требует интеллектуальной нагрузки. Интерес к теме опроса тоже мотивирует. Например, тот, кого волнует вопрос о легализации абортов, скорее всего, захочет выразить свою точку зрения на относящиеся к этой теме вопросы. Готовность респондента участвовать в опросе может зависеть и от поведения интервьюера: когда респонденты чувствуют, что их мнение важно для исследования, они стараются дать как можно более точные ответы.
Но мотивация респондента может уменьшаться, когда опрос слишком затягивается. Готовность респондента участвовать в опросе, как и его способность отвечать на трудные вопросы—это оборотная сторона проявления разумной достаточности. Следовательно, чем сильнее интерес к участию в опросе, тем меньше вероятность того, что респондент прибегнет к стратегии разумной достаточности.
Взаимодействие трех факторов выбора
Согласно Дж. Кроснику, перечисленные факторы следует рассматривать во взаимодействии друг с другом. Вероятность того, что респондент использовал стратегию разумной достаточности, измеряется по следующей формуле:
Фактор 1: сложность задания Фактор 2: способность респондента * Фактор 3: мотивация респондента
Чтобы воспользоваться формулой расчета величины разумной достаточности, необходимо измерить каждую переменную в уравнении.
Дж. Кросник предлагает следующие способы:
1. Сложность задачи исследовать экспериментально, например, сравнивая реакции респондентов на формулировки вопроса разной сложности.
2. Способность респондента — измерять с помощью таких признаков, как склонность к умственному труду, предыдущий опыт участия в опросах, желание участвовать в новых опросах.
3. Мотивацию респондента измерять с помощью различных манипуляций и корреляционного анализа.
Проведя концептуализацию стратегии разумной достаточности, перейдем к рассмотрению методик по измерению разумной достаточности.
Методики измерения разумной достаточности
Среди исследователей нет консенсуса по поводу того, как измерять уровень разумной достаточности респондентов при прохождении опросов. В ранних исследованиях разумную достаточность операционализировали то через количество выборов серединного варианта ответа в однотипных шкальных вопросах [Krosnick, Narayan, Smith, 1996], то через количество выборов крайних вариантов [Belli, Herzog, Van Hoewyk, 1999]. Далее представлены наиболее известные методики, разработанные в последнее десятилетие.
Манипулятивная инструкция (Instructional Manipulation Test)
Д. Оппенхаймер, Т. Мейвис и Н. Давиденко [Oppenheimer, Meyvis, Davidenko, 2008] разработали инструкцию, с помощью которой выявлялось, пользуется ли респондент стратегией разумной достаточности. В инструкции написано следующее: «Большинство современных теорий о принятии решений сходятся в том, что принятие решения всегда чем-то обусловлено. Субъективные предпочтения и знания, как и ситуационные факторы, могут повлиять на принятие решения. Чтобы расширить научные знания по теме, мы хотим предложить Вам несколько вопросов о том, как Вы принимаете решения. Прежде всего, нам интересно узнать, тратите ли Вы время на чтение инструкций; если нет, то внесение изменений в инструкции будет бесполезным. Поэтому, чтобы показать, что Вы действительно прочитали инструкцию, пожалуйста, оставьте первый вопрос о спортивных увлечениях без ответа и для продолжения кликните на заголовок». Далее следовал вопрос об увлечении спортом.
То есть, согласно инструкции, респонденты должны, пропустив первый вопрос, кликнуть на заголовок и перейти к следующему вопросу. Авторы полагали, что
респонденты, невнимательно читающие инструкции, неправильно понимают, что от них требуется, а потому небрежно отвечают на вопросы. В небрежности и проявляется стратегия разумной достаточности.
С помощью предложенной инструкции проверялось, насколько внимательно респонденты читают указания. Соответственно те, кто ответил на первый вопрос, были отнесены к группе респондентов, использующих стратегию разумной достаточности. Для проверки данной методики были опрошены студенты разных факультетов Стэнфордского университета. В одной группе оказались те, кто прослушал хотя бы один курс по психологии, в другой — студенты, которые курсов по психологии не слушали. По замыслу исследователей, студенты первой группы должны были серьезнее подходить к ответам на вопросы, а значит, стратегия разумной достаточности должна была проявляться реже.
Построение индекса разумной достаточности
С. Барж и Х. Гельбах [Barge, Gehlbach, 2012] разработали собственную методику измерения индекса разумной достаточности, которая заключается в измерении следующих четырех показателей: преждевременный выход из анкеты (до окончания ее заполнения); однотипность ответов; пропуск вопросов; «торопливость» заполнения анкеты. Из шести форм проявления разумной достаточности по Кроснику, Барж и Гельбах выбрали четыре наиболее контрастных показателя, доступных для измерения по данным онлайн опросов.
Индекс разумной достаточности был апробирован на данных двух разных опросов: на опросе в 15 колледжах и университетах Восточной Европы и на опросе в одном из университетов США.
Показатель преждевременного выхода из анкеты
С помощью данной метрики подсчитывается доля неотвеченных вопросов в каждом случае, когда респондент прекращал отвечать на вопросы, не заполнив анкету до конца.
Показатель однотипности ответов
Чтобы выявить одинаково отвечающих на вопросы респондентов, для каждого респондента / по каждому блоку однотипных вопросов подсчитывается стандартное отклонение.
где х—это код, означающий вариант ответа, например, степень согласия, X—это среднее значение ответов для каждого отдельного респондента, п — количество однотипных вопросов в блоке.
Преждевременный выход из анкеты =
Количество неотвеченных вопросов в незавершенной анкете
Общее количество вопросов в анкете
Standard Deviation j =
Если респондент выбирает для всех вопросов вариант ответа под кодом «1», то и среднее значение будет равно 1, а стандартное отклонение — 0. Нулевое стандартное отклонение показывает, что респондент на все вопросы блока отвечает одинаково.
Показатель пропуска вопросов
Для подсчета данной метрики для каждого респондента подсчитывается процент пропущенных вопросов:
Количество пропущенных вопросов
Пропуск вопросов = -
' Общее количество вопросов в анкете
Показатель «торопливости» заполнения анкеты
Этот показатель указывает на время, затраченное респондентом на заполнение анкеты. Слишком малые временные затраты могут означать, что респондент невнимательно читал варианты ответов и пролистал анкету, чтобы поскорее ее завершить. Для каждого респондента рассчитывается среднее время, затраченное на ответ на один вопрос, по формуле:
Количество затраченных секунд на все вопросы
Среднее затраченное время на один вопрос = -
' Общее количество вопросов в анкете
Для дальнейших расчетов берется мода. В данном случае учитывать среднее время заполнения анкеты неверно, потому что респонденты иногда делают перерывы в заполнении анкеты, следовательно, общее время будет неоправданно завышено.
Для респондентов, у которых затраченное время на один вопрос (SPI — seconds-per-item rate) меньше модального, рассчитывается индекс «торопливости» (Rushingj). Респондентам, которые затрачивали время на один вопрос больше модального, индексу «торопливости» приписывалось значение «0»:
If SPI > Mode{SPI), Rushingi = О
„ „ Minimum(SPI) If SPI < Mode(SPI), Rushingt =-^r1-"
iirli
Таким образом, чем меньше респондент в среднем затрачивает времени на ответ на один вопрос, тем большее значение индекса «торопливости» ему приписывается.
Общий индекс разумной достаточности
Значение индекса разумной достаточности для каждого респондента получается с помощью сложения четырех вышеперечисленных индикаторов:
Показатель преждевременного выхода из анкеты' +
Показатель однотипности ответов +
Индекс разумной достаточности = _ '
' Показатель пропуска вопросов' +
Показатель торопливости'
Расчеты индекса позволяют делить респондентов по интенсивности применения стратегии разумной достаточности, или, иными словами, по добросовестности участия в опросе.
Латентно-классовый анализ
Еще один способ измерения разумной достаточности, латентно-классовый анализ, был разработан для измерения разумной достаточности среди респондентов, неохотно участвующих в опросах [Kaminska, Mccutcheon, Billiet, 2010]. Авторы объясняют выбор данного подхода тем, что для измерения сложных по своей природе явлений единичные индикаторы не годятся. В итоге им удалось поделить респондентов на тех, кто довольствуется экономными и приемлемыми ответами, и тех, кто стремится давать максимально осмысленные ответы. Методика апробировалась на данных Европейского социального исследования (ESS), волны 2006—2007 гг.
Всего для измерения разумной достаточности было выбрано четыре дихотомических индикатора, относящихся к показателям качества данных:
1. показатель «затрудняюсь ответить» (The «don't know» indicator) отражает частотность выбора респондентом этого варианта ответа;
2. показатель «одинаковые ответы» (Reversed straight-lining indicator) указывает долю блоков однотипных вопросов, в которых респондент единообразно ответил на все вопросы; при расчете учитываются только те блоки, в которых формулировка хотя бы одного вопроса для согласованности мнения требовала бы выбрать вариант ответа, отличный от остальных;
3. показатель «крайних и серединных» (The «extreme + middle») вариантов ответа фиксирует долю вопросов, в которых респондент выбрал, на примере 11-балльной шкалы, варианты 0, 5 или 10;
4. показатель несогласованных ответов (The indicator of inconsistent responses) измеряется с помощью логически связанных пар вопросов; подобные пары могут составлять вопросы, например, о «слишком раннем» и «идеальном» возрасте для вступления в сожительство, в брак, для становления родителями и выхода на пенсию; здесь несогласованность фиксируется в том случае, если «слишком ранний» возраст превосходит возраст «идеальный».
References
Сажина М. А., Чибриков Г. Г. Экономическая теория. М. : Норма. 2007. [Sazhina M. A., Chibrikov G. G. Ekonomicheskaya teoriya [Economic Theory]. Moscow, Norma. 2007.]
Федоровский А. М. Качество онлайн-опросов. Методы проверок. [Fedorovskii A. M. Quality of online surveys. Methods of control. Monitoring of public opinion: Economic and social changes. 2015. № 3. P. 28—35.]
Atkinson R., Shiffrin R. Human Memory: A Proposed System and Its Control Processes. Spense K. W., Spense J. T. (Eds.) The Psychology of Learning and Motivation: Advances in Research and Theory. New York: Academic Press. 1968. P. 89—195.
Barge S., Gehlbach H. Using the Theory of Satisficing to Evaluate the Quality of Survey Data. Research in Higher Education. 2012. Vol. 53. No. 2. P. 182—200.
Becker S. L. Why an order effect? Public Opinion Quarterly. 1954. Vol. 48. P. 409—442.
Belli R. F., Herzog R. A., Van Hoewyk J. Scale Simplification of Expectations for Survival: Cognitive Ability and the Quality of Survey Responses. Cognitive Technology. 1999. Vol. 4. No. 2. P. 29—38.
Belson W. A. The Effects of Reversing the Presentation Order of Verbal Rating Scales. Journal of Advertising Research. 1966. Vol. 6. P. 30—37.
Brook D., Upton G. J.G. Biases in Local Government Elections due to Position on the Ballot Paper. Applied statistics. 1974. Vol. 23. P. 414—419.
Global market research 2013. ESOMAR. 2013 [Электронный ресурс]. URL: https:// www.esomar.org/uploads/industry/reports/global-market-research-2013/ES0MAR-GMR 2013-Preview.pdf (accessed: 24.10.16).
Kaminska O., Mccutcheon A., Billiet J. Satisficing among Reluctant Respondents in a Cross-National Context. Public Opinion Quarterly. 2010. Vol. 74. No. 5. P. 956—984.
Krosnick J. Response strategies for coping with the cognitive demands of attitude measures in surveys. Applied Cognitive Psychology. 1991. Vol. 5. P. 213—236.
Krosnick J. A., Narayan S., Smith W. Satisficing in Surveys: Initial evidence. Braverman M. T., Slater K. (Eds.) Advances in Survey Research. San Francisco: Jossey-Bass. 1996.
OppenheimerD., Meyvis T., Davidenko N. Instructional Manipulation Checks: Detecting Satisficing to Increase Statistical Power. Journal of Experimental Social Psychology. 2008. Vol. 45. No. 4. P. 867—872.
Simon H. A. Models of Man. New York: Wiley. 1957.
Tourangeau R., Rips L.J., RasinskiK.A. The Psychology of Survey Response. Cambridge, UK: Cambridge University Press. 2000.
