CC BY
43Д.М. РОГОЗИН
КОНФОРМНАЯ ВЫБОРКА В ТОРГОВЫХ ЦЕНТРАХ
Здесь человечество от глаз и до штиблет, Как никогда, — жестоко гармонично И говорит тебе цинично: «Нет!»
Саша Черный. «В пассаже»
Опросы в местах продаж тех или иных товаров давно заняли лидирующие позиции на рынке маркетинговых исследований (см., например, [40, р. 423]). Организация выборки по домохозяйствам требует слишком много ресурсов. Зрелых людей с доходом выше среднего, как правило, представляющих наибольший интерес для маркетинговых компаний, зачастую просто трудно застать дома [24, р. 93]. Телефонные опросы сложны организацией выборки, когда требуется опросить ту или иную целевую группу. Добавим к этому путаницу в базах данных телефонных номеров или переход Москвы на новые цифровые линии с отсутствием систематической информации о характере замены номеров и привязки их к районам города, и станет понятно, почему так бурно развивающиеся колл-центры в основном обслуживают корпоративных клиентов и гораздо реже участвуют в маркетинговых исследованиях. Опять же речь идет о Москве. Можно упомянуть Питер и еще не более десятка городов, где уровень телефонизации достаточен для организации репрезентативных телефонных опросов. Развитие новых технологий (интернет, мобильная связь)
Рогозин Дмитрий Михайлович — кандидат социологических наук, старший научный сотрудник Института социологии РАН, декан факультета социологии и политологии Московской вышей школы социальных и экономических наук. Адрес: 117218 г. Москва, ул. Кржижановского, д. 24/35, строение 5. Телефон: (495) 120-82-57. Электронная почта: d.rogozin@list.ru
Методическое исследование выполнено при финансовой и организационной поддержке консалтинговой компании “MarketUP” (http://www.marketup.ru). Проект проходил в тесном сотрудничестве со швейцарской фирмой “Schwery Consulting” (http://www.schwery.ch). Автор выражает признательность руководителям названных компаний, Марине Власовой и Рольфу Швери, с пониманием отнесшимся к необходимости технического усложнения типового маркетингового проекта. Особую благодарность следует высказать профессиональным социологам и маркетологам, которые согласились выступить в роли интервьюеров: О.В. Кожевниковой, П.А. Лебедеву, И.И. Солодовой и А.В. Турчик. Текст обсуждался на Семинаре сектора социологии науки Института социологии РАН, проходившем 31 января 2008 г. Без живого участия коллег столь сложная и провокативная тема была бы вовсе не раскрыта. Автор искренне благодарен за высказанные замечания Р. Громовой, С.Г. Климовой, Л.А. Козловой,
А.Ю. Мягкову, О.А. Оберемко и Е.С. Петренко.
существенно изменило конфигурацию на информационном рынке, но говорить о массовом внедрении новых приемов и методов опроса в маркетинговые исследования еще рано.
Опросы в торговых центрах остаются наиболее приоритетным инструментом для решения множества исследовательских задач. Они распространены и востребованы, но абсолютно не изучены. Нет ни одной методической работы на русском языке, в которой бы внятно, в академической стилистике разбирались особенности организации опроса в торговых центрах, анализировались систематические смещения, ошибки неответов, особенности межличностной коммуникации. Заметим, в полевых отделах, как правило, работают люди, не получившие профильного образования (социология, маркетинг), следовательно, технология проведения опроса отдана на откуп здравому смыслу и смекалке далеких от исследовательских и методических проблем людей. Профессиональные социологи скептически относятся к опросам в торговых центрах, в большей степени доверяясь когда-то сформированным предубеждениям, нежели фактическому материалу. Так, К.М. Мануильская объясняет отсутствие интереса к данному типу опросов низким качеством собираемой информации: «Несмотря на экономическую эффективность такого опроса, показатели, указывающие на качество собираемой информации, обычно оцениваются крайне низко. Этим объясняется практически полное игнорирование данного метода академическими исследователями и отсутствие каких-либо публикаций, основанных на методически выверенных экспериментальных планах» [2, с. 136]. Возникает замкнутый круг: опросы считаются некачественными и потому не изучаются, однако, не прибегая к изучению, ни о каком качестве говорить попросту нельзя. Мануильская упоминает о показателях качества, при этом остается непонятным, что же она имеет в виду, если отсутствует исследовательская практика. Поскольку статья посвящена отказам, уместно предположить, что речь идет о коэффициентах, отражающих достижимость в «уличных»1 опросах. Но в статье указано, что автору так и не удалось обнаружить ни одного материала, в котором были бы представлены эти показатели [2, с. 142]. Подобные же разрывы в аргументации можно обнаружить и у других исследователей, так или иначе затрагивающих тему опросов в торговых центрах.
Задача настоящего исследования — поставить под сомнение обыденные построения и квазиэкспертные мнения об особенностях полевой работы в торговых центрах. Мы начинаем разговор о том,
1 Опросы в торговых центрах обычно относят к типу уличных. Это оправдано лишь как противопоставление опросам по месту жительства, телефонным и почтовым опросам. Если более детально описывать особенности коммуникации в торговых центрах, можно зафиксировать существенные различия с опросами на улице, которые, в свою очередь, требуется дифференцировать.
что действительно происходит, когда интервьюер пытается выполнить задание по сбору определенного количества анкет. Каков уровень достижимости в торговых центрах? Насколько он отличается от привычных опросных техник — телефонного интервью и опроса по месту жительства? Насколько устойчива выборка хотя бы по базовым социально-демографическим параметрам (пол, возраст), которые мы можем закодировать, не вступая в коммуникацию? Каково влияние интервьюера, что является критичным в его поведении? Каковы параметры выборки в торговом центре? Чем они отличаются от других типов выборок?
Объект исследования
В июле 2007 г. Консалтинговая компания «MarketUP» по заказу швейцарской фирмы «Schwery Consulting» проводила исследование потребительского поведения на рынке посуды верхнего ценового сегмента. В течение недели в четырех торговых центрах Москвы (МЕГА в Теплом Стане и Химках, «Крокус Сити», «Рамстор» у м. Университет и «Золотой Вавилон» в Отрадном) были опрошены 200 потенциальных покупателей. Дополнительно с анкетой заполнялась форма регистрации отказов. Поскольку выявлены нарушения в регистрации неответов несколькими интервьюерами, 15 интервью и соответствующее им количество обращений исключены из анализа достижимости. В форму регистрации отказов заносились сведения по следующим переменным: (1) дата и время; (2) ФИО интервьюера; (3) торговый центр; (4) место опроса — непосредственно в магазинах, в зоне кинотеатров, в проходах между магазинами, в зоне питания, на выходе из крупных сетевых магазинов, на улице около торгового центра; (5) результат обращения — отказ, прерванное интервью, не проживает в Москве или живет в общежитии, снимает комнату в квартире, не подходит по возрасту, полностью взятое интервью; (6) пол; (7) возраст (по ответившим заполнялся точно с их слов, по отказавшимся от интервью кодировался интервьюером по четырем категориям (младше 20 лет, от 20 до 40 лет, от 40 до 60 лет, старше 60 лет); (8) речь — вежливая, грубая; (9) наличие сумок, пакетов, указывающих на совершенную покупку2.
2 Практически аналогичное пространство признаков было сконструировано К. М. Мануильской для проведения методического исследования в сети магазинов «Детский мир» (Маркетинговое агентство «Step-by-Step», ноябрь 2004 г.): (1) результативность опроса (отказ от интервью, интервью взято полностью, интервью завершено); (2) пол респондента; (3) возраст респондента; (4) описание окружения респондента (с кем выходит из магазина): один, с ребенком, со спутником одного с собой пола, со спутником другого пола, со спутником другого пола и ребенком или «другое»; (5) причина отказа: «нет времени», «спешу», «много вопросов», «длинная анкета», «не хочу», «в таком не участвую», без
Интервьюерами выступали профессиональные социологи, возглавляющие исследовательские проекты в маркетинговых и полстер-ских компаниях. От них требовалось собрать как можно больше анкет, учитывая лишь минимальное квотное задание: Во-первых, опрашивать людей от 20 до 60 лет, стараясь достигнуть нормального распределения по возрасту опрошенных. Во-вторых, интервьюировать людей, проживающих в Москве в собственной квартире или арендующих жилье. В-третьих, ориентироваться на состоятельных посетителей, внешний вид которых мог указывать на высокий доход. В остальном отбор респондентов был возложен на интервьюера. Как мы видим, выдвинутые ограничения нельзя приравнивать к квотному заданию, поскольку интервьюеру высказывались лишь пожелания в выборе тех или иных респондентов, но не устанавливался четкий регламент отбора.
Таким образом, мы сформировали так называемую конформную выборку (convenience sample)3, в которой исследователь намеренно подстраивается под существующую среду, руководствуясь критерием
объяснения причин [2, с. 141]. Совпадение кодов объясняется одним нормативным источником, на который опирались исследователи в проектировании методического эксперимента — Стандартах качества Американской ассоциации исследователей общественного мнения [11].
3 В статистической и социологической литературе распространен прямой перевод convenience sample как «удобной выборки». Иногда и вовсе говорят просто о «нерепрезентативной выборке», забывая, что репрезентация — качество, не сводимое к способам отбора. «Репрезентативна любая выборка, только мы не всегда знаем, что она репрезентирует», — любил повторять Г.С. Батыгин. На наш взгляд, термин «удобный» — не вполне корректен, поскольку на первый план выдвигается удобство с точки зрения интервьюера. Тем самым затеняется более важное качество с точки зрения конструирования выборки — подстройка под текущую ситуацию, оптимизация полевой работы. Ключевая задача построения выборки, осмысленно ориентированной на работу с доступными единицами, — приспособление, или адаптация, к существующей коммуникативной среде, а не поиск наиболее удобных для интервьюера условий работы. В категорию удобной выборки может попасть и выборка, поддерживаемая респондентами (respondent-driven sampling), и выборка методом «снежного кома». Однако это принципиально разные способы организации выборочной совокупности. В первом случае исследователь подстраивается под существующую коммуникативную ситуацию, выборка строится на основании совокупности, которая имеется в наличии на момент проведения опроса. Во втором — выборочная совокупность пространственно не ограничена. Опрос может продолжаться в любом другом месте и в любое другое время. Основной прием выборки, поддерживаемой респондентами, — это опора на рекомендации самих респондентов в ходе рекрутинга. В поиске подходящего термина мы перебрали множество вариантов названия выборки: стихийная, приемлемая, соподходящая, приспособительная, ситуативная, окказиональная и т. д. Однако остановились на конформной. В данном случае значение термина заимствовано не из психологии, а из математики, где присутствует понятие конформных (подобных) отображений. Конформная выборка — подобная складывающейся коммуникативной ситуации.
оперативности проведения опроса. Среди российских маркетинговых компаний не принято говорить о таком типе выборочного исследования. Как правило, речь идет о квотных или случайных выборках. Однако в действительности при отсутствии должного контроля над соблюдением процедуры квотирования или случайного отбора таким способом формированные выборки есть не что иное, как разновидности конформной выборки4. Исследователи лишь делают вид, что занимаются квотированием или случайным отбором, на деле же они делегируют всю ответственность за формирование выборки интервьюеру. Так, описывая выборки в торговых центрах, К.М. Мануильская лишь осторожно поправляется: «Создается впечатление, что критерии отбора отданы на откуп интервьюеру» [2, с. 136]. Непонимание простого и очевидного факта, что любая выборка отдана на откуп интервьюеру, и тем более та, где технически или экономически трудно установить процедуры контроля, влечет за собой серьезные смещения в интерпретации всего собранного материала. Любопытно, что западноевропейские исследователи не чураются конформных выборок. Более того, именно этот тип выборок наиболее распространен в маркетинговых опросах на Западе. Так, Д. Кольер и К. Бинсток проанализировали публикации в трех ведущих маркетинговых журналах с 1999 по 2003 гг. Они обнаружили, что подавляющее количество публикаций основывается на конформных выборках: 70,6% публикаций в Journal of Marketing, 91,4% — в Journal of Marketing Research, 83,0% — в Journal of Academy of Marketing Science. На втором месте, с огромным отрывом идет простая случайная выборка, а квотная и вовсе встречается в единичных случаях [17, p. 172]. Причина распространенности конформной выборки не только в облегчении процедур контроля, но и в технологических ограничениях, связанных с реализацией других выборок. Случайная выборка требует наличия, в том или ином виде, списка изучаемой совокупности для построения основы выборки; квотная — знания хотя бы структуры изучаемой совокупности по квотируемым признакам, иначе исследователь может получить весьма существенные смещения, о которых даже не будет
4 Показательный пример конформной выборки приводит Г. Хенри [27, p. 18]. Психологи исследуют зависимость между насилием в кинематографе и агрессивным поведением телезрителей. Для этого проводится тестирование студентов, согласившихся участвовать в эксперименте. Разделяют их случайным образом на контрольную и экспериментальную группы. Относится ли такая выборка к случайной? Ответ Г. Хенри — нет. Это одна из разновидностей конформной выборки с элементами случайного отбора. Для того чтобы выборка была случайной или квотной, она должна быть полностью сформирована согласно процедурам случайного отбора или квотирования. Если же на каком-то этапе исследователь или интервьюер руководствуется не формальными критериями отбора, а ситуативными решениями, перед нами конформная выборка.
догадываться [46]. Предлагаемый С. Садменом [40, 43] специальный дизайн случайной выборки в торговых центрах требует множества условий, позволяющих корректировать выборку в зависимости от покупательской активности респондентов5. Именно эти столь весомые ограничения препятствуют регулярному применению классических форм выборок в маркетинговых исследованиях во всем мире. Мы не думаем, что в России маркетинговые исследования настолько уникальны, что можно говорить об обратной ситуации — доминировании квотных и случайных выборок. Скорее следует предположить наличие лишь дискурсивного и презентационного планов выражения, привычки представлять собственную работу в наукообразных терминах6. Иными словами, перед нами всего лишь ошибка в наименовании, а не культурный или национальный феномен.
Насколько оправданно проводить методические исследования с конформными выборками, — по мнению многих методистов, неизбывном рассаднике смещений и систематических ошибок? Методический аппарат, применяемый в настоящей статье, первоначально разработан исключительно для случайных выборок, поэтому вполне
5 Речь идет об учете трех основных аспектов: где, когда и с кем проводится опрос. Место его проведения может быть определено на выходе/входе из торгового центра или в самом помещении. Садмен утверждает, что опрос вне торгового центра проще по процедуре, поскольку не требует информации о том, сколько в среднем находился респондент в торговом центре. Эта информация необходима, чтобы оценить вероятность попадания в выборку разных респондентов. Чем дольше человек находится в торговом центре, тем больше вероятность его попадания в выборку. Соответственно, для ремонта выборки предлагается задавать вопрос: «Вы не вспомните, когда примерно вы зашли в торговый центр?» Учет времени и периодичности посещения респондентом торгового центра необходим по той же причине. Люди, чаще посещающие торговые центры, имеют большую вероятность попасть в выборку. Поэтому, кроме организации выборки в определенное время, с учетом покупательского потока, требуется задать вопрос о частоте визитов: «Сколько раз, не считая сегодняшний случай, вы посещали торговый центр за последние две недели (месяц)?» Период должен соответствовать времени проведения опроса. Садмен предупреждает, что опрос короче недели и дольше месяца будет давать сильные смещения из-за влияния наиболее активных покупателей. Принципиальная разница в покупательской активности разных групп респондентов требует от исследователя оценки вероятности визитов каждого домохозяйства (если единица наблюдения домохозяйство): когда обычно посещается торговый центр, с какого входа, как часто [43, р. 42-45]. Мы ни разу, ни в одной маркетинговой компании не видели подобных методических расчетов, что еще раз доказывает несостоятельность заявлений об организации случайного отбора покупателей.
6 Подобные претензии на «большую научность» встречаются и в англоязычной литературе. Так, в довольно резкой рецензии на книгу С. Садмена по организации прикладных выборок [39] М. Раппепорт высказывается именно о недопустимой вольности в обхождении с «азбучными», на его взгляд, истинами построения выборки [33].
логично усомниться в осмысленности его приложения к «неконтролируемой» опросной процедуре. Разрешение этого сомнения мы находим у С. Садмена, который первым в академической среде легитимировал конформные выборки. Он опровергал мнение профессорской аудитории о том, что ошибки выборки, а значит и уровень неответов, можно считать лишь на случайных или близких к ним выборках. Более того, утверждал, что при наличии данных об изучаемой совокупности можно вести разговор и о статистической значимости, статистических погрешностях [42, р. 109]. Не заходя так далеко в приложении статистических процедур, основанных на принципах случайности, мы лишь утверждаем, что разработанные годами приемы и методы регистрации и контроля неответов чрезвычайно важны в любом типе выборок.
Уровень достижимости
Для проведения любого результативного опроса интервьюеру необходимо выполнить три типа условий (рис. 1). Во-первых, получить согласие на интервью. Для этого интервьюер произносил небольшую преамбулу, информируя потенциального респондента о проведении опроса, и спрашивал о возможности поговорить в течение трех-пяти минут. Только в случае дополнительного интереса к предмету, целям и заказчику исследования интервьюер с нужной детальностью описывал респонденту проект. Как правило, для принятия решения о согласии или отказе от интервью респонденту хватало лишь одной-двух фраз интервьюера: «Мы проводим опрос. Не ответите на несколько вопросов о посуде? Это займет не больше трех-пяти минут».
1) 20 < возраст < 60
2) проживает в Москве в собственной квартире или снимает ее в аренду
ПРЕЗЕНТАЦИОННЫЕ ч КВОТНЫЕ КОММУНИКАТИВНЫЕ
УСЛОВИЯ УСЛОВИЯ УСЛОВИЯ
согласие ответить на интервью
несколько вопросов; 1) взято полностью
начало разговора 2) не завершено
Рис. 1 Концептуальная схема достижимости
Во-вторых, необходимо отобрать респондентов, удовлетворяющих условиям проектируемой выборки. В настоящем опросе квотные условия касались возраста и места проживания. Респонденты должны быть старше двадцати, но младше шестидесяти включительно. Причем в отборе следовало руководствоваться средним возрастом, чтобы среднее значение попадало на 35-45-летних и общее распределение по возрасту приближалось к нормальному виду. Все респонденты должны проживать в Москве. Они могут быть не прописаны в городе, например, снимать квартиру в аренду. Запрещалось опрашивать лишь
приезжих, проживающих в гостиницах и общежитиях или снимающих комнату в коммунальной квартире. Последнее условие направлено на поддержку общей рекомендации опрашивать людей с доходом выше среднего. Это условие не регистрировалось и не контролировалось на стадии отбора. Мы можем лишь апостериорно, рассмотрев вопросы о доходах, проанализировать, насколько хорошо интервьюеры старались выполнить это пожелание.
В-третьих, уже в ходе опроса, от интервьюера требовалось сохранить внимание респондента к обсуждаемым темам и добиться ответов на все поставленные вопросы, в том числе и наиболее сенситивные, об уровне доходов. Поэтому интервьюер коммуникативно подстраивался под респондента. Если последний спешил, вопросы задавались в убыстренном темпе, ответы не уточнялись. Если респондент был склонен к разговору и давал развернутые ответы, интервьюер их внимательно выслушивал, иногда комментировал и лишь в мягкой форме старался вернуть разговор к анкетным вопросам.
Всего интервьюеры подошли к 592 посетителям торговых центров, из них согласились участвовать в опросе 268 человек, или 45,3% (табл. 1).
Таблица 1
Итоги обращения к потенциальным респондентам
Итоги обращения
N
%
Кумулятивный %
Коэффи-
циент
Полностью взятое интервью 185 31,3 31,3 ИЯ5
Прерванное интервью 8 1,4 32,6 КЯ6
Интервью не взято (немосквичи) 65 11,0 43,6 -
Интервью не взято (не подходят по возрасту) 10 1,7 45,3 СООР©
Отказы 324 54,7 100,0
Итого 592 100,0
Учитывая не вполне комфортную для человека ситуацию разговора (большинство респондентов пришли за покупками, а не общением, тем более с незнакомцами) и тенденцию к падению уровня ответов в любых массовых опросах (о которой всерьез заговорили с 1970-х гг. [34, р. 7; 48, р. 267]7), следует признать такой уровень первичной
7 На этом фоне весьма любопытна статья Т. Смита «Тренды коэффициентов не-ответов» [36], подвергающая критике доминирующую концепцию тотального спада. Он проанализировал 57 продолжающихся исследований, из которых 34 представляли одиннадцать государственных организаций, восемь проводились коммерческими фирмами, шесть — академическими институтами, три — смешанными командами из разных секторов экономики. Общий период анализа составил с 1952 по 1993 гг. Полученные данные указывали на отсутствие единой
кооперации, СООРф, довольно высоким. Коэффициент кооперации рассчитывается по следующей формуле:
(I+Р) + О
СООР( ф) --
(I + Р) + Я + О
где СООР(ф) — коэффициент первичной кооперации, I — количество полностью взятых интервью, Р — количество прерванных интервью, Я — количество отказов от участия в опросе, О — другие виды неучастия в опросе, в нашем случае прохожие, не прошедшие квотный отбор, но давшие согласие на участие в опросе.
Отметим, что введение даже мягких квот увеличило уровень недостижимости на 12,4% (табл. 1). Основной вклад внесли жители других населенных пунктов. Отклонение же по возрасту более-менее контролировалось интервьюерами визуально. Они просто не подходили к людям, которые внешне выглядели младше 20 и старше 60 лет.
Полностью взято интервью у 185 человек (31,3%), что в соответствии с международным стандартом Американской ассоциации исследователей общественного мнения представляет коэффициент от-
ветов ЯЯ58:
ЯЯ5=- 1
(I + Р ) + (Я + ЫС + О)
где ИЯ — коэффициент ответов; I — завершенные интервью (код 1.1, табл. 0); Р — частично завершенные или прерванные, интервью; Я — отказы от участия в опросе; КС — не установлен контакт; О — другие виды неучастия в опросе.
Количество прерванных интервью весьма незначительно, поэтому коэффициент ответов (ЯЯ6), учитывающий в знаменателе незаконченные интервью, мало отличается от предыдущего и составляет 32,6%:
ЯЯ6 =---------1-+Р--------
(I + Р ) + (Я + ЫС + О )
Персональные интервью в торговых центрах, в отличие от других видов опросов, не имеют уровня технической недостижимости, то
тенденции. Падение коэффициентов ответов сменялось их ростом и сильно варьировалось от организации к организации. Кроме того, редко удавалось получить сопоставимые данные: изменялись условия опроса, сильно увеличилась продолжительность интервью во многих исследовательских компаниях, изменился характер вопросов, были внедрены новые формы проведения интервью и организации выборки. Все это позволило Смиту сделать вывод о неоднозначном и комплексном характере изменений в уровне достижимости, некорректности выведения линейной закономерности в падении уровня ответов.
8 Здесь и далее коэффициенты достижимости даны в соответствии со Стандартом Американской ассоциации исследователей общественного мнения [11]. Приведенный выше коэффициент кооперации, СООР(Г), представляет нашу модификацию СООР2, в которой в числителе отсутствует показатель О — другие виды неучастия в опросе.
есть случаев, когда невозможно установить контакт с потенциальным респондентом9. Действительно, при любом дизайне выборки от интервьюера требуется обращаться к людям, которых он видит в непосредственной близости. Соответственно, здесь не соблюдается условие физического присутствия респондента, вносящее в других опросах наибольший вклад в недостижимость. Приводит ли это к увеличению коэффициента ответов в интервью в торговых центрах по отношению к телефонным и персональным интервью по месту жительства? Безусловно. В таблице 2 представлены данные двух телефонных опросов и одного опроса по месту жительства. Несмотря на отсутствие квотных условий, результативность этих опросов уступает результативности опроса в торговых центрах: ЯЯ6 в торговых центрах составил 32,6%, по месту жительства — 19%, в телефонных интервью — 26,2% (табл. 2).
Таблица 2
Значения коэффициентов результативности
при разных типах опросов, %________________________________________
Коэффи- циенты Телефонный опрос, окт. 2003 Телефонный опрос, сент. 2004 Опрос по месту жительства, авг. 2007 Опрос в торг. центрах, июль 2007
ИЯ5 23,9 - 18,0 31,3
КЯ6 26,2 - 19,0 32,6
СООР© 60,7 47,0 49,0 45,3
Примечание: Для корректного сопоставления данных анализировались опросы, проводимые либо профессиональными социологами, либо при их непосредственном участии. В телефонных опросах делалось по три обязательных звонка для недостижимых домохозяйств, в личном опросе по месту жительства было только одно обращение10. Источники: [7, с. 91, 100; 8, с. 78; 9].
Если в проекте с торговыми центрами не учитывать квоты, коэффициент ответов становится равным коэффициенту кооперации — 45,3%,
9 Пример измерения уровня технической недостижимости в телефонном опросе можно найти в наших работах [7, 8].
10 При наличии времени и финансовых ресурсов достижимость личного опроса по месту жительства, при прочих равных условиях, может быть поднята до фантастически высокого уровня. Так, в 1997 г. исследовательская компания «Демо-скоп», организуя выборки в Казани и Нижнем Новгороде, требовала от интервьюеров девятикратного посещения недоступных адресов. После первого посещения коэффициент ответов был равен 60%, после второго — 86,7%, третьего — 96,4% [5, с. 161]. Мы не можем сопоставлять эти данные с нашими результатами, поскольку автор И.Б. Назарова не показала формулу коэффициента и не раскрыла процедуры регистрации первичных кодов. Кроме того, сейчас уже нельзя говорить о столь высоких значениях коэффициента ответов. Назарова предупреждает, что наиболее труднодостижимыми оказались жители многоэтажных домов с кодовыми замками [5, с. 162], что сейчас составляет большую часть населения крупных городов. Однако прирост ответов после второго посещения на 16,7% и после третьего — на 9,7% говорит о весьма эффективном воздействии многократного посещения на уровень достижимости.
поскольку отсутствует позиция «не установлен контакт». В этом случае разница между результативностью опросов весьма существенна: 26,3% между опросом в торговом центре и по месту жительства и 19,1% между опросом в торговым центрах и телефонными интервью.
Заметим, что во всех видах опроса коэффициент кооперации примерно одинаков: около половины людей, к которым обращается интервьюер, соглашаются принять участие в опросе. Разница в коэффициенте кооперации между двумя телефонными опросами (см. табл. 2) требует дополнительного изучения, однако уже сейчас можно выдвинуть гипотезу о незначительном влиянии типа интервью на уровень кооперации. По всей видимости, следует искать иные факторы, определяющие готовность потенциальных респондентов участвовать в интервью.
Опросы в торговых центрах не имеют резерва для увеличения коэффициента ответов. У интервьюера нет возможности вторичного обращения к отказавшемуся или замешкавшемуся респонденту. Даже спонтанный отказ, вызванный скорее замешательством, нежели фактическим нежеланием участвовать в опросе, не может быть впоследствии исправлен. Непосредственно выборочный дизайн не подразумевает никаких повторных обращений. Если в оперативных исследованиях опросы в торговых центрах, несомненно, оказываются более выигрышными по критерию достижимости, то в исследованиях с большим временным и финансовым запасом телефонные и персональные опросы по месту жительства могут быть более результативными. Р. Куртин, С. Прессер, Е. Зингер предполагают, что увеличение телефонных звонков в недостижимые домохозяйства с одного до пяти увеличивает коэффициент ответов с 20% до 40%, с пяти до пятнадцати — до 60% [18, р. 414]. Исключительно огромными усилиями по достижению попавших в выборку респондентов объясняются высокие показатели коэффициента ответов в академических статьях — от 60% до 80%. Например, Д. Хокс и Д. Льюв, проведя мета-анализ 45 исследований, показали, что средний коэффициент в личных интервью равен 70,3%, в телефонных — 67,2%, в почтовых опросах — 61,3% [28]. Даже с учетом общего падения уровня ответов с 1990-х гг. по отношению к нашим дням авторы указывают на достаточно высокие показатели достижимости. В оперативных маркетинговых исследованиях, с ограниченным бюджетом и небольшим временным запасом11 по всему миру коэффициент ответов в телефонных опросах составляет от 20% до 30%, в личных интервью по месту жительства — от 15% до 18%. Весьма показательный эксперимент поставил
11 Ф. Вайсман к приведенным факторам, влияющим на низкий уровень достижимости (нехватка времени и ограниченности бюджета), добавляет жесткие и подчас
слишком специфичные характеристики целевых групп, которые интересуют заказчика, и отсутствие строгих требований контроля над качеством [48, р. 268].
С. Киттер с коллегами. Телефонный опрос проводился по расщепленной выборке в 1997 и 2003 гг. В первой части выборки время работы интервьюеров ограничивалось одной рабочей неделей, во второй — календарным месяцем. В результате коэффициент ответов, ЯЯ3, в 1997 г. для первой части выборки составил 36%, для второй — 61%; в 2003 г. он уже значительно снизился — 25% и 50% соответственно. Коэффициент кооперации, СООР3, в 1997 г. для первой части выборки составил 43%, для второй — 72%, в 2003 г. этот показатель также снизился — 34% и 58% соответственно [29, р. 763]. Эти данные вполне согласуются с показателями, полученными в наших экспериментальных планах, что снимает сомнение в невалидности высказываемых суждений о результативности разных типов опросов.
Устойчивость выборки
На уровне обыденного сознания считается, что женщины более склонны к разговорам, нежели мужчины, поэтому уровень отказов среди женщин должен быть ниже, что угрожает репрезентативности опроса, если не будут введены регулирующие отбор квоты. Однако уже в конце 1970-х гг. Т. Демайо обнаружила отсутствие значимых различий у американских мужчин и женщин в готовности принять участие в опросе [20, р. 227]. Нами эти же результаты были получены в экспериментальных планах в 2000-х гг. [8, с. 78]. Дополнительное опровержение обыденного представления дано в настоящем исследовании — доли мужчин и женщин, отказавшихся принять участие в опросе, практически совпадают — 55,4% и 54,3% соответственно (табл. 3). Единственное возмущение вносит тот факт, что мужчины существенно чаще женщин прерывают интервью, что приводит к небольшому снижению доли полностью взятых интервью у мужчин по сравнению с женщинами — 29,9% против 32,1%. В силу незначительности общего количества таких случаев они не влияют заметным образом на результаты опроса.
Возрастные группы опрошенных и неопрошенных так же практически не различаются по достижимости: отказы среди 20-40 летних составляют 54,4%, среди 41-60-летних — 57,7% (табл. 3). Поскольку возраст кодировался «на глаз» и все интервьюеры относились ко второй возрастной группе (23-35 лет), возможны смещения в определении возраста, которые и повлияли на чуть больший уровень достижимости более молодых респондентов. Кроме того, возможно влияние и коммуникативных условий: в публичных местах, к которым относятся торговые центры, люди примерно одного возраста более склонны идти на контакт, чем люди из разных возрастных групп и тем более поколений. Эта гипотеза, безусловно, требует отдельного экспериментального плана и заслуживает самого тщательного изучения. Проведя систематический анализ публикаций, А.Ю. Мягков и И.В. Журавлева утверждают, что «в социологической литературе
2 «Социологический журнал», № 1
очень мало сведений, касающихся совместного влияния возраста интервьюера и респондента на результаты интервью» [4, с. 115], и практически отсутствуют экспериментальные планы, проверяющие гипотезу «условной социальной атрибуции»12. В организованном методическом исследовании (проведено 300 личных интервью) не были получены существенные различия между разными возрастными группами интервьюеров и респондентов. В ходе исследование замечена лишь одна устойчивая зависимость: повышение положительных ответов на сенситивные вопросы при небольшой разнице в возрасте между интервьюером и респондентом [4, с. 124].
Таблица 3
Итоги обращения к респондентам в зависимости от
их пола и возраста, абс. знач., в скобках % по столбцу_____________
Итоги обращения Пол Возраст
муж. жен. <20 20-40 41-60 >60
Полностью взятое интервью 69 (30) 116 (32) - 128 (35) 57 (27) -
Прерванное интервью 6 (3) 2 (1) - 3 (1) 5 (2) -
Интервью не взято (немосквичи) Интервью не взято (не подходят по возрасту) Отказы 24 (10) 4 (2) 128 (55) 41 (11) 6 (2) 196(54) 7 (100) 36 (10) 199 (54) 29 (14) 124 (58) 3 (75) 1 (25)
Итого 231 361 7 366 215 4
Вместе с тем полученные данные не противоречат наблюдениям американских методистов за возрастными когортами отказавшихся от опроса. Так, Т. Демайо, анализируя анкеты неответивших с первого раза респондентов (взяты данные Текущего национального опроса США, проводимого ежемесячно по месту жительства; если не удавалось опросить респондента в первый месяц, к нему возвращались в последующие, общий коэффициент ответов превышал 90%), обнаружила, что наименьшее количество отказов получается по группе младше тридцати лет [20, р. 227]. В нашем случае медиана по группе 20-40-летних смещена в сторону двадцатилетних. Именно эта возрастная категория приводит к небольшому снижению общего количество отказов в группе 20-40-летних. Однако подобное смещение скорее всего не окажет существенного влияния на репрезентативность выборки по переменной возраста. Во всем мире наблюдается тенденция
12 «Модель условной социальной атрибуции базируется на эффекте взаимного соответствия/несоответствия характеристик интервьюера и респондента» [4, с. 84], то есть предполагается, что совпадение (или несовпадение) значимых характеристик интервьюера и респондента вносит значительное возмущение в ситуацию опроса.
посещения торговых центров молодыми людьми: медиана в возрастных группах покупателей приходится на 25-34 года [40, р. 429]. Большее расположение молодых участвовать в опросе соответствует и их большей доле в общем числе посетителей торговых центров.
Иными словами, исходя из незначительных расхождений по полу и возрасту, можно утверждать, что отказы по этим параметрам не оказывают заметного влияния на структуру выборки и ими можно пренебречь. В нашем исследовании наибольший вес в социальнодемографическом блоке имеет параметр дохода; именно на него должно быть направлено основное внимание методиста. Мы не можем его оценить напрямую, поскольку у нас нет информации о доходах неответивших. Тем не менее, можно прибегнуть к косвенным оценкам. Так, по уровню цен, впечатлениям интервьюеров и информации о доходах опрошенных, места проведения опроса различаются по уровню состоятельности основного контингента посетителей. Соответственно, рассматривая различия достижимости в разных торговых центрах, мы косвенно можем оценивать влияние на уровень ответов доходности попадающих в выборку лиц. Еще раз заметим, работая с таким допущением, мы можем получить лишь косвенные оценки, подлежащие дальнейшей проверке.
По общему уровню цен, наблюдениям интервьюеров и уровню доходов ответивших контингент наиболее состоятельных покупателей собирает «Крокус-Сити», затем идет сеть магазинов МЕГА в Теплом Стане и Химках, «Рамстор» у метро «Университет». Завершает список ТЦ «Золотой Вавилон» на севере столицы, около метро «Отрадное». Практически в этом же порядке повышается результативность опроса. Наиболее фешенебельный торговый центр дает наибольшее количество отказов (табл. 4). Если в остальных центрах получить согласие на интервью удается почти у каждого второго участника опроса, то в «Крокус-Сити» — у каждого пятого.
Таблица 4
Итоги обращения к респондентам в разных
торговых центрах, % по столбцу_____________________________________
тт - „ МЕГА Крокус- „ Зол. Вави- т.
Итоги обращения Теплый Рамстор Итого
Химки Сити лон
Стан
Полностью взятое 30,2 30,1 18,8 40,0 44,8 31,3
интервью
Прерванное ин- 1,1 2,2 2,9 1,0 1,4
тервью
Интервью не взято (немосквичи) 1,1 1,6 3,1 2,9 1,0 1,7
Интервью не взято
(не подходят по 16,5 13,7 2,1 8,6 5,2 11,0
возрасту)
Отказы 51,1 52,5 76,0 45,7 47,9 54,7
Итого (абс. знач.) 182 183 96 35 96 592
Казалось бы, можно сделать неоспоримое заключение о низкой достижимости высокодоходных групп. Однако не стоит торопиться с подобной оценкой. Весьма показательно, что по уровню образования опрошенные в «Крокус-Сити» значительно уступают опрошенным в других торговых центрах (табл. 5). Разговаривая с посетителями одного из самых фешенебельных молов Москвы, мы с удивлением обнаружили, что многие из очень состоятельных людей не имеют высшего образования. Получается, что посетители «Крокус-Сити» представляют довольно специфическую группу состоятельных людей с неконсистентным социально-экономическим статусом. Уровень образования наряду с доходом, профессиональным статусом и владением недвижимостью занимает ключевую позицию в формировании социально-экономического статуса. Многие исследователи подчеркивают прямую зависимость между социально-экономическим статусом и коэффициентом ответов: чем выше статус, тем более люди склонны отвечать на вопросы13. Здесь следует не смешивать недостижимость высокостатусных персон в силу невозможности выйти с ними на контакт и уровень кооперации при начале разговора. Напомним, опрашивая в торговом центре, мы полностью нивелируем такого рода недостижимость, ее попросту нет. Соответственно, можно предположить, люди с высоким доходом, но низким уровнем образования, то есть обладатели неконсистентного социальноэкономического статуса, де-факто занимающие маргинальные позиции в своей группе, не склонны участвовать в опросе.
Таблица 5
Образование респондентов, опрошенных
в разных торговых центрах, % по столбцу
Образование ИКЕА-Теплый Стан ИКЕА- Химки Крокус- Сити Рамстор Золотой Вавилон Итого
Невысшее 12 19 43 13 18 19
Высшее 88 81 57 87 82 81
Итого 100 100 100 100 100 100
Любопытно, что в целом по выборке доля отказавшихся от ответа мужчин (39,5%) больше на 2,3 процентных пункта доли мужчин (37,3%), ответивших на все вопросы анкеты (табл. 3). Обратная картина наблюдается среди опрошенных в «Крокус-Сити»: доля отказавшихся мужчин (34,2%) на 4,7 процентных пункта меньше доли мужчин, полностью ответивших на вопросы (38,9%). Конечно, общий
13 Прямые корреляции между социально-экономическим статусом и вероятностью участия в опросе давно получены исследователями, анализирующими уровень достижимости в личных интервью [13, р. 118; 15, р. 338], телефонных [32, р. 222-223; 45, р. 187] и почтовых опросах [16; 21, р. 300; 22, р. 363]. К сожалению, нам не удалось обнаружить исследований, проведенных на опросах в торговых центрах. Остается лишь предположить, что данная зависимость сохраняется и для этого типа опроса.
уровень достижимости остается несопоставимо ниже среди богатых, однако состоятельные мужчины при прямом контакте с респондентом начинают соглашаться на опрос немного чаще, нежели отказываться.
Одно из наиболее заметных отклонений в характеристиках опрашиваемых от всех посетителей торговых центров — количество спутников. Обычно люди приходят в крупные торговые центры не по одному. Поскольку кроме выбора товаров предлагается набор развлечений, их совместный поход преобразуется в определенный вид досуга. Эту гипотезу следует проверять, благо это сделать не трудно, достаточно лишь постоять несколько дней в разных частях торговых центров и закодировать поток людей по параметру «число спутников». Но уже сейчас можно усомниться в распределении по количеству спутников людей, попавших в выборку. Так, интервьюеры подошли к 360 (60,8%) одиноких визитеров и только к 173 (29,2%) людей, гуляющих по торговому центру парами, к 49 (8,3%) — по трое, к семи (1,2%) — по четверо, к четырем (0,5%) — по пятеро. Если редкая встречаемость больших групп не вызывает сомнения, то пары и тройки потенциальных респондентов, по всей видимости, встречаются гораздо чаще. Однако интервьюеры старались подходить именно к одиноким посетителям. Возможно, сказывалось психологическое ощущение большего комфорта при разговоре с человеком «один-на-один», или давала о себе знать годами формировавшаяся установка о злокачественном влиянии на опрос третьих лиц (все интервьюеры — профессиональные социологи) и необходимости избегать таких ситуаций14. Вместе с тем результативность одиноких посетителей заметно ниже результативности групп. Среди пар, к которым подходили интервьюеры, зафиксировано 46,2% отказов и 39,3% полностью взятых интервью. Среди людей, проходящих группами, — 40,7% отказов и 39,0% полностью взятых интервью. А среди людей, проходящих без спутников, — 61,1% отказов и 26,1% полностью взятых интервью (табл. 6).
Таблица 6
Итоги обращения к респондентам в зависимости
от количества их спутников, % по столбцу___________________________
^ Количество спутников
Итоги обращения --------------------------------- Итого
нет один два и более
Полностью взятое интервью 26,1 39,3 39,0 31,3
Прерванное интервью 0,3 1,2 8,5 1,4
Интервью не взято (немосквичи) 1,7 1,7 1,7 1,7
Интервью не взято (не подходят по 10,8 11,6 10,2 11,0
возрасту)
Отказы 61,1 46,2 40,7 54,7
Итого (абс. знач.) 360 173 59 592
14 В методических публикациях присутствие во время интервью иных, кроме респондента, людей рассматривается не иначе как проблема, с которой должен бороться интервьюер. Отсюда чаще речь идет даже не об эффекте, а о проблеме третьих лиц. См., например: [12, с. 63-64].
Показательно, что неповеденческие характеристики результативности, отражающие квотные условия (немосквичи, неподходящий возраст), остаются неизменными в разных по численности группах респондентов и потенциальных участников опроса. Варьируется лишь вербальное поведение опрашиваемых. Это дает еще один повод задуматься над причинами различий коммуникативных особенностей группового разговора. Вероятно, третьи лица играют роль катализатора, усиливая чувствительность людей к социальным нормам и правилам вежливости, не позволяя сразу отказать в разговоре. Если же завязывается хотя бы минимальный обмен репликами, отказ становится еще более трудным действием. Кроме того, одиночные прохожие, чаще шли с пустыми руками, в то время как пары — с покупками: сделали покупки 50,9% людей с одним и более спутником и только 33,6% людей без спутников. Можно предположить, во-первых, что за покупками люди, как правило, приходят не по одному, во-вторых, именно покупатели более склонны отвечать на вопросы о товарах. Все это должно играть на руку интервьюеру, стремящемуся максимизировать число полностью взятых интервью.
Эффект интервьюера
В инструктивных материалах от интервьюера требовалось минимизировать процент отказов, соблюдая лишь квотные условия. Ни коим образом не регламентировался порядок и место отбора респондентов. Так, мы надеялись обнаружить наиболее эффективные стратегии проведения интервью, которые де-факто реализуются в любых опросах в торговых центрах, даже если де-юре выставлены более жесткие ограничения. Как правило, у опросных фирм не хватает ресурсов для тотального контроля над работой интервьюеров. Поэтому важно знать, какая стратегия интервьюирования наиболее результативна, какими нарушениями валидности и репрезентативности она может быть чревата.
Сравнивая индивидуальную результативность опроса, нетрудно заметить существенное превышение доли полностью взятых интервью и, соответственно, более низкий процент отказов у интервьюеров женского пола (табл. 7). Ссылаясь на весьма авторитетных исследователей [14, р. 171; 26, р. 253-254; 35, р. 68-69], А.Ю. Мягков и И.В. Журавлева выделяют «неслучайное закрепление интервьюеров за респондентами» (наряду с большой загрузкой интервьюеров и их низкой квалификацией) как наиболее сильный фактор систематических смещений, связанных с эффектом интервьюера [3, с. 102]. Уместно предположить, что в случае конформной выборки при прочих равных условиях разброс между результативностью интервьюеров должен значительно превышать такие же показатели в случайной выборке. Однако этого не происходит. Диапазон различий в отказах в личном
опросе, организованном А.Ю. Мягковым и И.В. Журавлевой, составляет от 0% до 40% (ст2 = 214,8) [3, с. 86], в нашем исследовании — от 38,6% до 67,7% (ст2 = 178,3). Понятно, что при стольких различиях в исследованиях (разные типы опросов, группы интервьюеров, анкеты, место и время проведения интервью) нельзя всерьез относиться к полученным сопоставлениям. Однако у нас есть возможность для формулирования весьма любопытных гипотез, а именно: (1) неслучайный отбор респондентов не приводит к значительному всплеску эффекта интервьюера; (2) даже хорошо реализованная случайная выборка в результате коммуникативных особенностей интервью принимает черты конформного отбора. Если предложенные гипотезы подтвердятся, то это послужит дополнительным аргументом в пользу конформных выборок.
Таблица 7
Индивидуальная результативность интервьюеров,
абс. знач. и % по строке
Интер- вьюер Полностью взятые интервью Прерванные интервью Немо- сквичи Не тот возраст Отказы Итого
Рог (м)* 46 (23) 2 (1) 20 (10) 3 (2) 131 (65) 202
Леб (м) 27 (21) 2 (2) 8 (6) 5 (4) 88 (68) 130
Тур (ж) 73 (42) 2 (1) 31 (18) 2 (1) 68 (39) 176
Кож (ж) 15 (56) - - - 12 (44) 27
Сол (ж) 24 (42) 2 (4) 6 (11) - 25 (44) 57
Итого 185 (31) 8 (1) 65 (11) 10 (2) 324 (55) 592
*Примечание: пол интервьюера: м - мужчина, ж - женщина.
Квотные условия играют куда большую роль в формировании коэффициента ответов. Мягкая квота на возраст практически не влияет на него, а вот требование опрашивать лишь москвичей уже заметно снижает коэффициент ответов. Здесь возникает реальная угроза приписывания немосквичам статуса проживания в Москве, дабы увеличить результативность собственной работы. Тем более люди, не проживающие в Москве, по словам интервьюеров, более расположены к разговору, нежели москвичи. Эта ситуация хорошо вписывается в теорию реципрокности, согласно которой люди склонны отвечать таким поведением, которое ожидают встретить от окружающих [23; 25, р. 176]. Приезжие часто сами задают вопросы прохожим, проявляют больший интерес к необычной для них обстановке, поэтому обращение к ним не ассоциируется с вмешательством в личное пространство, навязыванием коммуникации.
Стандартное требование оставить контактный телефон для возможности последующей проверки не вполне подходит к подобному опросу, поскольку может сместить данные. Контактные телефоны
оставят далеко не все респонденты, что с одной стороны, снизит количество полностью завершенных интервью, с другой — обесценит контроль над выборкой, поскольку у интервьюера появится реальный шанс утверждать, что приписанные к москвичам респонденты, в действительности к ним не относящиеся, входят в группу неответивших на вопрос о контактном телефоне.
Пока что все рассмотренные условия отбора не зависели от пола интервьюера. Большой процент немосквичей у Тур(ж) объясняется местом проведения опроса — немосквичи чаще встречаются на выходе из ИКЕА. Как отмечалось, отказы от интервью чаще получали интервьюеры мужского пола (табл. 3). В настоящем исследовании мы не можем дифференцировать и рассчитать влияние двух факторов — пол интервьюера и успешность стратегии отбора. Девушки внимательнее мужчин подходили в нашем исследовании к отбору респондентов, как правило, точнее определяя тех, кто согласится участвовать в опросе. Если первый фактор невозможно изменить и единственный шанс увеличить достижимость — привлекать к опросу интервьюеров женского пола, то второй фактор, связан с навыками отбора. Однако именно второй фактор представляет наибольшую угрозу возникновения систематических смещений, связанных с эффектом интервьюера. Если отбор респондента производится исходя из личных предпочтений и ситуативной оценки достижимости еще до начала разговора, есть риск сместить исследование к группам, наиболее привлекательным для конкретных интервьюеров.
Классическими приемами увеличения достижимости, вошедшими во все учебники по методике массовых опросов, считаются:
(а) подтверждение важности и ценности мнения опрашиваемого,
(б) заверение в конфиденциальности получаемой информации [41, р. 117;
20, р. 224; 49, р. 217]. Если первая рекомендация с небольшими модификациями использовалась интервьюерами, то вторая — ни разу не была озвучена в ходе опроса. Требования, когда-то сформированные на основе самоотчетов респондентов (анализируя причины отказов, Т. Демайо в качестве основных выделял невыполнение указанных выше условий и наличие у респондентов прошлого негативного опыта участия в опросе [20, р. 230]), уже давно не отражают реалии сегодняшнего дня. Люди по-другому стали смотреть на опросы как таковые. Заверения в важности и конфиденциальности уже не играют ключевую роль в получении согласия на интервью15. На согласие потенциальных респондентов скорее
15 Любопытно, что именно американские коллеги настаивают на акцентировании приватности в первых репликах интервьюера. Из американской методической литературы попали эти требования в российские маркетинговые компании. Однако ни один из объективированных аргументов не работает в ходе спонтанной ситуации интервью.
влияют ситуационные факторы, возникновение личной эмпатии к интервьюеру, о чем косвенно свидетельствует и уменьшение отказов у интервьюеров женского пола. В обыденном сознании женщины не только более привлекательные, но и более безопасные собеседники. Большая результативность женщин не раз упоминалась в методических отчетах и стала классикой рекомендательного жанра. См., например: [4, с. 114; 6, с. 109; 35; 41, р. 115]. Вместе с тем не следует забывать о тех потенциальных смещениях, которые могут привнести представительницы слабого пола. Поэтому категоричный отказ мужчинам в работе интервьюерами, озвучиваемый некоторыми маркетинговыми фирмами, вызывает, как минимум, удивление их методической близорукостью.
Социально-демографические характеристики опрошенных
Процедуры по регистрации рекрутинга респондентов и контролю над ним необходимы для корректной интерпретации содержательных переменных исследования, возможности их сопоставления с результатами других опросов. Среди наиболее типичных переменных традиционно выделяют социально-демографические признаки.
Конформная выборка в торговом центре разительно отличается от наиболее распространенных телефонных и личных опросов. В ней доминирует молодежь и люди среднего возраста, получившие высшее образование и имеющие высокий уровень дохода (табл. 8). Перед нами та группа населения, которую обычно причисляют к среднему классу, которая формирует покупательский спрос на рынках потребительских товаров.
Кроме выяснения субъективной оценки материального положения семьи, респондентов спрашивали об уровне доходов, задавая еще два вопроса: «Какой вид дохода был в вашей семье за прошлый месяц? — заработная плата; поступления от частного бизнеса; пенсии, дотации, льготы; помощь родственников, друзей; прочие поступления» и «Учитывая все виды дохода, сколько денег было всего получено вашей семьей в прошлом месяце? — менее $1000, от $1000 до $5000, более $5000». На удивление, всего 18,5% респондентов отказались отвечать на второй вопрос16, 1,6% — на первый. У 11% опрошенных семейный доход более пяти тысяч долларов в месяц, у 62% — от тысячи до пяти тысяч. Выборка практически полностью состояла из респондентов, работающих по найму или организующих собственный бизнес. Лишь 13,5% указали, что в их семье есть люди, получающие дотации и пенсии, и 4,6% получают помощь от родственников.
16 Как правило, уровень отказов на вопрос о доходах существенно превышает
20% от опрошенных [44, р. 78].
Таблица 8
Социально-демографические характеристики опрошенных, % по столбцу
Переменные Телефонный опрос, окт. 2003 Телефонный опрос, сент. 2004 Опрос по месту жительства, авг. 2007 Опрос в торг. центрах, июль 2007
ПОЛ
мужской женский 41,1 58,9 38.5 61.5 46,8 53,2 39.5 60.5
ВОЗРАСТ
<26 12,4 13,4 19,4 21,2
26-35 13,2 17,3 18,3 35,9
36-45 19,2 20,1 17,8 24,7
46-55 20,1 15,9 19,6 13,1
>55 35,1 32,6 25,0 5,1
ОБРАЗОВАНИЕ
Невысшее 51,8 49,9 61,8 19,0
Незаконченное высшее 6,3 6,8 5,7 13,0
Высшее 41,5 43,0 32,4 66,0
Отказ от ответа 0,3 0,3 0,1 2,0
СУБЪЕКТИВНОЕ МАТЕРИАЛЬ-
НОЕ ПОЛОЖЕНИЕ СЕМЬИ
Денег достаточно, чтобы ни в чем себе не отказывать 1,1 1,1 0,7 8,0
Покупка товаров длительного
пользования не вызывает трудностей, однако покупка квартиры 15,5 22,1 17,9 58,5
недоступна
Денег хватает на продукты питания и одежду, более крупные 44,5 39,7 33,6 27,5
покупки приходится откладывать
Денег хватает только на продукты питания 30,3 24,8 29,8 1,5
Денег не хватает даже на продукты питания 7,4 9,1 17,8 0,5
З/О 1,3 3,3 0,1 4,0
Примечание: В опубликованных источниках описаны технические особенности выборок, характеризующие уровень достижимости [7, 8, 9].
Чтобы реализовать подобную выборку классическими методами опроса, потребуются значительные усилия по квотированию и отбору искомых респондентов. Не удивительно, что прагматически ориентированные маркетинговые компании все реже и реже обращаются к телефонным опросам и интервью по месту жительства, предпочитая им опросы в местах продаж. Если задача состоит не в репрезентации населения какого-то города, области или страны в целом, а в выделении высокодоходных, ориентированных на потребление групп, лучший способ организации выборки трудно себе представить.
Методические рекомендации
Не только в России, но и на Западе наиболее привычным способом обращения с неответами является их полное игнорирование [17, p. 165]17. Кто-то делает это несознательно, кто-то опирается на предположение, что отказавшиеся от участия в опросе ничем не отличаются от согласившихся. В любом случае руководствоваться в маркетинговых исследованиях лишь гипотетическими доводами представляется слишком рискованной стратегией, особенно тогда, когда результаты опросов нужны заказчику для принятия значимых для компании решений. Л. Миллер и К. Смит в 1983 г. утверждали, что даже десятипроцентный уровень отказов не гарантирует полного отсутствия смещений, связанных с неответами [30, p. 47]. Что же говорить о наших днях, когда семидесятипроцентный уровень недостижимости считается вполне приемлемым для массового опроса. И дело здесь не в стремлении методистов добиться максимальной точности прогноза, в чем вполне обоснованно сомневаются многие специалисты, организующие массовые опросы. Задача состоит в корректной интерпретации полученных данных, отказе от конструирования и обоснования собственных домыслов, в которых полученные результаты используются лишь в качестве аргументов для уже сформировавшихся суждений. Проводя многочисленные исследования, маркетинговые компании могут накапливать уникальный опыт о реальных характеристиках изучаемой совокупности18. Однако этого, как правило, не происходит,
17 Проанализировав публикации с 1999 по 2003 г. трех маркетинговых журналов (Journal of Marketing, Journal of Marketing Research, Journal of Academy of Marketing Science), Д. Кольер и К. Бинсток обнаружили практически общепринятое правило раскрывать информацию об уровне достижимости. В среднем по всем журналам менее чем в 3% статей не было указаны коэффициенты ответов [17, p. 173]. Пусть маркетологи не уделяют достаточно внимания анализу неот-ветов, но, как минимум, их рассчитывают. К гораздо более удручающим выводам по исследованиям в области управления пришли С. Вернер с коллегами [47]. Они проанализировали публикации в десяти ведущих журналах по менеджменту: Academy of Management, Administrative Science Quarterly, Journal of Applied Psychology, Human Relations, Journal of Organizational Behavior, Journal of Management, Journal of Small Business Management, Group and Organization Management, SAM Advanced Management Journal. За пять лет, с 2000 по 2004 гг. включительно, отобрано 2096 релевантных статей, посвященных результатам массовых опросов. Только в 30% публикаций приводились сведения о неответах. Придерживаясь традиции анализа исключительно «научных» (читай, случайных) выборок, авторы изъяли из рассмотрения статьи, описывающие конформные выборки. Вероятно, статей, в которых указан уровень достижимости, было бы еще меньше.
18 В очень редких случаях российские маркетологи могут последовать совету
В. Соулса с коллегами [37] обратиться к статистическим данным для анализа репрезентативности полученных оценок. Пока корректность работы государственных статистических органов вызывает большие сомнения, исследователям не остается ничего иного, как самостоятельно накапливать информацию для этих целей.
поскольку, руководствуясь лишь анкетными данными, они теряют значимые параметры, связывающие одно исследование с другим, — характеристики ответивших, в контексте всех потенциальных участников опроса.
Заполнение формы регистрации отказов и последующий расчет коэффициентов результативности опроса является обязательным для любого типа выборки [47, р. 288]. Иначе нельзя говорить о качестве массового опроса. На этом, например, настаивает Американская ассоциация исследователей общественного мнения. В отчетах и последующих публикациях следует стремиться к максимальной прозрачности расчета коэффициентов результативности. А. Дейл выделяет несколько наиболее значимых вопросов, которые должны быть решены в любом тексте, написанном по мотивам количественных исследований: Что попадает в числитель коэффициента ответов — только полностью взятые интервью или и незаконченные? Как учитываются интервью, данные доверенными лицами? Как определяются соответствующие процедуре интервью отсутствие контакта и отказы при расчете коэффициента ответов? [19, р. 148].
Поскольку заполнение форм регистрации отказов достаточно рутинно, интервьюер не может установить «правильные» закономерности, сформировать мнение о должном состоянии выборки. Исследователь же получает достоверную картину того, что действительно происходило в поле. Очень важно иметь не только самоотчеты интервьюеров, основанные на формализованной или спонтанной коммуникации с попавшими в выборку людьми [6, с. 111]19, но и «косвенные» показатели полевой работы: продолжительность разговора, время, место, наличие спутников и т. д. Более того, составление протокола текущей работы, чем и является форма регистрации отказов, оказывает большую психологическую поддержку, позволяет отстраниться от негативных эпизодов, связанных с опросом. Все усилия уходят на корректную регистрацию происходящих событий, что существенно снижает уровень эмоционального напряжения интервьюера.
Итак, что же следует делать в первую очередь при корректном проведении опроса, помимо заполнения анкеты?
Во-первых, должна быть разработана и протестирована удобная и компактная форма регистрации отказов, в которую включены сле-
19 Привычка работать лишь с анкетным материалом или самоотчетами интервьюеров нередко ставит под сомнения выводы социолога. Так, Л. Д. Гудков объясняет падение достижимости в опросах общественного мнения подавлением вооруженного мятежа в октябре 1993 г. и, как следствие, снижением доверия населения к власти [1]. Как представляется, автор переносит собственные воззрения на аудиторию всей страны. Н.А. Романович утверждает, что занятость является основной причиной отказов у молодых людей 15-29 лет [10], хотя перед нами не что иное, как форма вежливого отказа, выраженного в просторечных ответах: «извините, я занят», «мне некогда», «у меня нет времени».
дующие обязательные поля: дата, время и место проведения опроса, ФИО интервьюера, результат обращения к посетителю торгового центра (интервью взято полностью, прервано интервью, отказ от ответа, не подходит по квоте). Помимо обязательных переменных весьма полезно вводить дополнительный набор признаков, который может состоять из социально-демографических, особенностей коммуникации, количества спутников, иных параметров, значимых для конкретного исследования.
Во-вторых, не следует руководствоваться общим соображением, связанным с регистрацией максимального числа признаков. Гораздо эффективнее выделить наиболее значимые признаки и затратить дополнительные усилия на их регистрацию. Даже получив большое число отказов, весьма полезно иметь хотя бы приблизительные оценки параметров неответившей совокупности посетителей торгового центра. Например, в случае с опросом высокодоходных групп даже после получения отказа от участия в опросе можно регистрировать внешний вид человека на предмет добротности одежды и, возможно, спрашивать о его доходе.
В-третьих, если реализуется смешанный дизайн конформной выборки с элементами квотирования, чрезвычайно важно регистрировать несоответствие прохожих предлагаемым квотам. Только таким образом можно оценить как качество работы интервьюеров, так и реалистичность составленных квотных заданий. Например, при небольшом количестве несоответствующих квотному заданию прохожих следует проверить иные признаки, описывающие работу интервьюера, и, возможно, исключить собранные им данные из дальнейшего анализа.
В-четвертых, необходимо вести общую базу данных всех опросов, проведенных компанией и регулярно составлять аналитические таблицы достижимости. Расчет коэффициентов ответов и кооперации, их сопоставление и анализ позволят руководству компании наладить эффективное управление персоналом, установить критерии премирования и продвижения наиболее успешных интервьюеров и менеджеров проектов. Причем успех первых должен оцениваться не только по количеству опрошенных, но и по качеству соблюдения процедуры опроса. Оценка вторых — не только по презентационным материалам, но и по точности выполнения намеченных и реализованных процедур интервьюирования.
В-пятых, важно подробно и корректно описывать процедуры формирования выборки, поскольку любое изменение выборочного дизайна может повлечь существенные колебания коэффициентов результативности опроса. Рамочные, поверхностные описания выборки в дальнейшем приведут к неверным, а подчас и ошибочным интерпретациям или не позволят другим исследователям работать с собранным материалом. Так, приводимые С.Р. Хайкиным и Э.П. Павловым коэффициенты ответов не позволяют их интерпретировать должным образом из-за отсутст-
вия как детального описания способа расчета, так и вразумительного изложения дизайна выборки. Упоминание о том, что интервьюеру выдается двойное количество адресов по каждому квотному респонденту и он сам решает, кого опрашивать [12, с. 58-59], лишь подчеркивает нераскрытые в статье особенности выборочного дизайна, смещающего выборку от квотной к конформной.
В-шестых, в обязательном порядке следует доводить до сведения интервьюеров результаты методической работы. Это привносит осмысленность в коммуникацию полевого и аналитического отделов компании. Создает реальный повод для конструктивной кооперации между подразделениями. Снимает проблему «двоемыслия» в сознании исследователя, с одной стороны, читающего в специальной литературе многочисленные требования к дизайну выборки, с другой — закрывающего глаза на явные нарушения ее практической реализации. Если технически, организационно и финансово компания может поддерживать исключительно конформный тип выборочных исследований, не нужно их называть квотными или случайными. Кроме того, даже выигрышность последних типов выборок, по сравнению с конформной, не очевидна, что подлежит дальнейшему изучению.
В-седьмых, коэффициенты результативности опроса должны сопоставляться с содержательными переменными, повторяемыми из опроса в опрос. Обычно к ним относят социально-демографические признаки. Однако если компания специализируется на том или ином сегменте рынка или ей разработаны значимые признаки, подходящие для всех выборок, имеет смысл включить их в анализ исследовательской работы. Необходимо не реже раза в год проводить ревизию накопленных материалов, формировать заключения как об изменениях в исследуемых совокупностях, так и о новациях в собственной работе.
Таким образом, методическая работа перестает быть «бантиком», украшающим общий поток рутинной исследовательской практики, она задает и координирует усилия опросной организации соответствовать требованиям заказчика не на презентационном, а на содержательном уровне.
ЛИТЕРАТУРА
1. Гудков Л.Д. Характеристики респондентов, отказывающихся от контактов с интервьюерами // Мониторинг общественного мнения: Информационный бюллетень. 1996. № 4. С. 45-48.
2. Мануильская К.М. Влияние интервьюера в уличном опросе на выбор респондентов и отказ от контакта // Социологические этюды: Сборник статей аспирантов / Под общ. ред. М.К. Горшкова; Сост. Т.Н. Короткова, Л. А. Окольская. М.: Институт социологии РАН, 2006. С. 136-149.
3. Мягков А.Ю., Журавлева И.В. Эффект интервьюера: опыт количественной оценки в персональном интервью // Социология: методология, методы, математические модели. 2005. № 21. С. 78-107.
4. Мягков А.Ю., Журавлева И.В. Эффект интервьюера в персональном интервью: методология анализа и методы оценки. Иваново: [Б.и.], 2006.
5. Назарова И.Б. Непроведение опроса и отказ от интервью // Социологический журнал. № 1/2. 1998. С. 161-167.
6. Назарова И.Б. Качество опроса: факторы неответов // Социологические исследования. 1999. № 11. С. 108-114.
7. Рогозин Д.М. Влияние интервьюера на доступность респондентов в телефонном опросе // Социологический журнал. 2004. № 1/2. С. 75-105.
8. Рогозин Д.М. Результативность телефонного опроса в зависимости от ограничений на выбор респондента внутри домохозяйства // Социологический журнал. 2005. № 3. С. 52-84.
9. РогозинД.М., ТурчикА.В. [Рукопись] Отчет о пилотажном исследовании коммуникативной ситуации рекрутинга / Фонд «Общественное мнение». М., 2007.
10. Романович Н.А. Отказы респондента в зависимости от восприятия им опроса и его методов // Мониторинг общественного мнения: Информационный бюллетень. 1996. № 4. С. 42-45.
11. Стандартные определения: систематическое описание диспозиционных кодов и коэффициентов результативности для массовых опросов (Американская ассоциация исследователей общественного мнения. 3-е изд.) / Пер. с англ. Д.М. Рогозина, Е.М. Киселева // Социологический журнал. 2005. № 2. С. 78-119.
12. Хайкин С.Р., Павлов Э.П. Как помочь интервьюеру (из опыта методических исследований) // Социологические исследования. 1991. № 4. С. 58-65.
13. Benson S., Booman W.P., ClarkK.E. A study of interview refusals // Journal of Applied Psychology. 1951. Vol. 35. P. 116-119.
14. Bradburn N.M., Sudman S. Improving interview method and questionnaire design. San Francisco: Jossey-Bass, 1979.
15. Champion D.J., Sear A.M. Questionnaire response rate: A methodological analysis // Social Forces. 1969. Vol. 47. P. 335-339.
16. Clausen J.A., FordR.N. Controlling bias in mail questionnaires // Journal of the American Statistical Association. 1947. Vol. 42. P. 497-511.
17. Collier J.E., BienstockC.C. An analysis of how nonresponse error is assessed in academic marketing research // Marketing theory. 2007. Vol. 7. No. 2. P. 163-183.
18. Curtin R., Presser S., Singer E. The effects of response rate change on the index of consumer sentiment // Public Opinion Quarterly. 2000. Vol. 64. No. 4. P. 413-428.
19. Dale A. Quality issues with survey research // International Journal of Social Research Methodology. 2006. Vol. 9. No. 2. P. 143-158.
20. DeMaio T.J. Refusals: Who, where, why // Public Opinion Quarterly. 1980. Vol. 44. No. 2. P. 223-233.
21. Franzen R., LazarsfeldP.F. Mail questionnaire as a research problem // Journal of Psychology. 1945. Vol. 20. P. 293-320.
22. Goudy W.J. Nonresponse effects on relationships between variables // Public Opinion Quarterly. 1976. Vol. 40. P. 360-369.
23. GouldnerA.W. The norm of reciprocity: A preliminary statement // American Sociological Review. 1960. Vol. 25. P. 161-178.
24. Goyder J. Socio-demographic determinants of response // Social survey. Vol. 4 / Ed. ву D. de Vaus. London: Sage, 2002. P. 93-107.
25. GrovesR.M., Gialdini R.B., CouperM.P. Understanding the decision to participate in a survey // Social survey. Vol. 4 / Ed. By D. de Vaus. London: Sage Publication, 2002. P. 172-190.
26. Groves RM., Magilavy L.J. Measuring and explaining interviewer effects in centralized telephone surveys // Public Opinion Quarterly. 1986. Vol. 50. No. 2. P. 251-266.
27. Henry G. Practical sampling. New York: Sage Publication, 1990.
28. Hox J.J., Leeuw D. A comparison of nonresponse in mail, telephone, and face-to-face surveys // Quality and Qauntity. 1994. Vol. 28. No. 4. P. 329-344.
29. Keeter S, Kennedy C., Dimock M., et al. Gauging the impact of growing nonresponse on estimates from a national RDD telephone survey // Public Opinion Quarterly. 2006. Vol. 70. No. 5. P. 759-779.
30. Miller L.E., Smith K.L. Handling nonresponse issues // Journal of Extension. 1983. Vol. 21. No. 5. P. 45-50.
31. Namias J. Measuring variation in interviewer performance // Journal of Advertising Research. 1966. Vol. 6. No. 1. P. 8-12.
32. O’NeilM.J. Estimating the nonresponse bias due to refusals in telephone surveys // Public Opinion Quarterly. 1979. Vol. 43. P. 218-232.
33. RappeportM. [Rev.] Sudman S. Applied sampling. New York: Academic Press, 1976 // Public Opinion Quarterly. 1977. Vol. 41. No. 2. P. 281-282.
34. Remington T.D. Telemarketing and declining survey response rates // Journal of Advertising Research. 1992. Vol. 32. P. 6-7.
35. Singer E., FrankelM.R., Glassman M.B. The effect of interviewer characteristics and expectations on response // Public Opinion Quarterly. 1983. Vol. 47. No. 1. P. 69-83.
36. Smith T.W. Trends in non-response rates // Social survey. Vol. 4 / Ed. by
D. de Vaus. London: Sage Publication, 2002. P. 142-156.
37. Sousa V.D., Zauszniewski J.A., Musil C.M. How to determine whether a convenience sample represents the population // Applied Nursing Research. 2004. Vol. 17. No. 2. P. 130-133.
38. Stoop I.A. The hunt for the last respondent: Nonresponse in sample surveys. New Brunswick: Transaction Publishers, 2005.
39. Sudman S. Applied sampling. New York: Academic Press, 1976a.
40. Sudman S. Improving the quality of shopping center sampling // Journal of Marketing Research. 1980. Vol. 17. No. 4. P. 423-431.
41. Sudman S. Sample surveys // Annual Review of Sociology. 1976. Vol. 2. P. 107-120.
42. Sudman S., Allenby G., Meyer R, et al. Other statistical issues // Journal of Consumer Psychology. 2001. Vol. 10. No. 1/2. P. 109-113.
43. Sudman S., Kalton G. New development in the sampling of special populations // Social survey. Vol. 4 / Ed. by D. de Vaus. London: Sage, 2002. P. 20-48.
44. Tomaskovic-Devey D., Leiter J., Thompson S. Item nonresponse in organizational surveys // Sociological Methodology. 1995. Vol. 25. P. 77-110.
45. Tucker C. Interviewer effects in telephone surveys // Public Opinion Quarterly. 1983. Vol. 18. P. 84-95.
46. Weinberger M. Getting the quota sample right // Journal of Advertising Research. 1973. Vol. 13. No. 5. P. 69-72.
47. Werner S., PraxedesM., Kim H.G. The reporting of nonresponse analysis in survey research // Organizational Research Methods. 2007. Vol. 10. No. 2. P. 287-295.
48. Wiseman F. Nonresponse in consumer surveys // Advances in Consumer Research. 1981. Vol. 8. No. 1. P. 267-269.
49. Wrenn B., Sevens R.S., Loudon D.L. Marketing research: Text and cases. London: Haworth Press, 2006.
