CC BY-NC-ND
143
М. М. Соколов, А. Ю. Казанцев
Типы опросов, выборочные смещения и эффекты квоты: результаты эксперимента с трёхосновной выборкой в российском
мегаполисе
i
Соколов Михаил Михайлович — кандидат социологических наук, профессор, директор Центра институционального анализа науки и образования, Европейский университет в Санкт-Петербурге. Адрес: Россия, 191187, Санкт-Петербург, ул. Шпалерная, д. 1.
Email: msokolov@eu.spb. ru
В статье анализируется влияние способа проведения опроса населения российского мегаполиса (по мобильным и стационарным телефонам, уличный опрос посетителей сетевых продуктовых магазинов) N = 2100, для каждой из подвыборок N = 700) на его результаты. Мы анализируем также влияние введения квот на характеристики выборочной совокупности и показываем, что (а) достижимость респондентов по стационарным телефонам существенно определяется характеристиками стиля жизни, который связан с полом и возрастом (в первую очередь избыточная представленность пенсионеров); (Ь) достижимость респондентов по мобильным телефонам определяется факторами, связанными с образованием и культурным капиталом; (^ в большинстве случаев введение демографических квот ведёт к общей конвергенции результатов, полученных с помощью всех форм опросов, и в первую очередь — нивелированием смещений при опросе по стационарным телефонам, однако из этого правила есть исключения, в частности — дивергенция по доходам возрастает; общая конвергенция показателей выборочной совокупности после введения демографических квот не гарантирует приближения к истинным значениям генеральной совокупности, поскольку не устраняет факторов, влияющих на достижимость по всем каналам (например, факторы, связанные с характером занятости), и есть основания считать, что влияние этих факторов может возрастать, делая общие оценки некоторых переменных менее точными. Кроме того, мы констатируем следующее: (1) вероятно, существуют проблемы искренности, которые минимальны в случае ано-нимногоуличного опроса; (2) выборочные смещения, зависящие от метода, могут затрагивать не только оценки отдельных переменных, но и их статистические связи.
Ключевые слова: методология социологического исследования; опросы; выборка; репрезентативность; квоты; культурное потребление.
Анкетные опросы традиционно являются одним из основных источников данных для эмпирической социологии, и, с точки зрения «человека с улицы», они практически синонимичны социологии как таковой. Хотя социологи обычно протестуют против такого отождествления, бесспорно, что значительная часть классики, в том числе экономической социологии, от П. Бурдьё до М. Грановеттера, зиждется на фундаменте фактов, собранных
Авторы признательны за советы и критику М. Е. Илле, Д. М. Рогозину и К. Д. Титаеву. Исследование проведено благодаря внутреннему гранту Европейского университета в Санкт-Петербурге.
Казанцев Александр Юрьевич — директор, ООО «Санкт-Петербургский социологический научно-исследо вательский центр». Адрес: Россия, 190005, Санкт-Петербург, Измайловский пр., д. 14.
Email: snihome@list.ru
опросными методами. В этом смысле дискуссии, касающиеся возможных ограничений опросных данных и способа обхода этих ограничений, затрагивают самый широкий круг их пользователей. В данной статье мы описываем результаты пилотного исследования, которое проливает свет на две регулярно возобновляющиеся среди пользователей опросных технологий дискуссии. Первая из этих дискуссий касается предполагаемых влияний, которые метод проведения опроса — уличный, квартирный, с использованием мобильных или стационарных телефонов — оказывает на его результаты. Вторая дискуссия касается возможности использования демографических квот для ликвидации искажений, связанных с достижимостью информанта.
Существует почти необъятная англоязычная литература, посвящённая этой тематике (см. обзор в кн.: [Рогозин et я1. 2016]), однако прямое калькирование выводов из неё затруднено тем, что характеристики достижимости респондентов и особенности их взаимодействия с интервьюерами могут быть (и, вероятно, являются) страноспецифичными. Отечественная дискуссия скромнее, хотя в последние годы мы и наблюдаем значительное оживление, стимулированное, похоже, в первую очередь «крымскими опросами» [Рогозин 2014; Османов 2015; 2016]. Из важных текстов, имеющих отношение к поставленным в этой статье вопросам, нужно назвать публикации, оценивающие ошибки покрытия генеральной совокупности исследованиями с использованием мобильных или стационарных телефонов [Сапонов 2015], а также сочетаниями этих двух каналов в двухосновной выборке [Османов, Рогозин 2013; 2016]. Последняя из упомянутых публикаций содержит также рекомендации по вычислению долей мобильных и стационарных номеров телефонов в такой выборке, основанные на стремлении воспроизвести демографическую структуру генеральной совокупности без введения квот.
Возможности реализации спроектированной выборки в обычных поквар-тирных опросах оценивались в публикации Д. Рогозина и А. Ипатовой с тем неутешительным выводом, что большинство интервьюеров систематически не выполняют инструкций по отбору информантов, превращая выборку из маршрутной в де-факто примитивную квотную с отбором какого-то числа представителей каждой категории [Рогозин, Ипатова 2015]. Насколько нам известно, тема эффектов квот (возможные следствия введения ограничений на отбор той или иной категории респондентов) затрагивалась в русскоязычной литературе только ad hoc2. Так, например, в статье Т. Османова, по-свящённой проектированию выборки крымского опроса [Османов 2015], делались интересные наблюдения о следствиях различия в процедурах квотирования опроса Всероссийского центра изучения общественного мнения (ВЦИОМ), который использовал квоты по образованию, и Фонда общественного мнения (ФОМ), который не применял их. В выборки ФОМа были сверхпредставлены люди с высшим образованием, однако ВЦИОМ получил выборку с избыточно представленной категорией людей со средним специальным образованием. Автор, однако, предоставляет самому обдумывать следствия этой корреляции между образовательным уровнем и шансами быть опрошенным.
Специально для этого (лат.). — Примеч. ред.
2
Существует интересный анализ влияния типа опроса (интервью лицом к лицу, интервью с самозаполнением бумажной или электронной анкеты) на готовность отвечать на сензитивные вопросы [Са-понов 2012]. В статье Д. И. Сапонова, однако, фигурирует лишь одна разновидность сензитивности, сопряжённая с необходимостью признаваться в некоторых социально неодобряемых практиках (от мастурбации до кражи в магазине). Анализ показывает, что респондентам легче даются такие признания, когда они общаются не с живым человеком, а с опросником, особенно если этот опросник помещается на экране телефона. Другие исследования, однако, привлекли внимание к иным измерениям сензитивности, источником которой является не страх потери лица в глазах интервьюера, а опасения возможного политического преследования. Эта разновидность сензитивности выводит на первый план не безличность, а анонимность процедуры опроса [Сократилин 2016].
Вклад публикуемой статьи в дискуссию состоит в следующем: во-первых, мы добавляем к сравниваемым типам опроса и конструирования выборки ещё один — опрос случайно отобранных посетителей магазинов сети супермаркетов; во-вторых, мы специально останавливаемся на эффектах введения квот; в-третьих, мы анализируем эти эффекты, используя в качестве материала исследования потребления, в особенности культурного потребления, в то время как большинство прежних исследований затрагивали в основном политические сюжеты [Рогозин 2014; Османов 2015; Сократилин 2016].
Обе дискуссии, упомянутые в начале (касающиеся расхождений в достижимости разных категорий респондентов каждым из методов и эффектов квот), в действительности вращаются вокруг общего допущения, что определённые важные переменные, на оценку которых и изучение связей между которыми направлено исследование, могут коррелировать с достижимостью респондента. Мы начинаем статью с попытки эксплицировать эти предположения, а затем попробуем тестировать их эмпирически.
Теоретическая проблема
На рисунке 1 представлена графическая репрезентация нашей проблемы. Предположим, что у нас есть три группы переменных: (1) базовые социальные характеристики, в данном примере — А (пол), В (возраст) и С (образование); (2) характеризующие вероятность быть изученным опросными методами — X (достижимость для опроса) и У (искренность); (3) Z — характеристика, оценка распространённости которой и связь с другими социальными атрибутами, включая А, В и С, нас интересуют. В действительности Х представляет собой серию Х1, Х2, Х3 из разных форм достижимости респондента, которые различаются от одной формы опроса к другим.
Зависимость результатов от типа опроса возникает в ситуации, когда какой-то из базовых атрибутов (например, А) влияет и на X, и на Z (сплошные стрелки на рисунке 1). Если Z — число визитов в оперный театр за год, то пол может влиять на него (и фактически влияет: уровень потребления высокой культуры мужчинами в России, как и в большинстве европейских стран, составляет примерно 50-60% от женского [Илле, Соколов (в печати)]). Вместе с тем пол может сказываться на готовности отвечать на вопросы анкеты — например, если женщины одновременно чаще слушают оперу и охотнее контактируют с интервьюером, то мы получим завышенную оценку числа слушателей оперы в генеральной совокупности, поскольку их носители имеют больше шансов быть опрошенными.
Введение квоты позволяет устранить влияние характеристики А на вероятность дать ответы Х. К несчастью, это не решает все проблемы и, более того, несколько парадоксально: итоговая оценка анализируемого свойства может стать в результате введения квот даже менее точной. Во-первых, связь квотируемой и анализируемой переменных бывает опосредованной: скажем, возраст коррелирует с посещением оперы (молодые слушают её чаще), но эта корреляция в действительности ложная: возраст сказывается на вероятности получить высшее образование, а уже высшее образование прививает любовь к прекрасному (стрелка от В к С и от С к Хи Z на рисунке 1) и одновременно увеличивает вероятность поучаствовать в опросе. В этом случае влияние квотирования будет слабым, поскольку в выборке всё равно будут преобладать образованные респонденты, пусть и в среднем более зрелого возраста. Можно представить себе и более угрожающие точности выводов ситуации. Допустим, что (а) женщины более доступны для опроса и более культурно активны; (Ь) старшие когорты более доступны для опроса, но менее культурно активны. Здесь есть два источника смещений, но эти смещения отчасти компенсируют друг друга. Устранив одно из них, мы окажемся в ситуации, когда эффект другого на итоговой оценке будет сильнее: то, что мы введём квоту по полу, сократит число женщин, но не сократит число людей старшего возраста; соответственно, число визитов в оперу окажется сильно заниженным. Обобщая сказанное, отметим: в условиях, когда эффект демографического параметра противоположен по направлению эффектам какого-то иного признака в отношении изучаемой активности, но при этом влияет в том же направлении, что и этот иной признак, на вероятность участия в опросе, квоты по этому параметру снизят точность оценки.
Однако даже и это ещё не всё. Представим себе, что (а) женщины несколько культурно активнее мужчин и несколько более открыты для опроса; (Ь) образованные значительно активнее необразованных и значительно более открыты для участия в опросе; (с) эффект образования гораздо более выражен у мужчин, чем у женщин, то есть разрыв между образованными и необразованными мужчинами больше, чем между образованными и необразованными женщинами. Квота по полу влечёт за собой увеличение числа образованных мужчин (поскольку только высокообразованные мужчины отвечают социологам), а так как общий масштаб эффекта образования сильнее эффекта пола, то и доля ответов любителей оперы возрастает. Хотя мы думаем, что, вводя квоты, устраняем влияние признака, который приводит к избыточной представленности меломанов в выборке.
В этой статье мы излагаем результаты методического эксперимента, в ходе которого один и тот же набор вопросов задавался трём группам респондентам по 700 человек каждая, опрошенным по стационарным и мобильным телефонам, а также в ходе уличных опросов у сетевых магазинов. Дизайн исследования позволял нам сравнивать результаты опроса до и после введения квот. Мы предполагали, таким образом, ответить на несколько вопросов. Во-первых, находим ли мы свидетельства того, что достижимость респондента определяется какими-то базовыми демографическими атрибутами, и если да, то в какой мере эта зависимость будет различаться для разных типов опросов (связь А и В и Х1, Х2...)? Во-вторых, приводит ли введение квот, нивелирующих влияние демографии, к конвергенции ответов: что должно произойти, если различия между достижимостью индивидов для разных форм опроса (Х1, Х2 и т. д.) определяется только их характеристиками, связанными с демографией (А и В).
То, что различия между подвыборками определяются демографией, однако, не значит, что нет никаких недемографических переменных, которые искажают оценки, но эффекта которых мы не можем заметить, поскольку они действуют одинаково во всех подвыборках (например, образование С). Если подобные переменные отсутствуют или несущественны, мы можем предполагать, что оценки, полученные после введения квот, будут не только одинаковыми, но и более точными, чем оценки, полученные до того, как квоты были введены; если такие переменные присутствуют, точность может сократиться, пусть даже сходство между ответами, полученными разными способами, возрастёт. Перед тем как перейти к описанию исследования, выскажем ещё несколько соображений о переменной, которая пока не получила никакой расшифровки, — о достижимости.
Что такое «достижимость респондента»?
Читатель мог отметить для себя некоторые не выдерживающие критики места в наших рассуждениях — до сих пор мы писали о достижимости респондента как о единой характеристике, на которую непосредственно влияют базовые атрибуты, вроде пола и возраста. И то и другое разумеется, условно.
Достижимость является целым набором характеристик стиля жизни, которые повышают или сокращают вероятность оказаться опрошенным. Очень грубо, мы можем попытаться разделить их на три категории:
— физическая достижимость: некоторые группы недоступны для определённых форм опроса даже теоретически. Так, далеко не все потенциальные респонденты пользуются мобильными телефонами, не говоря уж об Интернете, но часть из них уже отказались от стационарных [Сапонов 2012], при этом известно, что выбор мобильных или стационарных телефонов как основного средства коммуникации в значительной мере определяется атрибутами, значимыми для описания поведения: возрастом, доходами, местом проживания;
— ситуативная достижимость: сам факт наличия по месту жительства стационарного телефона (для опросов по стационарным номерам), пользования мобильным телефоном (для опросов по мобильным номерам), проживания в определённой квартире (для поквартирных опросов) не обеспечивает равной вероятности попадания каждого абонента или жильца в выборку опроса. В методических материалах некоторых исследователей шансы попасть в выборку опроса варьируются в зависимости от численности домохозяйства, то есть возможности первым взять трубку или открыть дверь, для чего зачастую и используются методы отбора респондента внутри домохозяйства. Однако вероятность попадания в выборку опроса по стационарным номерам или поквартирного опроса в первую очередь определяется не этим, а длительностью нахождения потенциального респондента по месту жительства в период и в часы проведения опроса и варьируется от близкой к нулю для высокомобильного населения до близкой к стопроцентной для маломобильных групп. Смещения, наблюдаемые на каждой случайной выборке стационарных телефонных номеров или маршрутной выборке в сторону завышения доли женщин, пенсионеров, молодых мам и т. д., обусловлены поэтому не полом и возрастом респондентов, а их достижимостью по месту жительства; квотирование же или перевзвешивание выборки по легко фиксируемым половозрастным параметрам выравнивает выборку только по и так общеизвестной половозрастной структуре, не ликвидируя смещения: просто часть пенсионерок мы заменяем неработающими мужчинами, военными пенсионерами и другими маломобильными группами населения.
Исследователи общественного мнения, обосновывая репрезентативность выборки опроса по мобильным номерам, зачастую выделяют в качестве основных параметров влияния на
вероятность респондента попасть в выборку количество используемых абонентом сим-карт и совместное пользование одним и тем же номером. Так, обосновывая выборочный дизайн общероссийского телефонного опроса на тему представлений трудоспособного населения Российской Федерации о текущей пенсионной реформе и — подчеркнём — пытаясь репрезентировать занятое население и часть неработающих (люди старше пенсионного возраста и более молодые пенсионеры не опрашивались), Т. Э. Османов и Д. М. Рогозин пишут: «Поскольку предполагалось, что мобильный телефон респондент практически всегда держит под рукой, время проведения опроса не ограничивалось стандартными вечерними часами в будние дни; опрос проходил с 11 до 21 часа по местному времени» [Османов, Рогозин 2013: 45]. На наш взгляд, на самом деле вероятность попадания в выборку связана в основном с возможностью принять телефонный звонок в период и в часы проведения опроса. Примет ли входящий звонок водитель за рулём автобуса, студент или преподаватель во время лекции, кассир за кассой гипермаркета и все те, кому пользоваться сотовым на рабочем месте не положено по должности?3 Интуитивно все эти особенности достижимости связаны с характеристиками, которые могут влиять почти на любые иные атрибуты, представляющие интерес для социолога, — со спецификой занятости, например;
— идеологическая достижимость выражается в готовности отвечать на вопросы социологов. В отличие от ситуативной недостижимости, которая проявляется в отсутствии контакта, идеологическая достижимость измеряется числом отказов4.
Вообще говоря, искренность ответа, вынесенная на рисунке 1 в отдельную категорию (У), также может быть описана как разновидность достижимости, однако достижимости не самого респондента, а информации о нём. Здесь мы имеем дело со смещениями несколько иного рода: хотя прямая связь искренности с демографическими социальными атрибутами и может существовать, гораздо более правдоподобна её связь с характером выражаемых установок и с формой опроса (стрелки от X к У и от Z к У на рисунке 1). В разных ситуациях опроса информант подвергается разному социальному давлению, в том числе, возможно, и препятствующему выражению неконвенциональных мнений или отличающихся от преобладающих установок. Традиционно предполагается, что в безличных ситуациях (взаимодействуя с карандашом и бумагой) информант более откровенен, чем при личном контакте
По идее, смещения, вызванные различным уровнем достижимости единиц выборки «случайными» методами опроса, могут быть уменьшены взвешиванием, но не по полу, возрасту и даже по количеству сим-карт, хотя это последнее и не лишено смысла, а в первую очередь по степени достижимости опрошенных конкретным методом, например, ответами на вопросы, взятые за основу весовых коэффициентов: «Сколько времени Вы проводите в этой квартире в обычный для Вас будний и (или) выходной день (в зависимости от дня недели проведения опроса) с 11.00 до 21.00?», — для опросов по стационарным номерам и поквартирных опросов и: «Сколько времени Вы доступны для звонков на мобильный телефон в обычный для Вас будний и (или) выходной день с 11.00 до 21.00?» — для опросов по мобильным номерам. Понятно, что индивидуальные веса респондентов будут отличаться друг от друга в разы и даже в десятки раз, однако взвешивание приобретет теоретическую осмысленность.
Можно провести параллели с популярной в России Мичиганской моделью (см., например: [Рогозин 2014]), в которой ошибки выборки делятся на ошибки покрытия (расхождения между совокупностью, которую планируется репрезентировать, и основой выборки), собственно ошибки выборки (расхождения между параметрами основы выборки и характеристиками спроектированной выборки) и ошибки неответов (расхождения между параметрами спроектированной и реально полученной выборки). В нашей терминологии, «ошибки покрытия» возникают из-за физической недостижимости, «ошибки выборки», то есть из-за ситуативной (в данном случае ситуация состоит в том, что за некоторые каналы взаимодействия с интервьюером как бы конкурируют несколько респондентов), однако ситуативная достижимость сказывается и на «ошибках неответов» (респонденту было не до разговора с интервьюером). Идеологическая достижимость сказывается исключительно на неответах. Мы разграничиваем идеологическую и ситуативную достижимость, поскольку за ними стоят различные механизмы, и они могут вести к ошибкам в представлении разных групп (например, вузовский преподаватель-социолог не откажется ответить на вопросы, вот только на его телефоне всё время отключен звук, а на незнакомые номера он не перезванивает).
3
4
с интервьюером [Сапонов 2012]. Однако и в этом случае могут возникать соображения (например, опасения по поводу идентификации), которые способны привести либо к меньшей откровенности в относительно безличной ситуации (при квартирном опросе с самозаполнением анкеты), либо к большей (при относительно личной ситуации уличного опроса) [Сократилин 2016]. Понятно, что в случае неискренности квоты ни по какому признаку не могут повысить точность оценки, поскольку желание скрывать информацию о наличии у респондента какой-то характеристики вытекает непосредственно из обладания этой характеристикой5.
Вообще говоря, то же касается и других определяющих достижимость характеристик. Надо отметить ещё одну условность наших предыдущих рассуждений. Сами по себе ни пол, ни возраст, ни, возможно, даже образование не могут повлиять на вероятность быть опрошенным. Они значимы постольку, поскольку определяют стили жизни и установки, которые влияют на достижимость. Квоты представляют собой решение лишь там, где связь демографических параметров и переменных, определяющих вероятность ответа, относительно сильная и прямая; важно помнить, однако, что демография всегда является лишь прокси для других переменных.
Процедура исследования
Исследовательский проект, частью которого был этот опрос, был посвящён культурному потреблению и продолжал серию статьёй на эту тему [Илле 2016; 2017]. Тем не менее, поскольку одной из целей нашего исследования было проверить построения П. Бурдьё относительно существования связи между художественными вкусами и целостными стилями жизни, характеризующими разные социальные классы, респондентам задавались вопросы относительно их политических взглядов, способов проведения досуга и общего социального мировоззрения.
Полевые работы проводились ООО «Санкт-Петербургский социологический научно-исследовательский центр» (СНИЦ) 14-31 апреля 2017 г. В целях анализа систематических смещений, обусловленных используемыми методами исследования, была использована трехосновная выборка: 700 респондентов были опрошены по RDD-выборке стационарных телефонных номеров; 700 респондентов — по RDD-выборке мобильных номеров; 700 респондентов — методом уличного опроса на входе в сетевые продовольственные магазины. Выборки всех трёх опросов квотировались по доле мужчин и женщин, а также по возрасту респондентов (18-29 лет; 30-49 лет; 50-59 лет; 60 лет и старше) исходя из данных Росстата. Диапазоны стационарных и мобильных телефонных номеров были взяты с сайта Россвязи, номера выборки генерировались из допустимых диапазонов с равным шагом и случайной начальной точкой. В силу отсутствия у компании-исполнителя колл-центра телефонные опросы проводились с домашних и мобильных телефонов интервьюеров.
Контроль полевых работ в рамках опросов по стационарным и мобильным номерам осуществлялся на базе предоставленной операторами связи детализации звонков интервьюеров за период опроса: соответствие телефонных номеров выборочным, время и порядок проведения, длительность соединения. Уличный опрос контролировался выборочным телефонным опросом (не менее 10%) указавших контактные телефонные номера респондентов (по инструкции таких респондентов должно быть не менее 50% у каждого интервьюера; по факту — в среднем 65%).
5 Скажем, если мы предполагаем, что респонденты с оппозиционными взглядами склонны скрывать детали свои убеждения, мы не можем поправить дело, введя квоту по оппозиционности, поскольку мы не знаем ни того, какова политическая ориентация конкретного респондента, если он не хочет нам этого сообщить, ни сколько индивидов с такой ориентацией есть в нашей генеральной совокупности.
Хронологически первым был проведён опрос по стационарным телефонным номерам, вторым — по мобильным номерам и последним — уличный опрос. Анкета каждого опроса содержала постоянный блок вопросов и ряд дополнительных вопросов, отдельно для каждого опроса. В анкету опроса по стационарным телефонным номерам входили 53 вопроса, включая паспортную часть, опроса по мобильным номерам — 28 вопросов, в анкету уличного опроса — 56 вопросов.
Для проведения уличного опроса из всей совокупности расположенных в Санкт-Петербурге магазинов сетей «Пятёрочка», «Дикси», «О'КЕЙ» и «Лента» случайным образом были отобраны 24 магазина, на входе в которые и проводился опрос. Время проведения опроса — 16.00-22.00 в будние дни и 11.00-22.00 в выходные. Число отобранных для проведения магазинов каждой сети было определено исходя из еженедельной доли посетителей сети, полученной на базе телефонного опроса по стационарным номерам. Для характеристики основы выборки, то есть группы населения Санкт-Петербурга, имеющей положительные шансы попадания в выборку опроса, по стационарным телефонным номерам респондентам задавались следующие вопросы: «Как часто в обычную неделю Вам случается заходить в магазины "Пятёрочка"?»; «В какие сетевые продовольственные магазины, кроме "Пятёрочки", Вам случается заходить несколько раз в неделю?». Группа, посещающая «Пятёрочку» как минимум один-два раза в неделю или какой-либо магазин сетей «О'КЕЙ», «Лента» и «Дикси» несколько раз в неделю, по результатам опроса составляет 79% взрослого населения (всего сетевые магазины посещают хотя бы раз в неделю 95% взрослого населения). В качестве основы выборки были взяты именно эти три сети6.
Результаты
Влияние демографических параметров на достижимость респондента по типам опроса
Для оценки результативности опроса в соответствии с методическим стандартомAAPOR [Report... 2013] интервьюерами фиксировались отказы и незавершённые интервью (под незавершёнными понимались интервью, прерванные ранее последнего вопроса), число респондентов, не соответствующих условиям отбора (жители Санкт-Петербурга 18 лет и старше) или не подходящих по квоте (см. табл. 1). Также фиксировался порядковый номер анкеты, на которой была целиком выбрана первая из квотных групп (см. табл. 2).
Таблица 1
Результативность проведённых опросов (с расчётом коэффициента кооперации)
Оценка результативности опроса
Опрос по стацио- Опрос по мобиль- Уличный нарным номерам ным номерам опрос
I, завершённые интервью (1.1) 700
Р, частично завершённые интервью (1.2) 0
R, отказы и прерванные интервью (2.10) 802
Респондент не соответствует критериям 1075 отбора, квота выбрана (4.80)
UH, неизвестно домохозяйство или, на- Нет данных пример, рабочее место (3.10)
UO, неизвестно другое (3.20, 3.30, 3.40, Нет данных 3.90)
О, другое (2.30) 0
COOP3 = I / (I + Р)_46,6%
700 0 608 609
Нет данных
Нет данных
0
53,5%
700 0
791 Нет данных
Нет данных
Нет данных
0
46,9%
6 Понятно, что все выводы относительно возможностей уличных опросов, таким образом, относятся к городам, причём к городам с высоким проникновением продуктового ритейла.
По степени соответствия половозрастной структуры опрошенных структуре генеральной совокупности опрос по мобильным номерам существенно предпочтительнее опроса по стационарным номерам: так, в выборке мобильных номеров число не прошедших условия отбора почти в два раза меньше, нежели в выборке стационарных номеров. На самом деле это соотношение ещё более контрастно, если принять во внимание тот факт, что в выборке мобильных номеров примерно каждый четвёртый номер принадлежит жителю Ленинградской области, так как диапазоны общие на два субъекта Федерации. Таким образом, из 1917 контактов с респондентами четверть (примерно 500 контактов) были с жителями Ленинградской области, которые изначально не проходят условия отбора. Правда, во многих случаях отказ от общения с интервьюером мог прозвучать раньше идентификации региона проживания респондента, с последующим занесением этого респондента в группу отказавшихся от интервью.
Таблица 2 содержит данные о количестве опрошенных до момента введения квот по каждому из трёх типов опроса.
Таблица 2
Абсолютное число и доли опрошенных (в %) до и после введения квотирования в подвыборках
Метод
Фаза отбора Опрос по стационарным номерам Опрос по мобильным номерам Уличный опрос Всего
До квоты 212 446 406 1064
30,3% 63,7% 58,0% 50,7%
С квотой 488 254 294 1036
69,7% 36,3% 42,0% 49,3%
Всего 700 100,0% 700 100,0% 700 100,0% 2100 100,0%
Мы снова видим, что демографическая структура популяций, достижимых по каждому из каналов, различается, и демографическая структура пользователей мобильных телефонов гораздо ближе прочих к общей демографической структуре населения. На втором месте по точности репрезентации находится уличный опрос, а на третьем, с большим отставанием, — опрос по стационарным телефонам. Иными словами, в целом влияние, которое демографические атрибуты оказывают непосредственно на вероятность быть опрошенным, видимо, максимально в случае со стационарными телефонами.
Оценить физическую и ситуативную недостижимость при данном дизайне исследования мы не можем, но можем оценить идеологическую, то есть нежелание быть опрошенным, когда контакт уже состоялся, обратив внимание на долю отказов. При опросе по стационарным номерам на 700 завершённых интервью мы зафиксировали 802 отказа или прерванных интервью; на 700 завершённых интервью по мобильным номерам — 608 отказов. Налицо более высокий коэффициент кооперации (COOP1) опроса по мобильным номерам. Однако надо учесть, что это наблюдение не учитывает невербального отказа, то есть нежелания принять звонок с незнакомого номера, что подпадает под наше определение ситуативной достижимости. Не имея возможности рассчитать коэффициенты ответов (RR) и контактов (CON) в силу отсутствия информации о непринятых звонках — нет ответа (3.13), всегда занято (3.12), номер вне зоны действия сети (3.16), — мы в состоянии сравнить результативность наших телефонных опросов с точки зрения достижимости попавших в выборку телефонных номеров7.
7 В тех исследованиях, в которых приводятся соответствующие данные [Османов 2016], коэффициент контактов (CON2), или доля телефонных номеров, по которым удалось дозвониться ко всем работающим номерам, включенным в выборку, варьируется в пределах 20-38%, то есть абсолютное большинство попавших в выборку абонентов либо не доступ-
Влияние типа опроса и квот на оценки значение социальных характеристик
Таблица 3
Введения квоты на избранные социальные параметры (% по столбцам) по методам
До квоты (Л = 1064) С квотой (Л = 2100)
Опрос по ста- Опрос по мо- Уличный Опрос по ста- Опрос по мо- Уличный
ционарным бильным опрос ционарным бильным опрос
номерам номерам номерам номерам
Социальная категория
ПОЛ
Мужчины 35,4%*** 47,1% 47,3% 44,4% 44,1% 43,9%
Женщины 64,6%*** 52,9% 52,7% 55,6% 55,9% 56,1%
Меры связи X2 9,570**, R2 Кокса и Снелла Х2 0,046, R2Кокса и Снелла 0,000
0,009
ОБРАЗОВАНИЕ
Неполное среднее 2,8% 1,6% 0,5% 2,3% 1,4% 0,9%
Среднее общее 11,8% 7,0% 12,3% 14,0% 7,0%* 12,6%
Среднее профессиональное 9,9% 5,8% 8,4% 9,1% 6,4% 8,6%
Среднее специальное 26,4% 26,5% 32,3% 25,4% 28,1% 31,7%*
Высшее 49,1% 59,2%*** 46,6% 49,1% 57,0%*** 46,3%
Меры связи X2 26,208** R2Кокса и Снелла ^£2 38,803** * R2 Кокса и Снелла
0,025 0,019
ЗАНЯТИЕ
Учусь 1,9% 2,2% 9,4%* 8,2% 2,4%* 7,3%
Работаю 34,6%** 59,2%** 49,9% 50,1%*** 57,1% 53,0%
Учусь и работаю 0,5% 1,1% 2,2% 0,4% 0,9% 2,0%
На пенсии 44,1%*** 19,7% 20,5% 25,8%*** 19,9% 20,3%
На пенсии и работаю 11,4% 8,7% 11,1% 5,3% 10,9% 9,2%
Безработный 2,4% 1,3% 1,7% 2,3% 1,0% 1,4%
Домохозяйка 1,9% 2,0% 1,5% 2,0% 2,1% 1,9%
В отпуске по уходу за ребён- 3,3% 4,9% 3,7% 5,2% 5,3% 4,9%
ким Меры связи ^£2 94,893* '' R2 Кокса и Снелла ^£2 63,320 * *, R2 Кокса и Снелла
0,082 0,032
Примечание: Уровни значимости для различий между методами по X Пирсона; указан также псевдо-^2 Кокса и Снелла для мультиномиальной регрессии с методом в качестве зависимой переменной8; для отдельных значений значимость отклонения от статистических ожиданий оценена на основании z-scores; *р < 0,05, ** р < 0,01, *** р < 0,001.
ны для звонка, либо не снимают трубку. Коэффициент кооперации (СООР3), или доля опрошенных ко всем единицам наблюдения, с которыми удалось связаться по телефону, варьируется в пределах 24-45%: именно эта доля поднявших телефонную трубку ответила на вопросы анкеты из незначительного числа принявших звонок. Таким образом, в телефонных опросах, как, впрочем, и в поквартирных, существует значительное пространство для смещений реализованной выборки по сравнению с сконструированной.
Иными словами, мы пытались определить, с какой точностью то, каким методом был опрошен респондент (зависимая переменная), можно угадать, зная его социально-демографические атрибуты (независимая). Скажем, знание того, к какой группе занятости принадлежит респондент, позволяет объяснить 8% всей наблюдаемой дисперсии, а пол, образование и занятость в совокупности объясняют 11%.
Таблицы 3 и 4 содержат данные о демографической структуре популяции и её избранных социальных характеристиках, какими они предстали при опросе до и после введения квот. Если достижимость в основном определяется переменными, прямо связанными с демографическими атрибутами, то квоты должны были сделать различия между опрошенными популяциями (а) незначимыми; (Ь) близкими к истинным уровням. Мы не касаемся пока этого последнего (пункт Ь), но можем оценить первое (пункт а).
Таблица 4
Средние показатели по избранным социальным параметрам до и после введения квот, по методам
Тип опроса
До введения квоты
Возраст (лет) Доходы (руб.)
После введения квоты
Возраст (лет) Доходы (руб.)
Опрос по стацио- Среднее 57,98 17 905,4054 47,85 17 373,7374
нарным номерам N 212 185 700 594
Стандартное 18,167 6 612,15720 17,866 5 946,00923
отклонение
Опрос по мо- Среднее 45,20 19 143,8356 45,83 18 700,3454
бильным номе- N 446 365 700 579
рам Стандартное отклонение 16,834 6 538,91534 16,905 6 502,69573
Уличный опрос Среднее 45,50 19 259,2593 45,73 19 496,5278
N 406 324 700 576
Стандартное 18,414 7 092,31962 17,456 7 089,97983
отклонение
Всего Среднее 47,86 18 924,4851 46,47 18 512,0069
N 1064 874 2100 1749
Стандартное 18,407 6 777,55848 17,432 6 578,98446
отклонение
Эта-квадрат 0,075*** 0,006 0,003 0,018***
Примечание: Уровни значимости для различий по методам по Эта-квадрату; * р < 0,05, ** р < 0,01, *** р < 0,001.
Картина наблюдается противоречивая. С одной стороны, квоты ожидаемо аннулируют значимость различий по полу и возрасту и снижают различия по занятию (в основном за счёт опрошенных по стационарному телефону пенсионеров). С другой стороны, они вовсе не затрагивают различия по образованию — опрошенная по мобильным телефонам группа остаётся существенно более образованной, чем городское население в целом (см. подробнее далее). Наконец, различия в доходах между тремя подвыборками значимо возрастают в результате введения квот.
Как надо интерпретировать эту динамику? Некоторая информация к размышлению может быть извлечена из сравнения изменений, которые введение квот вносит в характеристики трёх выборок, полученных разными методами. Вообще говоря, выборка, реализованная при обзвоне мобильных номеров, изменяется относительно слабо. В случае со стационарными номерами мы видим сокращение старших возрастных групп, пенсионеров и женщин, то есть тех, кого действительно вероятно застать дома и кто продолжает пользоваться стационарным телефоном. Введение квот увеличивало долю мужчин среднего возраста, среди которых значимое число составляли безработные и иные низкодоходные группы населения, что и привело, видимо, к сокращению доходов после введения квоты. Наконец, квоты не сказываются на зафиксированном уровне образования, остающемся нереалистично высоким в выборке опрошенных по мобильным телефонам.
В таблице 5 приведены ответы на некоторые вопросы, связанные с культурным потреблением — основным предметом нашего исследования9. В этом случае мы можем констатировать, что аудитории, достижимые по разным каналам, вновь оказываются различными. Введение квот в большинстве случаев сокращает зафиксированные различия, хотя не всегда делает их незначимыми.
Таблица 5
Средние показатели по избранным социальным параметрам до и после введения квот (% по столбцам), по методам
До квоты N = 1064)
С квотой N = 2100)
Атрибуты индивида
Опрос по стационарным номерам
Опрос по мобильным номерам
Уличный опрос
Опрос по стационарным номерам
Опрос по мобильным номерам
Уличный опрос
ИСПОЛЬЗОВАНИЕ СОЦИАЛЬНОМ СЕТИ «ВКОНТАКТЕ»
Нет профиля в сети «ВКон- 65,1%*** 39,1%*** 49,8% 47,7% 38,9%** 47,0%
такте»
Профиль в сети «ВКонтакте» 13,7%*** 26,3%*** 16,0% 23,5% 24,6% 19,7%
есть, но используется мало
Активно пользуется сетью 21,2%*** 34,6% 34,2% 28,8% 36,5% 33,3%
«ВКонтакте»
X2 46,032***, R2 Кокса и Снелла Х217,900**, R2 Кокса и Снелла
0,043 0,009
ПОСЕЩЕНИЕ ДРАМТЕАТРА В ПОСЛЕДНИЕ 12 МЕСЯЦЕВ
Не посещал 64,0% 60,5% 70,7% 61,0% 63,0% 67,5%
Посещал 36,0% 39,5% 29,3%* 39,0% 37,0% 32,5%
Х2: 9,831* Х2: 6,719*
ПОСЕЩЕНИЕ КОНЦЕРТОВ ПОП- И РОК-МУЗЫКИ В ПОСЛЕДНИЕ 12 МЕСЯЦЕВ
Не посещал 76,9% 76,0% 64,3% 73,0% 72,7% 67,7%
Посещал 23,1% 24,0% 35,7%** 27,0% 27,3% 32,3%
Х2: 17,895*** Х2: 6,026*
ПОСЕЩЕНИЕ КИНОТЕАТРОВ В ПОСЛЕДНИЕ 12 МЕСЯЦЕВ
Не посещал 60,4%* 49,3% 45,8% 54,0% 51,4% 49,1%
Посещал 39,6%* 50,7% 54,2% 46,0% 48,6% 50,9%
X2:12,045* Х2: 3,310
ПОСЕЩЕНИЕ БИБЛИОТЕК В ПОСЛЕДНИЕ 12 МЕСЯЦЕВ
Не посещал 96,2% 91,0% 85,0% 92,9% 92,4% 88,0%
Посещал 3,8%* 9,0% 15,0%** 7,1% 7,6% 12,0%
Х2: 20,490*** Х2:12,448*
ЧИТАЛ ПРОИЗВЕДЕНИЯ М. БУЛГАКОВА
Не читал 13,2% 13,4%* 25,6%*** 14,9% 12,8%* 20,4%**
Читал 86,8% 86,6% 74,4% 85,1% 87,2% 79,6%
Х2: 25,593 * ** Х2:16,062***
Было задано значительно больше вопросов; приводятся распределения ответов на те из них, между которыми имелись значимые различия. Незначимыми были различия по посещению музыкальных театров, концертов, музеев, а также по чтению Стивена Кинга, Бориса Акунина и Чингиза Абдуллаева.
Таблица 5. Окончание
До квоты N = 1064)
С квотой N = 2100)
Атрибуты индивида
Опрос по стационарным номерам
Опрос по мобильным номерам
Уличный опрос
Опрос по стационарным номерам
Опрос по мобильным номерам
Уличный опрос
ЧИТАЛ ПРОИЗВЕДЕНИЯ А.
Не читал
Читал
ЧИТАЛ ПРОИЗВЕДЕНИЯ Ф
Не читал
Читал
ЧИТАЛ ПРОИЗВЕДЕНИЯ Э. Не читал Читал Х2 Пирсона
ЧИТАЛ ПРОИЗВЕДЕНИЯ Д.
Не читал
Читал
БУШКОВА
80,1% 77,0% 19,9% 23,0% Х2: 7,622* ДОСТОЕВСКОГО 8,5%** 12,0% 91,5% 88,0% Х2: 21,601* М. РЕМАРКА
29,9%** 46,8% 70,1%** 53,2% Х2:18,232* ДОНЦОВОЙ
75,0%** 56,0% 25,0%** 44,0% Х2: 22,051*
84,5% 15,5%
20,9%***
79,1%
45,1% 54,9%
62,2% 37,8%
73,4% 26,6%**
10,2% 89,8%
36,1% 63,9%
63,4% 36,6%
77,8% 22,2% Х2:17,273**
10,6% 89,4% Х2:16,985**
44,3% 55,7% Х2: 9,842*
59,2% 40,8% Х2: 5,086
82,6% 17,4%**
16,7%**
83,3%
40,9% 59,1%
64,8% 35,2%
Примечание: Уровни значимости для различий по методам по X2; для отдельных значений отклонения от статистических ожиданий оценены на основании 2^соге&; для пользования социальной сетью «ВКонтакте» указан также псевдо-^2 Кокса и Снелла для мультиномиальной регрессии с методом в качестве зависимой переменной; *р < 0,05, ** р < 0,01, *** р < 0,001.
Как и прежде, изменения для выборки, сформированной с помощью мобильных телефонов, минимальны. Для стационарных телефонов мы наблюдаем рост всех параметров, связанных с культурной активностью вне дома, а также существенный рост числа пользователей социальных сетей, то есть с характеристиками, которые тесно связаны с возрастом. Гораздо менее тривиальны изменения, происходящие за счёт отличий в ответах респондентов, опрошенных до и после введения квоты на улице. Среди них мы видим, с одной стороны, снижение активностей вне дома (кино, концерты поп- и рок-музыки), с другой — увеличение числа прочитанных книг (с 4,09 до 4,62 из вошедших в список восьми предложенных авторов, р < 0,001). Частично рост числа книг может объясняться тем, что квота требовала увеличения доли женщин, которые, вообще, были более активными читателями, однако эффект не исчерпывается этим10.
Мы видим, что индивиды, опрошенные на улице после введения квоты, отличаются по каким-то компонентам своего стиля жизни от тех, кто был опрошен до введения квоты. С чем это связано? Есть два возможных объяснения, каждое из которых, к несчастью, подразумевает наличие проблем с собранными данными. Во-первых, помимо установок респондента, которые влияют на готовность контактировать с интервьюером и одновременно сказываются на каких-то иных мнениях и элементах поведения, значимое влияние на исход опроса могут оказывать установки и предпочтения интервьюера. Несмотря
При контроле по полу, то, что анкетирование произошло после того, как интервьюер начал применять квоту, добавляет примерно полкниги для опрошенных на улице (в линейной регрессии 0,48).
на требование инструкций начинать опрашивать первого подходящего человека, в ходе опроса, при котором интервьюер видит респондента до того, как инициировать контакт, у него неизбежно остаётся значительная свобода выбора в том, с кем именно заговаривать. Во всяком случае, это так до тех пор, пока квота по каким-то категориям не выбрана. Затем, поскольку выбор подходящих информантов сокращается, интервьюер становится менее привередливым. В этом смысле выбор на первых фазах работы несёт более сильный отпечаток собственных предпочтений интервьюера, которые становятся менее значимыми дальше. Эти предпочтения также могут коррелировать с измеряемыми параметрами. В нашем случае есть ощущение, что интервьюеры предпочитали мужчин попроще, но выглядящих общительными и открытыми и, как оказалось в опросе, демонстрирующими более высокие уровни активности вне дома11.
Второе объяснение ещё менее приятно. Менее доступные группы ставят интервьюера перед более сильным искушением сфальсифицировать ответы. В этом смысле изменение может быть результатом того, что после введения квот проявляется не изменение характеристик респондентов, а повышение значимости здравого смысла интервьюера, который заполняет анкету в соответствии со своими представлениями об устройстве мироздания. Поскольку в уличном опросе не использовалась звукозаписывающая аппаратура, контроль над интервьюером был слабее. В целом наши данные не исключают возможности того, что во всех сериях присутствовал элемент фальсификаций, который достигал значительных масштабов в случае с уличными опросами.
Какой тип опроса гарантирует наименьшие смещения оценок?
Нашим следующим шагом было попробовать понять, какой из способов формирования выборки позволял достичь наибольшей точности в описании генеральной совокупности, и можно ли обойти дефекты каждого метода, слив результаты опросы трёх подвыборок в один пул. Очевидной проблемой при такой постановке вопроса является то, что мы, разумеется, не слишком хорошо представляем себе параметры генеральной совокупности: в конце концов, большую часть всего, что мы знаем о ней, мы знаем из какой-то разновидности опросных процедур.
Однако мы взяли два источника, которые отличаются от обычных опросов: (1) результаты переписей населения и (2) демографические данные, указанные на личных страницах пользователей социальных сетей. Перепись — в теории — покрывает всё взрослое население (хотя практика, разумеется, отличается); к несчастью, поскольку последняя перепись прошла в 2010 г., её данные очевидно устарели. Тем не менее мы попробовали сопоставить, насколько ее итоги согласуются с нашим опросом. В таблице 6 приводятся сведения о числе людей с разными уровнями образования в Санкт-Петербурге по результатам последней переписи и в разных составляющих нашей выборки.
11 Вообще говоря, наша типология достижимости не учитывает того, что ситуационная и идеологическая достижимость респондента есть во многом достижимость для конкретного интервьюера. Более полный анализ требовал бы реконструкции логики поведения интервьюера, а также их интеракции с логикой поведения респондента. Мы не пытаемся проделать этот анализ здесь, ограничившись гипотезой ad hoc, которую не можем проверить. В качестве косвенного свидетельства в пользу нашей догадки, однако, стоит отметить, что вариация в средних показателях культурного капитала для разных интервьюеров при уличном опросе сильно превышала таковую при телефонных опросах. Мы благодарны одному из анонимных рецензентов за эти замечания.
Таблица 6
Распределение респондентов по уровням образования, по типам опросов и данным переписи (% по столбцам)
Опрос
Уровень образования Опрос по стационарным номерам Опрос по мобильным номерам Уличный опрос Среднее по трем основам Перепись
Неполное среднее 2,3% 1,4% ,9% 1,5% 6,04%
Среднее общее 14,0% 7,0% 12,6% 11,2% 11,87%
Среднее профессиональное 9,1% 6,4% 8,6% 8% 2,78%
Среднее специальное 25,4% 28,1% 31,7% 28,4% 34,18%
Высшее и незаконченное высшее 49,1% 57,0% 46,3% 50,8% 45,12%
Вообще говоря, стационарные телефоны и уличный опрос дают достаточно точное соответствие результатам переписи, если закрыть глаза на возникшую путаницу со средним профессиональным и средним специальным образованием (ПТУ считались начальным профессиональным образованием в СССР, однако в настоящее время бывшие ПТУ квалифицируются как средние специальные учебные заведения; мы пытались отразить этот терминологический сдвиг, однако, похоже, неудачно). Если объединить учреждения среднего специального и профессионального образования в одну группу, то две из трёх подвыборок дадут довольно точное попадание, обнаружатся лишь небольшая недооценка доли людей с незаконченным средним образованием и переоценка доли людей с высшим; надо иметь в виду, что перепись охватывала людей начиная с 15-летнего возраста, и различия могут объясняться этим фактором. Совершенно иную картину даёт мобильная подвыборка, в которой высшее образование имеют 57% опрошенных. Поскольку владение мобильным телефоном почти универсально12, это нужно интерпретировать как следствие большего распространения среди высокообразованных респондентов факторов, которые объясняют готовность отвечать по мобильному телефону. Мы не можем определить, что это за факторы, но можем сформулировать две правдоподобные гипотезы. Во-первых, правдоподобно, что среди высокообразованных чаще встречается понимание целей социологического исследования и общие установки к нему более благожелательны; таким образом, в наших терминах, респонденты идеологически достижимее. Во-вторых, по своему характеру труд специалистов обычно предполагает меньше непосредственного контроля на рабочем месте и больше возможностей выкроить несколько минут для переговоров по мобильному телефону. Хотя правило, разумеется, выполняется не всегда, есть основания предполагать, что высокообразованные ситуативно достижимее по мобильному. В любом случае, несмотря на то что охват представителей разных демографических категорий с помощью мобильного телефона представляет меньшую проблему, чем в случае с другими каналами контакта, в выборку опрошенных по мобильным, видимо, заложены иные сдвиги, которые делают измерение с её помощью любых параметров, коррелирующих с образованием, проблематичным13.
12 Мы задавали вопрос о владении мобильным телефоном во время уличного опроса и получили 94,8% положительных ответов. Кроме того, во время опроса по мобильным телефонам и уличного опроса задавался вопрос о пользовании стационарным телефоном в домохозяйстве опрошенного. Таковой оказался у 44% опрошенных (41,4% среди опрошенных по мобильному, 46,7% среди опрошенных на улице).
13 Можно было бы возразить, что более высокая оценка доли населения с высшим образованием, полученная при опросе по мобильному, точнее, поскольку отражает продолжающуюся экспансию высшего образования. Действительно, между 2002 г. (предыдущая перепись) и 2010 г. доля людей с университетскими дипломами увеличилась на 10%. Однако в данном случае сомнительно, что экспансия продолжалась теми же темпами, поскольку с 2007 г. вследствие начавших ощущаться последствий демографического спада абсолютное число студентов в России не увеличивалось; доля людей с высшим образованием, вероятно, продолжила возрастать за счёт смены возрастных когорт, но эффект должен был проявляться медленнее. Кроме того, анализ показывает переоценку доли людей с высшим образованием независимо
Предположение о большей социальной открытости обладателей высшего образования, не обязательно только в ситуации опроса, получает некоторое продолжение, когда мы пытаемся оценить, как точно данные опроса позволяют замерить распространение в популяции ещё одного атрибута — использования социальной сети «ВКонтакте». Поскольку пользователи социальной сети часто предоставляют о себе демографическую информацию, можно сравнить результаты «виртуальной переписи» с результатами опросных оценок. В нашем распоряжении были данные о распределении пола и возраста пользователей социальных сетей, указавших в качестве места жительства Санкт-Петербург (см. табл. 7)14.
Таблица 7
Влияние введения квот на отображаемую возрастную структуру аудитории социальной сети «ВКонтакте», по типам опроса в сравнении со структурой, согласно данным самой сети
(% по столбцам)
До введения квоты Выборка с квотами Дан-
Возраст Опрос по Опрос по Улич- Всего Опрос по Опрос по Улич- Всего ные со
(полных стацио- мобиль- ный по трём стацио- мобиль- ный по трём страниц
лет) нарным ным опрос основам нарным ным опрос основам социаль-
номерам номерам номерам номерам ной сети
18-29 лет 25,7% 31,4% 45,1% 35,7% 33,4% 31,9% 37,5% 34,1% 48,19%
30-39 лет 12,2% 29,2% 20,6% 23,7% 18,1% 28,1% 24,5% 23,8% 29,51%
40-49 лет 31,1% 14,4% 16,7% 17,5% 30,1% 14,1% 19,7% 20,9% 11,42%
50-59 лет 16,2% 16,6% 9,3% 13,8% 11,2% 15,5% 12,4% 13,2% 6,34%
60 и старше 14,9% 8,5% 8,3% 9,3% 7,1% 10,5% 5,9% 8,0% 4,54%
Мы видим признаки сильного завышения доли старших возрастных групп и занижения младших в виртуальном населении. Наиболее точное попадание при этом даёт уличный вопрос до введения квоты (хотя разница между ним и действительным распределением всё равно значима на уровне 0,01). Во всех остальных случаях точность попадания ещё ниже. Введение квот улучшает результат для стационарных телефонов, но ухудшает для уличных.
Почему происходит это последнее? Можно выдвинуть некоторые предположения, опираясь на анализ факторов, которые влияют на шансы иметь профиль в социальной сети. Бинарная логистическая регрессия показывает, что вероятность иметь профиль в сети «ВКонтакте» увеличивается под воздействием следующих факторов: (а) возраст (каждый год шансы иметь аккаунт сокращаются примерно на 8%); (b) образование (высшее образование увеличивает вероятность иметь профиль на 80% по сравнению со средним) и (c) обобщённый культурный капитал (чтение каждого следующего автора из нашего списка из восьми писателей добавляет 14% к вероятности иметь профиль). Эти же факторы, однако, увеличивают вероятность быть опрошенным, особенно по мобильным телефонам. Соответственно, мы обнаруживаем хроническую переоценку любых связанных с ними переменных в нашей выборке, которая возникает независимо от влияния демографических атрибутов. Фактически мы можем даже допустить, что введение квот по демографии делает положение вещей хуже. Тенденция отбирать людей «попроще», демонстрируемая, как мы предположили выше, некоторыми интервьюерами, когда их
от возраста. При опросе по мобильному доля людей с высшим образованием среди населения старше 60 лет всё равно составляла 52,5%.
14 Данные, которые использовались в этой статье, были любезно предоставлены авторам Алексеем Кнорре. После этого аналогичные данные стали доступны благодаря проекту «Виртуальное население России» (см. URL: http://webcensus. ru/). Важно отметить, что демографические данные отражены не на всех страницах: возраст указали примерно 40% пользователей (неудивительно, поскольку не все страницы являются индивидуальными). Однако у нас нет особых оснований считать, что старшие избегали указывать свой возраст, а младшие — нет.
предоставляют самим себе, позволяет компенсировать сильную тенденцию к самоселекции, заставляющую чаще соглашаться на интервью высококультурных респондентов15.
Заметим, что слияние опросов в один пул здесь — как и в других наших примерах — не играет подобной компенсирующей роли. Для того чтобы, объединяя стационарные, мобильные и уличные опросы вместе, мы могли получить более точную оценку, надо, чтобы оценки, которые дают они по отдельности, лежали по разную сторону от истинной — скажем, если мобильные дают большую представленность младших когорт, а стационарные — старших. В наших случаях, однако, зафиксированные отклонения были в одну сторону, а в этих условиях объединение выборок даёт улучшение точности попадания по сравнению с одним типом опросов, но ухудшение — по сравнению с другим.
Дополнительные замечания и наблюдения
Помимо основных вопросов, поставленных в этой статье, наше исследование позволяет пролить немного света на несколько дополнительных сюжетов, обсуждаемых в методологических дискуссиях. Одной из проблем энергичнее всего дебатируемых в связи с каналами достижения информанта была искренность ответов: что, если сам характер некоторых взглядов отрицательно коррелирует с готовностью излагать их интервьюеру, причём для определённой категории этих взглядов причиной нежелания являются опасения возможной идентификации и преследований? Использование анонимных методов исследования, таких как уличный опрос, предлагалось как средство решения этой проблемы [Сократилин 2016].
Наше исследование было посвящено, в первую очередь, культурному потреблению, а не политической активности. Однако, поскольку культурное потребление и стили жизни предполагалось связать с общими характеристиками мировоззрения, мы посчитали нужным включить в анкету несколько вопросов, которые могли бы считаться политически сензитивными. В таблице 8 приведены ответы на вопрос об отношении к контролю над информацией в Интернете, который мог пониматься как самый «политический» в нашем исследовании. Вопрос звучал так: «В последнее время обсуждалась необходимость более плотного регулирования государственными органами сети Интернет в целях контроля над социально опасной информацией. Как Вы относитесь к таким инициативам?»
Таблица 8
Изменение во мнениях о необходимости контроля в Интернете при введении квот, по методам опроса (% по столбцам)
До квоты (Л = 618)
С квотой (Л = 1400)
Вариант ответа
Опрос по стацио- Уличный Опрос по стацио- Уличный
нарным номерам опрос нарным номерам опрос
Отрицательно, регулирование не нужно 20 119 90 169
10,5% 31,2% 13,8% 25,3%
Скорее, отрицательно 44 60 134 99
23,0% 15,7% 20,6% 14,8%
Скорее, положительно 58 98 181 217
30,4% 25,7% 27,8% 32,5%
Положительно, регулирование нужно 69 104 247 183
36,1% 27,3% 37,9% 27,4%
Меры связи
Х233,818***, R2Кокса и Снелла 0,057
Х2 42,390***, R2Кокса и Снелла 0,032
Более эксцентричное предположение может состоять в том, что интервьюеры рисуют более реалистичную картину, фальсифицируя анкеты, если они при этом опираются на здравый смысл и обыденное знание, чем строго следуя опросным процедурам. Страшно подумать, к чему нас приведет развитие этой мысли.
Распределение ответов, приведённое в таблице 8, очевидно свидетельствует о двух вещах: во-первых, различия между результатами, которые дают разные методы, действительно существуют, во-вторых, квота не устраняет их вовсе, хотя и несколько смягчает контрасты — так, до введения квот число противников контроля над информацией в Интернете среди опрошенных по стационарному телефону было в три раза меньше, чем среди опрошенных на улице. После введения квот их стало всего в два раза меньше. Небольшой рост противников контроля среди опрошенных по стационарному телефону после введения квот легко объяснить тем, что одобрение контроля коррелирует с возрастом (младшие настроены против, старшие — за). Гораздо интереснее рост поддержки контроля среди опрошенных на улице после введения квоты. Мы опять же не готовы предложить однозначную трактовку этого факта. Тем не менее предположение о том, что анонимность опроса может привести к большей искренности ответов, получает некоторое подтверждение.
Самостоятельной проблемой, обсуждаемой меньше, хотя её значимость для исследовательской социологии выше, является возможность влияния выборочных смещений на связи между переменными. В отличие от прикладных исследований рынков или общественного мнения, задачей академических проектов обычно становится проверка гипотез о связях между А, В, С и Z1, Z2 и Z3. Может ли смещение выборки значимо сказаться на наблюдаемых тут эффектах? Ответ на этот вопрос, в отличие от вопроса об оценках значений отдельных переменных, куда менее очевиден. Действительно, связь между полом и потреблением высокой культуры останется значимой, какова бы ни была доля мужчин и женщин в выборке16. Можем ли мы рассчитывать, что для исследований, ориентированных на проверку гипотез, смещения выборки не представляют собой большую проблему? К несчастью, этого нельзя сказать заранее, хотя ситуация, в которой радикально изменятся показатели парной связи, возможна лишь при выполнении весьма специфических условий: должна существовать интеракция между одним из признаков, связи которых мы анализируем, и вероятностью быть опрошенным. Что касается нашего примера, предположим, что нас интересует связь пола и культурного капитала. В этом случае недостаточно, чтобы мужчины или высококультурные легче соглашались выразить своё мнение; надо, чтобы легче соглашались высококультурные мужчины и некультурные женщины, а некультурные мужчины и высококультурные женщины, наоборот, не соглашались.
Как правдоподобный пример того, как может возникнуть такая ситуация, представьте себе опрос в магазине детских товаров. В выборке его посетителей мужчины, которые не привержены традиционной мужской роли, будут встречаться чаще, потому что приверженные ей делегируют и покупки, и заботу о детях женщинам. Если исследователь задаст им вопросы о гендерных установках, то может сделать из этого ошибочный вывод, что мужчины менее склонны придерживаться традиционного разделения гендерных ролей.
Находим ли мы какие-нибудь свидетельства того, что выбор метода способен сказываться на оценке интенсивности связей между переменными? Этот вопрос требует специального анализа, который мы не будем пытаться представить здесь, ограничившись отдельными иллюстрациями. Однако наш ответ таков: увы, да, это возможно. Для целого ряда переменных мы обнаруживаем, что их действие опосредуется избранным методом. В особенности это касалось уличных опросов и влияния образования: для тех, кто был опрошен на улице, университетское образование оказывалось менее значимым фактором в предсказании посещения культурных событий или чтения Ремарка и Маркеса, чем для тех, кто был опрошен по стационарному или мобильному (эффект высшего образования на шансы стать читателем Ремарка для опрошенных по стационарному был сильнее в 2,5 раза, а по мобильному — в 3,3 раза, чем для опрошенных на улице17). Эффект несколько сократился, но не перестал быть значимым по-
16 В предельном случае, если все женщины бывают в опере и ни один мужчина не бывает в ней, корреляция останется 1,0 вне зависимости от того, будет ли мужчин 10, 50 или 90% среди опрошенных.
17 Отношение шансов интеракции высшего образования и метода к базе, заданной средним образованием и уличным опросом, при введении уровня образования и метода в качестве самостоятельных переменных.
сле введения квот. Опять же, это может быть результатом воздействия нескольких факторов, в первую очередь — результата выбора респондентов, которые не производили впечатления «культурных» и, даже если имели высшее образование, вели себя не как «интеллигенты». Так или иначе, мы видим, что результаты проверки гипотез также непосредственно зависимы от избранного способа получения данных для этой проверки.
Выводы
Наш методический эксперимент завершился, скорее, списком тем для размышления, чем какими-то однозначными рекомендациями. Прежде всего, мы убедились, что результаты опроса зависят от избранного метода, причём, по всей видимости, в этом играют роль несколько факторов. Одним из них является большая ситуативная достижимость старших возрастных групп (и, возможно, иных маломобильных групп) по стационарным телефонам. Другим — видимо, общая более высокая идеологическая готовность обладающей большими культурными ресурсами аудитории к опосредованным контактам — как с социологами по мобильным телефонам, так и в социальных сетях, — что приводит к завышению доли людей с вузовским дипломом при опросе по мобильным и к тому, что на генеральную совокупность оказываются спроецированы некоторые паттерны, специфичные для высокообразованных аудиторий (например, присутствие в сети «ВКонтакте» для людей после 40 лет18). Третий фактор — это, вероятно, проявляющаяся при уличном опросе склонность интервьюеров предпочитать информантов с несколько меньшими культурными ресурсами, которая, однако, может в отдельных случаях компенсировать склонность противоположной группы соглашаться отвечать. Наконец, четвёртым фактором оказывается избегание ответов на сензитивные политические вопросы в условиях, когда избранный метод допускает, с точки зрения респондента, его последующую идентификацию.
В целом достижимость респондентов для опроса по стационарным телефонам в наибольшей степени определяется демографическими переменными, а достижимость по мобильным не определяется ими вовсе; влияние образовательных и культурных факторов, видимо, наоборот, сильнее всего в случае с мобильными телефонами, однако ощутимо и при других типах опроса.
Распространённые методы квотирования позволяют справиться с проблемами избыточной представленности информантов старшего возраста при опросе по стационарному телефону (хотя мы рекомендуем, при достаточном объёме данных использовать перевзвешивания, а не квоты) и переоценки параметров, связь которых с вероятностью быть опрошенным опосредована возрастом. Однако, помимо специфически возрастных составляющих образа жизни, на достижимость для опроса влияют много других его особенностей, с возрастом напрямую не связанных. Есть основания предполагать, что попытка квотирования по демографическим характеристикам способна привести к непропорциональному увеличению влияния этих не связанных с возрастом характеристик образа жизни и в итоге к ухудшению точности измерения. Введение квот в основном способствует конвергенции результатов разных типов опроса, однако эта конвергенция необязательно гарантирует большую точность оценки; просто теперь, вместо того чтобы ошибаться каждый по-своему, все начинают ошибаться одинаково.
Нашей рекомендацией — в качестве, как минимум, частичного способа сдерживания этих отрицательных эффектов, будет введение образовательных квот, использованных, в частности, ВЦИОМом (которое, однако, упирается в отсутствие данных о доле людей с высшим образованием), и, возможно, квот, основанных на наличии аккаунтов в социальных сетях (мы теперь знаем возрастную структуру их пользователей). Напротив, использование смешанных выборок, во всяком случае, для мегаполиса типа Петербурга, не кажется готовым решением для какой-либо из существующих проблем.
18 Это обстоятельство радикально ограничивает возможности использования больших данных российских соцсетей.
Обобщая, отметим, что опрос по стационарным телефонам кажется наименее эффективным в силу значительности и разнообразия наблюдаемых при нём смещений. Мобильный телефон даёт сильные смещения, однако мы предполагаем, что они могут контролироваться за счёт продуманных квот. Уличный опрос — в Петербурге и сходных населённых пунктах — имеет сопоставимую с мобильным точность репрезентации демографической структуры и, по всей видимости, позволяет с большим успехом достичь менее образованных групп, а кроме того, походе, обеспечивает большую искренность, однако его использование требует контроля над вероятными фальсификациями.
Литература
Илле М. Е. 2016. Участие жителей «культурной столицы» в культурной жизни Петербурга. Телескоп: журнал социологических и маркетинговых исследований. 5: 27-32.
Илле М. Е. 2017. Образ «идеального» петербуржца и культурная жизнь города. Телескоп: журнал социологических и маркетинговых исследований. 4: 32-42.
Илле М. Е., Соколов М. М. (в печати). Статусная культура и экономическая трансформация. Участие в культурной жизни Петербурга, 1991-2011. Мир России. Социология. Этнология.
Османов Т. Э. 2015. Особенности построения выборки в опросе о Крыме. Мониторинг общественного мнения. Экономические и социальные перемены. 2: 40-52.
Османов Т. Э. 2016. Проект «Открытое мнение — Крым-2016». Методический отчёт о проведении исследования. URL: http://www.openopinion.ru/content_res/articles/OO_Crimea_method.pdf
Османов Т. Э., Рогозин Д. М. 2013. Методическое представление общероссийского опроса по мобильным телефонам, или Процедуры оценки качества выборочного исследования на примере опроса трудоспособного населения России. Мониторинг общественного мнения. Экономические и социальные перемены. 2: 40-54.
Османов Т. Э., Рогозин Д. М. 2016. Оптимальное соотношение мобильных и стационарных телефонов в двухосновной выборке, проектируемой для телефонного опроса. Мониторинг общественного мнения. Экономические и социальные перемены. 5: 41-63.
Рогозин Д. М. 2014. Насколько корректен телефонный опрос о Крыме: апостериорный анализ ошибок измерения. Мониторинг общественного мнения. Экономические и социальные перемены. 2: 4-25.
Рогозин Д. М., Ипатова А. А. 2015. Насколько разумна наша вера в результаты «бумажных» опросов? Москва: Радуга.
Рогозин Д. М. et al. 2016. Методический аудит массового опроса. Москва: Дело.
Сапонов Д. И. 2012. Мобильные опросы. Влияние способа сбора данных на результат. Мониторинг общественного мнения. Экономические и социальные перемены. 1: 45-51.
Сапонов Д. И. 2015. Типы ошибок покрытия в телефонном опросе. Мониторинг общественного мнения. Экономические и социальные перемены. 4: 36-49.
Сократилин В. 2016. Когда зацветёт соломенный рейтинг, или По каким причинам не сбудутся прогнозы социологов на выборах осенью 2016 года? Телескоп: журнал социологических и маркетинговых исследований. 3: 22-27.
Report of the AAPOR Task Force on Non-Probability Sampling (2013) URL: https://www.aapor.org/AAPOR_ Main/media/MainSiteFiles/NPS_TF_Report_Final_7_revised_FNL_6_22_13.pdf
Mikhail Sokolov, Alexander Kazantsev
Survey Types, Sample Biases and the Effects of Demographic Quotas. The Results of an Experiment with a Three-Frame Survey in a Major Russian City
Abstract
The paper analyzes how the ways of conducting a survey in a major Russian city (landline and cell-phone surveys, and face-to-face customer interviews at local chain stores) influence the estimates of distribution of a number of important variables in the general population. We also analyze the influence of introducing demographic quotas regarding estimates. We argue that (a) age- and gender-related characters of lifestyle heavily influence accessibility via landline phones resulting in over-representation of retired women; (b) education and cultural capital strongly influence accessibility via cell phones; (c) the introduction of demographic quotas usually, but not always, leads to convergence of the results different types of surveys produce (a notable exception is income), but (d) the convergence does not guarantee increasing precision of estimates because the bias caused by intervention of a number of factors affecting accessibility to all types of surveys, such as cultural capital or the character of work conditions, may increase. We also notice that types of surveys not guaranteeing anonymity possibly present severe problems with the sincerity of the answers to politically sensitive questions, with the problems being minimal in the case of interviews at local chain stores, and that sample biases entailed by a survey type probably affect not only estimates of variables, but also of the strength of association between them.
SOKOLOV, Mikhail—Candidate of Sociology, Professor, European University at Saint Petersburg. Address: 1 Shpalernaya, Saint Petersburg, 191187, Russian Federation.
Email: msokolov@eu.spb.ru
KAZANTSEV, Alexander-
Director, "Saint-Petersburg sociological research centre", Ltd. Address: 14 Izmailovsky, Saint Petersburg, 190005, Russian Federation.
Email: snihome@list.ru
Keywords: multi-frame surveys; sampling biases; demographic quotas; landline surveys; cell-phone surveys; cultural consumption.
Acknowledgements
The authors are grateful for the helpful comments to Mikhail Ille, Dmitri Rogozin, and Kirill Titaev. The survey was carried out due to a research grant from the European University at Saint Petersburg.
References
Ille M. E. (2016) Uchastie zhiteley "kul'turnoy stolitsy" v kul'turnoy zhizni Peterburga [Participation of "Cultural Capital" Inhabitants in Petersburg's Cultural Life]. Telescop: zhurnal sotsiologicheskikh i market-ingovykh issledovaniy = Telescope: A Journal of Sociological and Market Research, no 5, pp. 27-32 (in Russian).
Ille M. E. (2017) Obraz "ideal'nogo" peterburzhtsa i kul'turnaya zhizn' goroda [The Image of an Ideal Saint Petersburger and the Cultural Life of the City]. Telescop: zhurnal sotsiologicheskikh i marketingovykh issledovaniy = Telescope: A Journal of Sociological and Market Research, no 4, pp. 32-42 (in Russian).
Ille M. E. (Forthcoming) Statusnaya kultura i ekonomicheskaya transformatsiya. Potreblenie vysokoy kultury v Peterburge, 1991-2011 [Status Culture and Economic Transformation. Artistic Participation in Saint Peterburg, 1991-2011]. The Universe of Russia (in Russian).
Osmanov T. E. (2014) Osobennosti postroeniya vyborki v oprose o Kryme [Specific Features of Sample Design in a Survey about Crimea]. Monitoring obshchestvennogo mneniya. Ekonomicheskie i sotsial'nye peremeny = The Monitoring of Public Opinion: Economic and Social Changes, no 2, pp. 40-52 (in Russian).
Osmanov T. E. (2016) Proekt "Otkrytoe mnenie — Krym-2016". Metodicheskiy otchet o provedenii issle-dovaniya [Project "Open Opinion—Crimea-2016". A Methodological Report]. Available at: http://www. openopinion.ru/content_res/articles/OO_Crimea_method.pdf (accessed 20 August 2017) (in Russian).
Osmanov T. E., Rogozin D. M. (2013) Metodicheskoe predstavleniye obshcherossiyskogo oprosa po mobil'nym telefonam, ili Protsedury otsenki kachestva vyborochnogo issledovaniya na primere oprosa trudosposobnogo naseleniya Rossii [All-Russian Cell Phone Survey: An Introduction, or Procedures of Quality Evaluation of Sample Research of Russia's Employed Population]. Monitoring obshchestvennogo mneniya. Ekonomicheskie i sotsial'nye peremeny = Monitoring of Public Opinion: Economic and Social Changes, no 2, pp. 40-54 (in Russian).
Osmanov T. E, Rogozin D. M. (2016) Optimal'noe sootnoshenie mobil'nykh i statsionarnykh telefonov v dvuhosnovnoy vyborke, proektiruemoy dlya telefonnogo oprosa [Optimal Ratio Between Cell and Landline Phones in Dual-Frame Telephone Survey]. Monitoring obshchestvennogo mneniya. Ekonomicheskie i sotsial'nye peremeny = The Monitoring of Public Opinion: Economic and Social Changes, no 5, pp. 41-63 (in Russian).
Rogozin D. M. (2014) Naskolko korrekten telephonnyy opros o Kryme: aposteriornyy amaliz oshibok izme-reniya. Monitoring obshchestvennogo mneniya. Ekonomicheskie i sotsial'nye peremeny = Monitoring of Public Opinion: Economic and Social Changes, no 2, pp. 4-25 (in Russian).
Rogozin D. M., Ipatova A. A. (2015) Naskol'ko razumna nasha vera v rezul'taty "bumazhnykh" kvartirnykh oprosov? [Is Our Trust in "Paper" Surveys Grounded?], Moscow: Raduga (in Russian).
Rogozin D. M., Kertavtsev V. V., Galieva N. I., Vjugovskaja E. V. (2016) Metodicheskiy audit massovogo oprosa [Methodic Audit of a Mass Survey], Moscow: Delo (in Russian).
Saponov D. I. (2012) Intervyu po mobil'nym telefonam.Vliyaniye metoda na rezul'tat [Cell Phone Surveys. Influence of Method on Result]. Monitoring obshchestvennogo mneniya. Ekonomicheskie i sotsial'nye peremeny = Monitoring of Public Opinion: Economic and Social Changes, no 1, pp. 45-51 (in Russian).
Saponov D. I. (2015) Oshibki pokrytiya v telefonnykh oprosakh [Coverage Error Typology in Telephone Survey]. Monitoring obshchestvennogo mneniya. Ekonomicheskie i sotsial'nye peremeny =Monitoring of Public Opinion: Economic and Social Changes, no 4, pp. 36-49 (in Russian).
Sokratilin V. (2016) Kogda zatsvetet solomennyy reyting, ili Po kakim prichinam ne sbudutsya prognozy sotsiologov na vyborakh osen'yu 2016 goda? [When a Straw Ranking will Bloom, or Why Sociologists Predictions will not Come True at Autumn, 2016 Elections]. Telescop: zhurnal sotsiologicheskikh i mar-ketingovykh issledovaniy = Telescope: A Journal of Sociological and Market Research, no 3, pp. 22-27 (in Russian).
Report of the AAPOR Task Force on Non-Probability Sampling (2013) Available at: https://www.aapor.org/ AAPOR_Main/media/MainSiteFiles/NPS_TF_Report_Final_7_revised_FNL_6_22_13.pdf (accessed 20 August 2017).
Received: September 15, 2017
Citation: Sokolov M., Kazantsev A. (2017) Tipy oprosov, vyborochnye smeshcheniya i effekty kvoty: rezul'taty eksperimenta s trekhosnovnoy vyborkoy v rossiyskom megapolise [Survey Types, Sample Biases and the Effects of Demographic Quotas. The Results of an Experiment with a Three-Frame Survey in a Major Russian City]. Journal of Economic Sociology = Ekonomicheskaya sotsiologiya, vol. 18, no 5, pp. 87-110. doi: 10.17323/1726-3247-2017-5-87-110
