CC BY
111
ТЕОРИЯ, МЕТОДОЛОГИЯ, МЕТОДЫ
DOI: 10.14515/monitoring.2014.1.03
УДК 303.621.32(470+571):303.5:323/324(477.75)
Т.Э. Османов
ОСОБЕННОСТИ ПОСТРОЕНИЯ ВЫБОРКИ В ОПРОСЕ О КРЫМЕ
ОСОБЕННОСТИ ПОСТРОЕНИЯ ВЫБОРКИ В ОПРОСЕ О КРЫМЕ
SPECIFIC FEATURES OF SAMPLE DESIGN IN A SURVEY ABOUT CRIMEA
ОСМАНОВ Тимур Энварвикович — ведущий специалист Фонда «Общественное мнение». Email: [email protected]
OSMANOV Timur Envarvikovich - Leading Researcher, Public Opinion Foundation. E-mail: [email protected].
Аннотация. Данный текст представляет отклик на статью Дмитрия Рогозина «Насколько корректен телефонный опрос о Крыме:
апостериорный анализ ошибок измерения», опубликованную в текущем номере журнала «Мониторинг общественного мнения: экономические и социальные перемены» (№2, 2014).
Автор анализирует построение выборки и организацию полевых работ в телефонных опросах об отношении россиян к присоединению Крыма, проведенном Фондом «Общественное мнение» и Всероссийским центром изучения общественного мнения в Крыму 14-16 марта 2014 г. Эмпирическую базу анализа составили три массива данных: Фонда «Общественного мнения» (24 444 респондента), Всероссийского центра изучения общественного мнения (23 130 респондентов) и контрольного опроса по России (1050 респондентов).
Анализировались содержательные результаты опросов (в том числе в рамках отдельных социально-демографических групп и в рамках массивов, полученных от различных са II-центров), показатели достижимости, параметры контроля проведения опроса. Установлена высокая устойчивость
распределения ответов на содержательные вопросы анкеты относительно использованных способов формирования выборки (только по стационарным телефонам; по базе респондентов; по случайной двухосновной выборке номеров мобильных и стационарных телефонов). Показано, что распределения опросов данных в рамках трех анализируемых массивов в разной степени отличаются от данных Росстата, а также различаются по значениям коэффициентов
Abstract. This text is a response to Dmitry Rogozin's article titled "On the Accuracy of the Telephone Survey about Crimea: A Posteriori Error Analysis" published in the current issue of the Monitoring of Public Opinion: Economic and Social Changes (No 2, 2014).
The author gives analysis of the sample design and organization of field work in the telephone survey on the attitudes of Russians towards the accession of Crimea; the survey was conducted by the Public Opinion Foundation (POF) and the Russian Public Opinion Research Center (VCIOM) on March 14-16, 2014. The empirical basis for the survey was three data arrays: array of POF (24444 respondents), array of VCIOM (23130 respondents) and data of control opinion poll (1050 respondents).
Informative results (including separate socio-demographic groups and call centers data arrays), quality control indicators, and survey control data were analyzed.
The study revealed a high stability in distribution of answers to the informative questions across all methods of sampling (landline phones; respondents^ database; random mobile and landline phone samples). Distribution of answers in all three data arrays differ in a varying degree from the Rosstat data as well as from the AAPOR quality indicators. According to the author, none of the factors has had any big impact on the distribution of answers across four informative questions; this means that systematic deviations in the results are lacking.
качества AAPOR. По мнению автора, тот факт, что ни один из описанных факторов не повлиял сильно на распределения ответов по четырем содержательным вопросам анкеты, позволяет утверждать, что систематические отклонения в результатах исследования отсутствуют.
Ключевые слова: телефонный опрос, call-центр, ФОМ, ВЦИОМ, выборка, полевые работы, достижимость, звонки, качество данных, контроль качества, Крым, мегаопрос.
Keywords: telephone survey, call center, POF, VCIOM, sample, field work, achievability, calls, data quality, quality control, Crimea, mega poll.
В настоящей статье речь пойдет о тех аспектах мегаопроса ФОМа и ВЦИОМа о Крыме, которые недостаточно освещены Д.М. Рогозиным [2]. Мы сделаем акцент на построении выборки и организации полевых работ. В известном смысле эти проблемы связаны друг с другом, поскольку выборка всегда создается под конкретное исследование с определенными ограничениями: временными, бюджетными, организационными. Идеальная выборка отнюдь не всегда может быть осуществлена в реальном исследовании, поэтому задача методолога сводится к построению наиболее репрезентативной выборки с учетом существующих ограничений.
Отличительной особенностью описываемого исследования является требование опросить большое количество респондентов (от 40 до 50 тыс.) в крайне сжатые сроки (3 дня). Выборка должна репрезентировать население каждого субъекта РФ — именно этим объясняется необходимость столь большого, на первый взгляд, объема выборки. ФОМ получил заказ на проведение опроса днем 13 марта, обработанные результаты нужно было сдать не позднее 19.00 16 марта. Смело можно сказать, что ранее подобных заказов, а следовательно, и опыта их проведения не было. Не было и времени на доскональное обдумывание методологии, предварительные договоренности со звонковыми центрами. Все исследование проводилось в авральном режиме.
Организация полевых работ
В связи с масштабностью, беспрецедентностью и политической значимостью исследования было принято решение разделить всю выборку между двумя организациями: ФОМом и ВЦИОМом. Поскольку выборка должна репрезентировать каждый субъект РФ, ее разделение прошло по субъектам РФ. Случайным образом вся совокупность 83 субъектов была разделена на две части1. Случайность в разделении выборки позволяет утверждать, что каждая половина (ФОМа и ВЦИОМа) репрезентирует население России. Таким образом, даже если у одной организации возникли бы непредвиденные проблемы, результаты опроса, проведенного второй организацией, давали бы несмещенные распределения по стране в целом.
К вечеру 13 марта количество звонковых центров, согласившихся работать с ФОМом, достигло 10. В проекте использовался особый подход к привлечению звонковых центров: сотрудничество предлагалось лишь тем компаниям, которые более-менее хорошо себя
1 Единственное условие, накладываемое на разделение, — в одну половину не должны были попасть одновременно Москва и Санкт-Петербург в связи со сложностью проведения опроса в этих субъектах РФ.
41 _
зарекомендовали на предыдущих совместных проектах. Звонковые центры, расположенные на территории Украины, не привлекались, поскольку были опасения, что украинские интервьюеры могут из личных политических убеждений искажать результаты опроса. Провести же полноценный контроль работы интервьюеров до сдачи проекта заказчику, а тем более исправлять брак, не позволяли сроки.
Итак, вечером 13 марта появилась возможность оценить организационные ограничения исследования или, другими словами, количество интервьюеров, которые могут быть задействованы. Из 10 звонковых центров 2 могли работать в режиме автоматического набора номера (DEX) и соединения интервьюера с телефонной линией, где взяли трубку. Данная технология позволяет значительно повысить производительность работы интервьюера, однако может сильно уменьшить уровень достижимости (Response Rate) [1]. Расчеты показали достаточно высокую вероятность не успеть опросить требуемое количество респондентов в срок, если строить выборку на основе случайной генерации телефонных номеров (RDD) по задействованным на исследуемой территории диапазонам нумерации. Дело в том, что при проведении опроса на основе RDD-выборки доля звонков, по которым взяли трубку, составляет всего около 20% и при отсутствии автоматизации дозвона достаточно много времени тратится на набор телефонных номеров и фиксирование результатов дозвона, а не на интервью с респондентами.
Построение выборки
Было решено строить выборку в большей части регионов на основе базы респондентов ФОМ, что позволило значительно увеличить продуктивность работы интервьюеров. Начиная с 2009 г. в большинстве опросов ФОМа, проводимых в режиме face-to-face по месту жительства респондента, задается вопрос о возможности повторных обращений к респонденту по телефону или через Интернет. Данные согласившихся респондентов (ответы на вопросы анкеты, номер мобильного или стационарного телефона) сохраняются, и на их основе формируется база респондентов ФОМ. Можно утверждать, что база респондентов, собранная на основе опроса, проведенного по случайной репрезентативной выборке, репрезентирует исследуемое население, если группа респондентов, согласившихся на повторные опросы, не отличается от группы отказавшихся от них. Внутренние исследования ФОМа показали, что по политическим предпочтениям значимых различий между этими группами нет. Для построения выборки в каждом регионе из базы проживающих здесь респондентов, случайным образом отбиралось определенное количество человек — первичная выборка. Распределение по полу, возрасту, населенному пункту (по крупным городам, совокупности поселков городского типа, мелких городов и сел) приводилось к данным Росстата в исследуемом субъекте РФ путем удаления респондентов в группах, где наблюдалось завышение относительно данных Росстата. По полученной выборке проводился опрос. Вся выборка была доступна всем звонковым центрам, не работающим по технологии DEX, какого-либо разделения между звонковыми центрами не было. Поэтому можно утверждать, что звонковые центры работали по одной и той же выборке.
Однако в ряде субъектов РФ опрос проводился без использования базы респондентов ФОМ по двум причинам: из-за недостаточного объема базы и из-за стабильных проблем с качеством проведения опросов по месту жительства в этих регионах, вызванных, в том числе, недоступностью для интервьюеров существенной части территорий. К этим регионам относятся Республика Алтай, Республика Дагестан, Республика Ингушетия, Карачаево-
42 _
Черкесская Республика, Республика Тыва, Чеченская Республика, Чукотский АО2. Здесь опрос проводился по случайной двухосновной RDD-выборке номеров мобильных и стационарных телефонов, задействованных на территории. Опрос в этих регионах проводили 2 звонковых центра, работающих по технологии DEX. Разделение выборки между звонковыми центрами проходило по субъектам РФ, т.е. звонковые центры работали по разным регионам, и поэтому сопоставлять результаты их работы не совсем корректно.
Относительно методики построения выборки ВЦИОМом нам известно, что выборка строилась на основе стационарных номеров телефонов. Номера отбирались случайным образом из номерных телефонных емкостей точек опроса. Отбор респондента квотировался по типу населенного пункта, полу, возрасту, уровню образования.
Очевидно, что выборки как ФОМа, так и ВЦИОМа не являются идеальными, в их конструкции заложены потенциальные смещения результатов. В выборку ФОМа заложены смещения опросов по месту жительства, на основе которых создается база респондентов. В выборку ВЦИОМа входят только стационарные телефоны, т.е. 47% населения3, не имеющих стационарного телефона, исключаются из выборки. Для контроля потенциальных смещений результатов опроса ФОМа и ВЦИОМа на уровне России было принято решение провести контрольный опрос по случайной двухосновной RDD-выборке номеров мобильных и стационарных телефонов. В такую выборку имеет равный шанс попасть каждый телефонный номер мобильного или стационарного телефона страны. При звонке на мобильный телефон опрашивался человек, который взял трубку, при звонке на стационарный домашний телефон проводился случайный отбор респондента. В анкету контрольного опроса были добавлены вопросы, направленные на выявление практик пользования телефонной связью, ответы на которые использовались для выравнивания вероятности отбора респондентов. Контрольный опрос проводился 15-16 марта силами звонковых центров, работающих с ФОМом. Объем выборки контрольного опроса составил 1050 респондентов. Выборка опроса репрезентирует телефонизированное население России в возрасте 18 лет и старше. Результаты опроса ремонтировались путем приписывания весовых коэффициентов в два этапа: на первом выравнивалась вероятность отбора респондентов исходя из практик пользования телефонами, на втором половозрастное распределение выборочной совокупности приводилось к данным Росстата. На втором этапе взвешивания весовые коэффициенты варьировались в диапазоне от 0,93 до 1,13, т.е. по половозрастному распределению выборка несильно отклонилась от данных Росстата.
Анализ методических результатов
В результате исследования были опрошены 48 624 респондента4. В нашем распоряжении оказались три массива данных: ФОМа (24 444 респондента), ВЦИОМа (23 130 респондентов) и контрольного опроса по России (1050 респондентов). Сопоставление результатов трех опросов приведено в таблице 1.
2 По организационным причинам в этот список вошли Новгородская и Курганская области, причем в Курганской области опрос проводили 8 звонковых центров, не работающих по технологии ОБХ.
3 Данные всероссийского ftf опроса ФОМнибус, проводившегося 20-23 февраля 2014 г. Выборка 3000 респондентов. Погрешность не превышает 2,5 п.п. У 90% населения есть мобильный телефон, у 53% — есть стационарный телефон, у 5% — нет никакого телефона.
4 В отчете фигурирует цифра 48 590, поскольку при анализе из массива были ошибочно исключены 34 респондента, не указавшие регион проживания в контрольном опросе.
43 _
Таблица 1 Сопоставление ответов респондентов на 4 содержательных вопроса в опросах ФОМ, ВЦИОМ и контрольном опросе, % по столбцу
Все данные ФОМ ВЦИОМ Контрольный опрос по России
Россия должна или не должна защищать интересы русских и представителей других национальностей, проживающих в Крыму?
Да, должна 94,1 94,5 93,6 93,9
Нет, не должна 2,8 2,5 3,3 2,1
Затрудняюсь ответить 3,1 3,1 3,1 4,0
Россия должна или не должна защищать интересы русских и представителей других национальностей, проживающих в Крыму, даже если это осложнит отношения с другими странами?
Да, должна 83,2 83,3 83,1 84,1
Нет, не должна 6,7 6,4 7,2 5,0
Затрудняюсь ответить 10,1 10,4 9,7 10,8
Вы согласны или не согласны с мнением, что Крым — это Россия?
Да, согласен 86,1 86,6 85,4 85,3
Нет, не согласен 8,7 8,1 9,5 8,6
Затрудняюсь ответить 5,2 5,3 5,1 6,1
Вы согласны или не согласны с присоединением Крыма к нашей стране в качестве субъекта Российской Федерации?
Да, согласен 91,0 91,1 90,9 90,6
Нет, не согласен 4,8 4,6 4,9 4,8
Затрудняюсь ответить 4,2 4,3 4,2 4,6
Как видно, результаты трех опросов с большой точностью сходятся. Расхождения между опросами ФОМа и ВЦИОМа не превышают 1,4 п.п., а от контрольного опроса отклоняются не более чем на 2,2 п.п., притом что в контрольном опросе 95%-ный доверительный интервал для доли признака 90% составляет 2,2 п.п. Гипотеза о существенном смещении распределений ответов на 4 содержательных вопроса, вызванных методом формирования выборки, не подтвердилась.
Сопоставим распределения выборок по социально-демографическим параметрам с официальными данными Росстата. В опросе фиксировались ответы на 4 социально-демографических вопроса: пол, возраст, уровень образования, тип населенного пункта. Данные ВЦИОМа квотировались по всем четырем параметрам, поэтому существенной разницы между ними и данными Росстата быть не должно. Контрольный опрос взвешивался для приведения в соответствие половозрастного распределения данным Росстата.
Таблица 2 Сопоставление социально-демографических распределений по данным опросов ФОМ, ВЦИОМ, контрольного опроса и данных Росстата, % по столбцу
Все данные Тип выборки опроса Данные Росстата на 1.01.2013
данные ФОМ данные ВЦИОМ контрольный опрос
Половозрастная структура
Муж 18-24 5,4 4,3 6,7 6,1 6,1
Муж 25-34 9,6 9,9 9,2 10,5 10,3
Муж 35-44 8 8 7,8 10 8,4
Муж 45-54 7,7 7,5 8,1 6,6 8,4
Муж 55 и старше 11,5 10,8 12,3 12 12,0
Жен 18-24 5,2 4,2 6,5 5,9 5,9
Жен 25-34 9,7 9,8 9,7 9,8 10,2
Жен 35-44 8,8 9,1 8,7 7,9 8,8
Жен 45-54 9,8 10,4 9,1 11 9,6
Жен 55 и старше 24,2 26,1 22 20,3 20,3
Тип населенного пункта (данные Росстата по населению 18+)
Город, ПГТ 77,0 81,1 71,4 83,1 74,9
Село 22,9 18,8 28,6 16,6 25,1
Отказ от ответа 0,1 0,2 0,0 0,3
Уровень образования (данные Росстата по Всероссийской переписи населения 2010 г. от населения 15+)
Неполное среднее или ниже 4,3 4,4 4,3 4,6 6,0
Среднее общее 17,4 17,9 17,2 13,7 29,2
Начальное профессиональное 3,2 2,5 4,1 2,2 5,6
Среднее специальное 42,3 38,1 47,9 38,0 31,2
Незаконченное высшее 3,7 4,7 2,5 4,4 4,6
Высшее 28,9 32,1 24,0 37,0 23,4
Затрудняюсь ответить 0,1 0,2 0,0 0,2
***Высшее, незаконченное высшее 32,6 36,8 26,5 41,4 28,3
***Нет высшего 67,3 63,1 73,5 58,7 71,7
Данные таблицы 2 свидетельствуют о том, что распределения социально-демографических параметров различных опросов сильно отличаются друг от друга. Слабее всего от результатов Росстата, как и ожидалось, отклонились результаты опроса ВЦИОМ. Единственное значительное отклонение в опросе ВЦИОМ — доля респондентов со средним специальным уровнем образования составляет 47,9%, тогда как по данным Росстата она должна быть 31,2% (отклонение 16,7 п.п.). Вероятно, такое отклонение вызвано использованием квот на высшее образование: распределение образования сместилось от высшего в сторону среднего специального.
Данные контрольного опроса смещены в сторону лиц с высшим образованием (37% против 23,4% по данным Росстата — разница 13,1 п.п.), жителей городов (разница 8,5 п.п.).
45 _
Эти смещения можно объяснить в том числе оперативностью полевых работ: на большинство телефонных номеров из выборки интервьюеры звонили лишь 1 раз, что вызвало достаточно низкий уровень достижимости, и были опрошены в основном легкодоступные единицы.
Данные ФОМа сильно смещены в сторону женщин 55 лет и старше (на 5,8 п.п.). Доля людей от 18 до 24 лет занижена на 3,4 п.п. Этот факт можно объяснить способом формирования выборки. Во-первых, первичная выборка из базы выравнивалась по полу и возрасту, однако возраст в базе был зафиксирован на момент проведения опроса, благодаря которому респондент попал в базу. При выравнивании выборки не было учтено, что со времени проведения этого опроса возраст респондента увеличился, поэтому реализованная выборка сместилась в сторону пожилых респондентов. Во-вторых, при звонке на стационарный телефон не проводился отбор респондента и чаще всего опрашивался человек, который подошел к телефону, поэтому реализованная выборка сместилась в сторону женщин. Также выборочная совокупность ФОМ смещена в сторону городских жителей на 6,3 п.п. Напомним, что распределение основы выборки по типу населенного пункта приводилось к данным Росстата. Следовательно, это смещение вызвано ошибкой неответов. Кроме того, выборка ФОМ сместилась в сторону респондентов с высшим образованием (на 8,5 п.п.) либо средним специальным образованием (на 6,9 п.п.). Поразительно, что разница по этим параметрам между опросами ФОМа и ВЦИОМа не сказалась на распределении ответов на содержательные вопросы.
Может сложиться впечатление, что опрос ВЦИОМ проведен наиболее качественно, поскольку распределения социально-демографических параметров практически повторяют данные Росстата. Однако не стоит судить о качестве выборки по количеству наложенных на нее квот и точности их выдерживания, ведь ее репрезентативность обусловливается случайностью отбора (а квотная выборка не является случайной), наличием и величиной ошибкой покрытия, случайной ошибки выборки и ошибкой неответов. Так, ошибка покрытия в опросе ВЦИОМа имеет наибольший потенциал — из выборки исключено 47% населения без стационарных телефонов, тогда как из выборки ФОМа и контрольного опроса исключено лишь 5% населения, у которых нет ни мобильного, ни стационарного телефона. В опросе ВЦИОМа квотировались все 4 вопроса социально-демографического блока, поэтому у нас нет возможности оценить смещение выборки по каким-либо параметрам, кроме содержательных вопросов. Отметим также, что надежность данных Росстата многими исследователями ставится под сомнение. К тому же распределение владельцев стационарных телефонов по социально-демографическим параметрам отличается от распределения по всему населению5. Остается открытым вопрос, насколько правомерно в данном случае рассчитывать квоты исходя из распределения по всему населению.
Таким образом, совпадение результатов трех опросов при столь большой разнице в методиках их проведения по большей части объясняется тем, что ответы на 4 содержательных вопроса очень слабо связаны с какими-либо параметрами респондентов. Нам банально «повезло» с содержательными вопросами.
Дополнительным критерием устойчивости данных является распределение ответов респондентов по звонковым центрам (табл. 3). Существенных различий здесь нет. Выделяется звонковый центр 8, интервьюеры которого склонны реже отмечать вариант «затрудняюсь
5 Данные всероссийского опроса ФОМнибус, проводившегося 20-23 февраля 2014 г. Выборка — 3000 респондентов. Погрешность не превышает 2,5 п.п. Среди владельцев стационарных телефонов доля сельских жителей составляет 18% против 27% во всей выборке, доля людей с высшим образованием — 28% против 21% во всей выборке, доля людей в возрасте от 18 до 34 лет — 27% против 35% во всей выборке.
46 _
ответить». Интервьюеры звонковых центров 9 и 10, напротив, чаще других отмечают позицию «затрудняюсь ответить». Звонковые центры 1 и 2 работали по технологии ОБХ по случайной выборке номеров мобильных и стационарных телефонов. Их данные несильно отличаются от остальных звонковых центров, что подтверждает инвариантность полученных результатов относительно подхода к формированию выборки и технологии проведения опроса.
Таблица 3 Распределение ответов на 4 содержательных вопроса по звонковым центрам (110), % по столбцу; шрифтом выделены ячейки, в которых абсолютное значение стандартизированных остатков превышает 2. Расчеты произведены с весами для анализа распределений по России в целом
Звонковый центр: 1 2 3 4 5 6 7 8 9 10 Все данные
Россия должна или не должна защищать интересы русских и представителей других национальностей, проживающих в Крыму?
Да, должна 95,0 94,8 95,7 94,7 94,0 94,7 93,4 95,5 91,9 92,8 94,5
Нет, не должна 2,8 1,4 2,4 2,2 2,7 2,6 3,0 2,4 2,0 2,8 2,5
Затрудняюсь ответить 2,2 3,8 1,9 3,1 3,2 2,7 3,6 2,2 6,0 4,4 3,0
Россия должна или не должна защищать интересы русских и представителей других национальностей, проживающих в Крыму, даже если это осложнит отношения с другими странами?
Да, должна 88,2 82,0 84,9 81,7 82,0 83,4 81,9 86,5 76,5 77,3 83,2
Нет, не должна 6,3 5,3 5,2 6,3 6,6 7,0 6,7 6,5 5,0 7,9 6,4
Затрудняюсь ответить 5,4 12,7 9,9 12,0 11,4 9,6 11,4 7,0 18,5 14,8 10,3
Вы согласны или не согласны с мнением, что Крым — это Россия?
Да, согласен 87,9 80,1 89,0 86,7 85,2 86,2 87,5 87,8 85,9 84,9 86,6
Нет, не согласен 7,8 8,8 6,7 7,6 9,1 9,0 7,6 8,3 6,5 7,4 8,2
Затрудняюсь ответить 4,3 11,1 4,3 5,7 5,7 4,8 4,9 3,9 7,6 7,7 5,2
Вы согласны или не согласны с присоединением Крыма к нашей стране в качестве субъекта Российской Федерации?
Да, согласен 92,4 90,1 92,3 91,3 90,0 91,2 90,7 92,0 88,2 90,8 91,1
Нет, не согласен 4,7 3,9 3,8 4,8 4,7 4,6 4,8 5,1 4,6 6,2 4,7
Затрудняюсь ответить 3,0 6,1 3,9 3,9 5,2 4,2 4,4 2,9 7,2 3,0 4,2
Анализ достижимости
Еще одним немаловажным параметром, по которому можно сопоставить опросы, проведенные по различным методикам, являются показатели достижимости. Имеет смысл рассматривать достижимость отдельно для следующих случаев:
1 выборки на основе базы респондентов;
2 RDD-выборки, когда опрос осуществляется по технологии ОБХ (звонковые центры 1 и 2);
3 RDD-выборки, когда опрос осуществляется не по технологии ОБХ (опрос в Курганской области);
4 выборки контрольного опроса;
5 данные ВЦИОМ без разбивки по звонковым центрам;
47 _
Уместно также сравнить показатели достижимости в разрезе различных звонковых центров ФОМа.
Разобьем достижимость на две составляющие, назвав их звонками и дозвонами. Под звонками будем понимать техническую достижимость — результат звонка на телефонный номер до момента взаимодействия с респондентом. Если на телефонный номер было сделано несколько звонков, то номеру присваивается результат последнего звонка. Под дозвонами будем понимать результат взаимодействия с респондентом. Такое разделение позволит нагляднее продемонстрировать различия между методиками проведения опросов в исследовании. К тому же результаты звонков и дозвонов считаются по разным базам данных: результаты звонка — по выгрузкам баз контактов, а результаты дозвона — по базе с ответами на вопросы анкеты.
Таблица 4 Результаты звонков в зависимости от звонкового центра, типа выборки опроса, % по строке
Результат звонка Дозвонились Занято Неверный номер Нет ответа Ошибка Всего номеров набрано
Результаты звонков по звонковым центрам (ЗЦ 3-10 учитываются только звонки по базе)
ЗЦ 1 (DEX) 7,8 (9,3)* 5,1 12,2 55,9 17,5 74 760
ЗЦ 2 (DEX) 7,1 (9,9)* 5,1 15,3 63,7 6,0 97 463
ЗЦ 3 49,0 3,2 9,4 35,0 3,5 8081
ЗЦ 4 46,7 9,2 9,2 33,2 1,7 5512
ЗЦ 5 40,6 2,9 13,4 39,6 3,5 14 420
ЗЦ 6 48,4 2,3 13,5 32,9 2,9 14 382
ЗЦ 7 49,7 2,6 7,6 34,4 5,7 13 534
ЗЦ 8 45,7 4,9 8,8 38,1 2,5 16 217
ЗЦ 9 43,3 9,1 7,5 28,1 12,0 3487
ЗЦ 10 41,7 4,8 8,7 43,0 1,8 2222
Результаты звонков по типам выборки
Выборка из базы 46,1 4,0 10,3 35,8 3,8 77 855
RDD с ОБХ 7,4 (9,6)* 5,1 14,0 60,3 11,0 172 223
RDD без ОБХ 17,5 8,9 30,1 34,9 8,6 5646
Данные ВЦИОМ 22,1 - 37,8 40,1 - 220 800
Звонки по контрольному опросу
RDD без DEX 21,4 5,0 39,9 30,1 0,1 15195
*В случае использования технологии DEX появляется дополнительная ступень: перевод телефонной линии, где
взяли трубку, на свободного интервьюера. Для звонков DEX в столбце «дозвонились» есть 2 числа — доля
успешно переведенных на интервьюера соединений и в скобках доля соединений, по которым дозвонились (взяли трубку).
В таблице 4 представлены результаты звонков. Различия между звонковыми центрами, работающими по одной методике, невелики, тогда как разница в распределении результатов звонков между разными методиками построения выборки и проведения опроса значительна. Как и ожидалось, наиболее результативны опросы по базе респондентов — по каждому второму номеру телефона берут трубку. Значительно менее результативны опросы по случайной выборке без использования технологии DEX и опрос ВЦИОМа (в среднем по каждому 5-му номеру телефона берут трубку). Наименьшую результативность показали звонки по случайной выборке с использованием технологии DEX (лишь в каждом 13-м случае удалось дозвониться).
48 _
Таблица 5 Результаты дозвонов в зависимости от звонкового центра, типа выборки опроса, % по строке
Результат дозвона Полное интервью Отказ Прерванное интервью Вне целевой группы Неверная кодировка, другое Всего случаев «взяли трубку»
Результаты дозвонов по звонковым центрам (ЗЦ 3-10 учитываются только звонки по базе)
ЗЦ 1 (DEX) 21,2 24,0 2,0 45,3 7,5 7233
ЗЦ 2 (DEX) 22,5 30,0 3,6 15,2 28,7 9323
ЗЦ 3 49,2 40,6 2,0 3,4 4,9 3999
ЗЦ 4 57,3 30,4 1,5 2,9 8,0 2602
ЗЦ 5 58,9 25,8 2,9 5,2 7,2 5926
ЗЦ 6 59,1 35,7 1,2 2,6 1,4 6890
ЗЦ 7 56,3 33,1 2,7 3,2 4,6 6718
ЗЦ 8 54,4 33,0 1,6 3,6 7,4 7601
ЗЦ 9 60,8 29,3 1,7 5,2 3,0 1496
ЗЦ 10 47,9 35,7 2,5 9,0 4,9 926
Результаты дозвонов по типам выборки
Выборка из базы 56,0 32,8 2,0 3,7 5,4 36241
РОО с ОБХ 23,7 27,7 2,9 27,0 18,7 17519
РОО без ОБХ 53,9 34,1 2,8 4,2 5,1 963
Данные ВЦИОМ 47,5 41,9 0,0 10,6 - 48728
Дозвоны по контрольному опросу
RDD без DEX 32,8 36,1 4,3 10,5 16,4 3204
В таблице 5 представлены результаты дозвона. В отличие от результатов звонка, они сильно зависят от звонкового центра. При звонках по базе доля полных интервью от случаев, когда удалось дозвониться до респондента, варьирует от 47,9 до 60,8%, доля отказов - от 25,8 до 40,6%. Такие различия нельзя объяснить технической оснасткой звонковых центров и качеством работы провайдера связи, они полностью обусловливаются практиками работы интервьюеров и их навыками склонить респондентов к участию в интервью. От метода построения выборки и реализации опроса сильно зависит не только результативность звонков, но и результативность дозвонов. Выше всего результативность дозвонов в опросах по выборкам на основе баз респондентов ФОМ (56% от контактов с респондентом заканчиваются полными интервью). Немногим ниже результативность дозвонов опроса ВЦИОМ (47,5%) и по RDD-выборке без использования автоматического дозвона DEX. Отметим, что 2 опроса, проводимые по такой методике, но репрезентирующие разные совокупности (Курганскую область и Россию), показали сильно различающиеся распределения результатов дозвонов. В контрольном опросе доля полных интервью от всех контактов составила 32,8%, в опросе по Курганской области — 53,9%. Хуже всего результативность дозвонов у опросов на основе RDD-выборок, приводящихся по технологии DEX (лишь 23,7% дозвонов завершились полными интервью), что может быть связано со спецификой регионов, в которых проводился опрос по этой технологии. Напомним, речь идет о труднодоступных регионах и территориях Северного Кавказа.
На основе данных таблиц 4 и 5 можно рассчитать коэффициенты качества опросов общественного мнения в соответствии со стандартами Американской ассоциации
49 _
исследователей общественного мнения (AAPOR) [3]. Рассчитаем коэффициент ответов RR3 (Response rate), коэффициент отказов REF2 (Refuse rate), коэффициент кооперации COOP1 (Cooperation rate) и коэффициент контактов CON2 (Contact rate).
Таблица 6 Коэффициенты качества исследования в зависимости от звонкового центра, типа выборки опроса, %
Коэффициенты качества COOP1 RR3 REF2 CON2
По звонковым центрам
ЗЦ 1 (DEX) 45,0 6,7 7,6 14,9
ЗЦ 2 (DEX) 40,2 4,1 5,4 10,1
ЗЦ 3 53,7 29,0 23,9 54,0
ЗЦ 4 64,3 32,3 17,1 50,3
ЗЦ 5 67,2 31,1 13,6 46,2
ЗЦ 6 61,6 34,1 20,6 55,4
ЗЦ 7 61,1 32,4 19,0 53,0
ЗЦ 8 61,1 30,6 18,6 50,1
ЗЦ 9 66,2 30,6 14,8 46,2
ЗЦ 10 55,6 25,6 19,1 46,0
По типам выборки
Выборка из базы 61,6 31,5 18,5 51,1
RDD с DEX 42,1 5,2 6,5 12,3
RDD без DEX 59,4 14,2 9,0 23,9
Данные ВЦИОМ 53,1 9,0 7,9 16,9
Контрольный опрос
RDD без DEX 44,8 15,0 16,6 33,6
Главным показателем уровня достижимости является коэффициент ответов RR. В случае опросов по базам респондентов его значение достигает 31,5%, что служит высоким показателем для телефонных опросов со сжатыми сроками полевых работ и всего одним звонком на отобранные телефонные номера. В контрольном опросе и опросе ВЦИОМа коэффициент ответов имеет средние значения (от 9 до 15%). В опросе же по случайной RDD-выборке с использованием DEX оно крайне низкое — всего 5,2% респондентов от первоначальной выборки приняли участие в опросе. Отчасти этот феномен можно объяснить двумя факторами. Во-первых, механизмом идентификации результата звонка: в случае использования технологии DEX понижается вероятность определения несуществующего номера. При использовании DEX на RDD выборке лишь 14% номеров определяется как несуществующие, тогда как без использования технологии DEX доля повышается до 30-40%. Похоже, что часть несуществующих номеров попала в группу «нет ответа», что снизило значение коэффициента ответов. Вторым фактором является региональное распределение выборки при использовании технологии DEX.
Ошибка неответов, обусловленная достижимостью, определяется не только коэффициентами ответов, но и отличием опрошенных респондентов от тех, которые попали в выборку, но не были опрошены. В данном опросе специального исследования недостигнутых респондентов не проводилось, поэтому наши знания о них ограничены лишь их долей в массиве. Понятно, что в этом случае чем выше показатель Response rate, тем меньше
50 _
вероятность смещения результатов из-за ошибки неответов. Исходя из такой логики может сложиться впечатление, что меньше всего ошибка неответов влияет на опрос по выборке на основе базы респондентов ФОМ. Однако нами не рассматривается ошибка неответов, уже заложенная в базу респондентов: во-первых, не все отобранные респонденты приняли участие в исходном опросе, на основе которого формировалась база, т.е. в исходном опросе тоже был некоторый уровень достижимости, отличный от 100%; во-вторых, не все опрошенные в исходном опросе согласились участвовать в повторных опросах, следовательно, не все они попали в базу респондентов.
Контроль проведения опроса
Контроль хода полевых работ в данном исследовании со стороны ФОМа достаточно подробно описан Д.М. Рогозиным. Стоит лишь обратить внимание, что не всем из 608 отобранных случайным образом интервью удалось сразу сопоставить аудиозаписи. Однако все аудиозаписи были найдены после взаимодействия со звонковыми центрами, кроме двух у компании «Русская реклама». Представители этой компании обосновывают отсутствие двух аудиозаписей ошибкой кодека записи аудиофайла. Следовательно, с очень высокой вероятностью можно утверждать, что не было случаев, когда интервью не проводилось, а полностью фальсифицировалось.
Д.М. Рогозин достаточно категорично присвоил ярлыки оценок качества работы различным звонковым центрам. Заметим, что, во-первых, качество работы звонкового центра может меняться со временем; во-вторых, у разных составляющих оценки качества может быть разный вес в интегральной оценке. Так, например, фраза Рогозина «Рекламно-маркетинговый центр "Русская реклама" должен быть исключен из пула потенциальных партнеров, проводящих телефонные опросы» основана на том, что интервьюеры не вели себя вежливо (см. табл. 7), тогда как по другим, значительно более важным, на наш взгляд, параметрам данный звонковый центр показал средние результаты. По доле же грубых ошибок6, которые могут исказить результаты опроса, лидируют компании «Аврора», ФСИ и «Аналитик», в рейтинге Рогозина занимающие средние позиции.
Таблица 7 Детальное распределение оценок качества работы звонковых центров. В ячейках показана доля ошибок — чем выше доля, тем хуже проявили себя интервьюеры звонкового центра
Количество
Звонковый центр Прослушано аудиозаписей ответов респондента, не соответствующих записи в базе Вежливость интервьюера Проблемы со связью Грубые ошибки
Аврора 69 17% 5% 4% 10%
Аналитик 60 12% 12% 7% 7%
Инфоскан 73 5% 6% 3% 1%
Квалитас 63 4% 9% 0% 2%
Контекст 57 5% 4% 7% 2%
Линкор 73 10% 7% 3% 4%
Русская реклама 80 9% 24% 5% 5%
Форис 68 5% 6% 0% 1%
6 Грубые ошибки — случаи, когда из примечания контролера ясно, что ответ респондента не соответствует записи в базе, либо интервьюер склоняет респондента к одному из вариантов ответа, либо вопрос не задавался. 51 _
Звонковый центр Прослушано аудиозаписей Количество ответов респондента, не соответствующих записи в базе Вежливость интервьюера Проблемы со связью Грубые ошибки
ФСИ 63 14% 13% 0% 6%
Общий итог 606 9% 10% 3% 4%
Итак, распределения ответов респондентов на 4 содержательных вопроса анкеты показывают высокую устойчивость способов формирования выборки. Телефонные опросы, проведенные только по стационарным телефонам, либо по базе респондентов, либо по случайной двухосновной выборке номеров мобильных и стационарных телефонов, дают очень похожие распределения ответов респондентов. Распределения ответов также практически не зависят от пола респондента, его образования, типа населенного пункта, региона проживания. Зависимость ответов на содержательные вопросы наблюдается лишь от возраста респондента7. Было показано, что распределения опросов ФОМ, ВЦИОМ и контрольного опроса в разной степени отличаются от данных Росстата. Опросы также сильно различаются по значениям коэффициентов качества AAPOR. Тот факт, что ни один из описанных факторов не повлиял сильно на распределения ответов по четырем содержательным вопросам анкеты, позволяет утверждать, что систематические отклонения в результатах исследования отсутствуют. Выборка данного опроса репрезентирует население России в возрасте 18 лет и старше.
Литература
1 Османов Т.Э., Рогозин Д.М. Методическое представление общероссийского опроса по мобильным телефонам, или Процедуры оценки качества выборочного исследования на примере опроса трудоспособного населения России // Мониторинг общественного мнения. 2013. № 2 (114). С. 40-54.
2 Рогозин Д. М. Насколько корректен телефонный опрос о Крыме: апостериорный анализ ошибок измерения // Мониторинг общественного мнения : эконом. и соц. перемены. 2014. № 2 С. 4 -25.
3 Стандартные определения: систематическое описание диспозиционных кодов и коэффициентов результативности для массовых опросов / Амер. ассоц. исследователей обществ. мнения ; пер. с англ. Д. М. Рогозина, Е. М. Киселева. 3-е изд. 2004 // Социологический журнал. 2005. № 2. С. 78-119.
7 Детальный отчет «Российское общественное мнение о Крыме» см. на сайте ФОМа либо ВЦИОМа. [http://fom.ru/Mir/11401] доступ 06.04.2014.
