CC BY
47
НАУЧНАЯ ЖИЗНЬ
DOI: 10.14515/monitoring.2016.2.16 Правильная ссылка на статью:
Баскакова Ю. М. «Shaken not stirred — комбинируем методы для повышения точности» // Мониторинг общественного мнения : Экономические и социальные перемены. 2016. № 2. С. 219—224. For citation:
Baskakova U. M. «Shaken not stirred — combining methods to improve accuracy» : section overview // Monitoring of Public Opinion : Economic and Social Changes. 2016. № 2. R 219—224.
VI МЕЖДУНАРОДНАЯ СОЦИОЛОГИЧЕСКАЯ ГРУШИНСКАЯ КОНФЕРЕНЦИЯ «ЖИЗНЬ ИССЛЕДОВАНИЯ ПОСЛЕ ИССЛЕДОВАНИЯ: КАК СДЕЛАТЬ РЕЗУЛЬТАТЫ ПОНЯТНЫМИ И ПОЛЕЗНЫМИ»
ОБЗОР СЕКЦИЙ
Ю. М. Баскакова «SHAKEN NOT STIRRED — КОМБИНИРУЕМ МЕТОДЫ ДЛЯ ПОВЫШЕНИЯ ТОЧНОСТИ»
БАСКАКОВА Юлия Михайловна — кандидат политических наук, руководитель исследовательских проектов ВЦИОМ, старший научный сотрудник Института социологии РАН, старший преподаватель Финансовой академии при Правительстве РФ. E-mail: [email protected]
Тема достижимости в дискуссиях о качестве данных исследований становится общим местом. Отдаленные районы, кодовые замки, консьержи — самые разнообразные факторы сокращают возможности исследователей для личных интервью. Зато почти у каждого россиянина есть мобильный телефон (в среднем —даже 1,5) и интернет-аудитория все увеличивается — она охватывает уже полстраны, три четверти жителей крупных городов и всю молодежь. Логично использовать новые технические возможности, чтобы расширить основу выборки, включить в нее тех самых экономически активных и технически продвинутых людей, которых бывает так трудно застать дома и убедить потратить полчаса на разговор с интервьюером.
Как составить выборки, как учесть эффект коммуникации, как объединить данные—эти и другие методические вопросы стали центром дискуссии на секции по комбинированию методов, собравшей полный зал на VI Грушинской конференции. Для обсуждения были предложены следующие вопросы:
— Что дает комбинирование опросных методов — повышение надежности данных или «коктейль шампанского со скипидаром»? Насколько хорош «квартирник», если он ничем не дополнен?
— Ингредиенты комби-опросов: какие методы выглядят перспективными? Как их можно комбинировать?
— Какие выборки стоит использовать при комбинировании методов опроса?
— Как учесть эффекты коммуникации?
Дискуссию открыл А. Кутлалиев докладом о международном опыте комбинирования методов в исследованиях. Набор причин, побуждающих нас комбинировать методы в «домашних исследованиях», понятен и, если коротко, сводится к необходимости расширения основы выборки и включения в нее труднодоступных респондентов, но при транснациональных проектах часто такое комбинирование необходимо в силу различий в уровне развития исследовательских технологий в разных странах. К числу очевидных сложностей комбинирования относится влияние метода исследования на получаемые результаты: сравнения показывают большие расхождения в ответах респондентов в личных интервью, телефонных и онлайн-опросах. В качестве примера он привел результаты одного из зарубежных исследований ОГК, показавшего, что онлайн-опрос десятикратно завышает показатели пользования банковскими сервисами по сравнению с результатами личного опроса аудитории, схожей по социально-демографическим характеристикам. Причины подобного рода масштабного расхождения могут быть связаны как с качественным различием аудиторий, доступных для опроса разными методами, так и с непосредственным влиянием технологии опроса: сам по себе онлайн-интерфейс может располагать респондента к тому, чтобы выбрать большее количество вариантов. Подобные расхождения наблюдаются не всегда, однако их наличие заставляет подходить к комбинированию осторожно.
Специфика транснациональных исследований ставит перед полстерами ряд проблем, связанных с комбинированием методов. В частности, возникают дополнительные организационно-технические вопросы: при многоуровневой организации процесса (международный координатор — национальный координатор -местные исполнители) неизбежны потери сигнала, которые трудно отслеживать и корректировать, если в исследовании применяется не один метод, а несколько. Согласования осложняются разным уровнем развития исследовательской технологии (где-то опросы на планшетах—норма, где-то — недостижимый идеал) и разной культурой формирования выборок. В этой цепочке остро стоит проблема коммуникаций, становящаяся драматичной, когда дело касается, к примеру, технологии программирования анкет. Далее, сам процесс технологизации неизбежно порождает конкуренцию среди технологических платформ, используемых в разных странах — сегодня никакой международный консорциум не обеспечивает единой технологической платформы. По прогнозу А. Кутлалиева, важнейшим вызовом в обозримом будущем станет адаптация к развитию технологий, связанная с необходимостью интеграции методических аспектов и ИТ-решений, отсутствие специалистов, обладающих необходимыми квалификациями.
Отвечая на вопрос из зала о различии ответов в зависимости от типа вопроса, А. Кутлалиев рассказал об эксперименте, проведенном в рамках проекта
«Типология потребителя», когда стандартный набор вопросов был продублирован в онлайн-исследовании по квотной выборке. По дистанции между методами было выделено три группы вопросов. Первые, касающиеся общества, «как страна будет жить», не дали значимых различий. Вторые, связанные с личностью респондента, получили смещение, но самые большие различия обнаружили вопросы, связанные с потреблением. Получилось, что в онлайне сидит активный потребитель, который и рекламу больше любит, и на всякие бренды лучше реагирует. Поэтому при использовании способа комбинирования нужно учитывать и типы вопросов.
Представитель крупной международной компании TNS М. Пикулева в своем выступлении сфокусировалась на том, как цифровые технологии меняют привычные подходы к проведению исследований. По подсчетам ESOMAR, на 2014 г. половина всех исследований в мире проводилась онлайн. В отдельных западных странах (США, Великобритания) их доля достигает 80 % рынка; российский рынок онлайн-исследований также динамично набирает обороты. Более того, даже личные опросы массово переводятся с бумаги на планшеты, становясь частью цифровых технологий. 75 % населения городов с числом жителей от 100 тыс. уже стали пользователями Интернета, не учитывать этот тренд — означает не просто терять отдельные группы населения, а всерьез подвергать результаты влиянию метода. Включение онлайн-подвыборки в исследования показывает значимое влияние технологии опроса на результат: интернет-формат составления рейтингов позволяет демонстрировать опрошенным фотографии рейтингуемых персон, что приводит к существенному повышению их узнаваемости и понижению оценки. В рамках синдикативных медиаизмерений, где объем выборки достигает 150 тыс., а самые небольшие колебания имеют серьезное значение для заказчика, такого рода резкие колебания недопустимы. В то же время задача повышения устойчивости результата и улучшения социально-демографического профиля аудитории остается, и здесь комбинирование методов становится эффективным решением. Перспективна задача развития работающей ныне схемы комбинирования опросов по стационарным телефонам, мобильным номерам с онлайн-панелью в пропорции 60+20+20 в сторону поступательного наращивания доли выборки, закрываемой по мобильным телефонам и через онлайн-панель. Методическим вызовом здесь является буквально все—от дизайна анкет до технологии интеграции разных видов исследований, а также включение в сферу анализа того, что называют Big Datа.
Дискуссию продолжила Ю. Баскакова с презентацией проекта ВЦИОМ по разработке модели комбинирования квартирных и телефонных опросов для всероссийских еженедельных исследований. Постановка задачи была вызвана пониманием необходимости расширять основы выборки, включать в нее представителей труднодостижимых групп населения и жителей труднодоступных территорий. Важный аргумент в пользу телефонных опросов — сложность контроля качества личных интервью, особенно в экспресс-проектах со сжатыми сроками. В рамках проекта ВЦИОМ разработана и внедрена унифицированная технология телефонного экспресс-опроса по случайной выборке стационарных и мобильных номеров, предусматривающая стандартные требования к объемам баз и числу операторов, RDD-дозвон, унифицированные настройки DEX-систем, не менее 8 попыток достичь респондента, случайный отбор в домохозяйстве, конвертацию отказов и перезвоны респондентам в удобное
время. Сравнение данных телефонного и квартирного опроса показало, что телефонная выборка позволяет достигать более обеспеченных слоев населения: респонденты выше оценивают свое материальное положение по всему перечню индикаторов. Вместе с тем, при реализации случайной телефонной выборки возникают расхождения с показателями Росстата по представительности разных типов населенных пунктов и неясно, что вносит больший вклад в это отклонение: неточности статистики или неравномерность телефонизации. Аудитория телефонных опросов по ряду показателей отличается от аудитории квартирных опросов, однако масштаб расхождений, зафиксированных в рамках эксперимента, незначителен. Экспериментальный период параллельного проведения еженедельных квартирных и телефонных экспресс-опросов на протяжении 8 волн позволил сделать ряд предварительных заключений об оптимальной модели комбинирования данных.
В фокусе исследования стоял вопрос о влиянии метода опроса на политические индикаторы: расхождения были зафиксированы, однако по невзвешенным данным они минимальны — в пределах 5 пунктов. Телефонный опрос стабильно завышает лояльность власти независимо от того, какой тип телефона используется — мобильный или стационарный, насколько трудно было достичь респондента (с первого звонка или с нескольких попыток) и просил ли респондент ему перезвонить. Динамика ответов по телефону и в личном интервью однонаправленна на периодах от 3 замеров, за единичными исключениями. Взвешивание данных заметно усиливает размах колебаний рейтингов, а также уровень их отклонения от данных квартирных опросов, а включение весов на вероятность отбора респондента существенно усиливает шум. Предварительные итоги эксперимента предполагают в качестве оптимальной модели комбинирования обычный расчет средних величин и позволяют сформулировать ряд вопросов: о целесообразности взвешивания случайной выборки телефонного опроса, использования стационарных номеров, а также о природе расхождений в политических индикаторах—что и станет темой дальнейших экспериментов.
Вопрос целесообразности комбинирования мобильных и стационарных номеров при проведении телефонных опросов раскрыл в своем выступлении Т. Османов. Мобильные телефоны имеют 93 % жителей нашей страны, и определяющим параметром здесь является возраст: молодежь активнее пользуется ими, представители старших возрастов — стационарными телефонами. Исследователь выразил несогласие с тезисом о том, что мобильные телефоны отображают население достаточно хорошо. Для определения оптимального соотношения доли мобильных и стационарных телефонов в выборке Т. Османов предложил использовать половозрастную структуру населения России по данным Росстата. Оптимальная доля стационарных номеров в выборке на текущий момент составляет около 37 %; она позволяет получить наиболее близкое к Росстату распределение респондентов по полу и возрасту. Важно помнить, что оптимальное соотношение стационарных и мобильных номеров варьирует от региона к региону: где-то достаточно использовать 13 % стационарных номеров, где-то эта доля должна доходить до 69 %, чтобы наилучшим образом отображать половозрастную структуру. Таким образом, задача оптимизации соотношения долей номеров не всегда имеет очевидное решение.
Дискуссию продолжил В. Звоновский, представивший анализ влияния различных факторов на достижимость массовых опросов. Он напомнил, что даже
в рамках одного телефонного опроса нередко применяются различные настройки роботов предиктивного набора, что вносит в реализуемую выборку смещения. Поэтому, комбинируя методы, не следует забывать об эффектах, вызываемых сочетанием технологий. Уменьшение масштаба различного рода погрешностей — одна из важнейших методических задач. На материалах упомянутого эксперимента ВЦИОМ В. Звоновский анализировал устойчивость результатов дозвона: вопреки ожиданиям, лидером по доле отказов стали не столицы, а Уральский ФО. Наиболее высокий уровень кооперации зафиксирован в Крымском ФО. Если уровень дозвона для мобильных и стационарных номеров отличается несущественно, то отказы по мобильным возникают реже, и здесь же в полтора раза выше доля завершенных интервью. Приведенные данные иллюстрируют необходимость контролировать соотношение мобильных и стационарных номеров в выборке не только на входе, но и в финале.
В. Звоновский подчеркнул, что отдельного рассмотрения заслуживает поверхностное смещение, связанное с тем, что в ряде исследований делается только одна попытка установить контакт с респондентом. Данные ВЦИОМ показывают, что в среднем по РФ 44 % финального объема выборки были получены с первого звонка. Эти данные «бьются» с данными экспериментов по Самарской области, где проводился опрос по адресной выборке с шестикратным посещением, показавший значимость повторных посещений для добора труднодостижимых групп, прежде всего молодежи (именно она чаще всего меняет место жительства). Неадресная выборка дает смещение в сторону старших возрастов и неработающих.
Когда речь зашла о качестве государственной статистики, В. Звоновский выступил за то, чтобы полстеры доверяли собственным данным, особенно если они надежно кодируются, собираются и анализируются. К числу ближайших задач, ведущих к более устойчивой и качественной работе са11-центров и повышению достижимости, он отнес унификацию работы са11-центров, анализ работы операторов и проблем коммуникации. Вторая важная задача — модификация инструмента для более доверительного общения с респондентами.
Новый подход к комбинированию методов представил И. Задорин, предложивший взять за основу модели объединения данных квартирного и телефонного опросов различия в коммуникационных характеристиках респондентов. Он сформулировал амбициозную задачу: разработать блок вопросов, который можно было бы рассматривать как коммуникационный паспорт респондента (по аналогии с социально-демографической паспортичкой). Исходная гипотеза состояла в том, что отказы от участия в опросах, проводимых разными методами, мотивированы разными обстоятельствами, и эти обстоятельства связаны с готовностью респондента идти на контакт в определенных ситуациях и на определенные темы.
Первый эксперимент был проведен в рамках Калининградского проекта «Открытое мнение» в преддверии выборов губернатора Калининградской области. Данные, полученные разными методами, показывали различия в профильных переменных. В анкету был включен пилотный проект коммуникационного паспорта, состоявшего из 4 вопросов, характеризовавших позицию респондента по отношению к участию в опросах общественного мнения. Перевзвешивание массивов по одному из вопросов: «Интересуетесь ли вы: слушаете или читаете
результаты опросов общественного мнения?» дало серьезное сокращение разброса профильной переменной. Например, по электоральной активности разброс сокращался с 12 до 6 п. п. Это дало основания продолжить эксперимент.
Второй этап был реализован в рамках проекта ВЦИОМа: протестирована расширенная версия коммуникационного паспорта для выявления наиболее подходящих вопросов. Один из них звучал так: «В опросах общественного мнения, подобных этому, людям задают различные вопросы по разным темам. Скажите, при участии в таких опросах, на какие темы Вы готовы говорить открыто, по каким были бы сдержанны в ответах?» Респонденту предлагалось маркировать десять тем. Различия между «квартирником» и «телефонником» зафиксированы только в готовности общаться на темы личных доходов и секса. О личных доходах и расходах в большей степени люди готовы говорить открыто по телефону, а на тему секса—face-to-face. И все это не влияет на политические индикаторы: перевзвес на самые разные коммуникационные характеристики не изменил профильные переменные одобрения деятельности президента России—«показатели стоят как вкопанные». Здесь возможен диапазон разных интерпретаций, но базовая гипотеза состоит в том, что нужно продолжать искать те коммуникационные характеристики, которые давали бы существенную разницу по опросам, и от них зависели бы некоторые профильные параметры. И. Задорин анонсировал продолжение работы в данном направлении.
Новый ракурс взгляда на задачу комбинирования представила М. Озерова, рассказавшая об опыте ФОМ по комбинированию методов в панельном национальном лонгитюде «Траектории в образовании и профессии». Формат лонгитюд-ного исследования масштабной выборки в 5 тыс. респондентов, распределенных на большой территории, меняющих свой социальный статус и контакты, не оставляет других выходов, кроме как комбинировать методы. Для эффективной реализации проекта и сохранения выборки использовался широкий спектр методов: онлайн-опрос, телефонный опрос, опрос на бумажных анкетах.
Полученные результаты позволяют среди прочего сравнить социальный портрет респондентов, опрошенных онлайн и по телефону: аудитория онлайн-опроса более продвинутая, обладает большим культурным и образовательным капиталом, как собственным, так и семейным. Это дети более образованных родителей, демонстрирующие лучшую успеваемость, учащиеся в вузах. Кроме того, такие респонденты чаще становятся участниками всех четырех волн исследования. Более того, они высказывали предпочтения, чтобы их в дальнейшем опрашивали онлайн.
Аудитория телефонных интервью несколько иная, телефонные интервью требуют меньшей самостоятельности от респондента. Оно проводится здесь и сейчас, больше ориентировано на респондентов, имеющих слабую идентичность пане-листа, у таких респондентов может быть низкая лояльность к проекту, часто они не до конца понимают значимость исследования. Опыт показал, что комбинирование онлайн-опроса и телефонного опроса позволяет повысить достижимость, хотя и не приводит к существенному снижению затрат на проведение исследований.
В завершение дискуссии А. Кутлалиев предсказал неизбежность перехода к онлайн-исследованиям, невзирая на все трудности, призвал коллег аккумулировать данные и не оставлять методические штудии, непременные для каждой компании, нацеленной на удержание и развитие своих позиций на рынке.
