CC BY
96■ ПРОЕКТ «ОТКРЫТОЕ МНЕНИЕ»: КАК ПРЕОДОЛЕТЬ КРИЗИС ДОВЕРИЯ К СОЦИОЛОГИИ?
В.Б. ЗВОНОВСКИЙ
ВЫБОР МЕТОДА ИССЛЕДОВАНИЯ И РЕАЛИЗАЦИЯ ВЫБОРКИ
В статье рассматриваются вопросы формирования выборки и инструментария, выбор способа сбора информации, реализованные в ходе проекта «Открытое мнение». Аргументируется выбор телефонного опроса, анализируется влияние социального окружения на ответы респондента, а также описываются достигнутые результаты.
Ключевые слова: опрос, открытое мнение, выборка, САТ1, выборка, социологические методы.
Проект «Открытое мнение» был задуман и осуществлен профессиональными социологами в целях повышения доверия к публикуемым результатам опросов общественного мнения и тестирования новых технологий для проведения всероссийских опросов.
Проблемная ситуация, определившая гипотезы и цели проекта
Накануне избирательной кампании по выборам Президента РФ, проходившей 4 марта 2012 года, ведущие национальные поллстеры публиковали результаты мониторинга электоральных предпочтений россиян — Фонд «Общественное мнение», ВЦИОМ (еженедельно) и «Левада-Центр» (реже). Представленные без комментариев данные допускали лишь одну интерпретацию: кандидат от партии «Единая Россия» В. Путин набирает в первом туре более 50% голосов потенциальных участников голосования. Никаким иным образом опубликованные материалы не интерпретировались: представители всех измерительных центров и сторонние по отношению к исследовательским компаниям аналитики делали тот же вывод и тот же прогноз. При
Звоновский Владимир Борисович — кандидат социологических наук, президент Фонда социальных исследований. Адрес: 443041, Самара, ул. Красноармейская, д. 70. Телефон: +7 (846) 229-67-33. Электронная почта: [email protected]
этом ряд социологов, экспертов и других наблюдателей выражали скепсис относительно таких данных.
Источником сомнений были, с одной стороны, массовые свидетельства о коррекции волеизъявления проголосовавших избирателей со стороны избирательных комиссий на только что состоявшихся выборах депутатов Государственной Думы; с другой — отсутствие различий между прогнозом, который на основе опубликованных опросных данных составили поллстеры, и официальными результатами ЦИК. Если официальные результаты выборов отличались от выбора, сделанного избирателями в ходе голосования, то каковы могут быть причины совпадения официальных итогов и сделанного на основе опросов прогноза [6]? Если социологи в своем прогнозе помимо поведения собственно избирателей учитывали возможность корректирующей деятельности избирательных комиссий, то насколько правомерно (обоснованно, валидно и верифицируемо) прогнозирование такого поведения?
Важным фактором, стимулирующим независимое исследование «Открытое мнение», было «единогласие» общенациональных измерителей в их оценках численности сторонников различных кандидатов. Ведь если бы объемы поддержки кандидатов отличались, можно было бы предположить, что это стало следствием различий в элементах процедуры сбора данных (дизайна выборки, метода отбора респондента, инструмента и др.). Эти отличия позволили бы нам объяснить или, по крайней мере, выдвинуть гипотезы относительно влияния отдельных инструментов сбора данных на результат. Однако к началу 2012 г. никаких значимых различий в сборе данных общенациональные измерители не имели. У каждого из трех национальных поллсте-ров это был (1) опрос по месту жительства с (2) квотным отбором респондента внутри домохозяйства. Информация получалась (3) в ходе интервью face-to-face, (4) без использования специальных методов учета социально одобряемой нормы электорального поведения. Сведения об электоральном выборе публиковались (5) либо только среди всех избирателей (ФОМ, ВЦИОМ), либо только среди определившихся с выбором избирателей («Левада-Центр»).
Гипотеза участников проекта «Открытое мнение» описывалась следующим утверждением: общенациональные измерители в силу различных причин собирают данные, возможно, и не отражающие реальные электоральные предпочтения взрослых жителей страны, но отражающие декларируемые электоральные настроения избирателей (тем самым данные не фальсифицированные). Относительно самих этих причин и природы их возникновения предположений не было, как собственно и твердой убежденности в нерелевантности реализуемой ведущими опросными центрами страны процедуры сбора данных. Иначе говоря, авторы проекта рассматривали его скорее как аудит имеющихся мониторингов предвыборных настроений.
Разумеется, полноценным аудитом это не могло стать, поскольку аудит подразумевает знакомство с формальным описанием всех исследовательских процедур, представленным аудируемыми компаниями, и результатами контроля по их выполнению. На практике все исследовательские компании, на регулярной основе публикующие результаты собственного мониторинга общественного мнения, воздерживаются от описания процедур сбора данных и принципов формирования выборки. Также в отчетах поллстеров почти всегда отсутствуют данные, позволяющие оценить качество поля, например, данные по достижимости респондентов (response rate).
Следующей по важности гипотезой была методологическая. В самом начале проекта, когда его судьба была совершенно туманна, гипотеза формулировалась так. С одной стороны, если мы формируем качественную, репрезентативную для населения России выборку и реализуем ее с помощью опроса по месту жительства, то для корректного сопоставления собранных таким образом данных и того, что получали другие измерители, следовало использовать сопоставимый набор признаков. С другой стороны, мы проводили не аудит электорального мониторинга какой-то отдельной компании, а скорее верификацию результатов сложившейся в опросной индустрии технологии в целом. Причем были основания полагать, что данная технология исчерпывает себя. Поэтому было решено использовать метод телефонного опроса.
«Двадцать лет назад гостеприимные респонденты приглашали интервьюеров попить чай с печеньем, — пишет В. Паниотто, — а мы к этому привыкли и норовим провести интервью бесплатно, никак не оплачивая респондентам затраченное время» [5]. Паниотто полагает, что с этим можно бороться, делая подарки респондентам и увеличивая тем самым стоимость исследований. В рамках данного проекта мы не могли себе этого позволить. В конце концов, было решено использовать метод телефонного опроса.
Выбор метода сбора информации: преимущества телефонного
опроса
Выбор метода сбора информации стал одним из главных вопросов при формировании программы исследования. Первоначально предполагалось, что сбор будет осуществлен с помощью традиционного опроса по месту жительства. Главное достоинство данного метода — в том, что он используется ведущими российским поллстерами, а значит, результаты нашего исследования могут быть непосредственно сопоставлены с данными других всероссийских опросов. Однако быстро выяснилось, что такое сопоставление не даст сколько-нибудь значимого эффекта, поскольку сбор данных, выполняемый даже по одной методике, но различными кампаниями не приводит к идентичным результатам. Различия в инструментарии, способе обработки
данных и иных факторах формируют различные количественные результаты измерений. К тому же такое сравнение потребовало бы и сближения по территориальной структуре выборки, что совершенно невозможно выполнить по отношению к выборкам всех трех общенациональных поллстеров разом.
Другим важным аргументом против использования опроса по месту жительства была невозможность мобилизации региональных полевых агентств, способных быстро и качественно провести опрос в сколько-нибудь значимом числе регионов. Проект были готовы поддержать своим безвозмездным участием около 20 региональных компаний, входящих в Ассоциацию региональных социологических центров «Группа 7/89». Но достичь традиционно используемой в общенациональных исследованиях выборки с охватом, хотя бы сопоставимым с территориальным, за короткий срок подготовки исследования не представлялось возможным. Поэтому было сделано предложение провести опрос с помощью колл-центров, принадлежащих региональным компаниям, поддержавшим проект.
Первоначально таких оказалось шесть. Это Фонд социальных исследований (Самара), Центр социологических и маркетинговых исследований «Аналитик» (Волгоград), Центр социологических и маркетинговых исследований «Форис» (Архангельск), Центр аналитических исследований и разработок (Казань), Центр маркетинговых исследований «Инфоскан» (Новосибирск) и компания «Социс» (Ярославль). Последняя, однако, в реальности в работе не участвовала.
Объектом нашего исследования было население Российской Федерации, имеющее право голоса. Единственным фильтром стал возраст до 18 лет. Основной предмет исследования — электоральные предпочтения россиян накануне президентских выборов 4 марта 2012 года.
При телефонном опросе использовалась система CATI1. Главными ее преимуществами были скорее организационные, чем методологические. Это, прежде всего, простота координации работы пяти компаний, более высокая согласованность их действий, невысокая, по сравнению с опросом по месту жительства, стоимость полевых работ. Сюда же примыкает немаловажное для содержательной стороны проводимого эксперимента обстоятельство: возможность постоянного контроля за работой интервьюеров и ходом работ в целом благодаря аудиозаписи всех интервью.
1 CATI — Computer Assisted Telephone Interview — это система аппаратного и программного обеспечения, установленного на компьютере и позволяющего проводить телефонные интервью (телефонные опросы) в автоматическом режиме. Система CATI обеспечивает автоматический набор телефонного номера, оператор имеет наушник с микрофоном (гарнитура), освобождающий руки и облегчающий ввод информации в анкету.
Это же обстоятельство позволило организаторам провести «день открытых дверей» в своих колл-центрах, куда были приглашены журналисты и политически активные блогеры. Кроме того, участникам группы «Открытое мнение» и посетителям одного колл-центра была показана в режиме онлайн трансляция из другого колл-центра, участвовавшего в проекте.
Главным методологическим преимуществом телефонного опроса стал, конечно же, гораздо более широкий и глубокий территориальный охват населения страны, чем это реально достигается с помощью опросов по месту жительства. Даже при примерно таком же объеме выборки (1600—3000 респондентов) телефонный опрос охватил почти все субъекты федерации (всего их — 83, охвачено — 82) и как минимум втрое большее число населенных пунктов (табл. 1).
Таблица 1
Территориальная структура выборки национальных поллстеров (2012 г.)
_ Количество:
Проекты -
респондентов регионов населенных пунктов
ФОМнибус (ФОМ) 3000 64 204
Курьер («Левада- 1600 45 130
Центр»)
Мониторинг (ВЦИОМ) 1600 46 153
«Открытое мнение» 3000 82 658
Нелишним будет напомнить, что выборка для опроса по месту жительства формируется не только по соображениям охвата территорий и групп населенных пунктов (крупный город, малый город, поселки, села и проч.), но и по соображениям экономики и логистики. Так, населенный пункт скорее всего будет удален из выборки, если туда потребуется отправить интервьюера для опроса небольшого числа респондентов. Очевидно, что такой дискриминации будут подвергаться, прежде всего, небольшие населенные пункты. В более привилегированном положении окажутся населенные пункты, расположенные в узлах транспортной сети, выбранные для того, чтобы интервьюер успевал к месту опроса и обратно в сжатые сроки.
Регионы, где реализуется всероссийская выборка для проведения опроса по месту жительства, часто отбираются по соображениям организации регулярных исследований. В крупных регионах национальные поллстеры сотрудничают с региональными компаниями полного цикла, способными оперативно и качественно проводить большой объем работ. Разумеется, качество это отличается от региона к региону, но в большинстве из них существует конкуренция среди полевых компаний, которая заставляет поддерживать более или менее
высокое качество полевых работ. В регионах поменьше такая конкуренция, как правило, гораздо слабее, поэтому заказчик полевых работ вынужден мириться с имеющимся уровнем их качества. Дифференциация регионов по качеству поставляемых в единый массив данных оказывается очень высокой и, строго говоря, неконтролируемой2. Кроме того, существует значительная дифференциация региональных исполнителей по культуре интервьюирования: например, в части регионов интервьюер фиксирует вариант «затрудняется ответить», если респондент не отвечает на поставленный вопрос в течение нескольких секунд; в другой части интервьюер пытается повторить и разъяснить вопрос, если респондент испытывает затруднения.
Использование телефонного опроса в значительной степени снимает перечисленные проблемы, поскольку позволяет опрашивать в любом населенном пункте ровно столько людей, сколько этого требуется по заданию, не ограничивая его из-за удаленности от транспортных магистралей.
Еще одно преимущество телефонного опроса — это гибкость его реализации в полевых условиях. Если по каким-либо причинам работа одного из колл-центров прерывается (перебои с электричеством или Интернетом в месте его дислокации), ее плановый объем можно либо перераспределить среди других участников проекта, либо передать в резервный колл-центр. Данные хранятся в стандартных для такого рода ресурсах Сети с резервированием, что позволяет переложить ответственность за хранение на специализированные, профессиональные организации.
Каждый из участников проекта может наблюдать не только за ростом численности опрошенных, но и за различными параметрами, важными для повышения эффективности работы колл-центров и отдельных интервьюеров. Так, система статистической отчетности позволяет видеть, насколько полно и качественно отрабатывается база телефонных номеров, а также насколько эффективно интервьюеры поддерживают контакт с респондентами. Менеджеры проектов в каждом из колл-центров могут давать указания любому из операторов с целью улучшить его коммуникацию с респондентами, снизать число отказов, добиться более доверительных ответов.
Все это вместе способствовало единообразию в технике телефонного интервьюирования в рамках данного проекта, что позволило более обоснованно, с одной стороны, агрегировать ответы респондентов в единый массив, сгруппированный по различным социально-демографическим показателям, с другой — сравнивать между собой распределение ответов в этих группах.
2 Здесь под качеством имеется в виду единообразность выбора маршрута различными интервьюерами, правила отбора респондентов, полнота заполнения анкет и проч.
Дизайн выборки опроса
При подготовке проекта важным и обсуждаемым среди его участников и инициаторов был вопрос о распространении телефонной связи — стационарной и мобильной — среди населения страны. Были приняты во внимание данные одного из последних исследований ФОМа, согласно которым в России примерно 94% населения страны имеет телефон [4] (стационарным пользуются 59%, а мобильным — 84%). Таким образом, переход на телефонный способ сбора данных приводит к тому, что около 6% населения страны, доступного по месту жительства, оказываются неохваченными телефонным опросом. При этом очевидно, что использование респондентами сотового телефона позволяет опросить наиболее мобильные группы населения, вероятность застать которые по месту жительства очень мала.
После обсуждения было принято решение сформировать базу телефонных номеров, состоящую на 38% из номеров стационарных телефонов, а на 62% — из номеров мобильных. Для формирования базы номеров использовались префиксы (DEF- и АВС-коды), выделенные Федеральным агентства связи (Россвязь) [1] различным операторам связи. Это позволяет определить первые и последние номера диапазонов, в которых существуют номера, принадлежащие операторам связи; среди этих номеров и производился случайный отбор.
Общая выборка по России была разделена на восемь федеральных округов для облегчения работы в различных часовых поясах (время звонков было ограничено 21 часом местного времени).
Отбор респондентов в рамках данного исследования производился двумя способами. Первая выборка из 2000 человек, репрезентирующая всю страну, была получена в результате опроса лиц, взявших трубку. Мы полностью осознаем, что отсутствие процедуры случайного отбора респондента может привести к неконтролируемым смещениям выборки, однако считаем, что существенное облегчение полевой части исследования имеет больший приоритет, чем вероятные смещения выборки. Стоит заметить, что смещения в предлагаемой процедуре отбора респондента не должны превосходить смещения при квотном отборе, который повсеместно используется в опросах по месту жительства.
Для компенсации возникающих смещений у каждого респондента выяснялся пол и возраст всех людей, пользующихся номером телефона, по которому проводится опрос. Таким образом формировалась половозрастная структура всего телефонизированного населения РФ, что позволяло не только сравнить ее с данными официальной статистики, отражающей структуру населения в целом, но и уточнить основания для перевзвешивания массива. Путем использования процедуры взвешивания по полу и возрасту выборочная совокупность приводилась к генеральной совокупности телефонизированного населения страны.
Для второй части выборки в 1000 респондентов, также репрезентирующей всю страну, был выбран способ отбора респондента по ближайшему дню рождения. При этом вначале интервьюировали первого ответившего и лишь затем просили позвать к телефону члена семьи, чей день рождения оказывался самым близким ко дню опроса. Очевидно, что если бы все респонденты были отобраны таким образом, то смена респондента должна была бы происходить в числе случаев, равных средней численности российской семьи, уменьшенной на единицу. Это примерно 50% случаев. Реально такая смена была зафиксирована лишь в 10%. Иначе говоря, данная технология не оправдала себя. Но поскольку никаких значимых отличий второй выборки от первой ни по социально-демографическим, ни по содержательным признакам выявлено не было, это позволило исследователям использовать общий массив, полученный по обоим типам отбора респондентов, как единую выборочную совокупность.
Влияние социального окружения на ответы респондента
Здесь я хотел бы остановиться на теме социальной одобряемости различных форм электорального поведения, обсуждаемой и участниками проекта, и наблюдателями, и теми, кто интересуется результатами опроса. Среди специалистов по электоральному поведению распространена гипотеза о высокой корреляции между социальной нормой участия в голосовании и реальным поведением в день выборов. При этом часто теми же специалистами высказывается гипотеза о большом влиянии нормы на ответы респондентов, то есть в опросе доля приверженцев социальной норме электорального участия повышается, поскольку перед лицом незнакомого им лично интервьюера респондент пытается быть более понятным и узнаваемым и посылает сигналы, убеждающие, что его поведение соответствует социальной норме. Очевидно, что эти две гипотезы противоречат друг другу. Чем выше доля декларирующих свое участие в голосовании, тем слабее должна быть корреляция между заявленной активностью и реальным участием.
Для подтверждения или опровержения данной гипотезы Фонд социальных исследований провел в 2008 г. уникальный для российских условий эксперимент. У опрошенных перед выборами Президента РФ избирателей не только поинтересовались после выборов, смогли ли они поучаствовать в голосовании, но и верифицировали их поведение по отчетам избирательных комиссий.
Чем выше респондент оценивал вероятность своего участия в голосовании, тем выше была вероятность того, что избирательная комиссия реально зафиксировала его участие (табл. 2). Так, 59% из тех, кто был твердо намерен посетить участок, реализовали это свое намерение. Среди тех, кто был твердо уверен в том, что останется дома в
день голосования, почти каждый четвертый (22%) все-таки принял участие в голосовании. Как видим, гипотеза о том, что более твердо высказанное желание принять участие в выборах формирует более активное реальное электоральное поведение, находит подтверждение на практике.
Таблица 2
Реальное электоральное поведение в группах с различной готовностью к электоральному участию, %
Вербальные значе- Реальное поведение на выборах
ния электоральных голосовали не голосовали неопределенный
намерений статус
ВСЕ ответы 44 29 26
Уверенное 22 42 37
неучастие
Вероятное неуча- 28 42 30
стие
Возможное участие 34 35 31
Вероятное участие 46 26 28
Уверенное участие 59 21 19
Однако в существующих моделях прогнозирования электорального поведения российские поллстеры, как правило, значимо завышают степень детерминированности реального электорального поведения высказанными при опросе намерениями. Так, Александр Ослон, прогнозируя результат выборов 2003 г. [3], утверждает, что избиратели, выразившие твердую решимость проголосовать, реализовали свое желание на 95%, в то время как ни один из тех, кто был твердо намерен не ходить на избирательный участок, не посетил последний. Игорь Задорин предполагает менее сильную взаимосвязь между заявленной готовностью и реальным поведением [2] и приписывает явку от 5% — для твердо отказывающихся от участия, до 80% — для высказавших абсолютную твердость в намерении участвовать в выборах. Как показывает наше исследование, хотя и твердо, но лишь заявленная готовность проголосовать реализуется с вероятностью от 60% до 80%, а твердо выраженный отказ от участия в выборах, тем не менее, позволяет сохранять отличную от нуля вероятность реализации своего избирательного права (от 20% до 50%) .
Часть респондентов были зарегистрированы как избиратели не по месту опроса, и мы не могли установить факт их голосования. Неопределенный статус в таблице 2 отражает то, что респондент мог голосовать, а мог и не голосовать, но в любом случае он это сделал на другом избирательном участке, а не там, где был опрошен. Достоверно нам не известно, голосовал ли тот или иной избиратель или нет, но доля участвующих в выборах, твердо заявлявших об этом
своем намерении, вряд ли увеличится, поскольку неопределенный статус в этой группе невелик (28%). Иначе говоря, взаимозависимость реального участия и заявленного перед выборами намерения останется невысокой, что подтверждает гипотезу о том, что респонденты в своих ответах о готовности участвовать в выборах отражают лишь то, что считают такое участие социальной нормой.
В таком поведении нет ничего уникального или специфически национального. Для снижения эффекта давления социальной нормы на ответы респондентов американские поллстеры измеряют электоральную готовность по десятибалльной шкале. Тем не менее, десятибалльная шкала не решает проблемы сформировать у респондента более адекватную самооценку готовности участвовать в выборах, поскольку эта псевдометрическая шкала оказывается сильно смещенной в сторону больших значений (табл. 3). Несмотря на то, что социальная норма участия в выборах остается важным фактором, определяющим реальное поведение избирателей, следует учитывать, что в ходе измерения респонденты демонстрируют свое согласие с нормой, но не диспозицию к активному поведению.
Таблица 3
Доли респондентов, выбравших оценку собственной готовности участвовать в выборах, и уровень активности в каждой из групп
(1999 г., Филадельфия, США, The Pew Research Center)
Деление шкалы для оценки готовности участвовать в выборах Доля респондентов, выбравших ту или иную оценку, % Из них проголосовало, %
10 77 84
9 6 71
8 6 46
7 3 33
6-1 7 39
Отказ от ответа 1 0
Результаты
Проведенный проект «Открытое мнение» подтвердил, что использование аналогичного инструментария, но более корректной в смысле охвата территории и населения страны выборки дают примерно тот же самый количественный и идентичный качественный результат, что регулярно получают ведущие российские компании.
Дальнейшее развитие проекта всероссийских опросов должно быть направлено на уточнение дизайна выборки, инструментария опроса, учета социальной одобряемости обсуждаемых в интервью тем. Мы рассчитываем, что в идеале такая работа должна привести к отказу от использования в прогнозировании результата выборов тех данных,
которые предоставляют избирательные комиссии, ставшие крайне ненадежными сегодня.
Очевидными и, как мне представляется, важнейшими результатами реализованного проекта являются следующие:
1. Техника и методология проведения телефонного опроса сегодня достаточно разработана для сбора данных в ходе полномасштабных опросов, репрезентирующих население Российской Федерации в целом. По ряду параметров качество получаемой в этом случае выборки выше, чем выборка при используемых сегодня опросах по месту жительства.
2. Проект «Открытое мнение» наглядно продемонстрировал возможности временного профессионального сообщества, где обязанности распределены между участниками, но вместе они решают нетривиальную задачу.
3. Выявленные недостатки практики интервьюирования как по телефону, так и по месту жительства могут значимо влиять на ответы респондентов, поэтому сама технология требует усовершенствования и доработки, в первую очередь, подготовки интервьюеров.
ЛИТЕРАТУРА
1. Выписка из реестра российской системы и плана нумерации [online]. Дата обращения 11.05.2012. URL: <http://rossvyaz.ru/activity/num_resurs/registerNum/>.
2. Задорин И. Выборы Президента РФ — 2004: Прогнозирование итогов голосования по опросным данным на основе вероятностной модели электорального поведения.
http://www.zircon.ru/upload/File/russian/publication/1/070829.pdf
3. Ослон А. Опросы общественного мнения и прогнозы выборов [online]. Дата обращения 11.01.2012. URL: <http://bd.fom.ru/report/map/d034727,2003>
4. Османов Т. Rdd выборка номеров мобильных и стационарных телефонов [online]. Дата обращения 17.04.2012. URL: <http://www.slideshare.net/tosmanov/rdd-9971125>.
5. Паниотто В. «Кризис в методах опроса и пути его преодоления»: соображения по теме международной конференции // Вестник общественного мнения. Данные. Анализ. Дискуссии. 2011. № 4. С. 113-114.
6. Социология: кризис доверия. Полемика социолога Льва Гудкова и председателя фонда «ИНДЕМ» Георгия Сатарова о настоящем и будущем электоральной социологии [online]. Дата обращения 11.05.2012. URL: <http://www. novayagazeta.ru/politics/51942.html>.
